CN116228788B - 一种医学图像分割的分割方法、装置、终端及存储介质 - Google Patents

一种医学图像分割的分割方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN116228788B
CN116228788B CN202211625058.6A CN202211625058A CN116228788B CN 116228788 B CN116228788 B CN 116228788B CN 202211625058 A CN202211625058 A CN 202211625058A CN 116228788 B CN116228788 B CN 116228788B
Authority
CN
China
Prior art keywords
decoder
segmentation
medical image
layer
nested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211625058.6A
Other languages
English (en)
Other versions
CN116228788A (zh
Inventor
陈浩源
韩宇飞
伍欣
敖斌
文青
李宽
殷建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202211625058.6A priority Critical patent/CN116228788B/zh
Publication of CN116228788A publication Critical patent/CN116228788A/zh
Application granted granted Critical
Publication of CN116228788B publication Critical patent/CN116228788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种医学图像分割的分割方法、装置、终端及存储介质，所述方法通过获取待分割的医学图像，将医学图像输入预先经过训练的目标分割网络，得到医学图像对应的分割图像；目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。本发明在U型编码解码器神经网络的编码器和解码器之间增加若干嵌套解码器，解决了现有的基于Transformer的U型网络结构中，采用简单的跳跃连接来连接成对的编码器和解码器，导致编码器与解码器的特征语义差异较大，从而使解码器的特征学习变得困难的问题。

Description

一种医学图像分割的分割方法、装置、终端及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及的是一种医学图像分割的分割方法、装置、终端及存储介质。
背景技术
得益于深度学习的发展，计算机视觉技术已广泛应用于医学图像分析。而自从U-Net问世以来，基于CNN的深度学习方法就一直主导着医学图像分割领域。然而，近年来，基于CNN的方法研究进展却十分缓慢。
由于CNN固有的感应偏差，使得网络的每个感受野每次只停留在一个固定大小的窗口中，无法建立长距离的像素依赖关系。为了解决这一局限性，CNN通过不断叠加下采样和卷积层来增加感受野的面积，以获得更多的交互信息。然而，这些操作往往会使网络失去许多有意义的信息，更加复杂，更容易过度拟合，导致基于CNN的U-Net及衍生方法都很难取得更大的突破。
而随着Vision Transformer的提出，Transformer被应用在医学图像分割领域。TransUnet将CNN特征图作为Transformer的输入，形成基于Transformer的强大编码器，是第一个基于Transformer的医学图像分割网络，但是TransUnet仅仅只是在编码器上使用了Transformer，并未在解码器上使用Transformer，这会导致网络在极小样本的任务下出现复杂特征信息难以学习的情况。而随着Swin Transformer的提出，它不仅结合了Transformer和CNN的优点，还通过使用移位窗口机制降低了计算复杂度。因此，SwinUnet通过将CNN替换为Swin Transformer，提出了第一个用于二维医学图像分割任务的纯Transformer的U型具有跳跃连接的编码器-解码器网络架构。但是，现有的基于Transformer的U型网络结构中，采用简单的跳跃连接来连接成对的编码器和解码器，导致编码器与解码器的特征语义差异较大，从而使解码器的特征学习变得困难的问题。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种医学图像分割的分割方法、装置、终端及存储介质，旨在解决现有的基于Transformer的U型网络结构中，采用简单的跳跃连接来连接成对的编码器和解码器，导致编码器与解码器的特征语义差异较大，从而使解码器的特征学习变得困难的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种医学图像分割的分割方法，其中，所述方法包括：
获取待分割的医学图像；
将所述医学图像输入预先经过训练的目标分割网络，得到所述医学图像对应的目标分割图像；
所述目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。
在一种实施方法中，所述方法还包括：
每一层中首个所述嵌套解码器的输入数据还包括下一层所述编码器的输出数据，除首个之外第n个所述嵌套解码器的输入数据还包括下一层中第n-1个所述嵌套解码器的输出数据。
在一种实施方法中，所述方法还包括：
对下一层的所述编码器或者下一层的所述解码器的输出数据进行上采样，其中，下一层的所述编码器或者下一层的所述解码器的所述输出数据为上一层的所述解码器的输入数据。
在一种实施方法中，所述目标分割网络还包括编码预处理模块；
所述编码预处理模块，用于根据所述医学图像，确定所述医学图像对应的若干目标补丁块，其中，各所述目标补丁块分别对应所述医学图像的不同区域，每一所述目标补丁块的像素特征基于所述目标补丁块对应的区域的原始像素特征确定；
将各所述目标补丁块输入所述U型编码解码器神经网络。
在一种实施方法中，所述编码预处理模块，包括：
补丁划分层，用于对所述医学图像进行划分，得到若干补丁，其中，各所述补丁分别对应所述医学图像不同区域，且各所述补丁分别对应的区域互不重叠；
线性嵌入层，用于调整各所述补丁的维度大小，得到各所述补丁分别对应的所述目标补丁块，其中，所述目标补丁块的维度大小与所述U型编码解码器神经网络的输入数据维度大小相同。
在一种实施方法中，所述编码器由两个Swin Transformer块和一个下采样层级联组成，所述解码器由两个所述Swin Transformer块和一个上采样层级联组成，所述嵌套解码器由两个所述Swin Transformer块级联组成。
在一种实施方法中，所述目标分割网络还包括图像输出模块；
所述图像输出模块，用于对最后一个所述解码器输出的特征图进行上采样处理；
对上采样处理后的所述特征图进行像素级别的分类，得到所述目标分割图像，其中，所述目标分割图像上不同类别的组织分别对应不同的标记。
第二方面，本发明实施例还提供一种医学图像分割的分割装置，其中，所述医学图像分割的分割装置包括：
图像获取模块，用于获取待分割的医学图像；
图像分割模块，用于将所述医学图像输入预先经过训练的目标分割网络，得到所述医学图像对应的目标分割图像；所述目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。
第三方面，本发明实施例还提供一种终端，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如上述任一所述的医学图像分割的分割方法的指令；所述处理器用于执行所述程序。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的医学图像分割的分割方法。
本发明的有益效果：本发明实施例通过获取待分割的医学图像，将医学图像输入预先经过训练的目标分割网络，得到医学图像对应的分割图像；目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。本发明在U型编码解码器神经网络的编码器和解码器之间增加若干嵌套解码器，解决了现有的基于Transformer的U型网络结构中，采用简单的跳跃连接来连接成对的编码器和解码器，导致编码器与解码器的特征语义差异较大，从而使解码器的特征学习变得困难的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的医学图像分割的分割方法的流程示意图。
图2是本发明实施例提供的医学图像分割的分割方法的目标分割网络结构图。
图3是本发明实施例提供的医学图像分割的分割装置的内部模块示意图。
图4是本发明实施例提供的终端的原理框图。
具体实施方式
本发明公开了一种医学图像分割的分割方法、装置、终端及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
得益于深度学习的发展，计算机视觉技术已广泛应用于医学图像分析。而自从U-Net问世以来，基于CNN的深度学习方法就一直主导着医学图像分割领域。然而，近年来，基于CNN的方法研究进展却十分缓慢。
由于CNN固有的感应偏差，使得网络的每个感受野每次只停留在一个固定大小的窗口中，无法建立长距离的像素依赖关系。为了解决这一局限性，CNN通过不断叠加下采样和卷积层来增加感受野的面积，以获得更多的交互信息。然而，这些操作往往会使网络失去许多有意义的信息，更加复杂，更容易过度拟合，导致基于CNN的U-Net及衍生方法都很难取得更大的突破。
而随着Vision Transformer的提出，Transformer被应用在医学图像分割领域。TransUnet将CNN特征图作为Transformer的输入，形成基于Transformer的强大编码器，是第一个基于Transformer的医学图像分割网络，但是TransUnet仅仅只是在编码器上使用了Transformer，并未在解码器上使用Transformer，这会导致网络在极小样本的任务下出现复杂特征信息难以学习的情况。而随着Swin Transformer的提出，它不仅结合了Transformer和CNN的优点，还通过使用移位窗口机制降低了计算复杂度。因此，SwinUnet通过将CNN替换为Swin Transformer，提出了第一个用于二维医学图像分割任务的纯Transformer的U型具有跳跃连接的编码器-解码器网络架构。但是，由于Transformer结构的复杂性，U-Net的单层解码器结构设计得过于粗糙，导致在训练数据较少的情况下，编码器和解码器输入的语义差异较大，使网络解码器的特征学习更加困难。
针对现有技术的上述缺陷，本发明提供一种医学图像分割的分割方法、装置、终端及存储介质，所述方法通过获取待分割的医学图像，将医学图像输入预先经过训练的目标分割网络，得到医学图像对应的分割图像；目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。本发明在U型编码解码器神经网络的编码器和解码器之间增加若干嵌套解码器，解决了现有的基于Transformer的U型网络结构中，采用简单的跳跃连接来连接成对的编码器和解码器，导致编码器与解码器的特征语义差异较大，从而使解码器的特征学习变得困难的问题。
示例性方法
本实施例提供一种医学图像分割的分割方法，该方法可以应用于进行图像分割的终端设备，所述终端设备包括电脑等智能化产品终端。
如图1所示，本实施例的医学图像分割的分割方法包括如下步骤：
步骤S100、获取待分割的医学图像；
步骤S200、将所述医学图像输入预先经过训练的目标分割网络，得到所述医学图像对应的目标分割图像；所述目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。
具体地，本实施例通过获取待分割的医学图像，将医学图像输入预先经过训练的目标分割网络，得到医学图像对应的目标分割图像。本实施例中采用多器官的CT数据集作为待分割的医学图像，通过计算目标分割图像的平均Dice系数(DSC)和平均Hausdorff距离(HD)，检测目标分割网络的分割准确性。
如图2所示，在一种实现方式中，目标分割网络包括U型编码解码器神经网络，该U型编码解码器神经网络包含若干层的编码器和解码器，且至少一层的编码器与解码器之间包含若干嵌套解码器，并且位于同一层的编码器、各嵌套解码器以及解码器依次跳跃连接。其中，编码器由两个Swin Transformer块和一个下采样层级联组成，解码器由两个SwinTransformer块和一个上采样层级联组成，嵌套解码器由两个Swin Transformer块级联组成。
具体地，本实施例中编码器以Swin Transformer块作为网络结构的主干，通过每个Swin Transformer块从输入的医学图像中进行特征信息的学习。Swin Transformer网络相对于CNN网络，具有更优秀的特征学习能力，能够解决CNN网络无法建立长距离像素依赖关系的缺点。在每个Swin Transformer块之后，对补丁块合并，并将其输入到下采样层，增加特征维度，以保留图像中的有效信息，同时扩大感知域。
本实施例中解码器与编码器相对应，同样采用两个Swin Transformer块作为网络结构的主干。解码器中输入数据先输入到上采样层降低特征维度，再输入两个SwinTransformer块进行特征融合。本实施例中，至少一层的编码器和解码器之间包含若干嵌套解码器，且同一层的编码器、嵌套解码器、解码器之间以跳跃连接的方式进行连接，因此，解码器的输入数据包括同一层的编码器(无嵌套解码器时)或者嵌套解码器的输出数据。本实施例中通过在U型编码解码器神经网络的编码器和解码器之间增加若干嵌套解码器，通过相邻嵌套解码器之间进行的特征融合，解决了常规的U型模型中，使用简单的跳跃连接来连接成对的编码器和解码器，使得编码器和解码器输入的特征语义差异较大，导致解码器特征学习困难的问题；提高了网络的稳定性和泛化能力，使得本实施例中的U型编码解码器神经网络在标注数据较少的情况下也能更好的学习所需信息。
在一种实现方式中，所述方法还包括：
每一层中首个所述嵌套解码器的输入数据还包括下一层所述编码器的输出数据，除首个之外第n个所述嵌套解码器的输入数据还包括下一层中第n-1个所述嵌套解码器的输出数据。
对下一层的所述编码器或者下一层的所述解码器的输出数据进行上采样，其中，下一层的所述编码器或者下一层的所述解码器的所述输出数据为上一层的所述解码器的输入数据。
具体地，本实施例中还将嵌套解码器与下一层的编码器或者嵌套解码器进行连接。如图2所示，将待分割的医学图像输入的第一个编码器所在的层作为第一层编码器解码器层，将与底层编码器连接的编码器所在的层作为最后一层编码器解码器层。则不同层之间的数据传输方式为：每一层的首个嵌套解码器获取下一层的编码器的输出数据作为输入数据，除首个之外的第n个嵌套解码器的输入数据为下一层中第n-1个嵌套解码器的输出数据。
由于不同层的数据，具有不同的特征维度，如图2中，第一层编码器、嵌套解码器、解码器处理的数据的大小为其中W为待分割的医学图像的宽度，H为待分割的医学图像的高度，C表示特征维度，而第二层中编码器、嵌套解码器、解码器处理的数据的大小为/>因此，当每一层的嵌套解码器获取下一层的编码器或者嵌套解码器的输出数据作为输入数据时，需要先对下一层的编码器或者嵌套解码器的输出数据进行上采样，降低该输出数据的特征维度，然后再将该上采样后的输出数据作为该每一层的嵌套解码器的输入数据。本实施例通过将每一层之间的嵌套编码器与下一层的编码器或者嵌套解码器进行连接，并对下一层的编码器或者嵌套解码器的输出数据进行上采样，提高了U型编码解码器神经网络的整体对于语义特征的学习效率以及小样本医学图像的分割性能。
如图2所示，在一种实现方式中，所述U型编码解码器神经网络还包括底层编码器，所述底层编码器有两个Swin Transformer块级联组成。
本实施例中通过在最后一个编码器后面连接底层编码器，增强了U型编码解码器神经网络的特征学习能力。
在一种实现方式中，所述目标分割网络还包括编码预处理模块；
所述编码预处理模块，用于根据所述医学图像，确定所述医学图像对应的若干目标补丁块，其中，各所述目标补丁块分别对应所述医学图像的不同区域，每一所述目标补丁块的像素特征基于所述目标补丁块对应的区域的原始像素特征确定；
将各所述目标补丁块输入所述U型编码解码器神经网络。
简单来说，由于U型编码解码器神经网络对输入数据的大小和维度有特定要求，本实施例中获取待分割的医学图像后，首先通过编码预处理模块对该医学图像进行处理，得到与U型编码解码器神经网络的输入数据大小和维度相同的若干目标补丁块。其中，各目标补丁块分别对应医学图像的不同区域，每个目标补丁块的像素特征由该目标补丁块对应的医学图像的原始像素特征确定。将各目标补丁块输入到U型编码解码器神经网络中即可实现对医学图像的特征信息学习，从而实现医学图像分割。
在一种实现方式中，所述编码预处理模块，包括：
补丁划分层，用于对所述医学图像进行划分，得到若干补丁，其中，各所述补丁分别对应所述医学图像不同区域，且各所述补丁分别对应的区域互不重叠；
线性嵌入层，用于调整各所述补丁的维度大小，得到各所述补丁分别对应的所述目标补丁块，其中，所述目标补丁块的维度大小与所述U型编码解码器神经网络的输入数据维度大小相同。
具体地，如图2所示，编码预处理模块包括补丁划分层和线性嵌入层。本实施例通过补丁划分层将待分割医学图像按照U型编码解码器的输入数据大小分成若干个补丁，得到串联的原始像素特征，每个补丁对应医学图像的不同的区域，且每个补丁所对应的图像区域互不重叠。线性嵌入层获取补丁划分层输出的若干补丁，调整各个补丁的维度，将原始值像素特征投射到某个具有任意维度的补丁上，输出得到目标补丁块，使得目标补丁块的维度满足U型编码解码器的输入要求。
在一种实现方式中，所述目标分割网络还包括图像输出模块；
所述图像输出模块，用于对最后一个所述解码器输出的特征图进行上采样处理；
对上采样处理后的所述特征图进行像素级别的分类，得到所述目标分割图像，其中，所述目标分割图像上不同类别的组织分别对应不同的标记。
具体地，如图2所示，图像输出模块包括补丁扩展层和图像输出层。本实施例通过获取U型编码解码器神经网络的输出的特征图后，通过补丁扩展层对该特征图进行上采样处理，使其与输入目标分割网络的输入数据的大小一致，如图2中U型编码解码器神经网络的最后一个解码器的输出数据大小为通过补丁扩展层，使数据大小变为W×H×C；图像输出层根据上采样处理后的特征图进行像素级别的分割预测，将具有不同类别像素值对应的组织分别设置的不同标记，得到W×H×Class大小的数据，其中，Class为标记的个数，即医学图像中组织的类别数量，然后根据该标记得到目标分割图像。
需要说明的是，以上内容以及图2只是对于目标分割网络的一个具体举例。在其他实施例中，目标分割网络的结构可以在此基础上进行扩展，根据需要自行增减编码器、解码器、嵌套解码器的数量以及调整各编码器、解码器、嵌套解码器之间的连接方式。
基于上述实施例，本发明还提供了一种医学图像分割的分割装置，如图3所示，所述装置包括：
图像获取模块01，用于获取待分割的医学图像；
图像分割模块02，用于将所述医学图像输入预先经过训练的目标分割网络，得到所述医学图像对应的目标分割图像；所述目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图4所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现医学图像分割的分割方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一种实现方式中，所述终端的存储器中存储有一个以上的程序，且经配置以由一个以上处理器执行所述一个以上程序包含用于进行医学图像分割的分割方法的指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种医学图像分割的分割方法、装置、终端及存储介质，所述方法通过获取待分割的医学图像，将医学图像输入预先经过训练的目标分割网络，得到医学图像对应的分割图像；目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接。本发明在U型编码解码器神经网络的编码器和解码器之间增加若干嵌套解码器，解决了现有的基于Transformer的U型网络结构中，采用简单的跳跃连接来连接成对的编码器和解码器，导致编码器与解码器的特征语义差异较大，从而使解码器的特征学习变得困难的问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种医学图像分割的分割方法，其特征在于，所述方法包括：
获取待分割的医学图像；
将所述医学图像输入预先经过训练的目标分割网络，得到所述医学图像对应的目标分割图像；
所述目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接；
每一层中首个所述嵌套解码器的输入数据还包括下一层所述编码器的输出数据，除首个之外第n个所述嵌套解码器的输入数据还包括下一层中第n-1个所述嵌套解码器的输出数据；
所述编码器由两个Swin Transformer块和一个下采样层级联组成，所述解码器由两个所述Swin Transformer块和一个上采样层级联组成，所述嵌套解码器由两个所述SwinTransformer块级联组成。
2.根据权利要求1所述的医学图像分割的分割方法，其特征在于，所述方法还包括：
对下一层的所述编码器或者下一层的所述解码器的输出数据进行上采样，其中，下一层的所述编码器或者下一层的所述解码器的所述输出数据为上一层的所述解码器的输入数据。
3.根据权利要求1所述的医学图像分割的分割方法，其特征在于，所述目标分割网络还包括编码预处理模块；
所述编码预处理模块，用于根据所述医学图像，确定所述医学图像对应的若干目标补丁块，其中，各所述目标补丁块分别对应所述医学图像的不同区域，每一所述目标补丁块的像素特征基于所述目标补丁块对应的区域的原始像素特征确定；
将各所述目标补丁块输入所述U型编码解码器神经网络。
4.根据权利要求3所述的医学图像分割的分割方法，其特征在于，所述编码预处理模块，包括：
补丁划分层，用于对所述医学图像进行划分，得到若干补丁，其中，各所述补丁分别对应所述医学图像不同区域，且各所述补丁分别对应的区域互不重叠；
线性嵌入层，用于调整各所述补丁的维度大小，得到各所述补丁分别对应的所述目标补丁块，其中，所述目标补丁块的维度大小与所述U型编码解码器神经网络的输入数据维度大小相同。
5.根据权利要求1所述的医学图像分割的分割方法，其特征在于，所述目标分割网络还包括图像输出模块；
所述图像输出模块，用于对最后一个所述解码器输出的特征图进行上采样处理；
对上采样处理后的所述特征图进行像素级别的分类，得到所述目标分割图像，其中，所述目标分割图像上不同类别的组织分别对应不同的标记。
6.一种医学图像分割的分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取待分割的医学图像；
图像分割模块，用于将所述医学图像输入预先经过训练的目标分割网络，得到所述医学图像对应的目标分割图像；所述目标分割网络包括U型编码解码器神经网络，其中，所述U型编码解码器神经网络中至少一层的编码器与解码器之间包含若干嵌套解码器，位于同一层的所述编码器、各所述嵌套解码器以及所述解码器依次跳跃连接；
每一层中首个所述嵌套解码器的输入数据还包括下一层所述编码器的输出数据，除首个之外第n个所述嵌套解码器的输入数据还包括下一层中第n-1个所述嵌套解码器的输出数据；
所述编码器由两个Swin Transformer块和一个下采样层级联组成，所述解码器由两个所述Swin Transformer块和一个上采样层级联组成，所述嵌套解码器由两个所述SwinTransformer块级联组成。
7.一种终端，其特征在于，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如权利要求1-5中任一所述的医学图像分割的分割方法的指令；所述处理器用于执行所述程序。
8.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述权利要求1-5任一所述的医学图像分割的分割方法的步骤。
CN202211625058.6A 2022-12-16 2022-12-16 一种医学图像分割的分割方法、装置、终端及存储介质 Active CN116228788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211625058.6A CN116228788B (zh) 2022-12-16 2022-12-16 一种医学图像分割的分割方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211625058.6A CN116228788B (zh) 2022-12-16 2022-12-16 一种医学图像分割的分割方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN116228788A CN116228788A (zh) 2023-06-06
CN116228788B true CN116228788B (zh) 2023-11-21

Family

ID=86581413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211625058.6A Active CN116228788B (zh) 2022-12-16 2022-12-16 一种医学图像分割的分割方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN116228788B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080591A (zh) * 2019-12-06 2020-04-28 广东工业大学 基于编码解码结构结合残差模块的医学图像分割方法
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080591A (zh) * 2019-12-06 2020-04-28 广东工业大学 基于编码解码结构结合残差模块的医学图像分割方法
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation;Hu Cao;《arXiv》;全文 *
UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wise Perspective with Transformer;HaonanWang等;《arXiv》;图2、图7、UCTransNet for Medical Image Segmentation章节 *
基于半监督多尺度特征分解网络的CTA图像冠状动脉分割;赵凤军;张涵;陈一兵;贺小伟;宋小磊;西北大学学报(自然科学版);第50卷(第004期);全文 *

Also Published As

Publication number Publication date
CN116228788A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US20220319155A1 (en) Image Processing Method, Image Processing Apparatus, and Device
CN113688813B (zh) 多尺度特征融合遥感影像分割方法、装置、设备和存储器
Rebuffi et al. Learning multiple visual domains with residual adapters
WO2019218136A1 (zh) 图像分割方法、计算机设备和存储介质
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN111028153A (zh) 图像处理和神经网络训练方法、装置及计算机设备
CN116051549B (zh) 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN113408540B (zh) 一种合成孔径雷达图像叠掩区提取方法及存储介质
CN111445388A (zh) 一种图像超分辨重建模型训练方法、船只跟踪方法及装置
CN111898638B (zh) 融合不同视觉任务的图像处理方法、电子设备及介质
CN115147606B (zh) 医学图像的分割方法、装置、计算机设备和存储介质
CN114708436B (zh) 语义分割模型的训练方法、语义分割方法、装置和介质
CN115272250A (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN113298097B (zh) 基于卷积神经网络的特征点提取方法、设备及存储介质
CN116228788B (zh) 一种医学图像分割的分割方法、装置、终端及存储介质
CN115861736B (zh) 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质
Yang et al. Single image low-light enhancement via a dual-path generative adversarial network
CN115601649A (zh) 基于TransUnet的海洋内波条纹分割方法、设备及存储介质
CN112287995B (zh) 一种基于多层耦合映射的低分辨率图像识别方法
CN111856618A (zh) 气象要素的预测方法及设备
CN111815631B (zh) 模型生成方法、装置、设备和可读存储介质
CN117689669B (zh) 基于结构自适应上下文敏感的视网膜血管分割方法
CN116659520B (zh) 基于仿生偏振视觉增强的匹配定位方法、装置和设备
CN116385823B (zh) 类别语义一致性表示的半监督分割模型生成方法及系统
CN115761239B (zh) 一种语义分割方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant