CN114519718A - 一种腹部多器官ct图像分割方法及系统 - Google Patents

一种腹部多器官ct图像分割方法及系统 Download PDF

Info

Publication number
CN114519718A
CN114519718A CN202210154785.2A CN202210154785A CN114519718A CN 114519718 A CN114519718 A CN 114519718A CN 202210154785 A CN202210154785 A CN 202210154785A CN 114519718 A CN114519718 A CN 114519718A
Authority
CN
China
Prior art keywords
module
organ
stage
layer
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210154785.2A
Other languages
English (en)
Inventor
钱文华
张伋
徐丹
曹进德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202210154785.2A priority Critical patent/CN114519718A/zh
Publication of CN114519718A publication Critical patent/CN114519718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及图像处理技术领域，特别是涉及一种腹部多器官CT图像分割方法及系统，该方法包括：获取待分割腹部多器官CT图像的数据集；构建用于腹部多器官CT图像分割的深度学习模型；深度学习模型为基于TransFormer技术的U型网络；利用数据集对深度学习模型进行训练，获得训练好的深度学习模型；将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。本发明提高了腹部多器官CT图像分割的鲁棒性。

Description

一种腹部多器官CT图像分割方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种腹部多器官CT图像分割方法及系统。
背景技术
得益于深度学习的发展，计算机视觉在医学图像分析中得到了广泛的应用。图像分割是医学图像分析的重要组成部分。准确、鲁棒的医学图像分割在计算机辅助诊断和图像引导的临床手术中发挥着不可代替的作用。
近年来，随着计算机硬件性能不断提高，基于卷积神经网络的深度学习方法应运而生，并且在许多分割任务中都获得了先进的性能。目前，基于卷积神经网络的分割方法虽然在医学图像分割领域取得了很好的效果，但仍不能完全满足医学应用对分割精度的严格要求。图像分割仍然是医学图像分析中的一项具有挑战性的任务。由于卷积运算的固有局部性，基于卷积神经网络的方法很难学习到全局和远程特征之间的依赖关系。研究者通过使用空洞卷积层、自注意力机制和图像金字塔解决这个问题。然而，这些方法在对远程特征依赖关系进行建模方面仍然存在方法固定、难以适应复杂形状对象的局限性。
发明内容
本发明的目的是提供一种腹部多器官CT图像分割方法及系统，提高了腹部多器官CT图像分割的鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种腹部多器官CT图像分割方法，包括：
获取待分割腹部多器官CT图像的数据集；
构建用于腹部多器官CT图像分割的深度学习模型；所述深度学习模型为基于TransFormer技术的U型网络；
利用所述数据集对所述深度学习模型进行训练，获得训练好的深度学习模型；
将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。
可选地，所述深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块；
所述编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；所述第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的CrossFormer Block；所述第二编码阶段和所述第三编码阶段均包括依次连接的分块合并层和两个连续的CrossFormer Block；输入图像从所述第一编码阶段中的跨尺度嵌入层输入所述深度学习模型；
所述底层中心模块包括依次连接的分块合并层、两个连续的CrossFormer Block和分块扩展层；
所述解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；所述第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的CrossFormer Block和分块扩展层；
所述第一编码阶段与所述第一解码阶段跳跃连接，所述第二编码阶段与所述第二解码阶段跳跃连接，所述第三编码阶段与所述第三解码阶段跳跃连接。
可选地，所述跨尺度嵌入层用于采用4个核大小分别为4×4、8×8、16×16和32×32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
可选地，两个连续的CrossFormer Block中第一个CrossFormer Block包括短距离注意力模块和多层感知机模块，第二CrossFormer Block包括长距离注意力模块和多层感知机模块；
两个连续的CrossFormer Block表示为：
Figure BDA0003511996030000021
Figure BDA0003511996030000022
Figure BDA0003511996030000031
Figure BDA0003511996030000032
其中，
Figure BDA0003511996030000033
表示第l个CrossFormer Block中短距离注意力模块的输出，zl表示第l个CrossFormer Block中多层感知机模块的输出，
Figure BDA0003511996030000034
表示第l+1个CrossFormer Block中长距离注意力模块的输出，zl+1表示第l+1个CrossFormer Block中多层感知机模块的输出，LN()表示层归一化，SDA()表示短距离注意力模块，LDA()表示长距离注意力模块，MLP()表示多层感知机模块。
可选地，一种腹部多器官CT图像分割方法还包括：
采用翻转变换与旋转变换对所述数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
本发明还公开了一种腹部多器官CT图像分割系统，包括：
数据集获取模块，用于获取待分割腹部多器官CT图像的数据集；
深度学习模型构建模块，用于构建用于腹部多器官CT图像分割的深度学习模型；所述深度学习模型为基于TransFormer技术的U型网络；
深度学习模型训练模块，用于利用所述数据集对所述深度学习模型进行训练，获得训练好的深度学习模型；
腹部多器官CT图像分割模块，用于将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。
可选地，所述深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块；
所述编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；所述第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的CrossFormer Block；所述第二编码阶段和所述第三编码阶段均包括依次连接的分块合并层和两个连续的CrossFormer Block；输入图像从所述第一编码阶段中的跨尺度嵌入层输入所述深度学习模型；
所述底层中心模块包括依次连接的分块合并层、两个连续的CrossFormer Block和分块扩展层；
所述解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；所述第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的CrossFormer Block和分块扩展层；
所述第一编码阶段与所述第一解码阶段跳跃连接，所述第二编码阶段与所述第二解码阶段跳跃连接，所述第三编码阶段与所述第三解码阶段跳跃连接。
可选地，所述跨尺度嵌入层用于采用4个核大小分别为4×4、8×8、16×16和32×32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
可选地，两个连续的CrossFormer Block中第一个CrossFormer Block包括短距离注意力模块和多层感知机模块，第二CrossFormer Block包括长距离注意力模块和多层感知机模块；
两个连续的CrossFormer Block表示为：
Figure BDA0003511996030000041
Figure BDA0003511996030000042
Figure BDA0003511996030000043
Figure BDA0003511996030000044
其中，
Figure BDA0003511996030000045
表示第l个CrossFormer Block中短距离注意力模块的输出，zl表示第l个CrossFormer Block中多层感知机模块的输出，
Figure BDA0003511996030000046
表示第l+1个CrossFormer Block中长距离注意力模块的输出，zl+1表示第l+1个CrossFormer Block中多层感知机模块的输出，LN()表示层归一化，SDA()表示短距离注意力模块，LDA()表示长距离注意力模块，MLP()表示多层感知机模块。
可选地，一种腹部多器官CT图像分割系统，还包括：
数据增强模块，用于采用翻转变换与旋转变换对所述数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明一种腹部多器官CT图像分割方法及系统，通过构建并训练基于TransFormer技术的U型网络对腹部多器官CT图像进行分割，提高了建立远程特征关系的能力，克服了图像分割在跨尺度注意力方面的不足，从而提高了腹部多器官CT图像分割的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种腹部多器官CT图像分割方法流程示意图；
图2为本发明深度学习模型的结构示意图；
图3为本发明两个连续的CrossFomer Block结构示意图；
图4为本发明短距离注意力与长距离注意力分块分组示意图；
图5为本发明动态位置偏置的结构示意图；
图6为本发明腹部多器官CT图像分割结果示意图；
图7为本发明一种腹部多器官CT图像分割系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种腹部多器官CT图像分割方法及系统，提高了腹部多器官CT图像分割的鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种腹部多器官CT图像分割方法流程示意图，如图1所示，一种腹部多器官CT图像分割方法，包括：
步骤101：获取待分割腹部多器官CT图像的数据集。
对待分割腹部多器官CT图像数据进行预处理，获得数据集。
数据集包括训练集和测试集。
采用翻转变换与旋转变换对数据集中训练集中图像进行数据增强，获得数据增强后的训练集。通过数据增强增加数据多样性同时减少内存压力。
步骤102：构建用于腹部多器官CT图像分割的深度学习模型；深度学习模型为基于TransFormer技术的U型网络。
深度学习模型为名为Cross-Net的U型网络。
步骤103：利用数据集对深度学习模型进行训练，获得训练好的深度学习模型。
其中，步骤103具体包括深度学习模型利用数据增强后的训练集进行训练，分割模型(深度学习模型)在训练过程中对训练集数据进行特征提取，并以训练集的标注数据作为网络模型的监督信息，直至分割模型设定的迭代次数，得到训练好的深度学习模型及其对应参数，完成深度学习训练。
步骤104：将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。
其中，步骤104具体包括：将预处理后的待分割测试集图像数据输入训练好的Cross-Net网络，得到分割结果；分割结果如图6所示，图6中(a1)和(a2)表示待分割的腹部多器官CT图像，(b1)和(b2)表示相应的标签图像，(c1)和(c2)表示本发明技术方案分割获得的结果图像。
如图2所示，深度学习模型包括依次连接的编码器模块(Encoder)、底层中心模块(Center Block)和解码器模块(Decoder)。
编码器模块包括依次连接的第一编码阶段(Stage 1)、第二编码阶段(Stage 2)和第三编码阶段(Stage 3)；第一编码阶段包括依次连接的跨尺度嵌入层(Cross-scaleembeeding layer，CEL)和两个连续的CrossFormer Block；第二编码阶段和第三编码阶段均包括依次连接的分块合并层(Path Merging)和两个连续的CrossFormer Block；输入图像从第一编码阶段中的跨尺度嵌入层输入深度学习模型。
跨尺度嵌入层用于采用4个核大小分别为4×4、8×8、16×16和32×32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
第一编码阶段首先利用跨尺度嵌入层将输入图像转化为跨尺度图像分块，然后将跨尺度图像分块前馈到两个连续的CrossFormer Block中学习远程特征关系，输出图像特征，其中输出图像特征的维数和分辨率保持不变；第二编码阶段利用分块合并层对第一编码阶段输出的图像特征进行下采样与维度合并，然后将下采样与维度合并后的图像特征前馈到两个连续的CrossFormer Block中学习远程特征关系，编码器的第三编码阶重复第二编码阶段的过程。
编码阶段或解码阶段中的跨尺度嵌入层或分块合并层用于生成图像分块与维度合并，以第一编码阶段跨尺度嵌入层为例，它位于编码器模块的第一个阶段，它接收一幅图像作为输入，使用4个核大小分别为4×4、8×8、16×16、32×32的卷积核并以4为步长对输入进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心但不同的比例，这4个图像分块再被投影并连接为一个分块，采样和投影过程可以通过四层卷积来实现，4个内核的步长保持相同，以便它们生成相同数量的分块，其他阶段中分块合并层的工作方式与此类似，不同的是，第二、三编码阶段中的分块合并层使用两个核大小分别为2×2和4×4的卷积核，步长设置为2，将分块数量减少至四分之一。
底层中心模块包括依次连接的分块合并层、两个连续的CrossFormer Block和分块扩展层(Path Expanding)。
解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的CrossFormerBlock和分块扩展层。
解码器模块的第三解码阶段利用两个连续的CrossFormer Block接收底层中心模块提取的深层特征，再使用分块扩展层对提取的深层特征进行上采样，并将相邻特征图重构为更高分辨率的特征图，使特征维度降至之前相邻特征维度的一半；解码器模块第一解码阶段、第二解码阶段与第三解码阶段的过程类似，不同的是，第二解码阶段接收第三解码阶段输出特征，第一解码阶段接收第二解码阶段输出特征，这一过程不断对特征图进行上采样和降低维度。第一解码阶段的分块扩展层的输出经过线性投影(LinearProjection)后输出。
第一编码阶段与第一解码阶段跳跃连接(Skip connection)，第二编码阶段与第二解码阶段跳跃连接，第三编码阶段与第三解码阶段跳跃连接。
在编码器模块第一、二、三编码阶段的输出特征与解码器模块第一、二、三解码阶段的输出特征之间建立跳跃连接，跳跃连接用于融合来自编码器的多尺度特征与解码器上采样特征，将编码器模块的浅层特征和解码器模块的深层特征在通道维度上拼接在一起，以减少编码器下采样过程中造成的空间信息丢失。
如图3所示，两个连续的CrossFormer Block中第一个CrossFormer Block包括短距离注意力模块和多层感知机模块，第二CrossFormer Block包括长距离注意力模块和多层感知机模块。
短距离注意力(SDA)模块或长距离注意力(LDA)模块交替出现在不同的CrossFormer Block中，动态位置偏置(DPB)在短距离注意力(SDA)模块和长距离注意力(LDA)模块中表示图象分块位置；此外，在CrossFormer Block中还使用残差连接传递特征。
两个连续的CrossFormer Block表示为：
Figure BDA0003511996030000081
Figure BDA0003511996030000082
Figure BDA0003511996030000083
Figure BDA0003511996030000084
其中，
Figure BDA0003511996030000085
表示第l个CrossFormer Block中短距离注意力模块的输出，zl表示第l个CrossFormer Block中多层感知机模块的输出，
Figure BDA0003511996030000086
表示第l+1个CrossFormer Block中长距离注意力模块的输出，zl+1表示第l+1个CrossFormer Block中多层感知机模块的输出，LN()表示层归一化，SDA()表示短距离注意力模块，LDA()表示长距离注意力模块，MLP()表示多层感知机模块。
长短距离注意力(LSDA)包括短距离注意力(SDA)和长距离注意力(LDA)，设输入图像大小为S×S，则对于短距离注意力(SDA)，每G2个相邻分块被分为一组，对于长距离注意力(LDA)，分块以固定间隔I进行采样来分组，则每个组大小为
Figure BDA0003511996030000091
当S＝9，G＝3，I＝3时，短距离注意力(SDA)与长距离注意力(LDA)分块分组如图4所示，图4中(a)表示短距离注意力分块分组原理，(b)表示长距离注意力分块分组原理；在对分块进行分组后，短距离注意力(SDA)和长距离注意力(LDA)都在每组中使用了多头自注意力机制，多头自注意力机制由多个自注意力Attention构成，自注意力Attention表示输入特征与目标特征的匹配程度，可通过自注意力Attention计算得到匹配度权重，每个自注意力Attention的计算如下：
Figure BDA0003511996030000092
其中，
Figure BDA0003511996030000093
分别表示query，key和value矩阵，G2表示分块的数量，D表示分块的维度，
Figure BDA0003511996030000094
取值于动态位置偏置(DPB)产生的偏置矩阵。
动态位置偏置(DPB)是基于多层感知机(MLP)动态生成相对位置偏置的可学习模块，其非线性变换由串联的三组全连接层、归一化层、Relu激活组成，如图5所示，在非线性变换后由一个输出为1的线性层做偏置的表征，采用如下公式动态生成相对位置偏置：
Bi,j＝DPB(Δxij,Δyij)
其中，Bi,j表示第i个分块与第j个分块之间的相对位置偏置，Δxi,j,Δyi,j表示第i，j个分块之间的坐标距离。
本发明构建了用于腹部多器官CT图像分割的深度学习模型Cross-Net，该分割模型克服了以往分割方法在构建跨尺度注意力方面的不足，能更加有效地分割形状、大小不同的器官，对腹部多器官CT图像分割有较强的鲁棒性。
图7为本发明一种腹部多器官CT图像分割系统结构示意图，如图7所示，一种腹部多器官CT图像分割系统，包括：
数据集获取模块201，用于获取待分割腹部多器官CT图像的数据集。
深度学习模型构建模块202，用于构建用于腹部多器官CT图像分割的深度学习模型；深度学习模型为基于TransFormer技术的U型网络。
深度学习模型训练模块203，用于利用数据集对深度学习模型进行训练，获得训练好的深度学习模型。
腹部多器官CT图像分割模块204，用于将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。
深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块。
编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的CrossFormer Block；第二编码阶段和第三编码阶段均包括依次连接的分块合并层和两个连续的CrossFormer Block；输入图像从第一编码阶段中的跨尺度嵌入层输入深度学习模型。
底层中心模块包括依次连接的分块合并层、两个连续的CrossFormer Block和分块扩展层。
解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的CrossFormerBlock和分块扩展层。
第一编码阶段与第一解码阶段跳跃连接，第二编码阶段与第二解码阶段跳跃连接，第三编码阶段与第三解码阶段跳跃连接。
跨尺度嵌入层用于采用4个核大小分别为4×4、8×8、16×16和32×32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
两个连续的CrossFormer Block中第一个CrossFormer Block包括短距离注意力模块和多层感知机模块，第二CrossFormer Block包括长距离注意力模块和多层感知机模块。
两个连续的CrossFormer Block表示为：
Figure BDA0003511996030000111
Figure BDA0003511996030000112
Figure BDA0003511996030000113
Figure BDA0003511996030000114
其中，
Figure BDA0003511996030000115
表示第l个CrossFormer Block中短距离注意力模块的输出，zl表示第l个CrossFormer Block中多层感知机模块的输出，
Figure BDA0003511996030000116
表示第l+1个CrossFormer Block中长距离注意力模块的输出，zl+1表示第l+1个CrossFormer Block中多层感知机模块的输出，LN()表示层归一化，SDA()表示短距离注意力模块，LDA()表示长距离注意力模块，MLP()表示多层感知机模块。
一种腹部多器官CT图像分割系统，还包括：
数据增强模块，用于采用翻转变换与旋转变换对数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种腹部多器官CT图像分割方法，其特征在于，包括：
获取待分割腹部多器官CT图像的数据集；
构建用于腹部多器官CT图像分割的深度学习模型；所述深度学习模型为基于TransFormer技术的U型网络；
利用所述数据集对所述深度学习模型进行训练，获得训练好的深度学习模型；
将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。
2.根据权利要求1所述的腹部多器官CT图像分割方法，其特征在于，所述深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块；
所述编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；所述第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的CrossFormer Block；所述第二编码阶段和所述第三编码阶段均包括依次连接的分块合并层和两个连续的CrossFormerBlock；输入图像从所述第一编码阶段中的跨尺度嵌入层输入所述深度学习模型；
所述底层中心模块包括依次连接的分块合并层、两个连续的CrossFormer Block和分块扩展层；
所述解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；所述第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的CrossFormerBlock和分块扩展层；
所述第一编码阶段与所述第一解码阶段跳跃连接，所述第二编码阶段与所述第二解码阶段跳跃连接，所述第三编码阶段与所述第三解码阶段跳跃连接。
3.根据权利要求2所述的腹部多器官CT图像分割方法，其特征在于，所述跨尺度嵌入层用于采用4个核大小分别为4×4、8×8、16×16和32×32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
4.根据权利要求2所述的腹部多器官CT图像分割方法，其特征在于，两个连续的CrossFormer Block中第一个CrossFormer Block包括短距离注意力模块和多层感知机模块，第二CrossFormer Block包括长距离注意力模块和多层感知机模块；
两个连续的CrossFormer Block表示为：
Figure FDA0003511996020000021
Figure FDA0003511996020000022
Figure FDA0003511996020000023
Figure FDA0003511996020000024
其中，
Figure FDA0003511996020000025
表示第l个CrossFormer Block中短距离注意力模块的输出，zl表示第l个CrossFormer Block中多层感知机模块的输出，
Figure FDA0003511996020000026
表示第l+1个CrossFormer Block中长距离注意力模块的输出，zl+1表示第l+1个CrossFormer Block中多层感知机模块的输出，LN()表示层归一化，SDA()表示短距离注意力模块，LDA()表示长距离注意力模块，MLP()表示多层感知机模块。
5.根据权利要求1所述的腹部多器官CT图像分割方法，其特征在于，还包括：
采用翻转变换与旋转变换对所述数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
6.一种腹部多器官CT图像分割系统，其特征在于，包括：
数据集获取模块，用于获取待分割腹部多器官CT图像的数据集；
深度学习模型构建模块，用于构建用于腹部多器官CT图像分割的深度学习模型；所述深度学习模型为基于TransFormer技术的U型网络；
深度学习模型训练模块，用于利用所述数据集对所述深度学习模型进行训练，获得训练好的深度学习模型；
腹部多器官CT图像分割模块，用于将待分割的腹部多器官CT图像输入训练好的深度学习模型，输出腹部多器官CT图像分割结果图。
7.根据权利要求6所述的腹部多器官CT图像分割系统，其特征在于，所述深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块；
所述编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；所述第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的CrossFormer Block；所述第二编码阶段和所述第三编码阶段均包括依次连接的分块合并层和两个连续的CrossFormerBlock；输入图像从所述第一编码阶段中的跨尺度嵌入层输入所述深度学习模型；
所述底层中心模块包括依次连接的分块合并层、两个连续的CrossFormer Block和分块扩展层；
所述解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；所述第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的CrossFormerBlock和分块扩展层；
所述第一编码阶段与所述第一解码阶段跳跃连接，所述第二编码阶段与所述第二解码阶段跳跃连接，所述第三编码阶段与所述第三解码阶段跳跃连接。
8.根据权利要求7所述的腹部多器官CT图像分割系统，其特征在于，所述跨尺度嵌入层用于采用4个核大小分别为4×4、8×8、16×16和32×32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
9.根据权利要求7所述的腹部多器官CT图像分割系统，其特征在于，两个连续的CrossFormer Block中第一个CrossFormer Block包括短距离注意力模块和多层感知机模块，第二CrossFormer Block包括长距离注意力模块和多层感知机模块；
两个连续的CrossFormer Block表示为：
Figure FDA0003511996020000031
Figure FDA0003511996020000032
Figure FDA0003511996020000041
Figure FDA0003511996020000042
其中，
Figure FDA0003511996020000043
表示第l个CrossFormer Block中短距离注意力模块的输出，zl表示第l个CrossFormer Block中多层感知机模块的输出，
Figure FDA0003511996020000044
表示第l+1个CrossFormer Block中长距离注意力模块的输出，zl+1表示第l+1个CrossFormer Block中多层感知机模块的输出，LN()表示层归一化，SDA()表示短距离注意力模块，LDA()表示长距离注意力模块，MLP()表示多层感知机模块。
10.根据权利要求6所述的腹部多器官CT图像分割系统，其特征在于，还包括：
数据增强模块，用于采用翻转变换与旋转变换对所述数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
CN202210154785.2A 2022-02-21 2022-02-21 一种腹部多器官ct图像分割方法及系统 Pending CN114519718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210154785.2A CN114519718A (zh) 2022-02-21 2022-02-21 一种腹部多器官ct图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210154785.2A CN114519718A (zh) 2022-02-21 2022-02-21 一种腹部多器官ct图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN114519718A true CN114519718A (zh) 2022-05-20

Family

ID=81598308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210154785.2A Pending CN114519718A (zh) 2022-02-21 2022-02-21 一种腹部多器官ct图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN114519718A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030259A (zh) * 2023-03-24 2023-04-28 长春理工大学 一种腹部ct图像多器官分割方法、装置及终端设备
WO2024000161A1 (zh) * 2022-06-28 2024-01-04 中国科学院深圳先进技术研究院 Ct胰腺肿瘤自动分割方法、系统、终端以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000161A1 (zh) * 2022-06-28 2024-01-04 中国科学院深圳先进技术研究院 Ct胰腺肿瘤自动分割方法、系统、终端以及存储介质
CN116030259A (zh) * 2023-03-24 2023-04-28 长春理工大学 一种腹部ct图像多器官分割方法、装置及终端设备
CN116030259B (zh) * 2023-03-24 2024-01-12 长春理工大学 一种腹部ct图像多器官分割方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN109817276B (zh) 一种基于深度神经网络的蛋白质二级结构预测方法
CN114066902A (zh) 一种基于卷积和transformer融合的医学图像分割方法、系统、装置
CN112926641B (zh) 基于多模态数据的三阶段特征融合旋转机械故障诊断方法
CN114519718A (zh) 一种腹部多器官ct图像分割方法及系统
CN113241128B (zh) 基于分子空间位置编码注意力神经网络模型的分子性质预测方法
CN113763442A (zh) 一种可变形医学图像配准方法及系统
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN114972746B (zh) 一种基于多分辨率重叠注意力机制的医学影像分割方法
Azad et al. Enhancing medical image segmentation with TransCeption: A multi-scale feature fusion approach
CN116580241B (zh) 基于双分支多尺度语义分割网络的图像处理方法及系统
CN113888466A (zh) 一种基于ct图像的肺结节图像检测方法及系统
CN116740527A (zh) U型网络与自注意力机制结合的遥感图像变化检测方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
US20230360256A1 (en) Contextual instance decoupling-based multi-person pose estimation method and apparatus
CN114863407A (zh) 一种基于视觉语言深度融合的多任务冷启动目标检测方法
CN116502181A (zh) 基于通道扩展与融合的循环胶囊网络多模态情感识别方法
CN116823850A (zh) 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统
CN113255569B (zh) 一种基于图空洞卷积编码器解码器的3d姿态估计方法
CN116778346A (zh) 一种基于改进自注意力机制的管线识别方法及系统
CN115374854A (zh) 多模态情感识别方法、装置及计算机可读存储介质
CN114399628A (zh) 复杂空间环境下的绝缘子高效检测系统
CN113689544A (zh) 一种跨视图几何约束的医学影像三维重建方法
Li et al. Robust lane detection through self pre-training with masked sequential autoencoders and fine-tuning with customized polyLoss
Gadipudi et al. Lightweight spatial attentive network for vehicular visual odometry estimation in urban environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination