CN117372458A - 三维脑肿瘤分割方法、装置、计算机设备和存储介质 - Google Patents

三维脑肿瘤分割方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117372458A
CN117372458A CN202311385139.8A CN202311385139A CN117372458A CN 117372458 A CN117372458 A CN 117372458A CN 202311385139 A CN202311385139 A CN 202311385139A CN 117372458 A CN117372458 A CN 117372458A
Authority
CN
China
Prior art keywords
attention
dimensional
attention mechanism
layer
structural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311385139.8A
Other languages
English (en)
Inventor
王新
黄文迪
王威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202311385139.8A priority Critical patent/CN117372458A/zh
Publication of CN117372458A publication Critical patent/CN117372458A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种三维脑肿瘤分割方法、装置、计算机设备和存储介质。所述方法包括获取脑肿瘤MRI三维影像；将双路径序列注意力机制以及结构重塑注意力机制融入至通用卷积神经网络3D‑Unet或面向三维MRI影像脑瘤分割的UNETR中，得到改进的3D‑Unet网络或改进的UNETR，将脑肿瘤MRI三维影像输入到改进的3D‑Unet网络或改进的UNETR中，得到脑肿瘤分割结果；双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；结构重塑注意力机制用于引导模型更高效的找出需要重点关注的区域。采用该方法可以实现不同序列下的特征信息融合，实现连续切片之间局部特征的提取，提高三维医学影像的识别准确度。

Description

三维脑肿瘤分割方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种三维脑肿瘤分割方法、装置、计算机设备和存储介质。
背景技术
胶质瘤是最常见的恶性脑肿瘤，具有不同程度的侵袭性。对于此类脑肿瘤，影像科医生可采用磁共振成像(MRI)技术完成临床诊断。通过医学影像检测疾病是一个极具挑战性的任务，需要医务人员具备一定的专业知识和洞察能力。随着医学影像技术的普及，医学图像数据海量增多，影像科医生的工作量也日益增长。这不仅占用了医务人员的大量时间，而且容易因视觉疲劳、经验缺乏等主观因素导致其误诊、漏诊。因此，更应该寻求快速可靠、成本较低的自动诊断方法。
深度学习是一种复杂的人工智能技术，应用该技术可在大量样本数据中提取其中的规律、结构等更深层、更抽象的特征信息。医学影像识别是计算机视觉任务中较为典型的任务，利用深度学习对复杂特征的提取能力，可实现医学影像智能化识别。卷积神经网络在分类、分割和目标检测等视觉任务中取得了巨大的成功。在计算机辅助诊断领域中，胶质脑肿瘤识别是一种典型的图像分割任务。
卷积神经网络(Convolutional Neural Network,CNN)是深度学习众多技术手段中的重要分支，长期以来，CNN是计算机视觉建模的主要范式。在图像分割领域，全卷积网络(FCN)、U-Net等系列网络均取得了令人印象深刻的结果。其中，U-Net系列的性能较为优异，学者们对U-Net进行了各方面的改进，得到了许多变体，如U-Net++、3D-Unet以及UNETR等，进一步提高了图像分割的性能。
医学影像通常为二维图像(平面图)或三维图像(立体扫描图像)，以二维图像为例，在设计面向二维医学影像的识别模型时，不仅需要考虑影像中包含的轮廓、纹理等空间信息的提取，还要考虑影像各通道包含的颜色、明暗信息的提取，以及各通道信息的融合。而对于超过2D的立体数据(例如MRI立体扫描)，除了需要考虑上述二维影像的特征提取要点以外，还需要考虑不同成像模式下的空间、通道特征提取以及融合。
现有的3D-Unet和UNETR在对三维医学影像进行不同模态(或序列)下的特征信息融合，以及连续切片之间的局部特征提取的效果不佳，严重影响三维医学影像的识别准确度。
发明内容
基于此，有必要针对上述技术问题，提供一种三维脑肿瘤分割方法、装置、计算机设备和存储介质。
一种基于3D-Unet的三维脑肿瘤分割方法，所述方法包括：
获取脑肿瘤MRI三维影像。
将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果。
其中，所述改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
在其中一个实施例中，将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果，包括：
将所述脑肿瘤MRI三维影像经过五个依次连接的卷积池化模块，得到五个卷积特征图；所述卷积池化模块包括双卷积模块和最大池化层。
将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图。
将第五个所述结构重塑注意力特征图采用反卷积进行上采样处理，并将采样结果与第四个所述结构重塑注意力特征图进行序列拼接，将得到的拼接结果经过第六个双卷积模块，得到解码路径的第四层输出特征图。
将所述第四层输出特征图经过第二个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第三个所述结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第七个双卷积模块，得到解码路径的第三层输出特征图。
将所述第三层输出特征图经过第三个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第二个所述结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第八个双卷积模块，得到解码路径的第二层输出特征图。
将所述第二层输出特征图经过第四个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第一个所述结构重塑注意力特征图进行序列拼接，得到解码路径的第一层输出特征图。
将所述第一层输出特征图经过标准三维卷积层，得到脑肿瘤分割结果。
在其中一个实施例中，所述双路径序列注意力机制包括：一个三维全局平均池化层、一个三维全局最大池化层、第一全连接层、第二全连接层。
将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图，包括：
将第一个所述卷积特征图输入到所述双路径序列注意力机制中，同时分别经过所述三维全局平均池化层和所述三维全局最大池化层后，得到全局平均池化特征图和全局最大池化特征图。
将所述全局平均池化特征图和所述全局最大池化特征图分别进行维度重塑后再进行序列拼接，得到第一序列拼接特征图。
将所述第一序列拼接特征图经过所述第一全连接层和ReLU6激活函数后再经过所述第二全连接层和Sigmoid激活函数，并将得到的激活结果进行维度重塑，得到序列注意力权重。
将所述序列注意力权重与第一个所述卷积特征图进行元素相乘，得到第一个序列注意力特征图。
将第一个所述序列注意力特征图经过结构重塑注意力机制，得到第一个所述结构重塑注意力特征图。
依此类推，将第二个、第三个、第四个以及第五个所述卷积特征图分别经过所述注意力机制模块，得到第二个、第三个、第四个以及第五个所述结构重塑注意力特征图。
在其中一个实施例中，所述结构重塑注意力机制包括：由三种不同累加处理方法组成累加处理模块、矩阵相乘模块；三种不同累加处理方法包括：沿H×W平面、D×H平面、D×W平面累加各个元素。
将第一个所述序列注意力特征图经过所述结构重塑注意力机制，得到第一个所述结构重塑注意力特征图，包括：
将第一个所述序列注意力特征图输入到第一个所述结构重塑注意力机制的累计处理模块中，同时分别三种不同累加处理方法进行处理，得到三个形状不同的张量。
将三个所述张量经过所述矩阵相乘模块和Sigmoid激活函数后，得到三维结构注意力图。
将所述三维注意力图与第一个所述序列注意力特征图进行元素相乘，得到第一个所述结构重塑注意力特征图。
在其中一个实施例中，所述双卷积模块包括两个由标准三维卷积层、三维批归一化、ReLU激活函数组成的卷积模块。
一种基于UNETR的三维脑肿瘤分割方法，所述方法包括：
获取脑肿瘤MRI三维影像。
将所述脑肿瘤MRI三维影像输入到改进的UNETR网络中，得到脑肿瘤分割结果。
其中，所述改进的UNETR网络是在经典UNETR网络的部分解码器之后添加了双路径序列注意力机制和结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
在其中一个实施例中，将所述脑肿瘤MRI三维影像输入到改进的UNETR网络中，得到脑肿瘤分割结果，包括：
将所述脑肿瘤MRI三维影像经过连续12个ViT模块后，将第三个、第六个、第九个和第十二个ViT模块的输出特征图分别经过第一组合模块、第二组合模块、第三组合模块以及用于上采样的反卷积层后，得到第三个、第六个、第九个和第十二个中间特征；第一组合模块、第二组合模块和第三组合模块分别包括3、2、1个由一层用于上采样的反卷积层、一个标准三维卷积模块组成的网络模块；所述标准三维卷积模块由三维标准卷积层、批归一化层以及ReLU激活函数组成。
将所述脑肿瘤MRI三维影像经过两个标准三维卷积模块后，得到第零个中间特征。
将第零个、第三个、第六个、第九个和第十二个所述中间特征分别经过结构重塑注意力机制后，得到五个不同维度的结构重塑特征图。
将第五个所述结构重塑特征图与第四个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第四个解码器输出特征。
将所述第四个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第三个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第三个解码器输出特征。
将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第二个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第二个解码器输出特征。
将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制后，并将得到的特征图与第二个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块，得到融合特征图。
将所述融合特征图经过一个双路径序列注意力机制和一层用于调整序列数的标准三维卷积层，得到脑肿瘤分割结果。
一种基于3D-Unet的三维脑肿瘤分割装置，所述装置包括：
三维影像获取模块，用于获取脑肿瘤MRI三维影像。
脑肿瘤分割模块，用于将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果；其中，所述改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。
上述三维脑肿瘤分割方法、装置、计算机设备和存储介质，所述方法包括获取脑肿瘤MRI三维影像；将双路径序列注意力机制以及结构重塑注意力机制融入至通用卷积神经网络3D-Unet或面向三维MRI影像脑瘤分割的UNETR中，从而改进网络的分割性能，得到改进的3D-Unet网络或改进的UNETR，将脑肿瘤MRI三维影像输入到改进的3D-Unet网络或改进的UNETR中，得到脑肿瘤分割结果；双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；结构重塑注意力机制用于引导模型更高效的找出需要重点关注的区域。采用该方法可以实现不同序列下的特征信息融合，实现连续切片之间局部特征的提取，提高三维医学影像的识别准确度。
附图说明
图1为一个实施例中基于3D-Unet的三维脑肿瘤分割方法的流程示意图；
图2为一个实施例中改进后的3D-Unet结构图；
图3为一个实施例中双路径序列注意力机制结构图；
图4为另一个实施例中结构重塑注意力机制结构图；
图5为一个实施例中基于UNETR的三维脑肿瘤分割方法的流程示意图；
图6为一个实施例中改进后的UNETR结构图；
图7为一个实施例中基于3D-Unet的三维脑肿瘤分割装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于3D-Unet的三维脑肿瘤分割方法，该方法包括以下步骤：
步骤100：获取脑肿瘤MRI三维影像。
具体的，以脑部肿瘤MRI为例，在MRI成像的过程中，通过改变磁共振信号的影响因素，可以得到不同的影像(即序列)。
步骤102：将脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果。
其中，改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
具体的，将双路径序列注意力(Dual-path Sequence Attention,DSA)机制以及结构重塑注意力(Structure-Rebuild Attention,SRA)机制融入至通用卷积神经网络3D-Unet中，从而改进网络的分割性能。改进的3D-Unet的结构如图2所示。
在双路径序列注意力机制中，对输入到双路径序列注意力机制特征图同时分别进行三维全局平均池化和三维全局最大池化后进行维度重塑，将重塑后的两组特征图进行序列拼接后经过两个全连接层，得到序列注意力权重，并将序列注意力权重与第一输入特征图进行元素相乘，得到序列注意力特征图。
由于肿瘤部位在不同的序列下的表现不同，因此需要分析不同序列才能准确判断肿瘤的位置、大小等信息。为了让深度学习模型更高效、更灵活地提取不同脑部MRI序列中包含的关键特征，设计了双路径序列注意力机制，双路径序列注意力机制结构图如图3所示。
在结构重塑注意力机制中，对输入到结构重塑注意力机制的特征图同时分别进行三种不同方式的累加处理，并将得到的三个累加结果进行矩阵乘法后经过Sigmoid函数激活，得到三维结构注意力图，将三维结构注意力图与第二输入特征图进行元素相乘，得到结构重塑注意力特征图。
除了需要考虑引导模型更高效地分析各个序列的重要性以外，针对三维图像识别，还要考虑提高模型空间域方面的分析能力。以脑部MRI肿瘤为例，脑部肿瘤区域通常集中在三维影像的某个局部区域，而其余的大部分区域中有利于诊断的信息较少。为了引导模型更高效地找出需要重点关注的区域，设计了面向三维影像的结构重塑注意力机制，结构重塑注意力机制的结构图如图4所示。
上述基于3D-Unet的三维脑肿瘤分割方法中，所述方法包括获取脑肿瘤MRI三维影像；将双路径序列注意力机制以及结构重塑注意力机制融入至通用卷积神经网络3D-Unet中，从而改进网络的分割性能，得到改进的3D-Unet网络，将脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。采用该方法可以实现不同序列下的特征信息融合，实现连续切片之间局部特征的提取，提高三维医学影像的识别准确度。
在其中一个实施例中，步骤102包括如下具体步骤：
步骤200：将脑肿瘤MRI三维影像经过五个依次连接的卷积池化模块，得到五个卷积特征图；卷积池化模块包括双卷积模块和最大池化层。
步骤202：将五个卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图。
步骤204：将第五个结构重塑注意力特征图采用反卷积进行上采样处理，并将采样结果与第四个结构重塑注意力特征图进行序列拼接，将得到的拼接结果经过第六个双卷积模块，得到解码路径的第四层输出特征图。
步骤206：将第四层输出特征图经过第二个结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第三个结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第七个双卷积模块，得到解码路径的第三层输出特征图。
步骤208：将第三层输出特征图经过第三个结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第二个结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第八个双卷积模块，得到解码路径的第二层输出特征图。
步骤210：将第二层输出特征图经过第四个结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第一个结构重塑注意力特征图进行序列拼接，得到解码路径的第一层输出特征图。
步骤212：将第一层输出特征图经过标准三维卷积层，得到脑肿瘤分割结果。
具体的，改进后的3D-Unet的输入图像形状为4×128×160×160，其意为该图像的序列数、切片数、高、宽分别为4、128、160、160(应注意，与图2、图3不同，图4、图6均不考虑组数B维度)。首先，该输入图像会经过五个双卷积块，每经过一个双卷积块就会进行一次最大池化，使得特征图的空间维度(即切片数、高、宽)减半。上述的双卷积块由两个包含了三维批归一化、ReLU激活函数的标准三维卷积层组成(处理顺序为三维卷积、三维批归一化、ReLU激活函数)。经过五个双卷积块后，网络会生成五个特征图，记上述五个特征图为g1、g2、g3、g4、g5，其形状分别为32×128×160×160、64×64×80×80、128×32×40×40、256×16×20×20、256×8×10×10(按照生成的顺序排列)。之后，上述五个特征图将分别经过嵌入维度为64、128、256、512、512的DSA机制以及SRA机制，得到特征图g1′、g2′、g3′、g4′、g5′。然后，将特征图g5′采用反卷积进行上采样处理，并与特征图g4′进行序列拼接，得到形状为512×16×20×20的特征图。然后，将拼接所得的特征图经过一个双卷积块以及SRA机制，得到一个形状为128×16×20×20的特征图。相似地，对所得特征图采用反卷积进行上采样，并与g3′拼接，得到一个形状为256×32×40×40的特征图。经过一系列类似的处理后，网络最终可得到融合了g1′、g2′、g3′、g4′、g5′的特征信息的特征图，其形状为64×128×160×160。将该特征图经过一个标准三维卷积层，使其序列维度调至4(由于分割类别数量为4)，得到改进后的3D-Unet的输出特征图。
在其中一个实施例中，双路径序列注意力机制包括：一个三维全局平均池化层、一个三维全局最大池化层、第一全连接层、第二全连接层；步骤204包括：将第一个卷积特征图输入到双路径序列注意力机制中，同时分别经过三维全局平均池化层和三维全局最大池化层后，得到全局平均池化特征图和全局最大池化特征图；将全局平均池化特征图和全局最大池化特征图分别进行维度重塑后再进行序列拼接，得到第一序列拼接特征图；将第一序列拼接特征图经过第一全连接层和ReLU6激活函数后再经过第二全连接层和Sigmoid激活函数，并将得到的激活结果进行维度重塑，得到序列注意力权重；将序列注意力权重与第一个卷积特征图进行元素相乘，得到第一个序列注意力特征图；将第一个序列注意力特征图经过结构重塑注意力机制，得到第一个结构重塑注意力特征图；依此类推，将第二个、第三个、第四个以及第五个卷积特征图分别经过注意力机制模块，得到第二个、第三个、第四个以及第五个结构重塑注意力特征图。
具体的，如图3所示，输入DSA机制的特征图的形状为B×C×D×H×W,其中B为组数,C为序列数,D为切片数，H和W为特征图的高和宽。特征图进入DSA机制之后，首先会经过三维全局平均池化层和三维全局最大池化层，以两种不同的压缩信息模式得到两组形状B×C×1×1×1为的特征图，经过维度重塑后，两组特征图的形状变为B×C；经过序列拼接后，得到的一组特征图形状变为B×2C。之后，将所得特征图输入至第一个全连接层，并经过ReLU6激活函数后得到形状为B×E，其中E为嵌入维度，该参数需人工预设。然后经过第二个全连接层以及Sigmoid激活函数后，经过维度重塑得到一组B×C×1×1×1的特征图，该特征图为序列注意力权重，反映了不同序列的重要性。最后，将序列注意力权重与原始输入特征图进行元素相乘，从而提高包含关键信息的序列在特征图中的权重。
在其中一个实施例中，结构重塑注意力机制包括：由三种不同累加处理方法组成累加处理模块、矩阵相乘模块；三种不同累加处理方法包括：沿H×W平面、D×H平面、D×W平面累加各个元素；将第一个序列注意力特征图经过结构重塑注意力机制，得到第一个结构重塑注意力特征图，包括：将第一个序列注意力特征图输入到第一个结构重塑注意力机制的累计处理模块中，同时分别三种不同累加处理方法进行处理，得到三个形状不同的张量；将三个张量经过矩阵相乘模块和Sigmoid激活函数后，得到三维结构注意力图；将三维注意力图与第一个序列注意力特征图进行元素相乘，得到第一个结构重塑注意力特征图。
具体的，如图4所示，SRA机制的输入特征图形状B×C×D×H×W为，其中B为组数,C为序列数,D为切片数，H和W为特征图的高和宽。特征图进入SRA机制后，首先会同时经过三种不同方式的累加处理：沿H×W平面、D×H平面、D×W平面累加各个元素，得到三个形状分别为B×C×D×1×1、B×C×1×1×W、B×C×1×H×1的张量，它们代表着沿不同坐标方向各个具体位置的权重值。然后将上述三种张量进行矩阵乘法并经过Sigmoid激活函数，得到一个形状为B×C×D×H×W的三维结构注意力图，该注意力图标记了各序列三维图像中的重要区域。最后，将三维结构注意力图与输入特征图进行元素相乘，从而提高各序列、各切片中包含关键信息的区域的权重。
在其中一个实施例中，双卷积模块包括两个由标准三维卷积层、三维批归一化、ReLU激活函数组成的卷积模块。
在一个实施例中，如图5所示，提供了一种基于UNETR的三维脑肿瘤分割方法，该方法包括如下步骤：
步骤300：获取脑肿瘤MRI三维影像。
步骤302：将脑肿瘤MRI三维影像输入到改进的UNETR网络中，得到脑肿瘤分割结果；其中，改进的UNETR网络是在经典UNETR网络的部分解码器之后添加了双路径序列注意力机制和结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
具体的，将双路径序列注意力机制以及结构重塑注意力机制融入至通用卷积神经网络UNETR中，从而改进网络的分割性能。改进后的UNETR网络结构图如图6所示。
在其中一个实施例中，步骤302包括：将脑肿瘤MRI三维影像经过连续12个ViT模块后，将第三个、第六个、第九个和第十二个ViT模块的输出特征图分别经过第一组合模块、第二组合模块、第三组合模块以及用于上采样的反卷积层后，得到第三个、第六个、第九个和第十二个中间特征；第一组合模块、第二组合模块和第三组合模块分别包括3、2、1个由一层用于上采样的反卷积层、一个标准三维卷积模块组成的网络模块；标准三维卷积模块由三维标准卷积层、批归一化层以及ReLU激活函数组成；将脑肿瘤MRI三维影像经过两个标准三维卷积模块后，得到第零个中间特征；将第零个、第三个、第六个、第九个和第十二个中间特征分别经过结构重塑注意力机制后，得到五个不同维度的结构重塑特征图；将第五个结构重塑特征图与第四个结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第四个解码器输出特征；将第四个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第三个结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第三个解码器输出特征；将第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第二个结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第二个解码器输出特征；将第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制后，并将得到的特征图与第二个结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块，得到融合特征图；将融合特征图经过一个双路径序列注意力机制和一层用于调整序列数的标准三维卷积层，得到脑肿瘤分割结果。
具体的，改进后的UNETR网络结构图如图6所示。假设改进后的UNETR网络输入图像的形状为4×128×128×128。输入图像进入改进后的UNETR网络后，会经过连续12个VisionTransformer(ViT)模块，其中每个ViT模块的块尺寸(patch size)为16×16×16，输出序列数为768。记第三个、第六个、第九个、第十二个ViT模块的输出特征图为z3、z6、z9、z12，它们的形状均为768×8×8×8。此外，网络的输入图像还会两层包含了批归一化以及ReLU激活函数的标准三维卷积层(处理顺序为三维卷积、三维批归一化、ReLU激活函数)，其卷积核大小为3×3×3。记由此得到的特征图为z0，其形状为16×128×128×128。对于z3、z6、z9特征图，三者会分别经过3、2、1个由一层用于上采样的反卷积层、一层卷积核为3×3×3的标准三维卷积层，以及批归一化、激活函数ReLU组成的组合模块，由此得到的三个特征图各自经过一个SRA机制处理后，得到三组形状分别为32×64×64×64、64×32×32×32、128×16×16×16的特征图，记其为z3′、z6′、z9′。对于z12特征图，它会经过一个用于上采样的反卷积层，使其序列数改为128，且空间维度变为原来的两倍。由此得到的特征图经过一个SRA机制处理后，其形状为128×16×16×16，记其为z12′。然后，将z12′和z9′完成序列拼接，得到一组形状为256×16×16×16的特征图，此特征图经过两个黄色模块以及用于两倍上采样的反卷积层后，其形状变为128×32×32×32。由此得到的特征图经过SRA机制以及嵌入维度为256的DSA机制后，与z6′完成序列拼接。经过上述一系列类似的操作后，网络最终可得到融合了z0′、z3′、z6′、z9′、z12′的特征信息的特征图，其形状为16×128×128×128。将该特征图输入至一个嵌入维度为32的DSA机制，以及一层用于调整序列数(由于分割类别数为4)的标准三维卷积层后，得到网络的输出特征图，其形状为4×128×128×128。
应该理解的是，虽然图1和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个验证性实施例中，应用大型脑部胶质瘤分割数据集Brats2021作为实验数据集。该数据集定义了四种分割标签：背景(标签0)、坏疽(NET,non-enhancing tumor)(标签1)、浮肿区域(ED,peritumoraledema)(标签2)、增强肿瘤区域(ET,enhancing tumor)(标签4)。根据水肿、增强瘤和坏疽等医学知识，这些标签可以合并为两种子区域：由坏疽(标签1)与增强肿瘤(标签4)组成的肿瘤核心(Tumor Core,TC)区域，以及由坏疽(标签1)、浮肿区域(标签2)以及增强肿瘤(标签4)组成的全肿瘤(Whole Tumor,WT)区域。本实施例以ET、TC以及WT三种区域的分割准确率，以及三者的平均值作为网络性能的评估指标。
将DSA机制以及SRA机制作为控制变量，将其嵌入至通用卷积神经网络3D-Unet以及面向三维MRI影像脑瘤分割的UNETR之后，测试两种机制的有效性。每组均以相同的参数设置、实验环境在Brats2021数据集上完成训练、测试，以验证两种机制的有效性。DSA机制与SRA机制的有效性验证实验结果如表1所示。
表1DSA机制与SRA机制的有效性验证实验结果
模型 ET/％ TC/％ WT/％ 均值/％
UNETR 82.50±0.30 83.02±0.48 90.16±0.34 85.22
UNETR+DSA 82.72±0.18(+0.22) 83.62±0.08(+0.60) 90.34±0.06(+0.18) 85.56(+0.34)
UNETR+DSA+SRA 83.44±0.26(+0.94) 84.20±0.40(+1.18) 90.06±0.06(-0.10) 85.90(+0.68)
3D-Unet 85.88±0.32 88.14±0.14 91.58±0.12 88.53
3D-Unet+DSA 85.88±0.28(+0.00) 88.14±0.26(+0.00) 91.78±0.32(+0.20) 88.60(+0.07)
3D-Unet+DSA+SRA 86.00±0.10(+0.12) 89.40±0.20(+1.26) 91.64±0.28(+0.06) 89.01(+0.48)
由表1可知，添加了DSA机制与SRA机制后，UNETR以及3D-Unet的分割性能均有显著提升。以UNETR为例，添加DSA机制之后，网络的ET、TC以及WT区域的分割准确率分别提高了0.22％、0.60％、0.18％，平均提升值为0.34％。不仅如此，在同时添加DSA机制与SRA机制之后，UNETR的三项指标为83.44％、84.20以及90.06％，平均提高了0.68％。同样地，3D-Unet在同时添加了DSA与SRA机制之后，三项评估指标分别为86.00％、89.40％以及91.64％，均值为89.01％，平均提高值为0.48％。应注意，Brats2021数据集的冠军模型nnUnet的三项指标平均值为92.81％，因此仅通过添加两种注意力机制即可换取三项指标平均值0.5％的提升是非常值得考虑的。
在一个实施例中，如图7所示，提供了一种基于3D-Unet的三维脑肿瘤分割装置，包括：三维影像获取模块和脑肿瘤分割模块，其中：
三维影像获取模块，用于获取脑肿瘤MRI三维影像。
脑肿瘤分割模块，用于将脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果；其中，改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
在其中一个实施例中，脑肿瘤分割模块，还用于将脑肿瘤MRI三维影像经过五个依次连接的卷积池化模块，得到五个卷积特征图；卷积池化模块包括双卷积模块和最大池化层；将五个卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图；将第五个结构重塑注意力特征图采用反卷积进行上采样处理，并将采样结果与第四个结构重塑注意力特征图进行序列拼接，将得到的拼接结果经过第六个双卷积模块，得到解码路径的第四层输出特征图；将第四层输出特征图经过第二个结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第三个结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第七个双卷积模块，得到解码路径的第三层输出特征图；将第三层输出特征图经过第三个结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第二个结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第八个双卷积模块，得到解码路径的第二层输出特征图；将第二层输出特征图经过第四个结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第一个结构重塑注意力特征图进行序列拼接，得到解码路径的第一层输出特征图；将第一层输出特征图经过标准三维卷积层，得到脑肿瘤分割结果。
在其中一个实施例中，双路径序列注意力机制包括：一个三维全局平均池化层、一个三维全局最大池化层、第一全连接层、第二全连接层；脑肿瘤分割模块，还用于将第一个卷积特征图输入到双路径序列注意力机制中，同时分别经过三维全局平均池化层和三维全局最大池化层后，得到全局平均池化特征图和全局最大池化特征图；将全局平均池化特征图和全局最大池化特征图分别进行维度重塑后再进行序列拼接，得到第一序列拼接特征图；将第一序列拼接特征图经过第一全连接层和ReLU6激活函数后再经过第二全连接层和Sigmoid激活函数，并将得到的激活结果进行维度重塑，得到序列注意力权重；将序列注意力权重与第一个卷积特征图进行元素相乘，得到第一个序列注意力特征图；将第一个序列注意力特征图经过结构重塑注意力机制，得到第一个结构重塑注意力特征图；依此类推，将第二个、第三个、第四个以及第五个卷积特征图分别经过注意力机制模块，得到第二个、第三个、第四个以及第五个结构重塑注意力特征图。
在其中一个实施例中，结构重塑注意力机制包括：由三种不同累加处理方法组成累加处理模块、矩阵相乘模块；三种不同累加处理方法包括：沿H×W平面、D×H平面、D×W平面累加各个元素；脑肿瘤分割模块，还用于将第一个序列注意力特征图输入到第一个结构重塑注意力机制的累计处理模块中，同时分别三种不同累加处理方法进行处理，得到三个形状不同的张量；将三个张量经过矩阵相乘模块和Sigmoid激活函数后，得到三维结构注意力图；将三维注意力图与第一个序列注意力特征图进行元素相乘，得到第一个结构重塑注意力特征图。
在其中一个实施例中，脑肿瘤分割模块中双卷积模块包括两个由标准三维卷积层、三维批归一化、ReLU激活函数组成的卷积模块。
关于基于3D-Unet的三维脑肿瘤分割装置的具体限定可以参见上文中对于基于3D-Unet的三维脑肿瘤分割方法的限定，在此不再赘述。上述基于3D-Unet的三维脑肿瘤分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于3D-Unet的三维脑肿瘤分割方法或基于UNETR的三维脑肿瘤分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于3D-Unet的三维脑肿瘤分割方法，其特征在于，所述方法包括：
获取脑肿瘤MRI三维影像；
将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果；
其中，所述改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
2.根据权利要求1所述的方法，其特征在于，将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果，包括：
将所述脑肿瘤MRI三维影像经过五个依次连接的卷积池化模块，得到五个卷积特征图；所述卷积池化模块包括双卷积模块和最大池化层；
将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图；
将第五个所述结构重塑注意力特征图采用反卷积进行上采样处理，并将采样结果与第四个所述结构重塑注意力特征图进行序列拼接，将得到的拼接结果经过第六个双卷积模块，得到解码路径的第四层输出特征图；
将所述第四层输出特征图经过第二个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第三个所述结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第七个双卷积模块，得到解码路径的第三层输出特征图；
将所述第三层输出特征图经过第三个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第二个所述结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第八个双卷积模块，得到解码路径的第二层输出特征图；
将所述第二层输出特征图经过第四个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第一个所述结构重塑注意力特征图进行序列拼接，得到解码路径的第一层输出特征图；
将所述第一层输出特征图经过标准三维卷积层，得到脑肿瘤分割结果。
3.根据权利要求2所述的方法，其特征在于，所述双路径序列注意力机制包括：一个三维全局平均池化层、一个三维全局最大池化层、第一全连接层、第二全连接层；
将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图，包括：
将第一个所述卷积特征图输入到所述双路径序列注意力机制中，同时分别经过所述三维全局平均池化层和所述三维全局最大池化层后，得到全局平均池化特征图和全局最大池化特征图；
将所述全局平均池化特征图和所述全局最大池化特征图分别进行维度重塑后再进行序列拼接，得到第一序列拼接特征图；
将所述第一序列拼接特征图经过所述第一全连接层和ReLU6激活函数后再经过所述第二全连接层和Sigmoid激活函数，并将得到的激活结果进行维度重塑，得到序列注意力权重；
将所述序列注意力权重与第一个所述卷积特征图进行元素相乘，得到第一个序列注意力特征图；
将第一个所述序列注意力特征图经过结构重塑注意力机制，得到第一个所述结构重塑注意力特征图；
依此类推，将第二个、第三个、第四个以及第五个所述卷积特征图分别经过所述注意力机制模块，得到第二个、第三个、第四个以及第五个所述结构重塑注意力特征图。
4.根据权利要求3所述的方法，其特征在于，所述结构重塑注意力机制包括：由三种不同累加处理方法组成累加处理模块、矩阵相乘模块；三种不同累加处理方法包括：沿H×W平面、D×H平面、D×W平面累加各个元素；
将第一个所述序列注意力特征图经过所述结构重塑注意力机制，得到第一个所述结构重塑注意力特征图，包括：
将第一个所述序列注意力特征图输入到第一个所述结构重塑注意力机制的累计处理模块中，同时分别三种不同累加处理方法进行处理，得到三个形状不同的张量；
将三个所述张量经过所述矩阵相乘模块和Sigmoid激活函数后，得到三维结构注意力图；
将所述三维注意力图与第一个所述序列注意力特征图进行元素相乘，得到第一个所述结构重塑注意力特征图。
5.根据权利要求1或2所述的方法，其特征在于，所述双卷积模块包括两个由标准三维卷积层、三维批归一化、ReLU激活函数组成的卷积模块。
6.一种基于UNETR的三维脑肿瘤分割方法，其特征在于，所述方法包括：
获取脑肿瘤MRI三维影像；
将所述脑肿瘤MRI三维影像输入到改进的UNETR网络中，得到脑肿瘤分割结果；
其中，所述改进的UNETR网络是在经典UNETR网络的部分解码器之后添加了双路径序列注意力机制和结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
7.根据权利要求6所述的方法，其特征在于，将所述脑肿瘤MRI三维影像输入到改进的UNETR网络中，得到脑肿瘤分割结果，包括：
将所述脑肿瘤MRI三维影像经过连续12个ViT模块后，将第三个、第六个、第九个和第十二个ViT模块的输出特征图分别经过第一组合模块、第二组合模块、第三组合模块以及用于上采样的反卷积层后，得到第三个、第六个、第九个和第十二个中间特征；第一组合模块、第二组合模块和第三组合模块分别包括3、2、1个由一层用于上采样的反卷积层、一个标准三维卷积模块组成的网络模块；所述标准三维卷积模块由三维标准卷积层、批归一化层以及ReLU激活函数组成；
将所述脑肿瘤MRI三维影像经过两个标准三维卷积模块后，得到第零个中间特征；
将第零个、第三个、第六个、第九个和第十二个所述中间特征分别经过结构重塑注意力机制后，得到五个不同维度的结构重塑特征图；
将第五个所述结构重塑特征图与第四个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第四个解码器输出特征；
将所述第四个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第三个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第三个解码器输出特征；
将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第二个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第二个解码器输出特征；
将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制后，并将得到的特征图与第二个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块，得到融合特征图；
将所述融合特征图经过一个双路径序列注意力机制和一层用于调整序列数的标准三维卷积层，得到脑肿瘤分割结果。
8.一种基于3D-Unet的三维脑肿瘤分割装置，其特征在于，所述装置包括：
三维影像获取模块，用于获取脑肿瘤MRI三维影像；
脑肿瘤分割模块，用于将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中，得到脑肿瘤分割结果；其中，所述改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202311385139.8A 2023-10-24 2023-10-24 三维脑肿瘤分割方法、装置、计算机设备和存储介质 Pending CN117372458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311385139.8A CN117372458A (zh) 2023-10-24 2023-10-24 三维脑肿瘤分割方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311385139.8A CN117372458A (zh) 2023-10-24 2023-10-24 三维脑肿瘤分割方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117372458A true CN117372458A (zh) 2024-01-09

Family

ID=89392449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311385139.8A Pending CN117372458A (zh) 2023-10-24 2023-10-24 三维脑肿瘤分割方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117372458A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635952A (zh) * 2024-01-25 2024-03-01 英瑞云医疗科技(烟台)有限公司 一种多模态脑瘤图像分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635952A (zh) * 2024-01-25 2024-03-01 英瑞云医疗科技(烟台)有限公司 一种多模态脑瘤图像分割方法

Similar Documents

Publication Publication Date Title
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
Cinar et al. A hybrid DenseNet121-UNet model for brain tumor segmentation from MR Images
CN109410219A (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
US20220058839A1 (en) Translation of images of stained biological material
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN117372458A (zh) 三维脑肿瘤分割方法、装置、计算机设备和存储介质
Kang et al. Acu-net: A 3d attention context u-net for multiple sclerosis lesion segmentation
Ansari et al. Multiple sclerosis lesion segmentation in brain MRI using inception modules embedded in a convolutional neural network
Dasanayaka et al. Interpretable machine learning for brain tumor analysis using MRI
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
Martins et al. An adaptive probabilistic atlas for anomalous brain segmentation in MR images
Zhang et al. Dermoscopic image retrieval based on rotation-invariance deep hashing
Bintsi et al. Voxel-level importance maps for interpretable brain age estimation
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Abid et al. A convolutional neural network for skin lesion segmentation using double u-net architecture
Sarkar et al. Computational Intelligence Approach to improve the Classification Accuracy of Brain Tumour Detection
Yang et al. A neural ordinary differential equation model for visualizing deep neural network behaviors in multi‐parametric MRI‐based glioma segmentation
Tyagi et al. [Retracted] Identification and Classification of Prostate Cancer Identification and Classification Based on Improved Convolution Neural Network
Yahia et al. Texture analysis of magnetic resonance brain images to assess multiple sclerosis lesions
Baldeon-Calisto et al. Resu-net: Residual convolutional neural network for prostate mri segmentation
Kumaraswamy et al. Automatic prostate segmentation of magnetic resonance imaging using Res-Net
CN113962990B (zh) 胸部ct图像识别方法、装置、计算机设备和存储介质
CN116309615A (zh) 一种多模态mri脑肿瘤图像分割方法
Mansour et al. Kidney segmentations using cnn models
Atiyah et al. Segmentation of human brain gliomas tumour images using u-net architecture with transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240109

Assignee: Shaanxi Ruisino Information Technology Co.,Ltd.

Assignor: CHANGSHA University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2024980006297

Denomination of invention: Three dimensional brain tumor segmentation method, device, computer equipment, and storage medium

License type: Common License

Record date: 20240529