CN113744284B - 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 - Google Patents

脑肿瘤图像区域分割方法、装置、神经网络及电子设备 Download PDF

Info

Publication number
CN113744284B
CN113744284B CN202111038003.0A CN202111038003A CN113744284B CN 113744284 B CN113744284 B CN 113744284B CN 202111038003 A CN202111038003 A CN 202111038003A CN 113744284 B CN113744284 B CN 113744284B
Authority
CN
China
Prior art keywords
network
feature
attention
layer
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111038003.0A
Other languages
English (en)
Other versions
CN113744284A (zh
Inventor
蔡建平
何喆
霍梅梅
顾鹏坤
徐庆生
娄域峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN202111038003.0A priority Critical patent/CN113744284B/zh
Publication of CN113744284A publication Critical patent/CN113744284A/zh
Priority to NL2032936A priority patent/NL2032936B1/en
Application granted granted Critical
Publication of CN113744284B publication Critical patent/CN113744284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种脑肿瘤图像区域分割方法、装置、神经网络及电子设备，所述方法包括：获取脑部MRI图像；构建编码模块，编码模块包括编码块和注意力模型；MRI图像输入编码块中得到第一特征图，注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，第一特征图输入所述特征注意力子模型中得到特征图，空间注意力子模型用于将第二特征图分别输入第一、第二网络，将第一、第二网络的输出相加后输入激活层，得到空间注意力图，根据空间注意力图和第二特征图，得到第三特征图；将脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；对第三特征图进行解码，得到脑肿瘤的分割区域。

Description

脑肿瘤图像区域分割方法、装置、神经网络及电子设备
技术领域
本申请涉及深度神经网络技术领域，尤其涉及一种脑肿瘤图像区域分割方法、装置、神经网络及电子设备。
背景技术
胶质瘤是最常见的颅内肿瘤之一，临床预后差异性大，恶性程度高，会导致各种症状，如头痛、癫痫和颅内神经疾病等。根据世界卫生组织的分类，胶质瘤有四个等级。I级和II级为低级胶质瘤，III级和IV级是高级胶质瘤，即HGG。胶质瘤可以分为三个子区域：增强肿瘤(ET)、肿瘤核心(TC)和整个肿瘤(WT)。磁共振成像(MRI)已广泛应用于全身各系统的成像诊断，颅脑MRI对脑肿瘤的诊断比CT更为敏感，可发现早期病变，定位也更加准确。使用MRI扫描来分割胶质瘤，能够获得更好的分割结果。
然而，由于胶质瘤的外观、形状和位置在不同病人间差异性很大，使得朴素U-Net及其一些变体(3D U-Net、Res-UNet、UNet++等)并不能够得到很好的分割结果。最近有许多研究使用注意力机制来解决这个问题，例如Attention U-Net、TransUNet、TransBTS等。以上三种模型本质上使用的是空间注意力机制，能够帮助模型关注分割目标的空间位置。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：这些空间注意力机制都存在不足，TransUNet和TransBTS由于计算资源限制，只能学习低分辨率的高级语义特征图的全局空间位置依赖关系，忽略了低级语义特征图，低级语义特征图中包含非常多的几何信息，这对于肿瘤定位是重要的；Attention U-Net的注意力门机制和CBAM中的空间注意力机制虽然能够应用于高级和低级语义特征图，但却只能学习到局部的空间位置关系，而全局的空间位置关系对于肿瘤定位也很关键。
发明内容
本申请实施例的目的是提供一种脑肿瘤图像区域分割方法、装置、神经网络及电子设备，以解决相关技术中存在的现有的空间注意力机制无法同时做到学习高级和低级语义特征图中全局空间位置关系的技术问题。
根据本申请实施例的第一方面，提供一种脑肿瘤图像区域分割方法，包括：
获取脑部MRI图像；
构建编码模块，所述编码模块包括编码块和注意力模型；所述MRI图像输入所述编码块中得到第一特征图，所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
将所述脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；
对所述第三特征图进行解码，得到所述脑肿瘤的分割区域。
进一步地，所述特征注意力子模型包括第三网络、第四网络、激活层，所述第一特征图分别输入到所述第三网络和第四网络中，所述第三网络和第四网络的输出相加后进入所述激活层，得到特征注意力图；所述特征注意力图与所述第一特征图相乘，得到所述经过第二特征图。
进一步地，所述第三网络包括沿空间维度的最大池化层、全连接层、非线性激活层和全连接层；所述第四网络包括沿空间维度的平均池化层、全连接层、非线性激活层和全连接层。
进一步地，所述层次化全连接层包括若干个顺序连接的子模块，每个所述子模块的第二输出量相加作为层次化全连接层的输出；
其中每个所述子模块用于执行以下操作，直至输入量的某一空间维度小于区域大小，第一个子模块的输入量为经过最大池化或平均池化后的第二特征图：
将输入量按区域大小进行划分；
将划分后的输入量输入到前馈网络，以学习局部区域的空间位置关系，然后将形状还原为与所述输入量相同的形状，得到第一输出量；
对第一输出量上采样，得到与所述层次化全连接层的输入的大小相同的第二输出量；
对所述第一输出量下采样并经过批归一化层后作为下个子模块的输入量。
根据本申请实施例的第二方面，提供一种用于脑肿瘤图像区域分割的神经网络，包括：
编码路径，所述编码路径包括编码块和注意力模型，所述编码路径用于提取脑部MRI图像的特征，将所述脑部MRI图像输入所述编码块中得到第一特征图，将所述第一特征图输入到所述注意力模型，得到第三特征图，其中所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
解码路径，所述解码路径包括解码块，用于对所述第三特征图进行解码，得到所述脑肿瘤的区域。
根据本申请实施例的第三方面，提供一种脑肿瘤图像区域分割装置，包括：
获取模块，获取脑部MRI图像；
构建模块，构建编码模块，所述编码模块包括编码块和注意力模型；所述MRI图像输入所述编码块中得到第一特征图，所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
特征提取模块，将所述脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；
解码模块，对所述第三特征图进行解码，得到所述脑肿瘤的分割区域。
根据本申请实施例的第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请采用了一种基于层次化全连接实现的空间注意力机制，克服了现有空间注意力机制不能同时应用于高级和低级语义特征图中全局空间位置关系的学习的问题。本专利将以SE模块为基础的特征注意力机制与基于层次化全连接实现的空间注意力机制顺序结合而成的全局注意力机制插入到一个六层的3D U-Net的编码路径中，该注意力机制能够极大地提高3D U-Net在胶质瘤子区域分割任务上的表现。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种用于脑肿瘤图像区域分割的神经网络示意图。
图2是根据一示例性实施例示出的一种编码子块/解码子块的结构示意图。
图3是根据一示例性实施例示出的一种注意力模型的结构示意图。
图4是根据一示例性实施例示出的一种特征注意力子模型的结构示意图。
图5是根据一示例性实施例示出的一种基于层次化全连接实现的空间注意力子模型的结构示意图。
图6是根据一示例性实施例示出的一种层次化全连接层的结构示意图。
图7是根据一示例性实施例示出的一种脑肿瘤图像区域分割方法流程图。
图8是根据一示例性实施例示出的一种脑肿瘤图像区域分割装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种用于脑肿瘤图像区域分割的神经网络示意图。参照图1，该神经网络包括编码路径11和解码路径12：
编码路径11，所述编码路径包括编码块和注意力模型，所述编码路径用于获取脑部MRI图像，将所述脑部MRI图像输入所述编码块中得到第一特征图，将所述第一特征图输入到所述注意力模型，得到第三特征图，其中所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
具体地，编码路径由六个编码模块组成，分别称为第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块和第六编码模块。每个编码模块包括两个编码块和注意力模型，第一编码块的两个编码块和其他编码块的第二个编码块由核大小为3×3×3，步长为1×1×1，填充为1×1×1的3D卷积层、Batch Normalization层和LeakyReLu层组成；如图2所示，第二编码块至第六的第一个编码块由核大小为3×3×3，步长为2×2×2，填充为1×1×1的3D卷积层、Batch Normalization层和LeakyReLu层组成，作为下采样层。
具体地，首先从脑肿瘤分割数据集BraTs2019中读入四模态脑部MRI图像，对图像进行背景裁剪和图像增强后得到编码路径的输入C代表模态数或通道数(实际中为4)，H，W，D分别代表长度，宽度和深度(实际中都是128)。I经过编码路径中每个编码模块进行特征提取和下采样得到输出I′。编码路径包含的编码模块数，编码模块的结构以及编码块的结构都参考了脑肿瘤分割领域中经典的网络结构，如3D U-Net。
图3是根据一示例性实施例示出的一种注意力模型的结构示意图。参照图2，前一编码块的输出输入到两条并行的路径，分别称为残差连接和路径一；残差连接由核大小为1×1×1，步长为1×1×1的3D卷积层组成；路径一由特征注意力模块和空间注意力模块顺序组成；残差连接和路径一的输出相加后作为注意力机制的输出
具体地，前一编码块的输出X先通过残差连接和特征注意力模块分别得到Xres和Xc，然后Xc通过空间注意力模块得到Xs，最后Xres和Xs每元素加得到注意力模型的输出X″。过程可被表示为：
其中，SAM，CAM，RES，分别表示空间注意力模块，特征注意力模块，残差连接和每元素加。残差连接的作用在于使得较深的神经网络能够更稳定地训练。同时使用特征注意力模块和空间注意力模块，并将特征注意力模块和空间注意力模块顺序连接的使用方式效果较好。
所述特征注意力子模型包括第一网络、第二网络、激活层，所述第一特征图分别输入到所述第三网络和第四网络中，所述第三网络和第四网络的输出相加后进入所述激活层，得到特征注意力图；所述特征注意力图与所述第一特征图相乘，得到所述经过第二特征图。
具体地，所述第三网络包括沿空间维度的最大池化层、全连接层、非线性激活层(ReLu层)和全连接层；所述第四网络包括沿空间维度的平均池化层、全连接层、非线性激活层(ReLu层)和全连接层。
在一实施例中，参照图4，前一编码块的输出输入到两条并行的路径，分别称为路径二和路径三；路径二由沿空间维度的最大池化(MaxPool)层，全连接层，非线性激活(ReLu)层，全连接层组成；路径三由沿空间维度的平均池化(AvgPool)层，全连接层，ReLu层，全连接层组成；两条路径的输出相加并经过激活(Sigmoid)层得到特征注意力图；特征注意力图与前一编码子块的输出每空间维度相乘后的结果作为特征注意力机制的输出/>
具体地，前一编码块的输出X分别经过沿空间维度的平均池化层和沿空间维度的最大池化层得到和/>然后/>经过第一个全连接层得到/>r是缩小倍率，接着/>经过ReLu层和第二个全连接层得到/>Xmax经过相同的操作得到/>然后与/>每元素加后经过Sigmoid层得到特征注意力图Xc。最后将Xc与X每元素乘得到特征注意力模块的输出Xc。过程可被表示为：
其中Avgs，Maxs，FC，ReLu，Sigmoid，分别表示沿空间维度的平均池化层，沿空间维度的最大池化层，全连接层，ReLu层，Sigmoid层，每元素加和每元素乘。特征注意力模块的设计在SE模块的基础上增加了一条MaxPool路径，同时使用MaxPool层和AvgPool层的原因是这两种操作都能够提取到有效且互补的信息，两者结合使用能够进一步提高特征注意力机制的性能。每条路径中全连接层的作用是学习通道之间的依赖关系。
图5是根据一示例性实施例示出的一种空间注意力子模型的结构示意图。参照图5，前一特征注意力子模型的输出输入到两条并行的路径，分别称为路径四和路径五；路径四由沿特征维度的MaxPool层和层次化全连接层组成；路径五由沿特征维度的AvgPool层和层次化全连接层组成；两条路径的输出相加并经过Sigmoid层得到空间注意力图；空间注意力图与前一特征注意力模块的输出每通道相乘后的结果作为空间注意力模块的输出/>
具体地，前一特征注意力子模型的输出Xc分别经过沿特征维度的平均池化层和沿特征维度的最大池化层得到和/> 经过层次化全连接层得到学习了全局空间位置依赖关系的/>经过相同的操作得到然后与/>每元素加后经过Sigmoid层得到空间注意力图/>最后Xs与Xc每元素乘得到空间注意力模块的输出Xs，过程可被表示为：
其中Avgc，Maxc，HFC，Sigmoid，分别表示沿特征维度的平均池化层，沿特征维度的最大池化层，层次化全连接层，Sigmoid层，每元素加和每元素乘。同时使用MaxPool层和AvgPool层的原因是这两种操作都能够提取到有效的且互补的信息，两者结合使用能够进一步提高空间注意力机制的性能。
层次化全连接层包括若干个顺序连接的子模块，每个所述子模块的第二输出量相加作为层次化全连接层的输出；
其中每个所述子模块用于执行以下操作，直至输入量的某一空间维度小于区域大小，第一个子模块的输入量为经过最大池化或平均池化后的第二特征图：
将输入量按区域大小进行划分；
将划分后的输入量输入到前馈网络，以学习局部区域的空间位置关系，然后将形状还原为与所述输入量相同的形状，得到第一输出量；
对第一输出量上采样，得到与所述层次化全连接层的输入的大小相同的第二输出量；
对所述第一输出量下采样并经过批归一化层后作为下个子模块的输入量。
在一实施例中，参照图6，所述层次化全连接层包括若干个子模块，每个模块进行以下操作直至输入量的某一空间维度H、W、D小于区域大小G：
将输入量按适当的区域大小G进行划分得/>然后输入到前馈网络(Feed Forward Network)，以学习局部区域R∈G3的空间位置关系，然后将Y′形状还原成与输入Y相同的形状得到第一输出量/>
对第一输出量Y1上采样，得到与所述层次化全连接层的输入大小相同的第二输出量；
将第一输出量Y1输入到核大小为3×3×3，步长为2×2×2，填充为1×1×1的3D卷积层中以进行下采样，并经过Batch Normalization层后作为下个子模块的输入。
将每个子模块的第二输出量进行相加作为层次化全连接层的输出，每个子模块的第二输出量代表了不同层次的局部空间位置关系，将它们相加作为输出来代表全局空间位置关系。通过这样的方式计算全局空间位置关系的计算负载很小，以解决现有的空间注意力子模型无法同时做到学习高级和低级语义特征图中全局空间位置关系的问题。
具体地，对于输入Y，首先使用torch.Tensor.unfold函数对Y的每个空间维度H、W、D进行划分，unfold函数的片大小和步长都设置为区域大小G，得到输出将Y0进行整形得到/>这样就对Y完成了区域划分。然后将Y′输入前馈网络，这里的前馈网络与Transformer中的前馈网络结构相同，以学习局部区域的空间位置关系，接着将Y′形状进行还原与Y相同的形状得到第一输出量下一步，通过使用torch.nn.functional.upsample函数将Y1进行上采样，得到与所述层次化全连接层的输入大小相同的第二输出量。将第一输出量Y1输入到核大小为3×3×3，步长为2×2×2，填充为1×1×1的3D卷积层中以进行下采样，并经过BatchNormalization层后作为下个子模块的输入，直至输入的某一空间维度H、W、D小于区域大小G。层次化全连接层占用的GPU内存很小，通过学习不同层次的局部全局空间位置关系来近似全局空间位置关系，克服了现有空间注意力机制不能同时应用于高级和低级语义特征图中全局空间位置关系的学习的问题。
解码路径12，所述解码路径包括解码块，用于对所述第三特征图进行解码，得到所述脑肿瘤的区域。
在本实施例中，解码路径由五个解码块和通道调整层组成，分别称为第一解码模块、第二解码模块、第三解码模块、第四解码模块和第五解码模块。每个解码模块由上采样层和两个解码块组成，每个解码块的结构和所述第一编码模块的编码块的结构是相同的。第五解码模块的上采样层接受编码路径的输出，其他解码块的上采样层接受前一解码块的输出(如第四解码模块的上采样层接受第五解码模块的输出)，每个解码模块的第一个解码块同时接受自己解码块中上采样层的输出和对应编号的编码模块的输出(如第五解码块的第一个解码块还接受第五编码模块的输出)。通道调整层调整解码块一输出的通道数与胶质瘤子区域数一致，经过处理后得到胶质瘤子区域预测结果。
具体地，上采样层采用核大小为3×3×3，步长为2×2×2，填充为1×1×1的3D反卷积层实现。通道调整层包括核大小为3×3×3，步长为1×1×1，填充为1×1×1的3D卷积层和Softmax层，3D卷积层的输出通道数与胶质瘤子区域数一致，Softmax层用于每通道的概率归一化。解码路径包含的解码模块数，解码模块的结构以及解码块的结构都参考了脑肿瘤分割领域中经典的网络结构，如3D U-Net。
与前述的一种用于脑肿瘤图像区域分割的神经网络的实施例相对应，本申请还提供了一种脑肿瘤图像区域分割方法的实施例。
图7是根据一示例性实施例示出的一种脑肿瘤图像区域分割方法的流程图，如图7所示，可以包括以下步骤：
步骤S101：获取脑部MRI图像；
步骤S102：构建编码模块，所述编码模块包括编码块和注意力模型；所述MRI图像输入所述编码块中得到第一特征图，所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
步骤S103：将所述脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；
步骤S104：对所述第三特征图进行解码，得到所述脑肿瘤的分割区域。
由上述实施例可知，本申请采用了一种基于层次化全连接实现的空间注意力机制，克服了现有空间注意力机制不能同时应用于高级和低级语义特征图中全局空间位置关系的学习的问题。本专利将以SE模块为基础的特征注意力机制与基于层次化全连接实现的空间注意力机制顺序结合而成的全局注意力机制插入到一个六层的3D U-Net的编码路径中，该注意力机制能够极大地提高3DU-Net在胶质瘤子区域分割任务上的表现。
图8是根据一示例性实施例示出的一种脑肿瘤图像区域分割装置框图。参照图8，该装置包括：
获取模块21，获取脑部MRI图像；
构建模块22，构建编码模块，所述编码模块包括编码块和注意力模型；所述MRI图像输入所述编码块中得到第一特征图，所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
特征提取模块23，将所述脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；
解码模块24，对所述第三特征图进行解码，得到所述脑肿瘤的分割区域。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的脑肿瘤图像区域分割方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的脑肿瘤图像区域分割方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (5)

1.一种脑肿瘤图像区域分割方法，其特征在于，包括：
获取脑部MRI图像；
构建编码模块，所述编码模块包括编码块和注意力模型；所述MRI图像输入所述编码块中得到第一特征图，所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
所述特征注意力子模型包括第三网络、第四网络、激活层，所述第一特征图分别输入到所述第三网络和第四网络中，所述第三网络和第四网络的输出相加后进入所述激活层，得到特征注意力图；所述特征注意力图与所述第一特征图相乘，得到所述第二特征图；
所述层次化全连接层包括若干个顺序连接的子模块，每个所述子模块的第二输出量相加作为层次化全连接层的输出；
其中每个所述子模块用于执行以下操作，直至输入量的某一空间维度小于区域大小，第一个子模块的输入量为经过最大池化或平均池化后的第二特征图：
将输入量按区域大小进行划分；
将划分后的输入量输入到前馈网络，以学习局部区域的空间位置关系，然后将形状还原为与所述输入量相同的形状，得到第一输出量；
对第一输出量上采样，得到与所述层次化全连接层的输入的大小相同的第二输出量；
对所述第一输出量下采样并经过批归一化层后作为下个子模块的输入量；
将所述脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；
对所述第三特征图进行解码，得到所述脑肿瘤的分割区域。
2.根据权利要求1所述的方法，其特征在于，所述第三网络包括沿空间维度的最大池化层、全连接层、非线性激活层和全连接层；所述第四网络包括沿空间维度的平均池化层、全连接层、非线性激活层和全连接层。
3.一种脑肿瘤图像区域分割装置，其特征在于，包括：
获取模块，获取脑部MRI图像；
构建模块，构建编码模块，所述编码模块包括编码块和注意力模型；所述MRI图像输入所述编码块中得到第一特征图，所述注意力模型由顺序相连的特征注意力子模型和空间注意力子模型组成，所述第一特征图输入所述特征注意力子模型中得到第二特征图，所述空间注意力子模型包括第一网络、第二网络、激活层，所述第二特征图分别输入第一网络和第二网络，将所述第一网络和第二网络的输出相加后输入所述激活层，得到空间注意力图，根据所述空间注意力图和第二特征图，得到第三特征图，其中，所述第一网络包括沿特征维度的最大池化层和层次化全连接层，所述第二网络包括沿特征维度的平均池化层和层次化全连接层；
特征提取模块，将所述脑部MRI图像输入所述编码模块中，提取得到所述脑部MRI图像的第三特征图；
解码模块，对所述第三特征图进行解码，得到所述脑肿瘤的分割区域；
所述特征注意力子模型包括第三网络、第四网络、激活层，所述第一特征图分别输入到所述第三网络和第四网络中，所述第三网络和第四网络的输出相加后进入所述激活层，得到特征注意力图；所述特征注意力图与所述第一特征图相乘，得到所述第二特征图；所述层次化全连接层包括若干个顺序连接的子模块，每个所述子模块的第二输出量相加作为层次化全连接层的输出；
其中每个所述子模块用于执行以下操作，直至输入量的某一空间维度小于区域大小，第一个子模块的输入量为经过最大池化或平均池化后的第二特征图：
将输入量按区域大小进行划分；
将划分后的输入量输入到前馈网络，以学习局部区域的空间位置关系，然后将形状还原为与所述输入量相同的形状，得到第一输出量；
对第一输出量上采样，得到与所述层次化全连接层的输入的大小相同的第二输出量；
对所述第一输出量下采样并经过批归一化层后作为下个子模块的输入量。
4.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2任一项所述的方法。
5.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-2中任一项所述方法的步骤。
CN202111038003.0A 2021-09-06 2021-09-06 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 Active CN113744284B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111038003.0A CN113744284B (zh) 2021-09-06 2021-09-06 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
NL2032936A NL2032936B1 (en) 2021-09-06 2022-09-01 Brain tumor image region segmentation method and device, neural network and electronic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111038003.0A CN113744284B (zh) 2021-09-06 2021-09-06 脑肿瘤图像区域分割方法、装置、神经网络及电子设备

Publications (2)

Publication Number Publication Date
CN113744284A CN113744284A (zh) 2021-12-03
CN113744284B true CN113744284B (zh) 2023-08-29

Family

ID=78735960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111038003.0A Active CN113744284B (zh) 2021-09-06 2021-09-06 脑肿瘤图像区域分割方法、装置、神经网络及电子设备

Country Status (2)

Country Link
CN (1) CN113744284B (zh)
NL (1) NL2032936B1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330813A (zh) * 2022-07-15 2022-11-11 深圳先进技术研究院 一种图像处理方法、装置、设备及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112308835A (zh) * 2020-10-27 2021-02-02 南京工业大学 一种融合密集连接与注意力机制的颅内出血分割方法
CN112365496A (zh) * 2020-12-02 2021-02-12 中北大学 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112818904A (zh) * 2021-02-22 2021-05-18 复旦大学 一种基于注意力机制的人群密度估计方法及装置
WO2021104056A1 (zh) * 2019-11-27 2021-06-03 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN113344951A (zh) * 2021-05-21 2021-09-03 北京工业大学 一种边界感知双重注意力引导的肝段分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270447B2 (en) * 2020-02-10 2022-03-08 Hong Kong Applied Science And Technology Institute Company Limited Method for image segmentation using CNN

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
WO2021104056A1 (zh) * 2019-11-27 2021-06-03 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112308835A (zh) * 2020-10-27 2021-02-02 南京工业大学 一种融合密集连接与注意力机制的颅内出血分割方法
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112365496A (zh) * 2020-12-02 2021-02-12 中北大学 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112818904A (zh) * 2021-02-22 2021-05-18 复旦大学 一种基于注意力机制的人群密度估计方法及装置
CN113344951A (zh) * 2021-05-21 2021-09-03 北京工业大学 一种边界感知双重注意力引导的肝段分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于混合注意力的实时语义分割算法;严广宇;刘正熙;;现代计算机(第10期);全文 *

Also Published As

Publication number Publication date
NL2032936A (en) 2023-03-10
NL2032936B1 (en) 2023-10-11
CN113744284A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Han et al. Combining noise-to-image and image-to-image GANs: Brain MR image augmentation for tumor detection
Yu et al. Morphological feature visualization of Alzheimer's disease via multidirectional perception GAN
Khouloud et al. W-net and inception residual network for skin lesion segmentation and classification
CN113077471A (zh) 一种基于u型网络的医学图像分割方法
Li et al. More than encoder: Introducing transformer decoder to upsample
CN109447976B (zh) 一种基于人工智能的医学图像分割方法及系统
CN115482241A (zh) 一种跨模态双分支互补融合的图像分割方法及装置
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN111080657A (zh) 基于卷积神经网络多维度融合的ct图像器官分割方法
Yamanakkanavar et al. Using a patch-wise m-net convolutional neural network for tissue segmentation in brain mri images
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN116188410A (zh) 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质
CN112819914A (zh) 一种pet图像处理方法
Chen et al. Generative adversarial U-Net for domain-free medical image augmentation
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Li et al. TransBTSV2: Towards better and more efficient volumetric segmentation of medical images
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN113744284B (zh) 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Zhao et al. MPSHT: multiple progressive sampling hybrid model multi-organ segmentation
CN113628220A (zh) 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及系统
CN113487560A (zh) 一种基于空间特征注意力机制的脑肿瘤分割方法及装置
Yuan et al. FM-Unet: Biomedical image segmentation based on feedback mechanism Unet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant