CN113888555A - 基于注意机制的多模态脑肿瘤图像分割系统 - Google Patents

基于注意机制的多模态脑肿瘤图像分割系统 Download PDF

Info

Publication number
CN113888555A
CN113888555A CN202111026826.1A CN202111026826A CN113888555A CN 113888555 A CN113888555 A CN 113888555A CN 202111026826 A CN202111026826 A CN 202111026826A CN 113888555 A CN113888555 A CN 113888555A
Authority
CN
China
Prior art keywords
layer
attention
brain tumor
activation function
tumor image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111026826.1A
Other languages
English (en)
Other versions
CN113888555B (zh
Inventor
李登旺
田伟伟
黄浦
赵睿
王建波
朱慧
李婕
吴冰
柴象飞
章桦
洪亭轩
高祝敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111026826.1A priority Critical patent/CN113888555B/zh
Publication of CN113888555A publication Critical patent/CN113888555A/zh
Application granted granted Critical
Publication of CN113888555B publication Critical patent/CN113888555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于注意机制的多模态脑肿瘤图像分割系统，包括：获取模块，其被配置为：获取待处理的脑肿瘤图像；图像分割模块，其被配置为：采用训练后的基于注意力的多模态脑肿瘤图像分割模型，对待处理的脑肿瘤图像进行处理，得到脑肿瘤图像的分割结果；其中，所述基于注意力的多模态脑肿瘤图像分割模型，是对3D U‑Net卷积神经网络，添加注意力机制层得到的。本发明提升了网络分割MRI脑肿瘤的准确性。

Description

基于注意机制的多模态脑肿瘤图像分割系统
技术领域
本发明涉及医学图像处理技术领域，特别是涉及基于注意机制的多模态脑肿瘤图像分割系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
脑肿瘤严重威胁人类健康，是一种具有较高致死率的颅内肿瘤，根据组织学的异质性可以把脑肿瘤分为高级别胶质肿瘤(HGG)和低级别胶质肿瘤(LGG)，前者具有很强的侵略性。脑肿瘤可以划分为水肿区域、肿瘤核区域、增强肿瘤区域、非增强肿瘤区域以及坏死区域。但由于脑肿瘤的大小、形状以及位置的明显不同，使得对脑肿瘤组织类型的精确表征和定位在脑肿瘤诊断和治疗中起关键作用。核磁共振成像(MRI)能够以图像形式显示大脑内部的信息，并且具有非入侵和良好的软组织对比的特点，是医学工作者分析颅内肿瘤的有力工具，因此基于MRI的脑肿瘤分割研究成为热点。现代的核磁共振图像可以有效地区分上述区域：T1、T1c、T2以及FLAIR四种模态分别对肿瘤核区域、增强肿瘤和坏死区域、水肿以及整个肿瘤区域有所侧重。基于MRI图像的脑肿瘤分割对于早期诊断、治疗计划和治疗评估有非常重要的作用。在临床中产生的大量脑肿瘤MRI图像数据，医生手工注释和分割的方式工作繁琐，医生并不能及时手动注释和分割全部的图像数据，并且人工手动分割脑肿瘤具有很强的主观性，很大程度依赖于医生的个人经验。因此，一种高效、精准且自动的脑肿瘤分割方法成为研究重点，也成为分割技术的发展方向之一。
基于MRI图像的脑肿瘤传统分割方法主要有基于区域、基于边界、基于模糊聚类、基于图论、基于能量和基于机器学习等方法。基于区域的分割方法，是将图像按照相似性准则分成不同的区域。主要包括区域生长法、分水岭法等。该类方法适用于分割形状变化比较大的目标，但难以用于分割复杂结构。模糊聚类算法是一种基于函数最优化方法的聚类算法。其中模糊C-均值(Fuzzy C-means，FCM)算法应用最广泛且较成功。但聚类算法通常仅考虑每个像素点的独立信息而忽略像素点之间的空间信息，最后导致算法受噪声影响较大且很难对连续区域进行分割。
大量的研究工作致力于探索计算机中的准确分割方法以生成对脑肿瘤的可靠描述，但是这些传统的方法通常成本高昂且耗时，因为它们严重依赖于专家生成的各种手工图像特征，通过人的主观意识去理解图像，从而提取特定的特征信息，例如纹理特征和局部直方图等实现脑肿瘤的分割，结果只能针对特定的图像有比较好的分割结果，因而分割结果过于粗糙且分割效率较低。
机器学习的分割方法发展迅速，也在自动分割方面取得了成功。Bauer等采用支持向量机算法能够实现脑肿瘤的自动分割，但算法的空间和时间复杂度较高，分割效率过低。Wu等在条件随机场框架中使用超像素特征来分割脑肿瘤，但在不同的脑肿瘤患者病例中结果差异太大，特别是在低级别胶质瘤图像中表现更是不佳。Pinto等采用随机森林的方法来分类外观和上下文特征，总体上实现了0.83的分割准确率。
近年来，随着深度学习的发展和相关硬件性能的提升，基于深度学习的方法被应用于脑肿瘤分割，为自动分割提供了新的方向。目前常用的神经网络基础模型有FCNN模型、CNN模型U-Net模型。Chen等在FCNN的基础上引入多尺度感受野来进行准确的体素分类，该模型建立在密集连接块上，并利用分层体系结构来考虑不同类型的脑肿瘤，训练过程中使用块级的训练模式以缓解脑肿瘤图像类别不平衡问题。Chen等为了充分利用深层残差学习的强大能力，提出一个深度体素级残差网络，称为VoxResNet，该网络将二维深层残差扩展为三维，并融合了具有深度监督的多层次上下文信息，以进一步提高3D脑肿瘤图像的分割性能。Pereira等采用了层数较深的CNN结构，且模型中使用多个3×3小尺寸的卷积核来代替7×7和5×5的大卷积核以提高卷积网络的运算速度，加强脑肿瘤特征的提取，成功地将CNN应用于脑肿瘤分割领域并取得了惊人的结果，但分割精度不高。Ozgun等基于体素分割的用于生物医学图像分割的三维全卷积神经网络3D U-Net，虽然直接对三维图像数据进行处理，但是边缘分割结果并不理想。
发明内容
为了解决现有技术的不足，本发明提供了基于注意机制的多模态脑肿瘤图像分割系统；针对脑肿瘤图像数据集小、类别失衡严重等问题，提出一种基于注意机制的3D U-Net卷积神经网络，实现三维多模态脑肿瘤自动分割。
基于注意机制的多模态脑肿瘤图像分割系统，包括：
获取模块，其被配置为：获取待处理的脑肿瘤图像；
图像分割模块，其被配置为：采用训练后的基于注意力的多模态脑肿瘤图像分割模型，对待处理的脑肿瘤图像进行处理，得到脑肿瘤图像的分割结果；
其中，所述基于注意力的多模态脑肿瘤图像分割模型，是对3D U-Net卷积神经网络，添加注意力机制层得到的。
与现有技术相比，本发明的有益效果是：
由于脑肿瘤的大小、形状以及位置的明显不同，使得对脑肿瘤组织类型的精确表征和定位在脑肿瘤诊断和治疗中起关键作用。本发明针对脑肿瘤图像数据集小、类别失衡严重、现有算法分割精度低等问题，提出了一种基于注意机制的3D U-Net多模态脑肿瘤图像分割方法，相比较于传统的分割方法。其优势主要体现在：
1)创新性：本发明提出的基于注意机制的3D U-Net卷积神经网络可以直接对三维MRI图像进行处理，通过加入注意机制模块，赋予提取到的特征不同的权重值，使网络更加关注于特定的特征，比较于传统的网络只引入了很少的参数，且没有明显增加计算量。
2)准确性：本发明在短连接和解码路径之间加入注意机制，并且融合了患者的多模态图像信息，提升了网络分割MRI脑肿瘤的准确性，并且Dice得分也有显著提高。
3)实用性：本发明提出的基于注意机制的3D U-Net卷积神经网络是一种可以端到端训练的卷积神经网络，且可以直接处理三维图像数据，具有更高的实用性。
本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的模型架构图；
图2为第一个实施例的注意力机制架构图；
图3为第一个实施例的训练损失图；
图4为第一个实施例的流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
本发明将深度学习应用到医学图像处理领域，使用3D U-Net卷积神经网络作为基础，充分提取MRI图像肿瘤特征，结合图像肿瘤大小、位置、空间信息，以及融合患者多模态的图像特征信息，以实现精确的脑肿瘤图像定位和分割。通过在3D U-Net卷积神经网络的基础上加入注意机制模块，使网络更加关注特定的特征信息，以完成三维脑肿瘤核磁共振图像精确定位和分割，并在一定程度上解决了由于脑肿瘤图像数据集小、类别失衡严重而导致的分割精度低的问题。
基于注意机制的多模态脑肿瘤图像分割系统，包括：
获取模块，其被配置为：获取待处理的脑肿瘤图像；
图像分割模块，其被配置为：采用训练后的基于注意力的多模态脑肿瘤图像分割模型，对待处理的脑肿瘤图像进行处理，得到脑肿瘤图像的分割结果；
其中，所述基于注意力的多模态脑肿瘤图像分割模型，是对3D U-Net卷积神经网络，添加注意力机制层得到的。
进一步地，如图1所示，所述基于注意力的多模态脑肿瘤图像分割模型，其网络结构具体包括：编码路径和解码路径；
所述编码路径包括依次连接的第一分辨率级别、第二分辨率级别、第三分辨率级别和第四分辨率级别；
所述第一分辨率级别，包括：依次连接的卷积层a1、激活函数层j1、卷积层a2、激活函数层j2、最大池化层z1；
所述第二分辨率级别，包括：依次连接的卷积层a3、激活函数层j3、卷积层a4、激活函数层j4、最大池化层z2；其中，最大池化层z1与卷积层a3连接；
所述第三分辨率级别，包括：依次连接的卷积层a5、激活函数层j5、卷积层a6、激活函数层j6、最大池化层z3；其中，最大池化层z2与卷积层a5连接；
所述第四分辨率级别，包括：依次连接的卷积层a7、激活函数层j7、卷积层a8、激活函数层j8；其中，最大池化层z3与卷积层a7连接；
所述解码路径包括依次连接的第五分辨率级别、第六分辨率级别、第七分辨率级别和第八分辨率级别；
所述第五分辨率级别，包括：反卷积层f1和门控信号提取单元m1；所述反卷积层f1的输入端与激活函数层j8的输出端连接；门控信号提取单元m1的输入端与激活函数层j8的输出端连接；
所述第六分辨率级别，包括：依次连接的注意力机制层y1、卷积层a9、激活函数层j9、卷积层a10、激活函数层j10；激活函数层j10分别与门控信号提取单元m2和反卷积层f2连接；其中，注意力机制层y1的输入端与门控信号提取单元m1的输出端连接，注意力机制层y1的输入端与激活函数层j6的输出端连接；卷积层a9的输入端与反卷积层f1的输出端连接；
所述第七分辨率级别，包括：依次连接的注意力机制层y2、卷积层a11、激活函数层j11、卷积层a12、激活函数层j12；激活函数层j12分别与门控信号提取单元m3和反卷积层f3连接；其中，注意力机制层y2的输入端与门控信号提取单元m2的输出端连接，注意力机制层y2的输入端与激活函数层j4的输出端连接；卷积层a11的输入端与反卷积层f2的输出端连接；
所述第八分辨率级别，包括：依次连接的注意力机制层y3、卷积层a13、激活函数层j13、卷积层a14、激活函数层j14和卷积层a15；其中，注意力机制层y3的输入端与门控信号提取单元m3的输出端连接，注意力机制层y3的输入端与激活函数层j2的输出端连接；卷积层a13的输入端与反卷积层f3的输出端连接。
示例性的，编码路径每一层都包含两个卷积核大小为3×3×3的卷积层，在每个卷积层的后面都接一个ReLu激活函数，然后是最大池化层，卷积核大小都为2×2×2，步长都为2。为了避免瓶颈，在最大池化层之前已将通道数量加倍。
示例性的，解码路径每一层都包含两个卷积核大小为3×3×3的卷积层，在每个卷积层的后面都接一个ReLu激活函数，然后是上采样层。
示例性的：
激活函数层j2与注意力机制层y3之间通过短连接的形式进行连接；
激活函数层j4与注意力机制层y2之间通过短连接的形式进行连接；
激活函数层j6与注意力机制层y1之间通过短连接的形式进行连接；
通过短连接(shortcut)，将编码路径中相同分辨率的层传递到解码路径，为其提供原始的高分辨率特征，将编码路径中提取到的丰富的图像特征和解码路径中的图像特征相融合。最后一层为卷积核大小为1×1×1的卷积层，可以减少输出的通道数量，将最后的输出通道的数量减少到标签数量。
进一步地，所述注意力机制层y1、注意力机制层y2和注意力机制层y3的内部结构是一致的。
其中，如图2所示，注意力机制层y1的结构包括：
输入：对输入特征xl和门控信号g每一个空间位置通过卷积核大小1×1×1的卷积层进行线性变换得到长度相等的向量，然后通过加法器进行元素加，接着送入ReLU(σ1)激活函数进行非线性变换得到响应值向量，响应值向量再通过一个卷积核大小为1×1×1卷积层进行线性变换为标量,之后再送入Sigmoid(σ2)激活函数得到标量响应值,然后再进行一个网格重采样，是使用三线性插值完成的，得到注意系数α，输入特征xl和注意系数α再送入一个乘法器进行按位相乘，最后得到输出结果
Figure BDA0003243607730000081
进一步地，所述注意力机制层y1的工作原理包括：
输入特征(xl)使用在AG中计算的注意力系数(α)进行缩放。通过分析从粗尺度收集的门控信号(g)提供的激活和上下文信息来选择空间区域。
输入：对输入特征xl和门控信号g每一个空间位置通过卷积核大小1×1×1的卷积层进行线性变换得到长度相等的向量，然后通过加法器进行元素加，接着送入ReLU(σ1)激活函数进行非线性变换得到响应值向量，响应值向量再通过一个卷积核大小为1×1×1卷积层进行线性变换为标量,之后再送入Sigmoid(σ2)激活函数得到标量响应值,然后再进行一个网格重采样，是使用三线性插值完成的，得到注意系数α，输入特征xl和注意系数α再送入一个乘法器进行按位相乘，最后得到输出结果
Figure BDA0003243607730000091
示例性的，注意机制最先在自然语言处理领域得到普及，如机器翻译。注意机制是在计算能力有限的情况下，将计算资源分配给更重要的任务，在医学图像分割领域，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。通过引入注意机制，将模型更多的关注于具有特定特征的图像区域，可以提高计算效率和准确性。
在医学图像处理领域，Oktay等提出了一种用于医学图像处理的注意力(AttentionGate，AG)模型，能够通过自动学习的方式把注意力集中在各种形状和大小的目标结构上。加入注意机制的卷积神经网络模型可以突出显示特定的图像特征区域，并且抑制输入图像中不相关的区域。
注意系数αi∈[0,1]，用于识别具有特定特征的图像区域，并能够删减掉不需要的特征，并且只保留与特定任务相关的特征。AG输出的结果为输入特征图和注意系数按位相乘：
Figure BDA0003243607730000092
在默认设置中，对每个像素向量
Figure BDA0003243607730000093
来计算单个标量注意力值，其中Fl对应第l层中的特征图数量。在多语义类情况下，建议选择学习多维注意力系数，其中每个AG集中学习目标结构的一个子集。门控向量
Figure BDA0003243607730000094
对每个像素确定焦点注意区域。门控向量中包含上下文信息，以此来删减较低层次的特征图。使用叠加注意来计算注意系数，叠加注意定义如下：
Figure BDA0003243607730000095
Figure BDA0003243607730000096
其中
Figure BDA0003243607730000097
对应于S激活函数，
参数
Figure BDA0003243607730000105
包括：
线性变换
Figure BDA0003243607730000101
偏差项
Figure BDA0003243607730000102
和
Figure BDA0003243607730000103
线性变换是使用1x1x1卷积计算的，并且可以使用标准的反向传播更新来训练AG参数。
进一步地，通过把注意机制(AG)添加到3D U-Net架构中，将注意机制添加到解码路径同一分辨率层的短连接的后面，突出显示通过短连接传递的显著特征，从下一分辨率中提取的特征信息用作门控信号，以消除短连接中不必要的特征。
注意机制在拼接操作之前执行，这样只合并具有显著特征的区域。在训练过程中，AG在前向传播和后向传播期间都会过滤特征，这样来自背景区域的信息在传递过程中被削减，使得模型的参数大部分基于与给定目标任务相关的区域进行更新。
第l-1层的卷积参数的更新规则可以表述为：
Figure BDA0003243607730000104
虽然网络通过短连接可以更好的融合底层信息，加强了特征的传递，但是会重复提取相似的下一分辨率层的信息，造成计算资源和模型参数存在冗余。为了解决这个问题，我们的网络模型在解码路径添加注意力门(Attention Gate，AG)模块，注意力模块接在每个短连接的末端，对提取的特征实现注意机制。注意力机制如图2所示。
通过把下一分辨率层提取到的粗尺度信息作为门控信号，以删减通过短连接传递的不需要的图像特征信息，使每一分辨率层都能重点关注短连接传递的重要特征信息，把这个网络称为ATT_U-Net。
这样做并不会带来太多的计算开销，也不会增加太多的模型参数。
所有卷积层的非线性部分采用Leaky ReLu激活函数，特征图归一化方式采用实例归一化，损失函数是Dice和Cross-entropy损失之和，这种损失作用于水肿、坏死、增强肿瘤这三个级别的标签，并且在训练期间实时进行数据的增强，随机旋转、缩放，增强亮度等。
进一步地，所述训练后的基于注意力的多模态脑肿瘤图像分割模型；训练过程包括：
构建训练集；所述训练集为已知标签的脑肿瘤图像；
将训练集输入到基于注意力的多模态脑肿瘤图像分割模型中，对模型进行训练，当损失函数达到最小值时，停止训练，得到训练后的基于注意力的多模态脑肿瘤图像分割模型。
训练过程中，将患者的四种模态(Flair、T1、T1C和T2)的图像数据作为卷积神经网络的四个通道输入到网络模型中进行训练，通过融合患者的四种模态不同的图像特征信息，能够实现更加精确的分割。
测试分割结果，基于注意机制的3D U-Net卷积神经网络模型训练结束后，通过在测试集对经过训练的模型进行测试，并使用相应的评价指标对分割结果进行评估。
训练结束后，还需要在测试集上进行测试，模型的测试需要一定的评价指标，通过评价指标来评估分割结果，从而实现对模型的测试。
示例性的，所述构建训练集；具体包括：
使用的影像数据来自于BraTS 2017，BraTS是一个专门针对MRI脑肿瘤进行分割的数据集，其训练集包括210例高级别胶质瘤与75例低级别胶质瘤及对应的组织分割图像。图3为第一个实施例的训练损失图；图4为第一个实施例的流程图。
脑胶质瘤共分为以下4类：(1)坏死组织区域；(2)水肿区域；(3)未增强肿瘤区域；(4)增强肿瘤区域。
为了评估分割的优劣，4种不同的组织被组合成3个集合：(1)整个肿瘤，即所有类；(2)肿瘤核心区，由坏死组织、未增强肿瘤和增强肿瘤组成；(3)肿瘤增强区，仅由增强肿瘤组成。MRI数据均配准至相同的图像空间并去除头骨部分。每个图像的大小为240×240×155，分辨率重采样至1mm×1mm×1mm，且所有的图像标签均由1至4个专家手动分割。每位患者都进行了多参数MRI扫描，每个病例有四个模态(t1、t2、flair、t1ce)。
t1、t2是用于测量电磁波的物理量，他们可以作为成像的数据.根据t1来成像，就叫"t1加权成像"，临床工作中简称"t1"，t2同理。
t2信号跟水含量有关,许多病灶的t2信号要强于周围的正常组织,常呈高亮状态，因此从t2序列中可以清楚的看到病灶所处位置、大小。
flair全称是磁共振成像液体衰减反转序列，也称水抑制成像技术，它在t2中能抑制脑脊液的高信号(使脑脊液变暗)，从而让邻近脑脊液的病灶显示清楚(变亮)。
t1ce序列是在做MR之前往血液打造影剂(颜料)，亮的地方血供丰富,强化显示说明血流丰富,而肿瘤部位正是血流很快的部位,t1ce序列还能进一步显示肿瘤内情况，鉴别肿瘤与非肿瘤性病变(也就是坏疽部位)
将BraTS 2017数据集的训练集随机随机划分80％训练集和20％验证集，228例训练集和57例验证集。对于训练集我们使用5-fold交叉验证，
进一步地，所述采用训练后的基于注意力的多模态脑肿瘤图像分割模型，对待处理的脑肿瘤图像进行处理，得到脑肿瘤图像的分割结果；具体包括：
编码路径通过对输入图像的抽象表示进行编码来提取图像特征，随着网络的深入，提取的特征越来越丰富，并且通过获取上下文信息(当前像素与周边像素之间的关系)来分析整个图像；解码路径通过结合编码路径中获取到的特征来定位感兴趣目标，以产生全分辨率分割输出。
进一步的，所述构建训练集之后，所述将训练集输入到基于注意力的多模态脑肿瘤图像分割模型中之前还包括：
对三维脑肿瘤MRI图像数据，采用N4ITK算法进行去偏置场效应处理；
对去偏置场效应处理后图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理。
MRI图像会存在偏置场伪影，因此在对MRI图像进行分割之前，需要对图像进行预处理来去除图像中的伪影，本发明对三维数据进行N4ITK算法的去偏置场效应处理，加强脑肿瘤部分的灰度对比度，提高算法对脑肿瘤特征的提取与识别。对于每个病人的每个模态的脑部区域进行归一化，通过减去平均值并除以标准差来归一化每个图像的脑体素。非脑区域保持为0。Crop对图像背景进行裁剪，BraTS 2017数据集，背景有一部分是全黑的(灰度值为0)，这部分没有信息含量，裁掉后不影响后续的学习过程，反而能显著减小图像大小，减少计算量。将患者的预处理后的四种模态数据当作四个通道输入到网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于注意机制的多模态脑肿瘤图像分割系统，其特征是，包括：
获取模块，其被配置为：获取待处理的脑肿瘤图像；
图像分割模块，其被配置为：采用训练后的基于注意力的多模态脑肿瘤图像分割模型，对待处理的脑肿瘤图像进行处理，得到脑肿瘤图像的分割结果；
其中，所述基于注意力的多模态脑肿瘤图像分割模型，是对3D U-Net卷积神经网络，添加注意力机制层得到的。
2.如权利要求1所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，所述基于注意力的多模态脑肿瘤图像分割模型，其网络结构具体包括：编码路径和解码路径。
3.如权利要求2所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，所述编码路径包括依次连接的第一分辨率级别、第二分辨率级别、第三分辨率级别和第四分辨率级别；
所述第一分辨率级别，包括：依次连接的卷积层a1、激活函数层j1、卷积层a2、激活函数层j2、最大池化层z1；
所述第二分辨率级别，包括：依次连接的卷积层a3、激活函数层j3、卷积层a4、激活函数层j4、最大池化层z2；其中，最大池化层z1与卷积层a3连接；
所述第三分辨率级别，包括：依次连接的卷积层a5、激活函数层j5、卷积层a6、激活函数层j6、最大池化层z3；其中，最大池化层z2与卷积层a5连接；
所述第四分辨率级别，包括：依次连接的卷积层a7、激活函数层j7、卷积层a8、激活函数层j8；其中，最大池化层z3与卷积层a7连接。
4.如权利要求3所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，所述解码路径包括依次连接的第五分辨率级别、第六分辨率级别、第七分辨率级别和第八分辨率级别；
所述第五分辨率级别，包括：反卷积层f1和门控信号提取单元m1；所述反卷积层f1的输入端与激活函数层j8的输出端连接；门控信号提取单元m1的输入端与激活函数层j8的输出端连接；
所述第六分辨率级别，包括：依次连接的注意力机制层y1、卷积层a9、激活函数层j9、卷积层a10、激活函数层j10；激活函数层j10分别与门控信号提取单元m2和反卷积层f2连接；其中，注意力机制层y1的输入端与门控信号提取单元m1的输出端连接，注意力机制层y1的输入端与激活函数层j6的输出端连接；卷积层a9的输入端与反卷积层f1的输出端连接；
所述第七分辨率级别，包括：依次连接的注意力机制层y2、卷积层a11、激活函数层j11、卷积层a12、激活函数层j12；激活函数层j12分别与门控信号提取单元m3和反卷积层f3连接；其中，注意力机制层y2的输入端与门控信号提取单元m2的输出端连接，注意力机制层y2的输入端与激活函数层j4的输出端连接；卷积层a11的输入端与反卷积层f2的输出端连接；
所述第八分辨率级别，包括：依次连接的注意力机制层y3、卷积层a13、激活函数层j13、卷积层a14、激活函数层j14和卷积层a15；其中，注意力机制层y3的输入端与门控信号提取单元m3的输出端连接，注意力机制层y3的输入端与激活函数层j2的输出端连接；卷积层a13的输入端与反卷积层f3的输出端连接。
5.如权利要求4所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，激活函数层j2与注意力机制层y3之间通过短连接的形式进行连接；
激活函数层j4与注意力机制层y2之间通过短连接的形式进行连接；
激活函数层j6与注意力机制层y1之间通过短连接的形式进行连接；
通过短连接，将编码路径中相同分辨率的层传递到解码路径，为其提供原始的高分辨率特征，将编码路径中提取到的丰富的图像特征和解码路径中的图像特征相融合。
6.如权利要求4所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，注意力机制层y1的结构包括：
输入：对输入特征xl和门控信号g每一个空间位置通过卷积核大小1×1×1的卷积层进行线性变换得到长度相等的向量，然后通过加法器进行元素加，接着送入激活函数进行非线性变换得到响应值向量，响应值向量再通过一个卷积核大小为1×1×1卷积层进行线性变换为标量,之后再送入激活函数得到标量响应值,然后再进行一个网格重采样，是使用三线性插值完成的，得到注意系数α，输入特征xl和注意系数α再送入一个乘法器进行按位相乘，最后得到输出结果
Figure FDA0003243607720000031
7.如权利要求1所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，所述训练后的基于注意力的多模态脑肿瘤图像分割模型；训练过程包括：
构建训练集；所述训练集为已知标签的脑肿瘤图像；
将训练集输入到基于注意力的多模态脑肿瘤图像分割模型中，对模型进行训练，当损失函数达到最小值时，停止训练，得到训练后的基于注意力的多模态脑肿瘤图像分割模型；
训练过程中，将患者的四种模态的图像数据作为卷积神经网络的四个通道输入到网络模型中进行训练，通过融合患者的四种模态不同的图像特征信息，能够实现更加精确的分割。
8.如权利要求1所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，所述采用训练后的基于注意力的多模态脑肿瘤图像分割模型，对待处理的脑肿瘤图像进行处理，得到脑肿瘤图像的分割结果；具体包括：
编码路径通过对输入图像的抽象表示进行编码来提取图像特征，随着网络的深入，提取的特征越来越丰富，并且通过获取上下文信息来分析整个图像；解码路径通过结合编码路径中获取到的特征来定位感兴趣目标，以产生全分辨率分割输出。
9.如权利要求7所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，所述构建训练集之后，所述将训练集输入到基于注意力的多模态脑肿瘤图像分割模型中之前还包括：
对三维脑肿瘤MRI图像数据，采用N4ITK算法进行去偏置场效应处理；
对去偏置场效应处理后图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理。
10.如权利要求7所述的基于注意机制的多模态脑肿瘤图像分割系统，其特征是，测试分割结果，基于注意机制的3D U-Net卷积神经网络模型训练结束后，通过在测试集对经过训练的模型进行测试，并使用相应的评价指标对分割结果进行评估。
CN202111026826.1A 2021-09-02 2021-09-02 基于注意机制的多模态脑肿瘤图像分割系统 Active CN113888555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026826.1A CN113888555B (zh) 2021-09-02 2021-09-02 基于注意机制的多模态脑肿瘤图像分割系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026826.1A CN113888555B (zh) 2021-09-02 2021-09-02 基于注意机制的多模态脑肿瘤图像分割系统

Publications (2)

Publication Number Publication Date
CN113888555A true CN113888555A (zh) 2022-01-04
CN113888555B CN113888555B (zh) 2024-07-09

Family

ID=79012157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026826.1A Active CN113888555B (zh) 2021-09-02 2021-09-02 基于注意机制的多模态脑肿瘤图像分割系统

Country Status (1)

Country Link
CN (1) CN113888555B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581662A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN115312198A (zh) * 2022-06-29 2022-11-08 河南省人民医院 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
CN116912820A (zh) * 2023-09-13 2023-10-20 青岛君盛食品股份有限公司 一种婴幼儿食品安全视觉检测方法
CN117635952A (zh) * 2024-01-25 2024-03-01 英瑞云医疗科技(烟台)有限公司 一种多模态脑瘤图像分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN111612754A (zh) * 2020-05-15 2020-09-01 复旦大学附属华山医院 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112365496A (zh) * 2020-12-02 2021-02-12 中北大学 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN111612754A (zh) * 2020-05-15 2020-09-01 复旦大学附属华山医院 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112365496A (zh) * 2020-12-02 2021-02-12 中北大学 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴冰;魏建;刘艳昌;李慧;: "粗糙集神经网络在图像分割中的应用", 河南理工大学学报(自然科学版), no. 05, 15 October 2007 (2007-10-15) *
邢波涛;李锵;关欣;: "改进的全卷积神经网络的脑肿瘤图像分割", 信号处理, no. 08, 25 August 2018 (2018-08-25) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581662A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN114581662B (zh) * 2022-02-17 2024-04-09 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN115312198A (zh) * 2022-06-29 2022-11-08 河南省人民医院 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
CN115312198B (zh) * 2022-06-29 2023-09-19 河南省人民医院 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
CN116912820A (zh) * 2023-09-13 2023-10-20 青岛君盛食品股份有限公司 一种婴幼儿食品安全视觉检测方法
CN116912820B (zh) * 2023-09-13 2023-12-12 青岛君盛食品股份有限公司 一种婴幼儿食品安全视觉检测方法
CN117635952A (zh) * 2024-01-25 2024-03-01 英瑞云医疗科技(烟台)有限公司 一种多模态脑瘤图像分割方法

Also Published As

Publication number Publication date
CN113888555B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
Lei et al. Ultrasound prostate segmentation based on multidirectional deeply supervised V‐Net
Li et al. Brain tumor detection based on multimodal information fusion and convolutional neural network
Montaha et al. Timedistributed-cnn-lstm: A hybrid approach combining cnn and lstm to classify brain tumor on 3d mri scans performing ablation study
CN113888555B (zh) 基于注意机制的多模态脑肿瘤图像分割系统
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
Lei et al. Brain tumor segmentation in MR images using a sparse constrained level set algorithm
CN110910405B (zh) 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
Cinar et al. A hybrid DenseNet121-UNet model for brain tumor segmentation from MR Images
Albishri et al. CU-Net: Cascaded U-Net model for automated liver and lesion segmentation and summarization
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
Ni et al. Segmentation of ultrasound image sequences by combing a novel deep siamese network with a deformable contour model
Mooij et al. Automatic segmentation of prostate zones
Yuan et al. ResD-Unet research and application for pulmonary artery segmentation
Wang et al. DPBET: A dual-path lung nodules segmentation model based on boundary enhancement and hybrid transformer
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Chen et al. Breast ultrasound image classification and physiological assessment based on GoogLeNet
Bi et al. Classification of low-grade and high-grade glioma using multiparametric radiomics model
Seshadri Ramana et al. Deep convolution neural networks learned image classification for early cancer detection using lightweight
Jia et al. Directional fast-marching and multi-model strategy to extract coronary artery centerlines
Thiruvenkadam et al. Fully automatic brain tumor extraction and tissue segmentation from multimodal MRI brain images
Bhadani et al. Fuzzy volumetric delineation of brain tumor and survival prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant