CN114581662A - 一种脑肿瘤图像的分割方法、系统、装置及存储介质 - Google Patents
一种脑肿瘤图像的分割方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN114581662A CN114581662A CN202210147766.7A CN202210147766A CN114581662A CN 114581662 A CN114581662 A CN 114581662A CN 202210147766 A CN202210147766 A CN 202210147766A CN 114581662 A CN114581662 A CN 114581662A
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- brain tumor
- attention
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 230000004931 aggregating effect Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000003321 amplification Effects 0.000 claims abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 30
- 238000010606 normalization Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 210000004556 brain Anatomy 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 206010018338 Glioma Diseases 0.000 description 3
- 208000029824 high grade glioma Diseases 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 201000011614 malignant glioma Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 208000030173 low grade glioma Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000001130 astrocyte Anatomy 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 208000030266 primary brain neoplasm Diseases 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种脑肿瘤图像的分割方法、系统、装置及存储介质，其中方法包括：对脑肿瘤图像及标签进行预处理和数据扩增；对脑肿瘤图像进行卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合；将特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；将特征和最大层级特征图进行聚合，得到最终的语义分割结果。本发明基于多尺度通道注意力机制，提取特征和进行特征融合，采用特征金字塔和期望最大化注意力机制来提取全局上下文信息，提高语义分割的精度，可广泛应用于计算机视觉及图像处理领域。
Description
技术领域
本发明涉及计算机视觉及图像处理领域，尤其涉及一种脑肿瘤图像的分割方法、系统、装置及存储介质。
背景技术
脑肿瘤是由于不可控因素导致细胞癌变增生而引起的一种异常组织，根据其起源可以分为原发性脑肿瘤和继发性脑肿瘤，原发性脑肿瘤起源于脑细胞，而继发性脑肿瘤是从别的器官，远隔器官或者邻近组织生长的肿瘤扩散而来的。胶质细胞瘤是最常见的原发性脑部肿瘤之一，起源于形成大脑结构主干的星形胶质细胞。基于肿瘤的表现，胶质细胞瘤可以分为四个类别I-IV，I和II属于低级别胶质瘤(Low-Grade-Gliomas,LGG)，III和IV属于高级别胶质瘤(High-Grade-Gliomas,HGG)。据统计，大部分患有高级胶质瘤的患者会在一年内死去，所以胶质瘤的早期诊断与治疗是非常关键的。而核磁共振成像(MagneticResonance Imaging，MRI)技术作为一种对人体基本没有任何伤害的非侵入式的体内成像技术，对软组织具有良好的分辨力，广泛应用于临床诊断。因此将脑部核磁共振图像中的脑肿瘤各区域分割出来，判断水肿、增强、坏死等区域的确切位置，对于术前计划和术后观察起到很重要的作用。
传统的脑肿瘤分割方法是由放射学专家根据解剖学与病理学知识，借助特定的软件进行人工分割，这种方法需要极强的领域知识，耗时耗力，标注的正确率因人而异，存在不稳定性。因此计算机辅助诊断(Computer-aided diagnosis,CAD)的出现可以有效地缓解医生的工作压力，通过计算机视觉技术可以准确的找到脑肿瘤MRI图像中的病灶区域，并将分割结果直观的可视化给医生，提供治疗方案的建议。
随着计算机硬件特别是GPU的发展及大数据时代的到来，基于人工智能和深度学习方法的现代计算机视觉技术在过去十年里发生了巨大的变化，被广泛应用于图像分类、目标检测、人脸识别、语义分割、视频分析和分类等等。比如Olaf Ronneberger于2015年提出的UNet在医学图像领域表现出了相当不错的性能。此外，在脑肿瘤图像分割领域也有许多研究，其中不乏使用注意力机制的网络，然而使用原始空间自注意力机制对于三维数据来说参数和计算复杂度都极大，因此需要轻型空间自注意力机制来减少参数和计算量。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于多尺度通道注意力和期望最大化自注意力的脑肿瘤图像分割方法、系统、装置及存储介质。
本发明所采用的技术方案是：
一种脑肿瘤图像的分割方法，包括以下步骤：
步骤1、对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；
步骤2、对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；其中，步骤2由编码器模块来实现；
步骤3、对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；其中，步骤3由解码器模块来实现；
步骤4、将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；
步骤5、将步骤4中输出的特征和解码器模块中输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。
进一步地，所述多模态为四个模态，步骤1中对脑肿瘤图像及标签进行预处理的步骤，包括：
对每个模态核磁共振成像的脑肿瘤图像中的非零像素区域减去均值并除以标准差，得到0均值单位方差的图像；
对四个模态的脑肿瘤图像和标签进行最小脑部区域裁剪，以包含整个脑部区域的同时尽可能去除背景；
其中，数据扩增包括添加高斯噪声、随机亮度变换或者随机镜像反转中至少一种。
进一步地，步骤2中的编码器模块包含一系列多尺度通道注意力残差模块和下采样卷积模块，其中多尺度通道注意力残差模块包含两个3×3×3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；
多尺度通道注意力层包含一个全局平均池化层、四个1×1×1卷积层、四个组归一化层和两个ReLu激活层。
进一步地，多尺度通道注意力层中计算过程的表达式如下：
L(X)＝GN(PWConv2(δ(GN(PWConv1(x))))) (1)
G(X)＝GN(PWConv2(δ(GN(PWConv1(GlbAvg(X)))))) (2)
其中，L(X)和G(X)分别表示局部注意力特征和全局注意力特征，PWConv表示逐点卷积，GN表示组归一化，δ表示非线性激活函数ReLu，GlbAvg表示全局平均池化；X和X′分别表示输入特征和输出特征，F(X)是多尺度注意力特征权值，σ表示非线性激活函数Sigmoid，
表示逐元素相乘。
进一步地，步骤3中的解码器模块包括注意力特征融合模块、多尺度通道注意力残差模块和上采样模块；
其中，多尺度通道注意力残差模块包含两个3×3×3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；多尺度通道注意力层包含一个全局平均池化层、四个1×1×1卷积层、四个组归一化层和两个ReLu激活层；
上采样模块包含一个降通道卷积和一个转置卷积；
注意力特征融合模块用于利用多尺度通道注意力层来融合跨层的语义不一致的特征；注意力特征融合模块中计算过程的表达式如下：
其中X，Y表示要进行特征融合的特征，Z表示输出特征，F(X+Y)表示多尺度注意力特征权值，
表示逐元素相乘。
进一步地，步骤4中的特征金字塔融合模块包括两个卷积层和两个三线性插值层，用于将编码器模块中不同尺寸的编码器特征进行融合，以方便期望最大化自注意力模块更好的提取上下文信息；
其中，期望最大化自注意力模块包含一系列卷积层和矩阵乘法操作，用于挖掘全局上下文信息。
进一步地，所述期望最大化自注意力模块中计算过程的表达式如下：
residual＝X (5)
X″＝PWConv1(X) (6)
At＝sfm(X″T(μt-1)) (7)
Xr＝μAT (9)
X′＝δ(residual+GN(PWConv2(δ(Xr)))) (10)
其中，X∈RC×D×H×W和X′∈RC×D×H×W表示输入特征和输出特征，PWConv表示逐点卷积，X″∈RCl×D×H×W表示经过通道压缩后的特征，A∈RD×H×W×K表示用于重构输入的潜变量，Ank表示在位置n的第k通道上的注意力向量，μ∈RCl×K表示重构基，是一个可学习的参数，μk表示第k个重构基向量，sfm表示非线性激活函数softmax，l2表示L2归一化，t表示第t次迭代，Xr表示重构特征，residual表示跳跃连接，GN表示组归一化，δ表示非线性激活函数ReLu；RC×D×H×W、RCl×D×H×W、RD×H×W×K和RCl×K分别表示不同的的特征维度，C、Cl表示特征通道数，D、H、W表示特征的深度，长度和宽度，K表示重构基向量的个数。
本发明所采用的另一技术方案是：
一种脑肿瘤图像的分割系统，包括：
数据预处理模块，用于对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；
编码器模块，用于对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；
解码器模块，用于对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；
特征融合模块，用于将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；
语义分割模块，用于将特征融合模块输出的特征和解码器模块输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。
本发明所采用的另一技术方案是：
一种脑肿瘤图像的分割装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明基于多尺度通道注意力机制，来提取对分割有利的特征和进行长距离语义不一致特征的融合，此外采用特征金字塔和期望最大化注意力机制来提取全局上下文信息，从而能够提高语义分割的精度。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中的基于多尺度通道注意力和期望最大化自注意力的分割网络图；
图2是本发明实施例中的多尺度通道注意力层图；
图3是本发明实施例中的多尺度通道注意力残差模块图；
图4是本发明实施例中的多尺度通道注意力特征融合模块图；
图5是本发明实施例中的期望最大化自注意力模块图；
图6是普通的残差模块图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种基于多尺度通道注意力和期望最大化自注意力的脑肿瘤图像分割方法，包括以下步骤：
S1、对输入的多模态MRI脑肿瘤图像及标签进行预处理和数据扩增。具体为对输入的每个模态MRI脑肿瘤图像中的非零像素区域减去均值并除以标准差，得到零均值单位方差的图像。然后对四个模态MRI图像和标签进行最小脑部区域裁剪，以包含整个脑部区域的同时尽可能地去除背景。数据扩增包括添加高斯噪声、随机亮度变换以及随机镜像反转。最后，训练时输入的MRI图像和标签会被随机裁剪到128×128×128的尺寸，测试时保证输入测试图像每个维度的长度整除16。
S2、将经过步骤S1处理的脑肿瘤图像进行连续的卷积及下采样从而提取图像中丰富的上下文语义信息，这一步骤称为编码器模块。如图1中所示，编码器模块主要包含了一系列多尺度通道注意力残差模块和下采样卷积模块。多尺度通道注意力残差模块如图3所示，包含两个3×3×3卷积层、两个组归一化层、两个Relu激活层以及一个多尺度通道注意力层；其中，普通的残差模块图如图6所示。多尺度通道注意力层如图2所示，包含一个全局平均池化层、四个1×1×1卷积层、四个组归一化层和两个Relu激活层，其计算过程的表达式如下：
L(X)＝GN(PWConv2(δ(GN(PWConv1(X))))) (1)
G(X)＝GN(PWConv2(δ(GN(PWConv1(GlbAvg(X)))))) (2)
其中L(X)和G(X)分别表示局部(逐像素)注意力特征和全局注意力特征，PWConv表示逐点卷积，GN表示组归一化，δ表示非线性激活函数ReLu，GlbAvg表示全局平均池化。X和X′分别表示输入和输出特征，F(X)是多尺度注意力特征权值，σ表示非线性激活函数Sigmoid，
表示逐元素相乘。
S3、将步骤S2中最终生成的具有丰富语义信息的特征图进行上采样并与同一层级编码器中的特征进行特征融合，然后经过一系列卷积，连续进行上述操作，即可得到与输入图像尺度一样的特征图，这一步骤称为解码器模块。如图1中所示，解码器模块主要包括注意力特征融合模块、多尺度通道注意力残差模块和上采样模块。其中多尺度通道注意力残差模块和步骤S2中所述一致，上采样模块包含一个降通道卷积和一个转置卷积。注意力特征融合模块如图4所示，其利用多尺度通道注意力层来融合跨层的语义不一致的特征，计算过程的表达式如下：
其中X，Y表示要进行特征融合的特征，Z表示输出特征，F(X+Y)表示多尺度注意力特征权值，
表示逐元素相乘。
S4、将步骤S3中解码器模块每一层级(除最大尺度层级)生成的特征图通过特征金字塔模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息，其中特征金字塔融合模块包括两个1×1×1卷积层和两个三线性插值层。期望最大化自注意力模块如图5所示，包含一系列卷积层和矩阵乘法操作，用以挖掘全局上下文信息，计算过程的表达式如下：
residual＝X (5)
X″＝PWConv1(X) (6)
At＝sfm(X″T(μt-1)) (7)
Xr＝μAT (9)
X′＝δ(residual+GN(PWConv2(δ(Xr)))) (10)
其中X∈RC×D×H×W和X′∈RC×D×H×W表示输入和输出特征，PWConv表示逐点卷积，X″∈RCl×D×H×W表示经过通道压缩后的特征，A∈RD×H×W×K表示用于重构输入的潜变量(也可认为是空间自注意力权值)，Ank表示在位置n的第k通道上的注意力向量，μ∈RCl×K表示重构基，是一个可学习的参数，μk表示第k个重构基向量，sfm表示非线性激活函数softmax，l2表示L2归一化，t表示第t次迭代，Xr表示重构特征，GN表示组归一化，δ表示非线性激活函数ReLu。
S5、将步骤S4中输出的特征和步骤S3中解码器模块输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果。
本实施例在训练阶段使用有标签的多模态脑肿瘤图像进行5折交叉训练，将Dice损失和交叉熵损失的加权和作为损失函数，使用Adam优化器更新网络参数，使用多项式下降学习率策略，训练迭代300个epoch，每2次对模型在验证集上进行测试，并保存验证集损失最低的模型。测试阶段将无标签数据经过预处理后直接输入训练阶段保存的5个最优模型进行测试，并对测试结果进行平均，最后输出最终的脑肿瘤分割结果。
综上所述，本发明实施例相对于现有技术具有如下的优点及效果：
本发明实施例通过采用多尺度通道注意力残差模块既可以通过对提取的特征进行通道加权从而有选择的增强对分割有利的信息，削弱对分割无益的信息，也可通过残差连接缓解梯度消失。此外，通过采用多尺度通道注意力特征融合模块可以很好地长距离语义特征不一致的信息，从而将编码器和解码器同一层级的分别具有丰富空间信息和语义信息的特征很好地融合到一起。最后，还通过采用期望最大化自注意力模块以少量的模型参数和计算复杂度为代价来学习丰富的全局上下文信息。
本实施例还提供一种脑肿瘤图像的分割系统，包括：
数据预处理模块，用于对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；
编码器模块，用于对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；
解码器模块，用于对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；
特征融合模块，用于将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；
语义分割模块，用于将特征融合模块输出的特征和解码器模块输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。
本实施例的一种脑肿瘤图像的分割系统，可执行本发明方法实施例所提供的一种脑肿瘤图像的分割方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种脑肿瘤图像的分割装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本实施例的一种脑肿瘤图像的分割系统，可执行本发明方法实施例所提供的一种脑肿瘤图像的分割方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种脑肿瘤图像的分割方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种脑肿瘤图像的分割方法，其特征在于，包括以下步骤：
步骤1、对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；
步骤2、对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；其中，步骤2由编码器模块来实现；
步骤3、对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；其中，步骤3由解码器模块来实现；
步骤4、将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；
步骤5、将步骤4中输出的特征和解码器模块中输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。
2.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，所述多模态为四个模态，步骤1中对脑肿瘤图像及标签进行预处理的步骤，包括：
对每个模态核磁共振成像的脑肿瘤图像中的非零像素区域减去均值并除以标准差，得到0均值单位方差的图像；
对四个模态的脑肿瘤图像和标签进行最小脑部区域裁剪，以包含整个脑部区域的同时尽可能去除背景；
其中，数据扩增包括添加高斯噪声、随机亮度变换或者随机镜像反转中至少一种。
3.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，步骤2中的编码器模块包含一系列多尺度通道注意力残差模块和下采样卷积模块，其中多尺度通道注意力残差模块包含两个3×3×3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；
多尺度通道注意力层包含一个全局平均池化层、四个1×1×1卷积层、四个组归一化层和两个ReLu激活层。
4.根据权利要求3所述的一种脑肿瘤图像的分割方法，其特征在于，多尺度通道注意力层中计算过程的表达式如下：
L(X)＝GN(PWConv2(δ(GN(PWConv1(X))))) (1)
G(X)＝GN(PWConv2(δ(GN(PWConv1(GlbAvg(X)))))) (2)
其中，L(X)和G(X)分别表示局部注意力特征和全局注意力特征，PWConv表示逐点卷积，GN表示组归一化，δ表示非线性激活函数ReLu，GlbAvg表示全局平均池化；X和X′分别表示输入特征和输出特征，F(X)是多尺度注意力特征权值，σ表示非线性激活函数Sigmoid，
表示逐元素相乘。
5.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，步骤3中的解码器模块包括注意力特征融合模块、多尺度通道注意力残差模块和上采样模块；
其中，多尺度通道注意力残差模块包含两个3×3×3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；多尺度通道注意力层包含一个全局平均池化层、四个1×1×1卷积层、四个组归一化层和两个ReLu激活层；
上采样模块包含一个降通道卷积和一个转置卷积；
注意力特征融合模块用于利用多尺度通道注意力层来融合跨层的语义不一致的特征；注意力特征融合模块中计算过程的表达式如下：
其中X,Y表示要进行特征融合的特征，Z表示输出特征，F(X+Y)表示多尺度注意力特征权值，
表示逐元素相乘。
6.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，步骤4中的特征金字塔融合模块包括两个卷积层和两个三线性插值层，用于将编码器模块中不同尺寸的编码器特征进行融合，以方便期望最大化自注意力模块更好的提取上下文信息；
其中，期望最大化自注意力模块包含一系列卷积层和矩阵乘法操作，用于挖掘全局上下文信息。
7.根据权利要求6所述的一种脑肿瘤图像的分割方法，其特征在于，所述期望最大化自注意力模块中计算过程的表达式如下：
residual＝X (5)
X″＝PWConv1(X) (6)
At＝sfm(X″T(μt-1)) (7)
Xr＝μAT (9)
X′＝δ(residual+GN(PWConv2(δ(Xr)))) (10)
其中，X和X′表示输入特征和输出特征，PWConv表示逐点卷积，X″表示经过通道压缩后的特征，A表示用于重构输入的潜变量，Ank表示在位置n的第k通道上的注意力向量，μ表示重构基，是一个可学习的参数，μk表示第k个重构基向量，sfm表示非线性激活函数softmax，l2表示L2归一化，t表示第t次迭代，Xr表示重构特征，residual表示跳跃连接，GN表示组归一化，δ表示非线性激活函数ReLu。
8.一种脑肿瘤图像的分割系统，其特征在于，包括：
数据预处理模块，用于对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；
编码器模块，用于对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；
解码器模块，用于对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；
特征融合模块，用于将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；
语义分割模块，用于将特征融合模块输出的特征和解码器模块输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。
9.一种脑肿瘤图像的分割装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210147766.7A CN114581662B (zh) | 2022-02-17 | 2022-02-17 | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210147766.7A CN114581662B (zh) | 2022-02-17 | 2022-02-17 | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581662A true CN114581662A (zh) | 2022-06-03 |
| CN114581662B CN114581662B (zh) | 2024-04-09 |
Family
ID=81774096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210147766.7A Active CN114581662B (zh) | 2022-02-17 | 2022-02-17 | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581662B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147606A (zh) * | 2022-08-01 | 2022-10-04 | 深圳技术大学 | 医学图像的分割方法、装置、计算机设备和存储介质 |
| CN115330808A (zh) * | 2022-07-18 | 2022-11-11 | 广州医科大学 | 一种分割引导的磁共振图像脊柱关键参数自动测量方法 |
| CN115439470A (zh) * | 2022-10-14 | 2022-12-06 | 深圳职业技术学院 | 息肉图像分割方法、计算机可读存储介质及计算机设备 |
| CN116563265A (zh) * | 2023-05-23 | 2023-08-08 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
| CN116630628A (zh) * | 2023-07-17 | 2023-08-22 | 四川大学 | 一种主动脉瓣钙化分割方法、系统、设备及存储介质 |
| CN117152121A (zh) * | 2023-09-25 | 2023-12-01 | 上海卓昕医疗科技有限公司 | 医学影像的配准方法、装置、电子设备和介质 |
| WO2024011835A1 (zh) * | 2022-07-15 | 2024-01-18 | 深圳先进技术研究院 | 一种图像处理方法、装置、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割系统 |
-
2022
- 2022-02-17 CN CN202210147766.7A patent/CN114581662B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024011835A1 (zh) * | 2022-07-15 | 2024-01-18 | 深圳先进技术研究院 | 一种图像处理方法、装置、设备及可读存储介质 |
| CN115330808A (zh) * | 2022-07-18 | 2022-11-11 | 广州医科大学 | 一种分割引导的磁共振图像脊柱关键参数自动测量方法 |
| CN115147606A (zh) * | 2022-08-01 | 2022-10-04 | 深圳技术大学 | 医学图像的分割方法、装置、计算机设备和存储介质 |
| CN115147606B (zh) * | 2022-08-01 | 2024-05-14 | 深圳技术大学 | 医学图像的分割方法、装置、计算机设备和存储介质 |
| CN115439470A (zh) * | 2022-10-14 | 2022-12-06 | 深圳职业技术学院 | 息肉图像分割方法、计算机可读存储介质及计算机设备 |
| CN115439470B (zh) * | 2022-10-14 | 2023-05-26 | 深圳职业技术学院 | 息肉图像分割方法、计算机可读存储介质及计算机设备 |
| CN116563265A (zh) * | 2023-05-23 | 2023-08-08 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
| CN116563265B (zh) * | 2023-05-23 | 2024-03-01 | 山东省人工智能研究院 | 基于多尺度注意力和自适应特征融合的心脏mri分割方法 |
| CN116630628A (zh) * | 2023-07-17 | 2023-08-22 | 四川大学 | 一种主动脉瓣钙化分割方法、系统、设备及存储介质 |
| CN116630628B (zh) * | 2023-07-17 | 2023-10-03 | 四川大学 | 一种主动脉瓣钙化分割方法、系统、设备及存储介质 |
| CN117152121A (zh) * | 2023-09-25 | 2023-12-01 | 上海卓昕医疗科技有限公司 | 医学影像的配准方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581662B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114581662A (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| Shin et al. | Deep vessel segmentation by learning graphical connectivity | |
| Mahapatra et al. | Image super-resolution using progressive generative adversarial networks for medical image analysis | |
| CN109886986B (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| US11055851B2 (en) | Multi-class image segmentation method | |
| Lee et al. | Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| CN111476793B (zh) | 动态增强磁共振成像处理方法、系统、存储介质、终端 | |
| CN115170582A (zh) | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| Essa et al. | Neuro-fuzzy patch-wise R-CNN for multiple sclerosis segmentation | |
| CN114581628B (zh) | 大脑皮层表面重建方法和可读存储介质 | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| CN112233132A (zh) | 一种基于无监督学习的脑磁共振图像分割方法及装置 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| Ghosal et al. | MhURI: a supervised segmentation approach to leverage salient brain tissues in magnetic resonance images | |
| Meng et al. | Enhancing medical image registration via appearance adjustment networks | |
| Feng et al. | A deep learning based multiscale approach to segment the areas of interest in whole slide images | |
| CN113269774B (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
| Georgiev et al. | Automatic segmentation of lumbar spine MRI using ensemble of 2D algorithms | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| Martins et al. | A multi-object statistical atlas adaptive for deformable registration errors in anomalous medical image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |