CN113724266B - 胶质瘤分割方法及系统 - Google Patents

胶质瘤分割方法及系统 Download PDF

Info

Publication number
CN113724266B
CN113724266B CN202110843725.7A CN202110843725A CN113724266B CN 113724266 B CN113724266 B CN 113724266B CN 202110843725 A CN202110843725 A CN 202110843725A CN 113724266 B CN113724266 B CN 113724266B
Authority
CN
China
Prior art keywords
glioma
segmentation
loss function
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110843725.7A
Other languages
English (en)
Other versions
CN113724266A (zh
Inventor
薛洁
孔德婷
刘希玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110843725.7A priority Critical patent/CN113724266B/zh
Publication of CN113724266A publication Critical patent/CN113724266A/zh
Application granted granted Critical
Publication of CN113724266B publication Critical patent/CN113724266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明提供一种胶质瘤分割方法及系统，属于图像处理技术领域，获取待检测的图像；利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；其中，训练好的分割模型通过训练集训练得到，训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。本发明实现了整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的自动分割；缓解了不同肿瘤区域的类不平衡问题；优化了低对比度区域的分割；提取了有效的中间层特征；通过多分支的连接和联合损失的指导不断增强了对有效特征的注意；引入了具有权重共享的层次特征提取机制，掌握胶质瘤更多边界信息，使胶质瘤分割更加精确。

Description

胶质瘤分割方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于层次双重注意全卷积网络的胶质瘤分割方法及系统。
背景技术
胶质瘤可分为高级别胶质瘤(HGG)和低级别胶质瘤(LGG)，具有较高的致残率和致死率。从MRI图像中正确分割出胶质瘤对于胶质瘤诊疗计划的制定至关重要。鉴于手工标注费时费力，且易于出错，因此，有必要提出有效的自动分割算法。由于胶质瘤在形状、大小和位置方面具有较高的解剖变异性，并且，水肿区域使得整个肿瘤区域与非肿瘤区域之间的边界模糊，现有方法分割精度有待提升。
发明内容
本发明的目的在于提供一种基于层次双重注意全卷积网络的胶质瘤分割方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
第一方面，本发明提供一种胶质瘤分割方法，包括：
获取待检测的图像；
利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
其中，
所述训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。
优选的，在分割模型训练时，通过全局注意机制，来优化初始识别分割结果和标签的全局差异；通过提取层次特征来优化偏离中心的肿瘤区域的分割；利用局部注意机制，增强对有效特征的注意。
优选的，训练所述分割模型包括：
对所有MRI图像进行归一化，伽马变换，通过图像翻转进行数据增强，实现数据的预处理，并进行MRI图像标注，得到训练集；
将训练集输入基础分割网络，经多层卷积池化后，得到基础特征图；
将基础特征图拆分为多个子区域，使特征提取中心转移到该多个子区域中心，获得多个包含偏离中心区域的胶质瘤特征信息的特征图；
将获得的多个包含偏离中心区域的胶质瘤特征信息的特征图进行拼合后，与基础特征图进行融合，提取有效特征，获得融合层次特征图；
融合层次特征图与编码器的标注特征进行融合连接，经过反卷积和卷积，通过激活函数，进行特征分类，得到初始识别分割结果；
将初始识别分割结果与原始输入的训练集图像中标签标注的特征进行全局差异优化，直至最优，得到训练好的分割模型。
优选的，进行全局差异优化包括：全局注意力机制将鉴别器连接到分割模型，该鉴别器包括依次连接的四个3×3×3卷积层和一个1×1×1卷积层，最后为S型激活函数；标签和分割结果分别与原始MRI连接后输入鉴别器，由鉴别器来判断数据类别，并将反馈结果传回基础分割网络。
优选的，全局注意力机制在混合损失函数的指导下进行训练；混合损失函数包括：带有权重的损失函数、对抗损失函数以及联合损失函数。
优选的，
混合损失函数为：
Figure BDA0003179780660000021
其中，λ是分割部分的权重，μ是联合损失函数的权重；Luntited表示联合损失函数；
带有权重的损失函数为：
Figure BDA0003179780660000031
其中，g和p分别代表标签和预测结果，n表示第n个体素，wc＝1/(∑n gcn)2表示第c类肿瘤区域的权重；gcn表示标签中属于类别c的第n个体素；pcn表示预测结果中属于类别c的第n个体素。
对抗损失函数：
Figure BDA0003179780660000032
Figure BDA0003179780660000033
其中，x表示输入的多模态MRI，D(·)是鉴别器的输出，
Figure BDA0003179780660000034
是指连接操作，M1和M0分别表示全一矩阵和全零矩阵；λ是LGDL的权重；
Figure BDA0003179780660000035
其中，I和Y分别是输入矩阵和目标矩阵；pn是I的第n个体素等于Y的第n个体素的概率；N表示总体素数；yn表示Y的第n个体素。
优选的，局部注意机制应用在上采样的不同层，通过多分支的特征融合以及联合损失函数，增强对有效特征的注意；在局部注意机制中，第一分支包含步长为2的反卷积层，第二分支包含步长为2的反卷积层和具有S型激活函数的1×1×1卷积层；将第一分支、第二分支与从编码器获得的标签特征连接起来形成注意力特征图；其中，联合损失函数：
Figure BDA0003179780660000036
其中，i＝1,2,3,4表示四个局部子区域注意机制，wi是局部子区域注意机制i中损失函数的权重。
第二方面，本发明提供一种胶质瘤分割系统，包括：
获取模块，用于获取待检测的图像；
识别模块，用于利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
其中，
所述训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如上所述的胶质瘤分割方法的指令。
第四方面，本发明提供一种电子设备，包括如上所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果：实现了整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的自动分割；通过权重分配缓解了不同肿瘤区域的类不平衡问题；优化了低对比度区域的分割；提取了有效的中间层特征；通过多分支的连接和联合损失的指导不断增强了对有效特征的注意；引入了具有权重共享的层次特征提取机制，来掌握胶质瘤更多边界信息，尤其是偏离中心区域的胶质瘤的信息，使胶质瘤分割更加精确。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的分割模型示意图。
图2为本发明实施例所述的胶质瘤分割效果对比图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种胶质瘤分割系统，该系统包括：
获取模块，用于获取待检测的图像；
识别模块，用于利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
其中，
所述训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。
在本实施例1中，利用上述的胶质瘤分割系统，实现了一种胶质瘤分割方法，包括：
获取待检测的图像；
利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
其中，
所述训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。
在本实施例1中，在分割模型训练时，通过全局注意机制，来优化初始识别分割结果和标签的全局差异；通过提取层次特征来优化偏离中心的肿瘤区域的分割；利用局部注意机制，增强对有效特征的注意。
在本实施例1中，训练所述分割模型包括：
对所有MRI图像进行归一化，伽马变换，通过图像翻转进行数据增强，实现数据的预处理，并进行MRI图像标注，得到训练集；
将训练集输入基础分割网络，经多层卷积池化后，得到基础特征图；
将基础特征图拆分为多个子区域，使特征提取中心转移到该多个子区域中心，获得多个包含偏离中心区域的胶质瘤特征信息的特征图；
将获得的多个包含偏离中心区域的胶质瘤特征信息的特征图进行拼合后，与基础特征图进行融合，提取有效特征，获得融合层次特征图；
融合层次特征图与编码器的标注特征进行融合连接，经过反卷积和卷积，通过激活函数，进行特征分类，得到初始识别分割结果；
将初始识别分割结果与原始输入的训练集图像中标签标注的特征进行全局差异优化，直至最优，得到训练好的分割模型。
在本实施例1中，进行全局差异优化包括：全局注意力机制将鉴别器连接到分割模型，该鉴别器包括依次连接的四个3×3×3卷积层和一个1×1×1卷积层，最后为S型激活函数；标签和分割结果分别与原始MRI连接后输入鉴别器，由鉴别器来判断数据类别，并将反馈结果传回基础分割网络。
在本实施例1中，全局注意力机制在混合损失函数的指导下进行训练；混合损失函数包括：带有权重的损失函数、对抗损失函数以及联合损失函数。
在本实施例1中，混合损失函数为：
Figure BDA0003179780660000071
其中，λ是分割部分的权重，μ是联合损失函数的权重；Luntited表示联合损失函数；
带有权重的损失函数为：
Figure BDA0003179780660000081
其中，g和p分别代表标签和预测结果，n表示第n个体素，wc＝1/(∑n gcn)2表示第c类肿瘤区域的权重；gcn表示标签中属于类别c的第n个体素；pcn表示预测结果中属于类别c的第n个体素。
对抗损失函数：
Figure BDA0003179780660000082
Figure BDA0003179780660000083
其中，x表示输入的多模态MRI，D(·)是鉴别器的输出，
Figure BDA0003179780660000084
是指连接操作，M1和M0分别表示全一矩阵和全零矩阵；λ是LGDL(即分割部分)的权重；
Figure BDA0003179780660000085
其中，I和Y分别是输入矩阵和目标矩阵；pn是I的第n个体素等于Y的第n个体素的概率；N表示总体素数；yn表示Y的第n个体素。
在本实施例1中，局部注意机制应用在上采样的不同层，通过多分支的特征融合以及联合损失函数，增强对有效特征的注意；在局部注意机制中，第一分支包含步长为2的反卷积层，第二分支包含步长为2的反卷积层和具有S型激活函数的1×1×1卷积层；将第一分支、第二分支与从编码器获得的标签特征连接起来形成注意力特征图；其中，联合损失函数：
Figure BDA0003179780660000086
其中，i＝1,2,3,4表示四个局部子区域注意机制，wi是局部子区域注意机制i中损失函数的权重。
实施例2
卷积神经网络(CNN)具有自动学习层级信息并保留空间信息的能力，在医学图像分割中表现出出色的性能。全卷积网络(FCN)可以在像素级别上分割各种大小的图像。U-Net在跳跃连接中使用串联的融合方法，可以学习更丰富的特征。3D U-Net可以捕获层间信息。对抗训练的鉴别器可以促使分割模型产生与标签更一致的分割。注意机制可以抑制冗余信息并增强对有效特征的学习。层次学习可以进一步分解分割目标，并提取更多的细微特征。
基于以上考虑，本实施例2中，提出一种具有混合损失的3D层次双重注意FCN用于多模态MRI中性状各异的胶质瘤的分割系统。该系统具有层次(即层次特征模块)双重注意力(即全局和局部注意力)机制的3D全卷积网络(FCN)，以分割多样化的胶质瘤，实现了一种用于MRI中脑部胶质瘤的分割方法，表现出较好的性能。
本实施例2中，胶质瘤分割系统中包含了胶质瘤分割模型，该模型在训练时包括：全局注意机制，通过识别分割结果和标签的全局差异来优化分割；局部注意机制，通过多分支的连接和联合损失的指导不断增强对有效特征的注意；具有权重共享块的层次特征模块，通过提取层次特征来优化偏离中心的肿瘤区域的分割。
本实施例2中，实现分割多样化的胶质瘤的主要步骤包括：
数据预处理，对MRI进行归一化，伽马变换和数据增强；对数据集进行5折交叉验证实验，在每一轮利用训练集对所发明的网络进行训练，并基于Adam优化算法更新参数；利用训练好的模型，输入需要测试的图像进行分割，可自动得出分割结果。
在本实施例2中，基于带有混合损失的3D层次双重注意力全卷积网络的胶质瘤分割方法包括如下步骤：
数据预处理，对所有MRI进行归一化；然后，执行伽马变换以调整MRI的对比度；最后，通过图像翻转来进行数据增强。
构建带有混合损失的3D层次双重注意力全卷积分割网络，并对步骤(1)中处理后的数据进行交叉验证实验，利用其中训练集的部分对该网络进行训练，基于Adam优化算法更新参数，对网络进行优化。
利用训练好的模型，将步骤(2)中需要测试的图像输入训练好的神经网络，即可得到自动分割结果。
所述步骤(2)中全卷积神经网络的输入是T1、对比后T1加权、T2加权和液体衰减反转恢复四种模态的图像，输出是三类肿瘤区域的分割结果。
如图1所示，除基本框架3D U-Net外，该网络还带有三个模块，具体为：
全局注意力机制将鉴别器连接到分割模型，该鉴别器包含四个3×3×3卷积层和一个1×1×1卷积层，其后为S型激活函数。标签和分割结果分别与原始MRI连接后输入鉴别器，由鉴别器来判断数据类别，并将反馈结果传回分割网络。全局注意力机制在混合损失函数的指导下进行训练。混合损失函数包括：带有权重的损失函数，对抗损失函数以及联合损失函数，具体为：
Figure BDA0003179780660000101
其中，λ是分割部分的权重，μ是联合损失函数的权重，
Figure BDA0003179780660000105
和
Figure BDA0003179780660000106
的定义见下文。
带有权重的损失函数可以减轻较大肿瘤所造成的偏倚结果，具体为：
Figure BDA0003179780660000102
其中，g和p分别代表标签和预测结果，c表示三类肿瘤区域(即WT，TC和ET)，n表示第n个体素，wc＝1/(∑ngcn)2表示第c类的权重。
对抗损失函数可改进对比度较低区域的分割结果，具体为：
Figure BDA0003179780660000103
Figure BDA0003179780660000104
其中，x，g和p分别代表多模态MRI、标签和预测结果；D(·)是鉴别器的输出；
Figure BDA0003179780660000111
是指连接操作；M1和M0分别表示全一矩阵和全零矩阵；λ是
Figure BDA0003179780660000113
的权重。
Figure BDA0003179780660000112
I和Y分别是输入矩阵和目标矩阵；pn是I的第n个体素等于Y的第n个体素的概率。
局部注意机制应用在上采样的不同层，通过多分支的特征融合以及联合损失函数的指导不断增强对有效特征的注意。在局部注意机制中，分支c1包含步长为2的反卷积层，分支c2包含步长为2的反卷积层和具有S型激活函数的1×1×1卷积层。最后，将这两个分支与从编码器获得的特征连接起来形成注意力特征图。为进一步提高所获得的中层特征的有效性，提出联合损失函数，具体为：
Figure BDA0003179780660000114
其中，i＝1,2,3,4表示四个局部子注意机制，wi是局部子注意机制i中损失函数的权重。
层次特征模块位于分割模型的最底层，编码路径的输出特征图作为该模块的输入，通过将特征图拆分为4个子区域，将输入特征图的特征提取中心转移到4个子区域中心，从而获得更丰富的偏离中心区域的胶质瘤信息。最后，将获得的4个子区域特征拼合后与拆分前的特征进行融合，获得关注中心更加丰富的层次特征。
在本实施例2中，提出了具有混合损失函数的3D层次双重注意(即全局和局部注意)FCN，以用于多样化的胶质瘤的分割。全局注意力是一种带有混合损失函数的鉴别-分割框架，用于整个胶质瘤区域(WT)、肿瘤核心区域(TC)以及增强肿瘤区域(ET)的自动分割。混合损失函数通过权重分配缓解了不同肿瘤区域的类不平衡问题；对抗损失函数优化了低对比度区域的分割；联合损失函数监督局部注意提取有效的中间层特征。设计了局部注意并把它应用在上采样的不同层次，通过多分支的连接和联合损失的指导不断增强对有效特征的注意。引入了具有权重共享块的层次特征模块，来掌握胶质瘤更多边界信息，尤其是偏离中心区域的胶质瘤的信息。
为了评估所提出方法的有效性，在本实施例2中，选用包含210例高级别胶质瘤(HGG)和75例低级别胶质瘤(LGG)的数据集，其中，该数据集的获取，都在符合法律法规以及用户同意的基础之上，对数据的合法应用。在预处理过程中，对所有MRI进行归一化。然后，执行了伽马变换以调整MRI的对比度。通过图像翻转来进行数据增强。受限于GPU内存，所有MRI都被裁剪为大小为160×224×16的小块。实验是在具有16GB内存的NVIDIA TeslaV100GPU的开源TensorFlow框架上实现的。我们通过Adam优化器进行优化。学习率被初始化为0.001，并且每150次迭代呈指数下降。为防止过拟合，将Dropout设置为0.7，并且批大小为4。分割模型的权重和联合损失函数的权重分别为2和0.5。
局部注意中每个分支的权重分别为w1＝0.1、w2＝0.2、w3＝0.3、w4＝0.4。通过5折交叉验证的方式进行实验。在训练阶段，首先对分割模型进行优化，并在30000次迭代后开始加入对抗训练，直到最大迭代次数为99000时结束训练。在预测阶段，所提出的方法在2.6s内分割出一个患者中所有胶质瘤区域。
为了评估所提出方法的分割性能，采用了三个评估指标：骰子相似系数(DSC)，阳性预测值(PPV)和敏感性。通过5折交叉验证后，在285个病人的所有区域上取得的均值分别为0.8、0.822和0.814，优于先前的方法。
如图2所示，为部分分割结果展示，从左到右依次为原始MRI，2D标签，2D分割结果，3D标签和3D分割结果。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行胶质瘤分割方法的指令，该方法包括：
获取待检测的图像；
利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
其中，
所述训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。
实施例4
本发明实施例4提供一种电子设备，该电子设备包括一种非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行胶质瘤分割方法的指令，该方法包括：
获取待检测的图像；
利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
其中，
所述训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签。
综上所述，本发明实施例所述的胶质瘤分割方法及系统，实现了整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的自动分割；通过权重分配缓解了不同肿瘤区域的类不平衡问题；优化了低对比度区域的分割；提取了有效的中间层特征；通过多分支的连接和联合损失的指导不断增强了对有效特征的注意；引入了具有权重共享的层次特征提取机制，来掌握胶质瘤更多边界信息，尤其是偏离中心区域的胶质瘤的信息，使胶质瘤分割更加精确。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种胶质瘤分割方法，其特征在于，包括：
A.获取待检测的图像；
B.利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果；
如B中所述，
训练好的分割模型通过训练集训练得到，所述训练集包括多张胶质瘤图像以及标注胶质瘤图像中分别标注整个胶质瘤区域WT、肿瘤核心区域TC以及增强肿瘤区域ET的标签；
所述方法中，在分割模型训练时，通过全局注意机制，来优化初始识别分割结果和标签的全局差异；通过提取层次特征来优化偏离中心的肿瘤区域的分割；利用局部注意机制，增强对有效特征的注意；
训练所述分割模型包括：
(1)对所有MRI图像进行归一化，伽马变换，通过图像翻转进行数据增强，实现数据的预处理，并进行MRI图像标注，得到训练集；
(2)将训练集输入基础分割网络，经多层卷积池化后，得到基础特征图；
(3)将基础特征图拆分为多个子区域，使特征提取中心转移到该多个子区域中心，获得多个包含偏离中心区域的胶质瘤特征信息的特征图；
(4)将获得的多个包含偏离中心区域的胶质瘤特征信息的特征图进行拼合后，与基础特征图进行融合，提取有效特征，获得融合层次特征图；
(5)融合层次特征图与编码器的标注特征进行融合连接，经过反卷积和卷积，通过激活函数，进行特征分类，得到初始识别分割结果；
(6)将初始识别分割结果与原始输入的训练集图像中标签标注的特征进行全局差异优化，直至最优，得到训练好的分割模型；
如(6)中所述，进行全局差异优化包括：①全局注意力机制将鉴别器连接到分割模型，该鉴别器包括依次连接的四个3×3×3卷积层和一个1×1×1卷积层，最后为S型激活函数；②标签和分割结果分别与原始MRI连接后输入鉴别器，由鉴别器来判断数据类别，并将反馈结果传回基础分割网络；
如①中所述，全局注意力机制在混合损失函数的指导下进行训练；混合损失函数包括：带有权重的损失函数、对抗损失函数以及联合损失函数；
混合损失函数为：
Figure FDA0003914873260000021
其中，λ是分割部分的权重，μ是联合损失函数的权重；Luntited表示联合损失函数；
带有权重的损失函数为：
Figure FDA0003914873260000022
其中，g和p分别代表标签和预测结果，n表示第n个体素，wc＝1/(∑ngcn)2表示第c类肿瘤区域的权重；gcn表示标签中属于类别c的第n个体素；pcn表示预测结果中属于类别c的第n个体素；
对抗损失函数：
Figure FDA0003914873260000023
Figure FDA0003914873260000024
其中，x表示输入的多模态MRI，D(·)是鉴别器的输出，
Figure FDA0003914873260000025
是指连接操作，M1和M0分别表示全一矩阵和全零矩阵；λ是LGDL的权重；
Figure FDA0003914873260000026
其中，I和Y分别是输入矩阵和目标矩阵；pn是I的第n个体素等于Y的第n个体素的概率；N表示总体素数；yn表示Y的第n个体素。
2.根据权利要求1所述的胶质瘤分割方法，其特征在于，局部注意机制应用在上采样的不同层，通过多分支的特征融合以及联合损失函数，增强对有效特征的注意；在局部注意机制中，第一分支包含步长为2的反卷积层，第二分支包含步长为2的反卷积层和具有S型激活函数的1×1×1卷积层；将第一分支、第二分支与从编码器获得的标签特征连接起来形成注意力特征图；其中，联合损失函数：
Lunited＝∑iwiLGDL
其中，i＝1,2,3,4表示四个局部子区域注意机制，wi是局部子区域注意机制i中损失函数的权重。
3.一种胶质瘤分割系统，用于执行如权利要求1或2所述的胶质瘤分割方法，其特征在于，包括：
获取模块，用于获取待检测的图像；
识别模块，用于利用训练好的分割模型，对待检测的图像进行处理，得到胶质瘤分割结果。
4.一种非暂态计算机可读存储介质，其特征在于：所述非暂态计算机可读存储介质包括用于执行如权利要求1或2所述的胶质瘤分割方法的指令。
5.一种电子设备，包括如权利要求4所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
CN202110843725.7A 2021-07-26 2021-07-26 胶质瘤分割方法及系统 Active CN113724266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110843725.7A CN113724266B (zh) 2021-07-26 2021-07-26 胶质瘤分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110843725.7A CN113724266B (zh) 2021-07-26 2021-07-26 胶质瘤分割方法及系统

Publications (2)

Publication Number Publication Date
CN113724266A CN113724266A (zh) 2021-11-30
CN113724266B true CN113724266B (zh) 2022-12-20

Family

ID=78673962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110843725.7A Active CN113724266B (zh) 2021-07-26 2021-07-26 胶质瘤分割方法及系统

Country Status (1)

Country Link
CN (1) CN113724266B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496516B (zh) * 2023-12-25 2024-03-29 北京航空航天大学杭州创新研究院 一种脑瘤mri图像分割方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532851A (zh) * 2019-07-04 2019-12-03 珠海格力电器股份有限公司 指静脉识别方法、装置、计算机设备和存储介质
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
WO2020238044A1 (zh) * 2019-05-31 2020-12-03 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047068A (zh) * 2019-04-19 2019-07-23 山东大学 基于金字塔场景分析网络的mri脑肿瘤分割方法及系统
CN113077438B (zh) * 2021-03-31 2022-10-04 中南大学 针对多细胞核彩色图像的细胞核区域提取方法及成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238044A1 (zh) * 2019-05-31 2020-12-03 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
CN110532851A (zh) * 2019-07-04 2019-12-03 珠海格力电器股份有限公司 指静脉识别方法、装置、计算机设备和存储介质
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多模态MRI脑瘤图像分割算法研究;黄国海;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210515(第05期);第E070-59页 *

Also Published As

Publication number Publication date
CN113724266A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
Liu et al. CU-Net: Cascaded U-Net with loss weighted sampling for brain tumor segmentation
Croitoru et al. Unsupervised learning of foreground object segmentation
CN109903292A (zh) 一种基于全卷积神经网络的三维图像分割方法及系统
Sun et al. Tumor segmentation and survival prediction in glioma with deep learning
Tu et al. Dense-residual network with adversarial learning for skin lesion segmentation
CN111860528B (zh) 基于改进U-Net网络的图像分割模型及训练方法
CN114782350A (zh) 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法
Chen et al. Aggregating multi-scale prediction based on 3D U-Net in brain tumor segmentation
Wang et al. An uncertainty-aware transformer for MRI cardiac semantic segmentation via mean teachers
Hu et al. Brain tumor segmentation on multimodal mr imaging using multi-level upsampling in decoder
CN113724266B (zh) 胶质瘤分割方法及系统
Jiang et al. Forest-CD: Forest change detection network based on VHR images
CN115359074A (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
CN114119525A (zh) 一种细胞医学图像分割的方法和系统
CN114821052A (zh) 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
Lai et al. Toward accurate polyp segmentation with cascade boundary-guided attention
Ali et al. Multi-level kronecker convolutional neural network (ml-kcnn) for glioma segmentation from multi-modal mri volumetric data
Li et al. Double attention U-Net for brain tumor MR image segmentation
Yu et al. Dual attention u-net for multi-sequence cardiac MR images segmentation
CN113628220A (zh) 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及系统
Liu et al. Two-stage method for segmentation of the myocardial scars and edema on multi-sequence cardiac magnetic resonance
Yang et al. Dual-path network for liver and tumor segmentation in CT images using Swin Transformer encoding approach
Baldeon-Calisto et al. Resu-net: Residual convolutional neural network for prostate mri segmentation
Jiang et al. Max-fusion u-net for multi-modal pathology segmentation with attention and dynamic resampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant