CN115661165A - 基于增强注意力的编解码网络胶质瘤融合分割系统及方法 - Google Patents

Abstract

本发明涉及一种基于增强注意力的编解码网络胶质瘤融合分割系统及方法，以解决现有胶质瘤影像数据分割的3D模型存储空间大、训练时间长，2D模型深度信息分割效果不佳的技术问题。该系统包括具有三个编解码网络子模型的四分类编解码网络模型和二分类分割辅助网络模型，均包括编码模块、增强注意力模块及解码模块。该方法包括：1、获得轴、冠、矢三个方向的训练数据集和验证数据集；2、构建初始编解码网络子模型和初始二分类分割辅助网络模型；3、采用训练数据集进行模型训练；4、采用验证数据集进行模型验证；5、对待测MR影像集进行分割，获得融合分割结果。

Description

基于增强注意力的编解码网络胶质瘤融合分割系统及方法

技术领域

本发明涉及胶质瘤MR影像的融合分割方法，具体涉及一种基于增强注意力的编解码网络胶质瘤融合分割系统及方法。

背景技术

胶质瘤是最常见的一类脑部肿瘤，具有不同程度的侵袭性和高度异质性的子区域，包括浸润性水肿组织(ED)和肿瘤核心区域，包括坏死核心(NCR)、非增强性肿瘤(NET)和增强性肿瘤(ET)。早期发现和准确诊断是脑部胶质瘤癌症治疗的关键，针对病理器官的磁共振成像(MRI)和计算机断层扫描(CT)是最常用的诊断工具，临床上由医生及专业人员通过逐层可视化3D数据来检查肿瘤状况，导致病人影像数据成倍增加，手动追踪和标注肿瘤区域相当耗时。同时，由于专业水平和疲劳程度的差异，会导致对同一样本的人工分割结果差异较大。因此，准确且可重复的胶质瘤自动检测分割将有助于在临床环境中及时诊断和分割肿瘤，解放人力提高效率，并且可以应用到大规模病理数据分析中进行脑部胶质瘤的统计分析与学习，构建病理数据特征数据库。

然而，脑胶质瘤的内在组织学变异因MRI扫描肿瘤特征(如强度)的异质性而进一步复杂化。胶质瘤的不同子区域根据其生物学条件在外观和形状上存在很大差异，这使得胶质瘤分割非常具有挑战性，甚至在专家医生对不同数据集的分割中也常常存在较高的标注差异。在过去几十年中，图像分割技术发生了巨大的变化；从传统的图像处理技术(如分水岭分割、k均值聚类)到半自动机器学习方法(包括从ROI中提取特征以训练分类器)，再到全自动的数据驱动深度学习方法(如流行的CNN)。最近，利用深度学习技术进行脑肿瘤分割显示出良好的结果，因为它们能够从数据中学习复杂的特征。基于卷积神经网络(CNN)和完全卷积网络(FCN)的深度学习模型，如SegNet、深度神经网络、U-Net、QuickNAT、DenseNet及其变体在分割任务中表现出了显著的性能。

卷积神经网络(CNN)的变体U-Net已经成为医学图像分割的利器，它由一个带有跳跃连接的对称编码解码网络组成，以增强细节的保留，但由于其自身机制造成的限制还是没有有效解决，比如，由于卷积操作权值共享等特性，使其存在感受野受限和无法捕捉远距离像素特征依赖性的问题。3D U-Net利用了大脑MR数据的体积特征，但代价是大的存储空间和更长的训练时间，同时也面临着类不平衡和更高计算成本等挑战。不平衡问题可以通过各种损失函数来解决，但由于这些模型的计算成本较高，模型学习和参数超调仍然是主要挑战。而2D U-Net具有较少的参数，可以快速训练，因此可以进行参数超调整。2DU-net由于不携带深度信息分割效果不佳。但有研究证实在高效地进行超参调试前提下，2D模型可以实现与3D模型相似或更先进的性能。

尽管基于卷积神经网络的分割方法效果显著，但在脑胶质瘤分割这类复杂任务中，由于局部视觉模糊和肿瘤子区域间对比度低等问题，卷积神经网络的固有特性限制了它在全局结构分析上的性能。

发明内容

本发明目的在于解决现有胶质瘤影像分割的3D模型存储空间大、训练时间长，2D模型深度信息分割效果不佳的技术问题，提出一种基于增强注意力的编解码网络胶质瘤融合分割系统及方法。

本发明的总体思路为：通过在轴、冠、矢三个方向从影像数据中提取2D影像数据，建立轴方向编解码网络子模型、冠方向编解码网络子模型、矢方向编解码网络子模型及二分类分割辅助网络模型，每个模型中均通过增强注意力模块弥补了原有卷积神经网络感受野受限和无法捕捉远距离像素特征依赖性的问题，更好的利用了全局上下文结构信息，提高了胶质瘤分割的效率和精度。

本发明提供的技术方案为：

一种基于增强注意力的编解码网络胶质瘤融合分割系统，其特殊之处在于：

包括四分类编解码网络模型和二分类分割辅助网络模型；

所述四分类编解码网络模型用于基于核心坏死区、水肿区、增强肿瘤区和正常区四个子区域进行特征提取和区域分割；所述四分类编解码网络模型包括三个结构相同的编解码网络子模型，编解码网络子模型包括轴方向编解码网络子模型、冠方向编解码网络子模型和矢方向编解码网络子模型；

所述二分类分割辅助网络模型结构与编解码网络子模型的结构相同，二分类分割辅助网络模型用于在轴方向基于肿瘤核心区和正常区两个子区域进行特征提取和区域分割；

所述编解码网络子模型包括编码模块、增强注意力模块及解码模块；所述编码模块用于对输入的图像提取高级语义表示，同时进行下采样，以生成最底层特征图并传输给增强注意力模块；

所述增强注意力模块包括特征编码单元、位置编码单元、4～8个结构相同依次串联的特征增强模块及双层卷积输出模块；所述特征编码单元和位置编码单元分别接受最底层特征图，用于对最底层特征图中的各个特征向量添加特征编码和位置编码，形成编码数据信息；所述特征增强模块包括多通道自注意力单元、第一拼接单元、全连接前馈网络单元及第二拼接单元；

所述多通道自注意力单元接收编码数据信息，用于向编码数据信息中各个特征向量添加注意力分数，形成特征聚合数据信息；第一拼接单元用于接收编码数据信息和特征聚合数据信息并进行拼接，形成第一拼接数据信息；

全连接前馈网络单元接收第一拼接数据信息，用于对特征向量进行特征转换，形成特征转换数据信息；第二拼接单元用于接收第一拼接数据信息和特征转换数据信息并进行拼接，形成第二拼接数据信息；双层卷积输出模块与最后一个特征增强模块相接，用于接收最后一个特征增强模块输出的信息并处理后形成全局特征编码信息，将全局特征编码信息输出给解码模块；所述解码模块用于对全局特征编码信息进行上采样，恢复到与输入数据相同的空间分辨率。

进一步地，所述多通道自注意力单元包括注意力归一化层、三个并列的线性层及多通道计算单元；

注意力归一化层用于加快模型的收敛，三个并列的线性层均接收注意力归一化层输出的数据分别形成查询矩阵、键矩阵及值矩阵，查询矩阵、键矩阵及值矩阵中的参数经过拆分后传递至多通道计算单元计算出各个通道对应的注意力分数，并添加到特征向量。

进一步地，所述查询矩阵、键矩阵及值矩阵的参数经过拆分后传递至多通道计算单元计算出自注意力分数具体为：

查询矩阵、键矩阵及值矩阵的参数经过8-12次拆分，每次拆分后的参数均传递至多通道计算单元计算出各个通道对应的注意力分数，生成8-12组注意力分数，将8-12组自注意力分数进行融合获得最终的注意力分数，并添加到特征向量。

进一步地，所述编码模块依次包括输入卷积模块、第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块；输入卷积模块包括两个输入卷积层，每个输入卷积层后设置有批标准化和激活函数，输入卷积模块用于接收输入的肿瘤影像信息，第四下采样模块的输出数据输出给增强注意力模块；第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块依次连接，且采样的输入通道和输出通道呈指数增加；

所述解码模块依次包括第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块及输出分割模块；第四上采样模块用于接收增强注意力模块的输出数据，输出分割模块用于输出多模态数据；第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块依次连接，且采样的输入通道和输出通道呈与各个下采样模块相同指数减少。

进一步地，所述编码模块的输入卷积模块输出第一特征图，第一下采样模块输出第二特征图，第二下采样模块输出第三特征图，第三下采样模块输出第四特征图，第四下采样模块输出最底层特征图；

所述解码模块的各个上采样模块均包括上采样层、拼接单元及双层卷积单元；第四上采样模块的拼接单元接收对应上采样层的输出信息和第四特征图进行拼接后输出给对应的双层卷积单元；第三上采样模块的拼接单元接收对应上采样层的输出信息和第三特征图进行拼接后输出给对应的双层卷积单元；第二上采样模块的拼接单元接收对应上采样层的输出信息和第二特征图进行拼接后输出给对应的双层卷积单元；第一上采样模块的拼接单元接收对应上采样层的输出信息和第一特征图进行拼接后输出给对应的双层卷积单元。

本发明还提供一种基于增强注意力的编解码网络胶质瘤融合分割方法，其特殊之处在于，采用上述基于增强注意力的编解码网络胶质瘤融合分割系统，包括以下步骤：

S1、对标准肿瘤MR影像集进行预处理，分别在轴、冠、矢三个方向上提取存在肿瘤组织的2D影像数据，同时剔除掉非肿瘤组织的2D切片数据，分别构建轴方向训练数据集、冠方向训练数据集、矢方向训练数据集，并构建轴方向验证数据集、冠方向验证数据集、矢方向验证数据集；

S2、构建初始编解码网络子模型：构建三个网络结构相同的初始编解码网络子模型，所述初始编解码网络子模型包括轴方向初始编解码网络子模型、冠方向初始编解码网络子模型和矢方向初始编解码网络子模型；

构建初始二分类分割辅助网络模型；

S3、训练初始编解码网络子模型和初始二分类分割辅助网络模型并调试网络超参数。

将步骤S1中的轴方向的训练数据集输入轴方向初始编解码网络子模型，将冠方向的训练数据集输入冠方向初始编解码网络子模型，将矢方向的训练数据集输入矢方向初始编解码网络子模型，分别进行训练并调试网络超参数获得轴方向编解码网络子模型、冠方向编解码网络子模型和矢方向编解码网络子模型；

将步骤S1中的轴方向的训练数据集输入初始二分类分割辅助网络模型，进行训练并调试网络超参数获得二分类分割辅助网络模型；

S4、验证编解码网络子模型和二分类分割辅助网络模型

将步骤S1中的轴方向验证数据集、冠方向验证数据集、矢方向验证数据集输入对应方向的编解码网络子模型，获得三个方向的子区域分割概率掩码，对每个像素位置对应的概率掩码进行“舍入后平均”，获得融合三个方向的网络分割结果；将轴方向验证数据集输入二分类分割辅助网络模型，获得肿瘤核心二分类分割结果；

计算融合三个方向的网络分割结果与真值标签掩码的DICE分数α1，若DICE分数α1不变或增加量小于当前DICE分数α1的1％，则获得最终四分类编解码网络模型；若DICE分数α1增加且增加量大于等于当前DICE分数α1的1％，则返回步骤S3继续对四分类编解码网络模型的各个子模型进行训练，直至获得最终四分类编解码网络模型；

计算肿瘤核心二分类分割结果与真值标签掩码的DICE分数α2，若DICE分数α2不变或增加量小于当前DICE分数α2的1％，则获得最终二分类分割辅助网络模型；若DICE分数α2增加且增加量大于等于当前DICE分数α2的1％，则返回步骤S3继续对二分类分割辅助网络模型进行训练，直至获得最终二分类分割辅助网络模型；

S5、将待测MR影像集分别在轴、冠、矢三个方向上提取各个影像的信息形成三个待测数据集；将三个待测数据集分别输入S4中最终的融合分割编解码网络模型，获得待测MR影像集融合三个方向的网络分割结果；将轴方向待测数据集输入S4中最终的二分类分割辅助网络模型，获得待测MR影像集二分类分割结果，根据待测MR影像集二分类分割结果对待测MR影像集融合三个方向的网络分割结果进行修正，获得待测MR影像集的最终融合分割结果。

进一步地，步骤S3中，训练初始编解码网络子模型具体为：

将对应方向训练数据集随机打乱输入初始编解码网络子模型得到初步预测分割图，包含核心坏死区、水肿区、增强肿瘤区和正常区，计算初步预测分割图与真值标签掩码的交叉熵损失和DICE分数，将初步预测分割图与真值标签掩码的交叉熵损失和DICE分数结合作为初始编解码网络子模型的损失函数进行反向传播，迭代更新初始编解码网络子模型的权重，达到初始编解码网络子模型收敛条件后保存网络参数，最终得到编解码网络子模型。

步骤S3中，训练初始二分类分割辅助网络模型具体为：

在轴向训练数据集中合并增强肿瘤区和核心坏死区两子区域标签掩码为肿瘤核心标签掩码，合并正常区与水肿区两子区域标签掩码为背景标签掩码，肿瘤核心标签掩码与背景标签掩码统称为二分类标签掩码；将轴向训练数据集随机打乱后输入初始二分类分割辅助网络模型得到初步肿瘤核心分割预测图，计算初步肿瘤核心分割预测图与二分类标签掩码的交叉熵损失和DICE分数，将初步肿瘤核心分割预测图与二分类标签掩码的交叉熵损失和DICE分数结合作为初始二分类分割辅助网络的损失函数进行反向传播，迭代更新初始二分类分割辅助网络的权重，达到初始二分类分割辅助网络收敛条件后保存网络参数，最终得到二分类分割辅助网络。

进一步地，步骤S1中，标准肿瘤MR影像集进行预处理具体为：

S1.1、以标准肿瘤MR影像集中各个3D影像中心为裁剪后的3D影像中心，以预设窗口大小裁剪原始3D影像和对应标签掩码，以去除与实际成像数据不相关的冗余空白边界，减小数据尺寸，提高模型推理效率；

S1.2、将步骤S1.1中裁剪后的影像强度进行高斯归一化，增加模型收敛速度；

S1.3、分别以轴、冠、矢三个方向从步骤S1.2处理后的影像数据中同时提取四个模态2D切片，四个模态包括液体衰减反转恢复序列、T1加权、对比后T1加权、T2加权；将四个模态数据作为新的2D影像数据的四个通道，生成三个方向上具有四通道的2D肿瘤MR多模态的数据集，随机抽取数据集中75％作为训练数据集，剩余25％作为验证数据集。

进一步地，步骤S3中，训练初始编解码网络子模型时，将轴方向训练数据集、冠方向训练数据集、矢方向训练数据集随机打乱，以预设数量将图像数据集分为多组，每组分别输入对应的初始编解码网络子模型进行训练；

训练初始二分类分割辅助网络模型时，将轴方向的训练数据集随机打乱，以预设数量的图像数据集分为多组，每组分别输入二分类分割辅助网络模型进行训练；

步骤S4中，验证编解码网络子模型时，将轴方向验证数据集、冠方向验证数据集、矢方向验证数据集随机打乱，每次将单个图像的数据集输入对应的初始编解码网络子模型进行验证；

验证二分类分割辅助网络模型时，将轴方向的验证数据集随机打乱，每次将单个图像的数据集输入初始二分类分割辅助网络模型进行验证。

本发明的有益效果：

1、本发明提出一种采用U型网络架构设计四分类编解码网络模型，在网络底层嵌入具有长距离全局结构信息和特征间交互关系的增强注意力机制，可以弥补原有基于U型全卷积神经网络方法的卷积操作权值共享等特性，解决了现有U型全卷积神经网络存在感受野受限和无法捕捉远距离像素特征依赖性的问题。

2、为了提高脑部胶质瘤MR影像分割的性能，降低网络结构的复杂度，本发明提出了一种四分类编解码网络模型与二分类分割辅助网络模型结合的网络模型结构，极大的减少了网络参数，节省计算资源，使得网络的训练和参数调试效率得到有效提升；该网络模型使用更轻量级的U型作为基本网络架构，然后引入多尺度和增强注意力机制，能够有效解决原有三维分割网络模型复杂，计算成本高的问题。

3、基于肿瘤核心分割准确度普遍高于四个子区域的分割准确度，本发明提出结合二分类分割辅助网络模型对四分类编解码网络模型处理后的结果进行后处理，使用可靠的肿瘤核心分割结果修正四分类编解码网络模型的分割结果，提高肿瘤边界的分割精确性。

4、将原始三维数据集按照轴、冠和矢三个方向重构二维数据集，使得进行网络训练的数据集成倍增加，因此，本发明在重构数据集时，对数据进行预处理，使用脑部MR影像中心检测方法，裁剪掉成像时冗余的边界数据，将脑部影像窗口缩小，并且在网络训练过程中，为克服类别不平衡，使模型快速收敛，剔除掉了不包含病变组织的切片数据。

5、本发明提供的方法编码模块通过使用级联卷积层提取高级语义表示，同时对输入的图像进行下采样，从而生成紧凑的特征图，有效地捕获局部上下文信息，解码模块利用跳跃连接重新使用编码器的高分辨率特征映射，以便从高级语义表示中恢复丢失的空间信息；自注意力模块利用编码器末端语义特征之间的全局交互来显式建模完整的上下文信息，将编码模块输出的特征图以矢量形式展平，注意力模块将这些矢量特征序列线性投影到特征编码模块中，同时添加位置编码以表征位置信息，采用多通道注意力模块，以保持序列中不同位置之间的多个复杂关系，并使用4-8个自注意力模块，每个模块包含其对应的可学习权重矩阵，将多头注意力模块的输出拼接投影得到最终的权重矩阵，同时使网络模型轻量化，在保证精确度的前提下提高运算速度。

附图说明

图1为本发明基于增强注意力的编解码网络胶质瘤融合分割系统实施例中轴方向编解码网络子模型编码模块和解码模块结构示意图；

图2为本发明基于增强注意力的编解码网络胶质瘤融合分割系统实施例中轴方向编解码网络子模型增强注意力模块结构示意图；

图3为本发明实施例中特征增强模块结构示意图；

图4为采用本发明实施例分隔方法分割结果与真值标签对比示意图，其中，(a)、(b)、(c)分别为轴向、冠向、矢向的真值标签结果示意图；(d)、(e)、(f)分别为采用本发明实施例分割方法轴向、冠向、矢向的分割结果示意图。

具体实施方式

本实施例中，轴、冠、矢三个方向为人体解剖学中的方向定义，具体为，冠方向：呈左右方向平行于地面，与矢状面互相垂直的轴的延伸方向；矢方向：呈前后方向平行于地面，与冠状面互相垂直的轴的延伸方向；轴方向：呈上下方向垂直于地面的轴。

参见图1，本实施例提供一种基于增强注意力的编解码网络胶质瘤融合分割系统，该系统包括四分类编解码网络模型和二分类分割辅助网络模型。

四分类编解码网络模型用于基于核心坏死区、水肿区、增强肿瘤区和正常区四个子区域进行特征提取和区域分割；四分类编解码网络模型包括三个结构相同的编解码网络子模型，编解码网络子模型包括轴方向编解码网络子模型、冠方向编解码网络子模型和矢方向编解码网络子模型；二分类分割辅助网络模型结构与编解码网络子模型的结构相同，二分类分割辅助网络模型用于在轴方向基于肿瘤核心区和正常区两个子区域进行特征提取和区域分割。

各个编解码网络子模型均包括编码模块、增强注意力模块及解码模块。

编码模块用于对输入的图像提取高级语义表示，同时进行下采样，以生成最底层特征图并传输给增强注意力模块；具体的，编码模块依次包括输入卷积模块、第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块；

第一下采样模块开始进行特征图的下采样，包括一个最大池化下采样层，两个二维卷积，批标准化和激活函数；第二下采样模块、第三下采样模块和第四下采样模块采用与第一下采样模块相同的网络结构，但特征通道参数呈指数递增，编码模块通过一系列卷积操作和连续下采样层可以提取具有大感受野的深度特征。

输入卷积模块包括两个输入卷积层，每个输入卷积层后设置有批标准化和激活函数，输入卷积模块用于接收输入的肿瘤影像信息，并输出第一特征图，第一下采样模块输出第二特征图，第二下采样模块输出第三特征图，第三下采样模块输出第四特征图，第四下采样模块输出最底层特征图并输出给增强注意力模块。

增强注意力模块包括特征编码单元、位置编码单元、4～8个结构相同依次串联的特征增强模块及双层卷积输出模块；特征编码单元和位置编码单元分别接受最底层特征图，用于对最底层特征图中的各个特征向量添加特征编码和位置编码，形成编码数据信息。

特征增强模块包括多通道自注意力单元、第一拼接单元、全连接前馈网络单元及第二拼接单元；多通道自注意力单元包括注意力归一化层、三个并列的线性层及多通道计算单元；注意力归一化层接收编码数据信息，用于加快模型的收敛；三个并列的线性层均接收注意力归一化层输出的数据分别形成查询矩阵、键矩阵及值矩阵，查询矩阵、键矩阵及值矩阵中的参数经过拆分后传递至多通道计算单元计算出各个通道对应的注意力分数，并添加到特征向量形成特征聚合数据信息。

其中，查询矩阵、键矩阵及值矩阵中的参数经过拆分后传递至多通道计算单元计算出各个通道对应的注意力分数具体为：查询矩阵、键矩阵及值矩阵的参数经过8-12次拆分，每次拆分后的参数均传递至多通道计算单元计算出各个通道对应的注意力分数，生成8-12组注意力分数，将8-12组自注意力分数进行融合获得最终的注意力分数，并添加到特征向量形成特征聚合数据信息。

第一拼接单元用于接收编码数据信息和特征聚合数据信息并进行拼接，形成第一拼接数据信息。

全连接前馈网络单元包括全连接归一化层和全连接前馈层；全连接归一化层用于接收第一拼接数据信息归一化处理后传输给全连接前馈层；全连接前馈网络单元用于对特征向量进行特征转换，形成特征转换数据信息。

第二拼接单元用于接收第一拼接数据信息和特征转换数据信息并进行拼接，形成第二拼接数据信息；双层卷积输出模块与最后一个特征增强模块相接，用于接收最后一个特征增强模块输出的信息并处理后形成全局特征编码信息，将全局特征编码信息输出给解码模块；

解码模块用于对全局特征编码信息进行上采样，恢复到与输入数据相同的空间分辨率，具体的，解码模块依次包括第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块及输出分割模块；第四上采样模块用于接收增强注意力模块的输出数据，输出分割模块用于输出多模态数据；第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块依次连接，且采样的输入通道和输出通道呈与各个下采样模块相同指数减少；本实施例中，解码模块与编码模块采用四级跳跃连接的编解码网络结构；解码模块的各个上采样模块均包括上采样层、拼接单元及双卷积层；第四上采样模块的拼接单元接收对应上采样层的输出信息和第四特征图进行拼接后输出给对应的双卷积层；第三上采样模块的拼接单元接收对应上采样层的输出信息和第三特征图进行拼接后输出给对应的双卷积层；第二上采样模块的拼接单元接收对应上采样层的输出信息和第二特征图进行拼接后输出给对应的双卷积层；第一上采样模块的拼接单元接收对应上采样层的输出信息和第一特征图进行拼接后输出给对应的双卷积层，解码模块利用跳跃连接重新使用编码模块的高分辨率特征映射，以便从编码模块使用级联卷积层提取高级语义表示中恢复丢失的空间信息。

本实施例提供上述基于增强注意力的编解码网络胶质瘤融合分割系统的分隔方法，包括以下步骤：

S1、对标准肿瘤MR影像集进行预处理，分别在轴、冠、矢三个方向上提取存在肿瘤组织的2D影像数据，同时剔除掉非肿瘤组织的2D切片数据，分别构建轴方向训练数据集、冠方向训练数据集、矢方向训练数据集，并构建轴方向验证数据集、冠方向验证数据集、矢方向验证数据集；

本实施例中，标准肿瘤MR影像集包含脑肿瘤术前多模态MRI扫描文件，共369个含有人工标注掩码的完整3D脑部扫描病例数据，每个3D扫描数据由液体衰减反转恢复序列(FLAIR)、T1加权(T1)、对比后T1加权(T1_CE)、T2加权(T2)四个模态的数据与对应四分类真值标签掩码构成，单个病例的每个模态数据和真值标签掩码形状统一配准到尺寸：240*240*155(体素)，标签数据包含无病变背景-对应标签0、肿瘤核心坏死(NCR)-对应标签1、浸润的水肿组织或肿瘤周围水肿(ED)-对应标签2、增强肿瘤(ET)-对应标签4共四类体素掩码。

对标准肿瘤MR影像集进行预处理具体为：

S1.1、以标准肿瘤MR影像集中各个3D影像中心为裁剪后的3D影像中心，以预设窗口大小裁剪原始3D影像和对应真值标签掩码，以去除与实际成像数据不相关的冗余空白边界，减小数据尺寸，提高模型推理效率；

S1.2、将步骤S1.1中裁剪后的影像强度进行高斯归一化，增加模型收敛速度；

S1.3、分别以轴、冠、矢三个方向从步骤S1.2处理后的影像数据中同时提取四个模态2D切片，四个模态包括液体衰减反转恢复序列、T1加权、对比后T1加权、T2加权；将四个模态数据作为新的2D影像数据的四个通道，生成三个方向上具有四通道的2D肿瘤MR多模态的数据集，随机抽取数据集中75％作为训练数据集，剩余25％作为验证数据集。

S2、构建初始编解码网络子模型：构建三个网络结构相同的初始编解码网络子模型，初始编解码网络子模型包括轴方向初始编解码网络子模型、冠方向初始编解码网络子模型和矢方向初始编解码网络子模型；构建初始二分类分割辅助网络模型。

参见图1和图2，为轴方向初始编解码网络子模型，采用四级跳跃连接的编解码网络结构，并在网络底层嵌入增强注意力机制，图1中的a端和b端分别与图2中的a端和b端对应相接，具体结构如下：

①、编码模块

编码模块共有五个模块构成：第一个模块为输入卷积模块，由一个双层卷积构成，双层卷积由两个结构相同的二维卷积层组成，分别是输入通道为4，输出通道为64，步长为1，填充为1、卷积核为3*3的二维卷积、批归一化、激活函数及输入通道和输出通道为64，步长为1，填充为1，卷积核为3*3的二维卷积、批归一化、激活函数；第二个模块为第一下采样模块，由一个最大池化模块和一个双层卷积模块构成，最大池化模块是一个步长为2最大池化层，双层卷积模块由输入通道为64，输出通道为128，步长为1，填充为1、卷积核为3*3的二维卷积、批归一化、激活函数、输入通道和输出通道为128，步长为1，填充为1，卷积核为3*3的二维卷积、批归一化、激活函数组成；第三个模块为第二下采样模块、第四个模块为第三下采样模块、第五个模块为第四下采样模块，这三个模块在结构上与第一下采样模块相同，不同之处分别为：第二下采样模块中双层卷积的两个二维卷积层的输入输出通道数分别为128、256和256、256；第三下采样模块中双层卷积的两个二维卷积层的输入输出通道数分别为256、512和512、512；第四下采样模块中双层卷积的两个二维卷积层的输入输出通道数分别为512、1024和1024、1024。

②、增强注意力模块

参见图2，在网络底层嵌入的增强注意力模块包括特征编码模块、位置编码模块、融合编码之后输入由6个相同的层组成的特征增强模块及双层卷积输出模块，如图3所示，每个特征增强模块包括一个多通道自注意力单元和一个全连接前馈网络单元，每个单元都采用跳跃连接和层归一化操作，多通道自注意力单元用来执行特征聚合，全连接前馈网络单元用以完成特征转换。增强注意力模块首先将编码模块提取的深度特征视作输入特征序列进行嵌入特征编码并添加位置编码，特征编码和位置编码为序列中的每个特征向量生成一个编码表示，然后馈送到三个结构相同的线性层，分别用于生成查询矩阵、键矩阵和值矩阵，计算自注意力分数，当贯穿所有特征增强模块时，将为每个特征向量添加自己的注意力分数，为表征特征向量间的复杂关系和细微差别，使用多个通道并行重复上述计算，即将查询矩阵、键矩阵和值矩阵中的参数进行12次拆分通过各自的通道进行传递，然后将所有注意力分数融合得到最终的注意力分数。此时的多通道自注意力单元输出还要经过全连接前馈网络单元，与多通道自注意力单元类似，第一层为归一化层，第二层为全连接前馈模块，后接拼接操作。全连接前馈模块由一层输入输出通道为768、1024的线性全连接层、激活函数、随即丢弃、输入输出通道为1024、768的线性全连接层和随即丢弃组成。

③、解码模块

解码层共有五个模块构成，如图1所示：最底层为第四上采样模块，由一个上采样层、拼接单元和一个双层卷积单元组成，上采样层由一个输入通道为1024，输出通道为512，步长为2，填充为0、卷积核为2*2的转置卷积构成，拼接单元将转置卷积的输出与来自对应编码模块的相同尺寸输出进行融合，双层卷积单元的结构依次是输入通道为1024，输出通道为512，步长为1，填充为1、卷积核为3*3的二维卷积、批归一化、激活函数、输入通道和输出通道为512，步长为1，填充为1，卷积核为3*3的二维卷积、批归一化、激活函数；第二个模块，第三个模块和第四个模块分别是第三上采样模块、第三上采样模块和第一上采样模块，这三个模块在结构上与第四上采样模块相同，不同之处分别为：第三上采样模块中双层卷积的两个二维卷积层的输入输出通道数分别为512、256和256、256；第三上采样模块中双层卷积的两个二维卷积层的输入输出通道数分别为256、128和128、128；第一上采样模块中双层卷积的两个二维卷积层的输入输出通道数分别为128、64和64、64；最顶层为输出分割模块，由一个输入通道为64，输出通道为4，步长为1，填充为1、卷积核为3*3的单层二维卷积构成。

初始二分类分割辅助网络模型同样采用嵌入有增强注意力模块的四级跳跃连接的编解码网络，不同之处为该辅助网络为只针对胶质瘤核心区与背景区分割的二分类网络模型，解码模块最顶层的输出分割模块由一个输入通道为64，输出通道为2，步长为1，填充为1、卷积核为3*3的单层二维卷积构成。

S3、训练初始编解码网络子模型和初始二分类分割辅助网络模型并调试网络超参数。

将步骤S1中的轴方向的训练数据集输入轴方向初始编解码网络子模型，将冠方向的训练数据集输入冠方向初始编解码网络子模型，将矢方向的训练数据集输入矢方向初始编解码网络子模型，分别进行训练并调试网络超参数获得轴方向编解码网络子模型、冠方向编解码网络子模型和矢方向编解码网络子模型；

以轴方向初始编解码网络子模型的训练并调试网络超参数为例：

将轴方向训练数据集随机打乱后，以预设数量将图像数据集分为多组，本实施例中以24张图像为一组，每组分别输入轴方向初始编解码网络子模型，得到初步预测分割图，初步预测分割图包含核心坏死区、水肿区、增强肿瘤区和正常区，计算初步预测分割图与真值标签掩码的交叉熵损失和DICE分数，将初步预测分割图与真值标签掩码的交叉熵损失和DICE分数结合作为轴方向初始编解码网络子模型的损失函数进行反向传播，迭代更新轴方向初始编解码网络子模型的权重，达到轴方向初始编解码网络子模型收敛条件后保存网络参数，最终得到轴方向编解码网络子模型。

具体的，将轴向训练数据集随机打乱，按批次大小24读取部分数据，调整每例四模态MR数据形状为4*192*192，调整对应真值标签掩码形状为1*192*192，随后对输入数据和标签进行90度、180度和270度随机旋转，再对输入数据添加随机高斯噪声和范围为(0.75，1.25)的随机强度值转换，将标签类别4置换为3。接着馈送至具有增强注意力模块的轴方向初始编解码网络子模型的输入卷积模块，得到形状为64*192*192的特征图作为编码层的初始输入，同时保存此时的第一特征图，经过第一下采样模块后特征图较输入图像尺寸缩小一倍，特征维度增加一倍，形状变为128*192*192，同时保存模块输出的第二特征图，依次经过第二下采样模块，第三下采样模块，第四下采样模块，特征图尺寸缩小，深度增加，保存模块输出第三特征图、第四特征图和最底层特征图，输入数据经过四级下采样特征提取最终得到形状为1024*12*12的深度特征图。将深度特征图(最底层特征图)馈送至网络底层的增强注意力模块，增强注意力模块通过整合来自完整输入序列的全局信息来编码序列中多个特征向量之间的交互信息，即通过定义三个可学习的权重矩阵来实现，首先使用一个双层卷积对该特征图进行编码，得到尺寸为768*144的特征向量序列并添加可学习的位置编码矩阵，为每个特征向量生成一个编码表示，然后馈送到三个结构相同的线性层，分别用于生成查询矩阵、键矩阵和值矩阵，计算查询与所有键的点积，然后使用softmax算子对点积进行归一化以获得注意力分数，每个向量成为序列中所有向量的加权和，其中权重由注意力分数给出；当贯穿6个增强注意力模块时，每个自注意力单元将为每个特征向量添加自己的注意力分数。为表征特征向量间的复杂关系和细微差别，使用多个通道并行重复上述计算，即将查询、键和值参数进行12次拆分通过各自的通道进行传递，然后将所有注意力分数融合得到最终的注意力分数。此时的自注意力单元输出还要经过全连接前馈网络模块，与多通道自注意力单元类似，第一层为归一化层，第二层为全连接前馈模块，后接拼接操作。全连接前馈模块由一层输入输出通道为768、1024的线性全连接层、激活函数、随即丢弃、输入输出通道为1024、768的线性全连接层和随即丢弃组成。再经过一个双层卷积单元将注入全局信息的特征编码恢复到形状为1024*12*12的深度特征图，馈送到解码模块中，依次通过四级上采样模块，并在每个模块内部实现与编码层保存的对应输出特征图的拼接操作，将深度特征图分辨率恢复到与下采样的初始输入分辨率相同的形状，即64*192*192。将特征图馈送至输出分割模块，使用输入通道为64，输出通道为4，步长为1，填充为1、卷积核为3*3的单层二维卷积执行最终对脑部胶质瘤无病变背景、肿瘤核心坏死(NCR)、浸润的水肿组织或肿瘤周围水肿(ED)、增强肿瘤(ET)共四类子区域分割，得到形状为4*192*192的特征图，使用softmax算子将特征图转换为对应类别的概率图，计算输出概率图与对应真值标签掩码之间的交叉熵损失和类别1、2、3的dice损失，将两个损失相加作为梯度反向传播函数，使用Adam优化算法更新网络权重，重复上述过程，直到整个轴方向训练数据集迭代完成。设置遍历次数为60，即使用训练数据集完整训练60次，保存轴方向分支网络权重参数。分别使用冠向和矢向训练数据集迭代优化冠向和矢向分支网络，优化过程与轴向分支网络优化过程相同，最后保存冠、矢向分支网络权重参数。

将步骤S1中的轴方向的训练数据集输入初始二分类分割辅助网络模型，进行训练并调试网络超参数获得二分类分割辅助网络模型；在轴向训练数据集中合并增强肿瘤区和核心坏死区两子区域标签掩码为肿瘤核心标签掩码，合并正常区与水肿区两子区域标签掩码为背景标签掩码，肿瘤核心标签掩码与背景标签掩码统称为二分类标签掩码；将轴向训练数据集随机打乱后，以预设数量将图像数据集分为多组，本实施例中以24张图像为一组，每组分别输入初始二分类分割辅助网络模型得到初步肿瘤核心分割预测图，计算初步肿瘤核心分割预测图与二分类标签掩码的交叉熵损失和DICE分数，将初步肿瘤核心分割预测图与二分类标签掩码的交叉熵损失和DICE分数结合作为初始二分类分割辅助网络的损失函数进行反向传播，迭代更新初始二分类分割辅助网络的权重，达到初始二分类分割辅助网络收敛条件后保存网络参数，最终得到二分类分割辅助网络。

本实施例中具体为：使用轴向训练数据集优化二分类分割辅助网络，将轴向训练数据集随机打乱，按批次大小24读取部分数据，调整每例四模态MR数据形状为4*192*192，调整对应真值标签掩码形状为1*192*192，随后对输入数据和标签进行90度、180度和270度随机旋转，再对输入数据添加随机高斯噪声和范围为(0.75，1.25)的随机强度值转换，将增强肿瘤和坏死组织两子区域对应标签掩码1和3合并转换为肿瘤核心标签掩码1，将原无病变背景与肿瘤周围水肿两子区域对应标签掩码0和2为背景标签掩码0，然后馈送到二分类分割辅助网络中，网络优化过程与轴向分支网络优化过程相似，不同之处是位于网络末端的输出分割模块，使用输入通道为64，输出通道为2，步长为1，填充为1、卷积核为3*3的单层二维卷积执行对脑部胶质瘤肿瘤核心二分类过程，得到形状为2*192*192的特征图。

S4、验证编解码网络子模型和二分类分割辅助网络模型

将步骤S1中的轴方向验证数据集、冠方向验证数据集、矢方向验证数据集均随机打乱后，每次一张图像分别输入对应方向的编解码网络子模型，获得三个方向的子区域分割概率掩码，对每个像素位置对应的概率掩码进行“舍入后平均”，获得融合三个方向的网络分割结果；计算融合三个方向的网络分割结果与真值标签掩码的DICE分数α1，若DICE分数α1不变或增加量小于当前DICE分数α1的1％，则获得最终四分类编解码网络模型；若DICE分数α1增加且增加量大于等于当前DICE分数α1的1％，则返回步骤S3继续对四分类编解码网络模型的各个子模型进行训练，直至获得最终四分类编解码网络模型；

本实施例中具体为：使用轴、冠、矢向三个测试数据集，每次读取一个图像数据，调整四模态MR数据形状为4*192*192，输入到步骤S3的四分类编解码网络模型中，得到对应轴、冠和矢向三张形状为4*192*192，4*192*144，4*192*144的特征图，经过softmax变换将特征图转换为对应子区域分类的概率图，将含有四个通道的二维概率图分别在轴、冠和矢向三个方向上堆积起来还原具有四个通道的数据三维尺寸，即4*144*192*192，然后针对三个方向三维概率图以0.5为阈值进行舍入，即大于等于0.5的值设为1，小于0.5的值设为0，通过对三个概率图求均值获得融合三个方向的网络分割结果。

将轴方向验证数据集随机打乱，每次将单个图像的数据集输入二分类分割辅助网络模型，获得肿瘤核心二分类分割结果。计算肿瘤核心二分类分割结果与真值标签掩码的DICE分数α2，若DICE分数α2不变或增加量小于当前DICE分数α1的1％，则获得最终二分类分割辅助网络模型；若DICE分数α2增加且增加量大于等于当前DICE分数α1的1％，则返回步骤S3继续对二分类分割辅助网络模型进行训练，直至获得最终二分类分割辅助网络模型；本实施例中具体为：使用轴向测试数据集，每次读取一个图像数据，调整四模态MR数据形状为4*192*192，输入到步骤S3的二分类分割辅助网络模型中并将结果经过softmax变换，得到一张形状为2*192*192二分类概率图，通过argmax变换得到肿瘤核心分割图。融合三个方向的网络分割结果的增强肿瘤区域中体素集合小于200立方毫米的部分被修正为肿瘤核心坏死区域，再将肿瘤核心辅助分割图中肿瘤核心掩码与三平面融合分割结果中增强肿瘤掩码做差，二者差值被修正为肿瘤核心坏死区域，肿瘤核心掩码与肿瘤周围水肿区域的邻接部分中漏缺的体素填充为肿瘤周围水肿，最后去除掉三平面融合分割图的肿瘤周围水肿区域中体素集合小于200立方毫米并且与最大部分区域中心距离大于75毫米的独立分布的噪声体素。

S5、将待测MR影像集分别在轴、冠、矢三个方向上提取各个影像的信息形成三个待测数据集；将三个待测数据集分别输入S4中最终的融合分割四分类编解码网络模型，获得待测MR影像集融合三个方向的网络分割结果；将轴方向待测数据集输入S4中最终的二分类分割辅助网络模型，获得待测MR影像集二分类分割结果，根据待测MR影像集二分类分割结果对待测MR影像集融合三个方向的网络分割结果进行修正，获得待测MR影像集的最终融合分割结果；参见图4，可以看出采用本实施例提供的方法获取的结果与真值标签比较，一致性好，分割精度相当。

Claims (5)

1.一种基于增强注意力的编解码网络胶质瘤融合分割系统，其特征在于：

包括四分类编解码网络模型和二分类分割辅助网络模型；

所述四分类编解码网络模型用于基于核心坏死区、水肿区、增强肿瘤区和正常区四个子区域进行特征提取和区域分割；所述四分类编解码网络模型包括三个结构相同的编解码网络子模型，编解码网络子模型包括轴方向编解码网络子模型、冠方向编解码网络子模型和矢方向编解码网络子模型；

所述二分类分割辅助网络模型结构与编解码网络子模型的结构相同，二分类分割辅助网络模型用于在轴方向基于肿瘤核心区和正常区两个子区域进行特征提取和区域分割；

所述编解码网络子模型包括依次相连的编码模块、增强注意力模块及解码模块；

所述增强注意力模块包括特征编码单元、位置编码单元、4～8个结构相同依次串联的特征增强模块及双层卷积输出模块；所述特征编码单元和位置编码单元分别接受编码模块的输出信息并形成编码数据信息，；所述特征增强模块包括多通道自注意力单元、第一拼接单元、全连接前馈网络单元及第二拼接单元；

所述多通道自注意力单元接收编码数据信息，用于向编码数据信息中各个特征向量添加注意力分数，形成特征聚合数据信息；第一拼接单元用于接收编码数据信息和特征聚合数据信息并进行拼接，形成第一拼接数据信息；

全连接前馈网络单元接收第一拼接数据信息，用于对特征向量进行特征转换，形成特征转换数据信息；第二拼接单元用于接收第一拼接数据信息和特征转换数据信息并进行拼接，形成第二拼接数据信息；双层卷积输出模块与最后一个特征增强模块相接，用于接收最后一个特征增强模块输出的信息并处理后形成全局特征编码信息，将全局特征编码信息输出给解码模块；所述解码模块用于对全局特征编码信息进行上采样，恢复到与输入数据相同的空间分辨率。

2.根据权利要求1所述的基于增强注意力的编解码网络胶质瘤融合分割系统，其特征在于：

所述编码模块依次包括输入卷积模块、第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块；输入卷积模块包括两个输入卷积层，每个输入卷积层后设置有批标准化和激活函数，输入卷积模块用于接收输入的肿瘤影像信息，第四下采样模块的输出数据输出给增强注意力模块；第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块依次连接，且采样的输入通道和输出通道呈指数增加；

所述解码模块依次包括第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块及输出分割模块；第四上采样模块用于接收增强注意力模块的输出数据，输出分割模块用于输出多模态数据；第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块依次连接，且采样的输入通道和输出通道呈与各个下采样模块相同指数减少。

3.根据权利要求1或2所述的基于增强注意力的编解码网络胶质瘤融合分割系统，其特征在于：

所述编码模块的输入卷积模块输出第一特征图，第一下采样模块输出第二特征图，第二下采样模块输出第三特征图，第三下采样模块输出第四特征图，第四下采样模块输出最底层特征图；

所述解码模块的各个上采样模块均包括上采样层、拼接单元及双层卷积单元；第四上采样模块的拼接单元接收对应上采样层的输出信息和第四特征图进行拼接后输出给对应的双层卷积单元；第三上采样模块的拼接单元接收对应上采样层的输出信息和第三特征图进行拼接后输出给对应的双层卷积单元；第二上采样模块的拼接单元接收对应上采样层的输出信息和第二特征图进行拼接后输出给对应的双层卷积单元；第一上采样模块的拼接单元接收对应上采样层的输出信息和第一特征图进行拼接后输出给对应的双层卷积单元。

4.一种基于增强注意力的编解码网络胶质瘤融合分割方法，其特征在于，采用权利要求1-3任一所述的基于增强注意力的编解码网络胶质瘤融合分割系统，包括以下步骤：

S1、对标准肿瘤MR影像集进行预处理，分别在轴、冠、矢三个方向上提取存在肿瘤组织的2D影像数据，同时剔除掉非肿瘤组织的2D切片数据，分别构建轴方向训练数据集、冠方向训练数据集、矢方向训练数据集，并构建轴方向验证数据集、冠方向验证数据集、矢方向验证数据集；

S2、构建初始编解码网络子模型：构建三个网络结构相同的初始编解码网络子模型，所述初始编解码网络子模型包括轴方向初始编解码网络子模型、冠方向初始编解码网络子模型和矢方向初始编解码网络子模型；

构建初始二分类分割辅助网络模型；

S3、训练初始编解码网络子模型和初始二分类分割辅助网络模型并调试网络超参数；

将步骤S1中的轴方向的训练数据集输入轴方向初始编解码网络子模型，将冠方向的训练数据集输入冠方向初始编解码网络子模型，将矢方向的训练数据集输入矢方向初始编解码网络子模型，分别进行训练并调试网络超参数获得轴方向编解码网络子模型、冠方向编解码网络子模型和矢方向编解码网络子模型；

将步骤S1中的轴方向的训练数据集输入初始二分类分割辅助网络模型，进行训练并调试网络超参数获得二分类分割辅助网络模型；

S4、验证编解码网络子模型和二分类分割辅助网络模型

将步骤S1中的轴方向验证数据集、冠方向验证数据集、矢方向验证数据集输入对应方向的编解码网络子模型，获得三个方向的子区域分割概率掩码，对每个像素位置对应的概率掩码进行“舍入后平均”，获得融合三个方向的网络分割结果；将轴方向验证数据集输入二分类分割辅助网络模型，获得肿瘤核心二分类分割结果；

计算融合三个方向的网络分割结果与真值标签掩码的DICE分数α1，若DICE分数α1不变或增加量小于当前DICE分数α1的1％，则获得最终四分类编解码网络模型；若DICE分数α1增加且增加量大于等于当前DICE分数α1的1％，则返回步骤S3继续对四分类编解码网络模型的各个子模型进行训练，直至获得最终四分类编解码网络模型；

计算肿瘤核心二分类分割结果与真值标签掩码的DICE分数α2，若DICE分数α2不变或增加量小于当前DICE分数α2的1％，则获得最终二分类分割辅助网络模型；若DICE分数α2增加且增加量大于等于当前DICE分数α2的1％，则返回步骤S3继续对二分类分割辅助网络模型进行训练，直至获得最终二分类分割辅助网络模型；

S5、将待测MR影像集分别在轴、冠、矢三个方向上提取各个影像的信息形成三个待测数据集；将三个待测数据集分别输入S4中最终的融合分割编解码网络模型，获得待测MR影像集融合三个方向的网络分割结果；将轴方向待测数据集输入S4中最终的二分类分割辅助网络模型，获得待测MR影像集二分类分割结果，根据待测MR影像集二分类分割结果对待测MR影像集融合三个方向的网络分割结果进行修正，获得待测MR影像集的最终融合分割结果。

5.根据权利要求4所述的基于增强注意力的编解码网络胶质瘤融合分割方法，其特征在于：

步骤S1中，标准肿瘤MR影像集进行预处理具体为：

S1.1、以标准肿瘤MR影像集中各个3D影像中心为裁剪后的3D影像中心，以预设窗口大小裁剪原始3D影像和对应标签掩码，以去除与实际成像数据不相关的冗余空白边界，减小数据尺寸，提高模型推理效率；

S1.2、将步骤S1.1中裁剪后的影像强度进行高斯归一化，增加模型收敛速度；

S1.3、分别以轴、冠、矢三个方向从步骤S1.2处理后的影像数据中同时提取四个模态2D切片，四个模态包括液体衰减反转恢复序列、T1加权、对比后T1加权、T2加权；将四个模态数据作为新的2D影像数据的四个通道，生成三个方向上具有四通道的2D肿瘤MR多模态的数据集，随机抽取数据集中75％作为训练数据集，剩余25％作为验证数据集。

Images