CN114202550A

CN114202550A - 一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法

Info

Publication number: CN114202550A
Application number: CN202111403333.5A
Authority: CN
Inventors: 胡敏; 熊思; 黄宏程
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2021-11-24
Filing date: 2021-11-24
Publication date: 2022-03-18

Abstract

本发明属于图像处理领域，具体涉及一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，包括构建RAPNet网络并对其进行训练；将脑部MRI图像输入到训练好的RAPNet网络中进行图像识别分割，得到分割后的脑肿瘤MRI图像及其亚结构区域，RAPNet网络包括主干网络、特征金字塔以及辅助预测，主干网络由空洞卷积和多个ISE‑R2CU单元组成，用于提取输入图像的浅层特征和深层特征；本发明采用的由3D空洞卷积和跨模型注意力机制构成的特征金字塔与主干相结合以学习整个肿瘤及其亚结构的有效特征，从而具有拟合肿瘤内各种组织边界的优势。

Description

一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法

技术领域

本发明属于图像处理领域，具体涉及一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法。

背景技术

脑肿瘤是大脑中聚集的异常细胞，是一种极其危险的疾病。肿瘤细胞会快速分裂并且无限增殖，逐渐侵犯人体中枢神经系统最终导致死亡。医学影像为脑肿瘤的早期诊断提供了技术支持，在众多成像方法中，磁共振成像(Magnetic Resonance Imaging,MRI)技术为脑部软组织的多方位成像提供了优越的对比度，且具有无创、无辐射的特点，因此MRI成为诊断脑肿瘤的一种常用技术。在治疗过程中，为了在杀死肿瘤细胞的同时最大限度的保护正常细胞，治疗前对肿瘤瘤体的分割尤为重要。然而，用人力的方法对大量多模态MRI图像进行标注和分割是一项非常耗时的工作，而且这种方式受到主观因素的影响太大，其分割效率较低。

随着人工智能技术的迅速发展，特别是深度学习技术的突破和医学大数据的兴起，越来越多的研究者致力将人工智能技术应用于MRI图像中脑肿瘤的自动分割。其中，基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的方法以数据驱动的方式，通过端到端的学习机制来构建复杂的神经网络模型。这些DCNN网络可以分为两大类，即多流结构和编解码器结构。多流架构使用不同规模的多个输入以共享参数的方式构建网络，此类网络考虑了MRI数据中像素/体素之间的空间关系，其体系结构通常集成到另一级联结构中，以滑动窗口的方式对小像素/体素块和大像素/体素块分别进行采样。小块采样负责学习MRI扫描的详细局部特征，而大块采样则利用上下文信息来提高最终的分割性能。多数据流体系结构首先为不同大小的输入图像构建金字塔，然后馈送它们以学习多尺度特征，这种方式也被称为具有多特征输出的多图像输入。多数据流的方式实现相对简单，但金字塔的输入图像被重复输入到同一网络，这将导致计算冗余。

与多流架构不同，编解码器结构主要使用端到端学习的像素-像素语义分割思想。陈等人通过在卷积层中添加对称掩码来有效地利用先验知识，提出了一种深度卷积对称神经网络来实现脑肿瘤的自动分割。蒋等人通过探索多模态图像块进行有效的数据增强，提出了一种新的图像增强算法，即用于多类别语义分割的三维全卷积网络。李等人在改进的全卷积网络的基础上，提出了一种向上跳跃连接的结构以改善网络连通性，增强编码器部分和解码器部分之间的信息流，同时在U型结构的每个基础模块中采用初始模块使网络能够学习更丰富的特征表示。胡等人提出了基于多级卷积神经网络和全连通条件随机场的分割方法，该方法结合多个连通分量的中间结果设计了多级网络体系结构，以考虑标签的局部依赖性，并使用条件随机场来考虑上下文信息，消除一些虚假输出以进行精细分割。Rehman等人在现有的U-Net结构中引入了残差扩展跳跃连接和宽泛上下文两个模块，用以有效扩大感受野，增强MRI的背景特征提取。在这些网络中，编码器负责将输入转换为低分辨率表示，而解码器将低分辨率表示映射到像素预测。由于重新移动全连接层，这种类型的体系结构允许对任意输入大小进行像素级密集预测。

虽然上述网络极大地促进了医学图像分割的发展，但由于脑肿瘤在不同患者的MRI图像中呈现出不同的大小和形状，基于单尺度的网络在在脑肿瘤分割方面仍然存在以下局限性：过于复杂的网络模型适用于数据量较大的图像处理，并且需要强大的计算资源，当网络参数较多的时候，网络模型会出现梯度弥散的问题；现有的大多数用于脑肿瘤分割的DCNN具有有限的多尺度处理能力，且常忽略病变组织周围环境这种可用以区分不同组织的辅助信息，因此，急需一种用于不同尺度的脑肿瘤MRI图像分割模型进行图像分割处理。

发明内容

为解决脑肿瘤在不同患者MRI图像中呈现不同大小和形状导致基于单尺度DCNN分割精度较低的问题，本发明提出一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，

构建RAPNet网络并对其进行训练；

将将脑部MRI图像输入到训练好的RAPNet网络中进行图像识别分割，得到分割后的脑肿瘤MRI图像及其亚结构区域；

RAPNet网络包括主干网络、特征金字塔以及辅助预测，其中：

主干网络由空洞卷积和多个改进的递归残差卷积单元(Improved Squeeze-and-Excitation Recurrent Residual Convolutional Unit，ISE-R2CU)组成，用于提取输入图像的浅层特征和深层特征；

特征金字塔由空洞卷积和跨模型注意力机制构成，用于提取具有不同尺度的特征图以提高整体模型对不同大小肿瘤的识别能力；

辅助预测部分为标准卷积组成，用于综合观察所有受益于特征融合模块的目标。

进一步的，ISE-R2CU由三个ISE-Res模块、三个1×1×1标准卷积层、一个3×3×3标准卷积层和一个残差连接层组成，其中：

3×3×3标准卷积层根据输入的图像得到高分辨率图像；

将高分辨率图像输入1×1×1标准卷积层在保证不改变图像大小的情况下压缩其通道数；

将1×1×1标准卷积得到图像与高分辨率图像相加后输入ISE-Res模块；

第一个ISE-Res模块输出的特征再输入一个1×1×1标准卷积层在保证不改变图像大小的情况下压缩其通道数；

将1×1×1标准卷积得到图像与高分辨率图像相加后输入第二个ISE-Res模块；

第二个ISE-Res模块输出的特征再输入一个1×1×1标准卷积层在保证不改变图像大小的情况下压缩其通道数；

将1×1×1标准卷积得到图像与高分辨率图像相加后输入第三个ISE-Res模块；

第二个ISE-Res模块输出的特征与输入的图像相加作为ISE-R2CU单元的输出。

进一步的，ISE-R2CU提取输入图像的浅层特征和深层特征，具体包括以下步骤：

其中，

表示ISE-R2CU单元网络在时间步长为t的输出，

和

分别是网络中第l层的标准卷积和递归卷积单元的输入，

和

的值分别为标准卷积和递归卷积单元在第k层特征图的权重，b_k为偏差，

是第l层中递归卷积单元的输出，x_l为网络中第l层的输入样本，w_l为第l层特征图上的像素。

进一步的，跨模型注意力机制包括三个ISE-Res；每个ISE-Res集成在特征金字塔的各特征提取分支中，在每个注意力机制模块的输出位置进行了元素相加操作；每个分支的激活特征通过拼接操作从上一分支连接到下一分支的特征映射。

进一步的，ISE-Res模块由的一个全局均值池化、一个全局最大池化、三个ReLU层、一个Sigmoid层和一个残差连接层组成，其中：

输入数据利用全局均值池化和全局最大池化分别对每个通道的全局信息并行采样，并行采样后的特征分别馈送到两个ReLU层进行激活；

将所述两个ReLU层的输出进行相加输入Sigmoid层；

残差连接层将Sigmoid输出与输入数据相乘后再与输入数据线性叠加作为残差连接；

叠加后得到的数据输入一个ReLU层进行激活；

将残差连接层

进一步的，辅助预测结构包含三个1×1×1标准卷积层和分割预测层；每个输入特征图分支后均使用标准卷积和分割预测层以得到该分支的预测结果。

进一步的，RAPNet网络的训练过程包括：

S1：将训练集中的图像数据输入到RAPNet网络进行处理；

S2：主干网络的3D递归残差卷积单元对输入数据通过多次操作对不同深度的特征进行累加；

S3：特征金字塔中具体不同膨胀率的空洞卷积学习输入数据的多尺度特征，通过特征重新校准机制，学习使用全局信息选择性强调信息丰富的特征；

S4：辅助预测结构对具有不同尺度特征的多层预测结果分别与标签图像进行逐像素比对，得到各分支预测结果误差；

S5：根据误差结果计算各分支的损失函数，并将误差通过反向传播算法输入到模型，更新在网络提取特征时候的卷积核权重和各模块中的参数，当损失函数最小时，完成模型的训练。

进一步的，RAPNet网络的损失函数为：

L_total(G,Y,I)＝L_aided(G,Y,I)+L_fuse(G,Y,I)

α_m×0.1×(1-t/N)→α_m

其中，I为3D MRI图像输入样本，G为对应的真实分割结果，Y为使用RAPNet产生的实际分割结果，L_total(G,Y,I)为网络的总体损失，L_aided(·,·)表示用于分层预测的辅助结构的损失，L_fuse(·,·)表示融合层的损失，M表示辅助结构的总层数，α_m参数用于调整总体损失和辅助结构中第m层损失的比例，t表示回合步数，N表示回合总数，

表示衡量辅助结构中第m层预测结果与真实分割结果相似性的损失函数，σ(·)表示标准卷积函数之后的BN和ReLU的复合非线性映射，β_m表示可学习融合权重，

表示辅助结构中第m层的输出，

表示G与

之间的损失值。

本发明中的RAPNet采用改进的递归残差卷积单元ISE-R2CU构成网络主干，以缓解由于网络参数较多而导致的梯度弥散问题。考虑到DCNN固有的多尺度层次化特征，本发明设计了由3D空洞卷积和跨模型注意力机制构成的特征金字塔与主干相结合以学习整个肿瘤及其亚结构的有效特征，从而具有拟合肿瘤内各种组织边界的优势；本发明将设计的网络与主要思想为融合分层预测结果的末端辅助预测结构相结合，从而可以综合观察所有受益于特征融合模块的目标。

附图说明

图1为本发明的RAPNet网络结构示意图；

图2为本发明的改进的压缩激励残差模块结构图；

图3为本发明的改进的递归残差卷积单元结构图；

图4为本发明的跨模型注意力机制结构图；

图5为本发明的RAPNet的总体损失示意图；

图6为本发明的检测过程图；

图7为本发明使用RAPNet训练模型的视觉分割结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，包括以下步骤：

构建RAPNet网络并对其进行训练；

RAPNet网络包括主干网络、特征金字塔以及辅助预测，其中：

主干网络由空洞卷积和多个ISE-R2CU单元组成，用于提取输入图像的浅层特征和深层特征；

在本实施例中，如图6所示，将脑部MRI图像输入到训练好的RAPNet网络中进行图像识别分割，得到分割后的脑肿瘤MRI图像及其亚结构区域；改进的全卷积神经网络RAPNet包括主干网络、特征金字塔以及辅助预测部分。

本实施例中采用的由改进的递归残差卷积单元构成的主干网络，连接到主干网络的特征金字塔和主要思想为融合分层预测结果的末端辅助预测结构；所述主干网络由空洞卷积和多个融合改进的压缩激励残差模块的递归残差卷积单元ISE-R2CU组成，用于提取输入图像的浅层特征和深层特征并缓解网络模型过于复杂造成的网络退化和梯度弥散；所述特征金字塔由空洞卷积和跨模型注意力机制构成，用于提取具有不同尺度的特征图以提高整体模型对不同大小肿瘤的识别能力；所述辅助预测部分为标准卷积组成，用于综合观察所有受益于特征融合模块的目标。

改进的压缩激励残差模块ISE-Res结构如图2所示，该模块由一个全局均值池化、一个全局最大池化、三个ReLU、一个Sigmoid和一个残差连接层组成，通过明确地建模其卷积特征的通道之间的相互依赖性和非线性相互作用来提高网络的表征能力。首先对每个通道的全局信息进行采样，包括全局均值池化和最大池化，并行采样可提取到更加丰富的有效特征，其中均值池化可减少由邻域大小受限导致估计值方差增大，从而更多地保留图像背景信息，最大池化可减少卷积层参数误差造成估计均值的偏移，更多地保留图像纹理信息。并行采样后的特征分别馈送到激活函数ReLU层后进行融合，再送入Sigmoid，Sigmoid输出与ISE-Res输入相乘的结果与ISE-Res输入融合生成缩放的输入，随后送入到ReLU层。

本实施例中，融合ISE-Res的递归卷积残差单元ISE-R2CU由三个ISE-Res模块、三个1×1×1标准卷积层、一个3×3×3标准卷积层和一个残差连接层组成，在递归结构后紧跟压缩激励残差模块。递归卷积单元通过多次操作提高了特征学习的空间相关性，对不同深度的特征进行累加，确保在相同层级的编解码结构上积累低层特征，提供更好的特征表示。

考虑网络中第l层的输入样本x_l和递归卷积单元中第k层特征图上位于输入样本(i,j)处的像素，假设网络

的输出在时间步长t，则输出可以表示为：

其中，

和

分别是网络中第l层的标准卷积和递归卷积单元的输入，

和

的值分别为标准卷积和递归卷积单元在第k层特征图的权重，b_k为偏差。递归卷积单元的输出被送入标准ReLU激活函数f，并表示为：

其中，

是第l层中RCU的输出。如图3所示的递归残差单元的最终输出计算如下：

其中，x_l表示为递归残差单元的输入，x_l+1样本用于后续子采样或者空洞卷积层的输入。

如果训练数据集包含各种尺度的目标，则深度卷积神经网络DCNN能够处理多尺度表示，这一机制使得DCNN具有分割不同大小病变区域的能力。由于DCNN生成的特征图具有多尺度特性，使用由3D空洞卷积构建的多输入分支结构添加到主干网络的末端进行多尺度特征学习。当膨胀率为1时的空洞卷积即为标准卷积。若膨胀率设置为1，其步长大于1且填充设置为0，则此种卷积运算等同于下采样操作，输出信号的大小将只占输入的一小部分。当其填充接近膨胀率并且步长设置得更小时，DCNN可以学习到更密集的特征。通过调整空洞卷积的膨胀率和步长，DCNN可以提取出不同尺度的特征图。网络输入大小大于DCNN感受野时，最终的softmax层将同时产生多个预测的特征映射。只要DCNN的感受野能够覆盖没有填充的全部输入，则所有的预测都是同样可信的。该算法避免了在重叠切块中对同一体素进行重复卷积，从而大大降低了计算成本和内存负荷。从主干网络输出的特征图将被单独传播到由具有不同膨胀率的3D空洞卷积组成的每个分支中。为了应对在训练过程中阻碍模型性能的“内部协变量漂移”现象，本发明对RAPNet中所有卷积层均使用批归一化BN技术

为加强不同密度特征图之间的联系，本发明设计了以ISE-Res为基础结构的跨模型注意机制并将其集成在多分支特征提取中，每个分支上各注意力机制模块的详细结构如图4所示。通过特征重新校准机制，此网络可以学习使用全局信息选择性强调信息丰富的特征而抑制不太有用的特征。为提高预测特征图的局部空间一致性，在每个注意力机制模块的输出位置进行了元素相加操作，以激活肿瘤包含位置信息的有效特征，每个分支的激活特征通过拼接操作从上一分支连接到下一分支的特征映射。

网络末端添加辅助预测结构以得到具有不同尺度特征的多层预测结果，然后使用非极大值抑制NMS思想获得最终分割结果。辅助预测结构中的每个输入特征图分支后均使用标准卷积以得到该分支的预测结果，假设第l层预测结果表示为v_l，则v_l处的Dice相似性系数DSC可表示为：

其中TP、FP和FN分别真阳性、假阳性和假阴性的预测体素的数量。当选取最大置信度的预测结果之后，计算剩余预测结果与其的DSC值，排除大于阈值的预测结果。NMS的衰减函数可表示为：

如图5所示，整个网络的损失由辅助预测结构的所有层以及融合层的所有损失值组成。3D MRI图像输入样本表示为I＝{v_i|i＝1,...,n}，对应的真实分割结果GT表示为G＝{g_i|i＝1,...,n}，使用RAPNet产生的实际分割结果表示为Y＝{y_i|i＝1,...,n}，其中样本v_i、g_i和y_i分别表示为第i个输入样本和对应GT的体素，以及对应实际分割结果的体素。网络总体损失函数如下所示：

L_total(G,Y,I)＝L_aided(G,Y,I)+L_fuse(G,Y,I)

其中，L_aided(·,·)表示用于分层预测的辅助结构的损失，L_fuse(·,·)表示融合层的损失。辅助结构中的每一层的损失分支与用于通过softmax函数计算损失的预测结果融合模块相关联。辅助结构的损失可表示为：

其中，M表示辅助结构的总层数，α_m参数用于调整总体损失和辅助结构中第m层损失的比例。使用衰减函数将辅助结构层的损失置零，即α_m×0.1×(1-t/N)→α_m，其中t表示回合步数，N表示回合总数，

表示衡量辅助结构中第m层预测结果与GT相似性的损失函数。

为了有效地融合辅助结构中每一层的预测结果，在训练过程中对最后的融合层进行加权操作，融合层的损失函数表示为：

其中，σ(·)表示标准卷积函数之后的BN和ReLU的复合非线性映射，β_m表示可学习融合权重，

表示辅助结构中第m层的输出，l(·,·)形式上等价于

即损失函数。

本实施例对模型进行训练的过程，具体包括以下步骤：

S1：将训练集中的图像数据输入到RAPNet网络进行处理；

S3：特征金字塔中具体不同膨胀率的空洞卷积学习输入数据的多尺度特征，通过特征重新校准机制，学习使用全局信息选择性强调信息丰富的特征而抑制不太有用的特征；

在BraTS 2019数据集上将拟议的方法与当前典型方法进行比较，可比结果总结在表1中。评估结果表明，RAPNet在分割TC和ET方面取得了具有竞争力的优势。RAPNet的主要优点是，网络在进行一定量特征积累后融合多尺度上下文信息，利用特征金字塔来学习病变的特征，提高了模型区分各种病变组织的能力，金字塔结构中集成的跨模型注意力机制增强了来自每个分支的肿瘤区域特征，即网络学习的特征具有多尺度和非线性抽象的自然特征。该模型合理地利用了这一特点，有利于聚合不同层次的抽象信息，通过空洞卷积等操作提高目标区域的聚焦度。

表1与当前先进方法的比较结果

图7显示了使用训练好的模型对BraTS 2019数据集进行视觉分割的结果。为了验证所提出方法的有效性和稳健性，从BraTS 2019中选出的测试集中随机选择名为#Brats19_CBICA_ATX_1的受试者，展示了T1、T2、T1ce和Flair模式在冠状面、矢状面和水平面上的分割结果，并与Ground-Truth进行比较。与Ground-Truth相比，RAPNet不仅将整个肿瘤与健康组织区分开，而且能很好地保留肿瘤的层次结构。这些例证表明，RAPNet在学习病变的多尺度特征方面具有更好的效果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，包括以下步骤：

构建RAPNet网络并对其进行训练；

RAPNet网络包括主干网络、特征金字塔以及辅助预测，其中：

主干网络由空洞卷积和多个改进的递归残差卷积单元组成，用于提取输入图像的浅层特征和深层特征；

2.根据权利要求1所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，改进的递归残差卷积单元由三个ISE-Res模块、三个1×1×1标准卷积层、一个3×3×3标准卷积层和一个残差连接层组成，其中：

3×3×3标准卷积层根据输入的图像得到高分辨率图像；

第二个ISE-Res模块输出的特征与输入的图像相加作为改进的递归残差卷积单元的输出。

3.根据权利要求2所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，改进的递归残差卷积单元提取输入图像的浅层特征和深层特征，具体包括以下步骤：

其中，

表示ISE-R2CU单元网络在时间步长为t的输出，

和

分别是网络中第l层的标准卷积和递归卷积单元的输入，

和

4.根据权利要求1所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，跨模型注意力机制包括三个ISE-Res；每个ISE-Res集成在特征金字塔的各特征提取分支中，在每个注意力机制模块的输出位置进行了元素相加操作；每个分支的激活特征通过拼接操作从上一分支连接到下一分支的特征映射。

5.根据权利要求2或4所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，ISE-Res模块由的一个全局均值池化、一个全局最大池化、三个ReLU层、一个Sigmoid层和一个残差连接层组成，其中：

将所述两个ReLU层的输出进行相加输入Sigmoid层；

叠加后得到的数据输入一个ReLU层进行激活。

6.根据权利要求1所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，辅助预测结构包含三个1×1×1标准卷积层和分割预测层；每个输入特征图分支后均使用标准卷积和分割预测层以得到该分支的预测结果。

7.根据权利要求1所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，RAPNet网络的训练过程包括：

S1：将训练集中的图像数据输入到RAPNet网络进行处理；

8.根据权利要求7所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，RAPNet网络的损失函数为：

L_total(G,Y,I)＝L_aided(G,Y,I)+L_fuse(G,Y,I)

α_m×0.1×(1-t/N)→α_m

其中，I为3D MRI图像输入样本，G为对应的真实分割结果，Y为使用RAPNet产生的实际分割结果，L_total(G,Y,I)为网络的总体损失，L_aided(G,Y,I)表示用于分层预测的辅助结构的损失，L_fuse(G,Y,I)表示融合层的损失，M表示辅助结构的总层数，α_m参数用于调整总体损失和辅助结构中第m层损失的比例，t表示回合步数，N表示回合总数，

表示辅助结构中第m层的输出，

表示G与

之间的损失值。