CN111739051B - 一种基于残差网络的多序列mri图像分割方法 - Google Patents

Abstract

本发明属于计算机视觉与机器学习的交叉领域，一种基于残差网络的多序列MRI图像分割方法，首先将数据集中的MRI多序列作为输入图像的多个通道进行合并处理，并对分割序列进行分离，分离为不同类别的分割图。本发明在经典的编码器解码器分割网络的基础上引入了残差网络，用残差单元代替原来的编码解码网络。利用残差单元内的跳转连接，提取更多的局部特征。增加了同一层级残差单元之间的跳转连接，实现了全局特征的提取。此外，针对MRI图像中目标区域与背景区域在图像中所占比例相差大而导致的分割类别不平衡问题，本发明将交叉熵损失与Dice损失线性结合，并对Dice损失加权来解决该问题。

Description

一种基于残差网络的多序列MRI图像分割方法

技术领域

本发明属于计算机视觉与机器学习的交叉领域，涉及一种基于残差网络的多序列MRI图像的分割方法。

背景技术

随着计算机视觉的发展，使用计算机技术对图像、视频进行分析处理变得越来越普遍。医学图像分割作为图像处理的一个重要组成部分，在分析解剖、定位疾病和规划手术过程中发挥着关键的作用。在生物医学领域中，随着医学设备与医学影像资料的与日俱增，仅靠人工方法对医学影像资料进行分析与处理已经难以应对医学领域的高速发展。因此，应用计算机技术对医学图像中的组织结构做精准、快速的分割与检测等操作，变得尤为重要。充分利用MRI图像的各个序列信息对MRI图像进行分割具有重要意义。

目前，不同类型的方法被用于医学图像的分割，包括基于阈值的分割方法、基于边缘的分割方法、基于区域的方法、基于图论的方法和基于活动轮廓的分割方法。传统的MRI分割算法在单一序列或较少的MRI序列上进行分割，没有充分利用MRI图像不同序列的互补信息，分割性能有待提升。

MRI图像分割实际上是一个不断提取特征信息并进行逐像素分割的问题。基于深度学习的方法通过不断的提取MRI图像的局部与全局特征、结构信息，对提取到的信息进行逐像素的预测实现组织结构的最优分割。MRI图像分割可以视为一个不断获取特征信息的过程，获得的上下文信息越多，分割性能越好。深度学习在构建网络时，往往通过增加更多的卷积与池化操作来不断的获取更多的上下文信息，优化分割的效果。然而在医学图像分割领域，医学图像的数据量往往难以支撑很深的网络结构，而且随着大量的卷积与池化操作，输入图像以及特征图的分辨率不断降低，分割效果不升反降。

在传统的图像分割方法中，通过滑动窗口的方式，来实现对图像的分割。基于滑窗的方式需要考虑滑动窗口的大小和滑动的步长，而且需要遍历整个图像，费时费力。Shelhamer E等提出了全卷积网络(Fully Convolutional Networks,FCN),实现了分割从图像级到像素级的跨越(Shelhamer E,Long J,Darrell T.Fully ConvolutionalNetworks for Semantic Segmentation[J].IEEE Transactions on Pattern Analysisand Machine Intelligence,2017,39(4):640–651.)。与经典的卷积神经网络(Convolutional Neural Network,CNN)在卷积层之后使用全连接层得到固定长度的特征向量并进行分类不同，FCN可以接收任意尺寸的输入图像，然后采用反卷积(Deconvnet)对最后一个卷积层的特征图进行上采样，使特征图恢复到与输入图像相同的尺寸。在保留原始输入图像空间信息的同时对图像中的每一个像素产生一个预测。最后在上采样的特征图上进行逐像素分割。受FCN网络的启发，Ronneberger O等人提出了对称的编码器解码器网络模型(Unet)。Unet的编码网络对上下文信息进行捕捉，相对应的解码网络通过上采样来恢复图像空间信息，进行逐像素预测。Unet网络实现了端到端的模型训练，并且分割性能得到了提升(Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks forbiomedical image segmentation[J].Lecture Notes in Computer Science,2015,9351:234–241)。Unet网络相比FCN获得了更多的上下文信息，但是受限于网络深度，分割性能仍有进步的空间。Milletari F等人在Unet网络上进行改进，在模型训练过程中将医学3D图像块作为网络的输入进行像素块上的学习，充分考虑了图像切片之间的关联性(MilletariF,Navab N,Ahmadi S.V-Net:Fully Convolutional Neural Networks for VolumetricMedical Image Segmentation[C]//2016Fourth International Conference on 3DVision(3DV).2016.)。然而3D图像块的输入使得网络的参数呈指数型增长，导致整个模型的复杂度较高。Zhou Z等人同样在Unet网络上进行改进，提出了Unet++网络(Zhou Z,RahmanSiddiquee M M,TajbakhshN,et al.Unet++:A nested u-net architecture formedical image segmentation[J].Lecture Notes in Computer Science,2018,11045LNCS:3–11)。Unet++将编码网络的每一个层次的特征图都进行独立的解码操作，一定程度上可以提高网络的性能，但是时间复杂度与空间复杂度高，相当于多个Unet网络的共同作用，而且分割性能受限数据集样本量，训练过程中需要进行数据扩增。

针对医学图像分割中特征信息提取不充分，MRI图像的多序列缺乏有效利用和医学数据集样本量少难以支撑较深网络的问题，本专利提出了一种基于残差网络的多序列MRI分割方法(Multi-ResUnet)。所提方法将MRI图像的多序列进行合并处理，通过残差单元内部的短距离跳转和残差单元之间的长距离跳转获取更多的局部与全局特征信息。此外，本专利使用交叉熵损失和Dice损失结合的方法来缓解MRI图像分割中类别不均衡问题。所提方法在不增加网络深度的前提下，使用较少的数据实现了端到端的MRI图像分割。

发明内容

针对传统的MRI图像分割过程中存在的特征信息提取不充分，MRI图像的多种序列缺乏有效利用和医学数据集样本量少难以支撑较深网络训练的问题，本发明提出了一种带有残差机制的多序列MRI图像分割方法(Multi-ResUnet)。本方法用残差单元代替原有的编码网络与解码网络结构，通过残差单元内部短距离的跳转连接和残差单元之间长距离的跳转连接的结合，实现更加充分的上下文特征关系的获取，在没有加深网络深度的前提下，提高了网络特征提取的能力。

本发明的技术方案：

一种基于残差网络的多序列MRI图像分割方法，包括如下步骤：

步骤1：对数据集中的图像进行处理，包括对多序列MRI图像X的合并与标记序列Y的分离；将MRI的多种不同序列作为输入图像的多个通道，在z轴上进行叠加；具体如下：标记序列Y＝{0,1,2,3}，0标记正常部分，1标记整体异常部分、2标记核心异常部分、3标记增强异常部分；根据标记的不同将Y分割为通道Y¹＝{0,1}，通道Y²＝{0,2}和通道Y³＝{0,3}；将Y¹、Y²和Y³作为标记图像G的三个通道，G＝{Y¹,Y²,Y³}；最后分别对分割与合并后的图像和标记图像进行切片与取块操作；

步骤2：利用MRI图像X和标记图像G在残差块上训练，实现短距离的特征提取；ResBlock的结构如图1所示。在训练集中随机取N张切片参与训练，对于网络深度l的残差计算时，输入图像

输入标签

x_l∈X，g_l∈G。残差单元训练后得到

残差单元的计算公式为：

y_l＝h(x_l)+F(x_l,g_l)(1)

x_l+1＝δ(y_l)(2)

式中，x_l，g_l表示网络深度为l时残差块的输入，x_l+1表示残差块的输出，h(.)表示对当前输入信息的处理函数，δ是一个激活函数，F是残差函数；

步骤3：利用步骤2同样的方法进行编码网络与解码网络上不同尺度残差的计算；网络深度一共为2l，经过l次不同尺度即不同网络深度的训练后得到l个不同尺度的编码网络单元D_i和l个不同尺度的解码单元U_i；D_i和U_i表示第i个编码网络后的的局部特征图和解码网络后的局部特征图；

步骤4：将上述同一尺度的D_i与U_i进行长距离融合得到特征图P_i；相比D_i和U_i，P_i表征更大范围内的特征信息，计算公式如下：

P_i＝D_i+U_i (3)

其中D_i，U_i表示网络深度i时，编码网络的特征图信息与解码网络的特征图信息；D_i，U_i具有相同的尺度；

步骤5：当i＝l时，P_i和输入图像空间信息一致，对P_l进行激活函数激活，将特征信息映射到分割图像；此时的P_l表示预测的分割图，P_l包含三个通道，三个通道分别对应不同类别的分割，P_l＝{P_l ¹，P_l ²,P_l ³}；将预测值P_l与真实值G_l进行对比，计算真实值与预测值的距离，构造损失函数，通过不断的最小化损失函数来不断优化网络；采用Adam梯度下降算法更新网络参数θ；本方法使用的损失函数为交叉熵损失函数L_ce和Dice损失函数L_dice的线性组合：

在公式(4)中，N表示训练的数据量，L_ce表示交叉熵损失，

分别表示在网络深度l时第i张切片的真实分割与预测分割，其中，i∈N，

y_l,i∈P_l；

在公式(5)中，N表示训练的数量样本量，L_dice表示Dice损失，

表示第i张切片图像经过l次编码与解码后的网络输出值，

表示数据集中第i张切片的数据，ξ表示一个噪声，在本方法中，ξ＝0.0005用于增加网络的稳健性；

L＝0.5L_ce+L_dice(6)

在公式(6)中，L表示整个网络的损失，L_ce表示交叉熵损失，L_dice表示Dice损失；

步骤6：更新网络的参数，更新后的参数θ'；

步骤7：重复步骤3至步骤6，进行e次网络的训练；

步骤8：直至e＞epochs或者网络的训练性能不再提升时，网络训练完成；epochs表示网络的训练次数，初始化为一个常数epochs＝10000。

本方法设计的整个网络分为三个部分：编码网络、解码网络和中间网络(用于桥接编码器和解码器)。编码网络和解码网络是对称分布的。编码网络通过卷积和下采样来不断扩大视野，提取特征，解码网络通过反卷积和上采样来恢复网络。

在解码过程中，级联来自于同一尺度编码网络的特征信息。中间网络将编码网络与解码网络连接起来。九层网络的每一层都是用残差单元构建的。每个残差模块由两个3*3的卷积模块和一个定义好的输入特征图组成。编码网络包含四个残差块，对称的解码网络也包含四个残差块，中间网络包含一个残差块。在最后一层解码后，连接一个1×1的卷积和一个sigmod激活函数，将多通道特征图映射到分割图像。本方法训练过程中没有对图像进行裁剪操作，因此图像的输入与输出具有相同的空间信息。

附图说明

图1是残差单元结构图

图2是多序列MRI图像分割网络(Multi-ResUnet)结构图

图3是基于残差网络的多序列MRI图像分割流程图

图4是关于整体异常部分分割的hausdorff_95性能图。

图5是关于核心异常部分分割的hausdorff_95性能图。

图6是关于增强部分分割的hausdorff_95性能图。

具体实施方式

本发明提供一种基于残差网络的多序列MRI图像分割方法。所论述的具体实例仅用于说明本发明的实现方式，而不限制本发明的范围。下面结合附图对本发明的实施方式进行详细说明，具体包括以下内容：

1.数据集图像的预处理。图像预处理包括多序列图像的合并和标记图像的分离。预处理首先获取多模态MRI图像与标记图像属性信息，包括大小和空间信息，然后对多模态MRI进行标准化处理，图像减去均值除以方差。在z轴方向进行切片，每一个MRI序列被切分成155张大小为240*240*1的图片。最后准备MRI分割数据，将MRI图像的多个序列作为输入图像的多个通道，形成240*240*4的图像大小。多种序列图对同一特征的表现不同，多序列的结合可以实现信息的互补。对数据集中的标注的分割序列图像进行拆分，按标注进行拆分，形成不同的通道。最后对图像和标注图像进行分块，生成若干个160*160*4大小的图像和160*160*3大小的标注图像。

2.短距离的局部特征的提取。残差单元内部的短距离跳转连接实现局部特征信息的提取。残差单元结构图如图1所示。在残差单元中，将归一化、ReLU激活和卷积层连接起来。残差单元的计算如下：

y_l＝h(x_l)+F(x_l,g_l) (7)

x_l+1＝δ(y_l) (8)

在以上公式中，x_，，g_l表示网络深度l对应的残差块的输入，x_l+1表示网络深度网络深度l对应残差块的输出，h(.)表示对当前输入信息的处理函数，δ是一个激活函数，F是残差函数。

3.长距离的特征提取。将上述的残差单元应用到编码器解码器网络中形成基于残差网络的多序列脑MRI图像分割网络。本专利所提的网络整体结构如图2所示。在图2中，将l个不同层次的编码特征图D_i与解码特征图U_i跳转连接，实现长距离的特征提取。其中i＜＝l，当i＝l时，使用sigmod函数对解码特征图U_l进行激活，将特征信息映射到分割图。

4.损失函数的建模。网络中使用的损失函数是交叉熵损失L_ce与Dice损失L_dice的线性组合。损失函数的计算如下：

在公式9中，N表示训练的数据量，L_ce表示交叉熵损失，

和

分别表示在网络深度l时第i张切片的真实分割与预测分割，其中i∈N，

y_l,i∈P_l。

在公式10中，N表示训练的数量样本量，L_dice表示Dice损失，

表示第i张切片图像经过l次编码与解码后的网络预测分割值，

表示数据集中第i张切片的真实分割值，δ表示一个噪声，在本方法中，δ＝0.0005用于增加网络的稳健性。

L＝0.5L_ce+L_dice (11)

在公式11中，L表示整个网络的损失，L_ce表示交叉熵损失，L_dice表示Dice损失。

5.基于残差网络的MRI图像分割的实现。本方法将残差思想引入到经典的语义分割网络中，实现了一个基于残差思想的MRI图像分割网络。残差思想引入到Unet结构中，一方面简化了网络训练，避免加深网络导致的梯度消失现象，另一方面在残差网络中使用跳转连接，容易得到更多的语义信息，使低层次语义信息更彻底的与高层次语义信息融合，优化分割结果。在构建模型结构时，本方法采用9级神经网络构建模型对MRI图像中的组织结构进行分割。模型结构图如图2所示。

本专利所提的整个网络结构分为三个部分：编码网络、解码网络和中间网络(用于桥接编码器和解码器)。编码网络和解码网络是对称分布的。编码网络通过卷积和下采样来不断扩大视野、提取特征，解码网络通过反卷积和上采样来恢复网络。在解码过程中，级联来自于同一尺度的编码网络的特征信息。中间网络将编码网络与解码网络连接起来。九层网络的每一层都由残差单元构建。每个残差模块，由两个3*3的卷积模块和一个定义好的输入特征图组成，残差网络结构图如图2所示。编码网络包含四个残差块，对应的解码网络也包含四个残差块，中间网络包含一个残差块。在最后一层解码后，连接一个1×1的卷积和一个sigmod激活函数，将多通道特征图映射到分割图像。本方法训练网络中没有对图像进行裁剪操作，因此，图像的输入与输出具有相同的尺度。

6.不同分割任务的实现。在上述的步骤中实现了在4序列MRI图像上的组织分割，输出的是三通道的二值分割特征图。第i张切片的预测输出P_i中包含三个不同类别的结构，三种不同结构的分割为[P_i ⁰,P_i ¹,P_i ²]。P_i ⁰＝{0,1}中1表示切片i中的整体异常部分，0表示正常部分；P_i ¹＝{0,1}中1表示切片i中的核心异常部分，0表示正常部分；P_i ²＝{0,1}中1为切片i中的增强异常部分，0表示正常部分。

通过对P_i ⁰、P_i ¹、P_i ²不同结构的融合可实现三种不同分割任务。第i张切片图像中整体异常部分的分割为WT_i，核心异常部分的分割为TC_i，增强异常部分的分割为EN_i。三种分割任务的计算如下：

WT_i＝P_i ⁰∪P_i ¹∪P_i ² (12)

TC_i＝P_i ⁰∪P_i ² (13)

EN_i＝P_i ² (14)

网络实验过程中使用hausdorff_95评价指标来证明网络对于多序列MRI图像多分割任务的分割性能。Hausdorff_95指标就是Hausdorff距离的计算结果的0.95倍。图4、图5、图6分别为整体异常分割，核心异常分割和增强异常分割的hausdorff_95的分割效果图。为了更清楚的表示分割的效果，每隔70个切片进行描点划线，本方法实现了较好的分割性能。

Claims (2)

1.一种基于残差网络的多序列MRI图像分割方法，其特征在于，包括如下步骤：

步骤1：对数据集中的图像进行处理，包括对多序列MRI图像X的合并与标记序列Y的分离；将MRI的多种不同序列作为输入图像的多个通道，在z轴上进行叠加；具体如下：标记序列Y＝{0,1,2,3}，0标记正常部分，1标记整体异常部分、2标记核心异常部分、3标记增强异常部分；根据标记的不同将Y分割为通道Y¹＝{0,1}，通道Y²＝{0,2}和通道Y³＝{0,3}；将Y¹、Y²和Y³作为标记图像G的三个通道，G＝{Y¹,Y²,Y³}；最后分别对分割与合并后的图像和标记图像进行切片与取块操作；

步骤2：利用MRI图像X和标记图像G在残差块上训练，实现短距离的特征提取；在训练集中随机取N张切片参与训练，对于网络深度l的残差计算时，输入图像

输入标签

x_l∈X，g_l∈G；残差单元训练后得到

残差单元的计算公式为：

y_l＝h(x_l)+F(x_l,g_l) (1)

x_l+1＝δ(y_l) (2)

式中，x_l，g_l表示网络深度为l时残差块的输入，x_l+1表示残差块的输出，h(.)表示对当前输入信息的处理函数，δ是一个激活函数，F是残差函数；

步骤3：利用步骤2同样的方法进行编码网络与解码网络上不同尺度残差的计算；网络深度一共为2l，经过l次不同尺度即不同网络深度的训练后得到l个不同尺度的编码网络单元D_i和l个不同尺度的解码单元U_i；D_i和U_i表示第i个编码网络后的的局部特征图和解码网络后的局部特征图；

步骤4：将上述同一尺度的D_i与U_i进行长距离融合得到特征图P_i；相比D_i和U_i，P_i表征更大范围内的特征信息，计算公式如下：

P_i＝D_i+U_i (3)

其中D_i，U_i表示网络深度i时，编码网络的特征图信息与解码网络的特征图信息；D_i，U_i具有相同的尺度；

步骤5：当i＝l时，P_i和输入图像空间信息一致，对P_l进行激活函数激活，将特征信息映射到分割图像；此时的P_l表示预测的分割图，P_l包含三个通道，三个通道分别对应不同类别的分割，P_l＝{P_l ¹，P_l ²,P_l ³}；将预测值P_l与真实值G_l进行对比，计算真实值与预测值的距离，构造损失函数，通过不断的最小化损失函数来不断优化网络；采用Adam梯度下降算法更新网络参数θ；本方法使用的损失函数为交叉熵损失函数L_ce和Dice损失函数L_dice的线性组合：

在公式(4)中，N表示训练的数据量，L_ce表示交叉熵损失，

分别表示在网络深度l时第i张切片的真实分割与预测分割，其中，i∈N，

y_l,i∈P_l；

在公式(5)中，N表示训练的数量样本量，L_dice表示Dice损失，

表示第i张切片图像经过l次编码与解码后的网络输出值，

表示数据集中第i张切片的数据，ξ表示一个噪声，在本方法中，ξ＝0.0005用于增加网络的稳健性；

L＝0.5L_ce+L_dice (6)

在公式(6)中，L表示整个网络的损失，L_ce表示交叉熵损失，L_dice表示Dice损失；

步骤6：更新网络的参数，更新后的参数θ'；

步骤7：重复步骤3至步骤6，进行e次网络的训练；

步骤8：直至e＞epochs或者网络的训练性能不再提升时，网络训练完成；epochs表示网络的训练次数，初始化为一个常数epochs＝10000。

2.根据权利要求1所述的基于残差网络的多序列MRI图像分割方法，其特征在于，本方法设计的整个网络分为三个部分：编码网络、解码网络和中间网络，中间网络用于桥接编码器和解码器，编码网络和解码网络是对称分布的；编码网络通过卷积和下采样来不断扩大视野，提取特征，解码网络通过反卷积和上采样来恢复网络；

在解码过程中，级联来自于同一尺度编码网络的特征信息；中间网络将编码网络与解码网络连接起来；九层网络的每一层都是用残差单元构建的；每个残差模块由两个3*3的卷积模块和一个定义好的输入特征图组成；编码网络包含四个残差块，对称的解码网络也包含四个残差块，中间网络包含一个残差块；在最后一层解码后，连接一个1×1的卷积和一个sigmod激活函数，将多通道特征图映射到分割图像；本方法训练过程中没有对图像进行裁剪操作，因此图像的输入与输出具有相同的空间信息。

Images