CN110751651A - 基于多尺度迁移学习的mri胰腺图像分割方法 - Google Patents

Abstract

本发明公开了一种基于多尺度迁移学习的MRI胰腺图像分割方法，主要解决现有技术对MRI胰腺图像分割精确低的问题。其方案：从人体胰腺部位获取PET和MRI图像，并对其进行标记，得到对应的胰腺标签图像；对PET和MRI图像扩充并归一化，对胰腺标签图像扩充并转换为浮点型；建立的PET网络并对其训练，得到训练好的PET网络；建立一个包括两条支路的MRI网络，将训练好的PET网络中对应的结构和权重迁移到该网络的第二支路，并训练其第一支路，得到训练好的MRI网络；输入MRI图像到训练好的MRI网络，输出胰腺分割结果。本发明提升了工作效率，提高了MRI图像的胰腺分割准确度，可用于对MRI图像的处理。

Description

基于多尺度迁移学习的MRI胰腺图像分割方法

技术领域

本发明属于医学图像处理技术领域，特别涉及一种MRI胰腺图像分割的方法，可用于提高MRI图像中胰腺组织的分割效果。

背景技术

胰腺癌是出现在腹部胰脏的癌症，是常见肿瘤中恶性程度最高、死亡率最高的癌症。在过去十年，胰腺癌的发病率有所上升，胰腺癌的5年存活率为9％，是所有癌症中存活率最低的。胰腺癌多发现于晚期，通常患者错过了手术治疗的最佳时期。针对胰腺癌患者，以放射治疗为基础的综合治疗成为国际标准治疗方式。

当前，以磁共振成像MRI引导的放射治疗是胰腺癌诊断和治疗的主要手段。MRI对人体不产生放射伤害，不受限于患者内部解剖结构，且一次成像可以提供多种图像序列帮助医生诊断治疗，可以多方位观察病变区域信息。但是胰腺位于人体上腹深处，周围组织结构复杂，临近肝脏，脾脏等器官，且胰腺体积小，与周围组织黏连严重，个体差异大。此外，受限MRI软组织成像边缘模糊，胰腺分割难度进一步增加。

PET/MRI是将正子发射断层扫描PET的分子成像功能与磁共振成像MRI的软组织对比功能结合起来的一种新技术，相比于当前的磁共振成像MRI，其软组织成像对比度更高，对人体的辐射更小，灵敏度更高，准确性较好，可用于各种疾病的早期诊断。但是，PET/MRI成像作为新技术，与适应病症相关的协议不成熟，以及高额的研发成本，使得市面上用于临床治疗的设备较少。且使用PET/MRI图像进行计算机辅助诊断提出了更高的要求，对放疗医生提出了更高的知识储备要求，使得市场接受程度相对较低。

此外，使用PET/MRI图像进行器官分割面临的最大问题是：由于获取的PET图像是三维全身成像，MRI是二维成像，两种模态图像之间差异较大，找到对应的PET与MRI图像对，为MRI图像胰腺部位分割提供位置先验信息，这种方法在实际应用中耗费大量时间与资源；二维MRI胰腺图像对比度低，视觉效果差，并且样本量小。上述问题导致在术前规划过程中，很难使用深度学习的方法利用PET/MRI图像多模态多参数的优势对胰腺部位进行有效的分割。

发明内容

本发明的目的在于针对上述方法在医学图像分割过程中的不足，提出一种基于多尺度迁移学习的MRI胰腺图像分割方法，以在二维MRI胰腺图像对比度低，视觉效果差，且样本量小的情况下，提高图像分割的精度。

为实现上述目的，其实现方案包括如下步骤：

(1)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像，得到PET图像序列，记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像，得到MRI图像序列，记为MRI图像数据集Y，其中，PET图像是三维全身成像，MRI是二维成像；

(2)对PET图像数据集X中的胰腺部位进行标记，得到PET胰腺参考数据集X_T，对MRI图像数据集Y中的胰腺部位进行标记，得到MRI胰腺参考数据集Y_T；

(3)对PET图像数据集对{X,X_T}进行扩充，得到扩充的PET图像数据集对{P,P_T},对MRI图像数据集对{Y,Y_T}进行扩充，得到扩充的MRI图像数据集对{M,M_T}；

(4)对扩充的PET图像数据集对{P,P_T}中P的每张PET图像和扩充的MRI图像数据集对{M,M_T}中M的每张MRI图像进行归一化操作，即将Hu值映射到区间[0,1]，对扩充的PET图像数据集对{P,P_T}中P_T的每张PET胰腺参考图像和扩充的MRI图像数据集对{M,M_T}中M_T的每张MRI胰腺参考图像进行灰度转换操作，即将二值图像转换成浮点数；

(5)对扩充的PET图像数据集对{P,P_T}和扩充的MRI图像数据集对{M,M_T}中的每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪，得PET图像数据集对{D_P,G_P}和MRI图像数据集对{D_M,G_M}；

(6)搭建基于PET图像的编码器-解码器网络N，并初始化：

(6a)根据得到的PET图像数据集对{D_P,G_P}，通过交叉验证搭建一个包括输入层、特征提取层、下采样层、反卷积层和输出层的25层网络，构成基于PET图像的编码器-解码器网络N，网络的输入为PET图像，输出为胰腺分割结果图像；

(6b)用MSRA初始化方法初始化网络的权值W，并将网络的所有偏置b初始化为0；

(7)使用PET图像数据集对{D_P,G_P}，训练基于PET图像的编码器-解码器网络N，得到训练好的分割网络N_T；

(8)搭建基于多尺度迁移学习的编码器-解码器MRI分割网络M，并初始化：

(8a)根据MRI图像数据集对{D_M,G_M}，通过交叉验证搭建一个包括两条支路构成的基于多尺度迁移学习的编码器-解码器MRI分割网络M，其中，第一支路依次连接第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层；将编码器-解码器网络N_T中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中，并在训练过程中保持不变，构成其第二支路；在上采样层，将多尺度卷积层提取的多尺度图像特征和第二支路中卷积层提取的图像特征融合输出，该网络的输入为MRI图像，输出为胰腺分割结果图像；

(8b)用MSRA初始化方法初始化MRI分割网络M的权值W，并将MRI分割网络M的所有偏置b初始化为0；

(9)使用MRI图像数据集对{D_M,G_M}，训练基于多尺度迁移学习的编码器-解码器MRI分割网络M，得到训练好的MRI分割网络M_T；

(10)将一张完整的MRI图像X_M输入到训练好的MRI分割网络M_T中，经过该分割网络M_T的前向传播，得到胰腺分割结果图像A_T。

本发明与现有技术相比具有以下优点：

1、本发明由于在胰腺图像分割的过程中加入多尺度卷积，使得MRI图像分割网络不仅可以获取图像不同感受野范围的特征，而且可避免过拟合，提高了胰腺图像分割网络的特征表达能力。

2、本发明由于在胰腺图像分割网络的上采样过程中使用插值上采样和反卷积结合的方式，其中，插值上采样将最主要的特征进行放大，反卷积则将低维特征映射成高维特征，使得胰腺图像分割网络能兼顾图像的局部特征与全局特征，对输入图像更全面地进行高维特征提取，丰富了解码部分的图像信息，使得网络的性能得以提高。

3、本发明由于在胰腺图像分割网络的训练过程中加入了迁移学习的思想，通过构造一个基于PET图像的编码器-解码器结构的分割网络，让编码器学习胰腺区域的高阶特征，然后将该部分编码器的结构和权重迁移到MRI胰腺图像分割网络中，在进行MRI胰腺特征提取时，使得胰腺图像分割网络更多地关注可能的胰腺部位信息，并在网络的上采样层使用融合的方式将该部分信息与胰腺特征信息进行融合，使得网络对胰腺分割效果更好。

4、本发明由于通过迁移学习，为MRI分割模型提供了感兴趣区域的先验信息，使得胰腺图像分割网络在应用的时候，不需要使用PET图像即可进行MRI的分割，舍弃了找寻配对PET和MRI进行图像分割的繁琐步骤，提升了工作效率。

附图说明

图1本发明实现的流程图；

图2本发明中构建的编码器-解码器分割网络N的结构图；

图3本发明中构建的基于多尺度迁移学习的编码器-解码器分割网络M的结构图；

图4本发明中所使用的数据扩充示例图；

图5是用本发明对MRI图像进行分割的仿真结果图。

具体实施方式

以下结合附图，对本发明的具体实施方案和效果作进一步的解释和说明：

参照图1，本发明基于多尺度迁移学习的MRI胰腺图像分割方法，其实现步骤如下：

步骤1：数据准备。

1a)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像，得到PET图像序列，记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像，得到MRI图像序列，记为MRI图像数据集Y，其中，PET图像是三维全身成像，MRI是二维成像；

1b)对PET图像数据集X中的胰腺部位进行标记，得到PET胰腺参考数据集X_T，对MRI图像数据集Y中的胰腺部位进行标记，得到MRI胰腺参考数据集Y_T；

1c)对PET图像数据集对{X,X_T}进行扩充，得到扩充的PET图像数据集对{P,P_T}：

(1c1)对PET图像数据集X中PET图像x进行扩充，得到扩充的PET图像数据集P：

首先，对PET图像x沿其水平中轴线上下翻转，得到第2张PET图像；

接着，对PET图像x逆时针旋转90度，得到第3张PET图像；再沿水平中轴线上下翻转，得到第4张PET图像；

接着，对PET图像x逆时针旋转180度，得到第5张PET图像；再沿其水平中轴线上下翻转，得到第6张PET图像；

然后，对PET图像x逆时针旋转270度，得到第7张PET图像；再沿其水平中轴线上下翻转，得到第8张PET图像；

(1c2)对PET图像数据集X对应的胰腺参考图像数据集X_T进行扩充，得到扩充的胰腺参考图像数据集P_T：

首先，对胰腺参考图像x_T沿其水平中轴线上下翻转，得到第2张胰腺参考图像；

接着，对胰腺参考图像x_T逆时针旋转90度，得到第3张胰腺参考图像；再沿水平中轴线上下翻转，得到第4张胰腺参考图像；

接着，对胰腺参考图像x_T逆时针旋转180度，得到第5张胰腺参考图像；再沿其水平中轴线上下翻转，得到第6张胰腺参考图像；

然后，对胰腺参考图像x_T逆时针旋转270度，得到第7张胰腺参考图像；再沿其水平中轴线上下翻转，得到第8张胰腺参考图像；

(1c3)重复操作(1c1)和(1c2)，依次处理PET图像数据集{X,X_T}中每一对PET图像x及其对应的胰腺参考图像x_T，得到扩充的PET图像数据集对{P,P_T}，如图4(A)所示。

1d)对MRI图像数据集对{Y,Y_T}进行扩充，得到扩充的MRI图像数据集对{M,M_T}：

(1d1)对MRI图像数据集Y中MRI图像y进行扩充，得到扩充的MRI图像数据集M：

首先，对MRI图像y沿其水平中轴线上下翻转，得到第2张MRI图像；

接着，对MRI图像y逆时针旋转90度，得到第3张MRI图像；再沿水平中轴线上下翻转，得到第4张MRI图像；

接着，对MRI图像y逆时针旋转180度，得到第5张MRI图像；再沿其水平中轴线上下翻转，得到第6张MRI图像；

然后，对MRI图像y逆时针旋转270度，得到第7张MRI图像；再沿其水平中轴线上下翻转，得到第8张MRI图像；

(1d2)对MRI图像数据集Y对应的胰腺参考图像数据集Y_T进行扩充，得到扩充的胰腺参考图像数据集M_T：

首先，对胰腺参考图像y_T沿其水平中轴线上下翻转，得到第2张胰腺参考图像；

接着，对胰腺参考图像y_T逆时针旋转90度，得到第3张胰腺参考图像；再沿水平中轴线上下翻转，得到第4张胰腺参考图像；

接着，对胰腺参考图像y_T逆时针旋转180度，得到第5张胰腺参考图像；再沿其水平中轴线上下翻转，得到第6张胰腺参考图像；

然后，对胰腺参考图像y_T逆时针旋转270度，得到第7张胰腺参考图像；再沿其水平中轴线上下翻转，得到第8张胰腺参考图像；

(1d3)重复操作(1d1)和(1d2)，依次处理MRI图像数据集{Y,Y_T}中每一对MRI图像y及其对应的胰腺参考图像y_T，得到扩充的MRI图像数据集对{M,M_T}，如图4(B)所示。

1e)对扩充的PET图像数据集对{P,P_T}和扩充的MRI图像数据集对{M,M_T}进行归一化和数值转换：

(1e1)将PET图像和MRI图像的灰度值归一化到[0,1]，得到归一化后的图像X'：

其中，X表示输入图像，min(X)表示输入的PET图像或MRI图像像素灰度值的最小值，max(X)表示输入的PET图像或MRI图像像素灰度值的最大值；

(1e2)将输入PET图像和MRI图像对应的胰腺参考图像的灰度值转换为浮点型。

1f)对每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪，实现如下：

(1f1)对PET图像集{P,P_T}进行裁剪，即将PET图像及其对应的胰腺参考图像，裁剪其上下左右各40个像素点，再调整其尺寸为320*240；

(1f2)对MRI图像集{M,M_T}进行裁剪，即将MRI图像及其对应的胰腺参考图像，裁剪其上下各136个像素点，左右各96个像素点，再调整其尺寸为320*240；

(1f3)重复(1f1)和(1f2)，依次处理PET图像数据集{P,P_T}和MRI图像数据集{M,M_T}中每一对PET图像和每一对MRI图像，得到裁剪后的PET图像数据集{D_P,G_P}和MRI图像数据集{D_M,G_M}。

步骤2：构建基于PET图像的编码器-解码器网络N。

根据得到的PET图像数据集对{D_P,G_P}，通过交叉验证设置一个包括输入层、下采样层、特征提取层、反卷积层和输出层的25层网络，编码器-解码器网络N的输入为PET图像，输出为胰腺分割结果图像。

参照图2，本步骤构建的网络结构如下：

第1层是输入层，输入尺寸大小240*320*1的PET图像；

第2层至第3层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有64个卷积核，每个卷积核大小为3*3；

第4层是最大池化层，其卷积核的大小为2*2；

第5层至第6层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有128个卷积核，每个卷积核大小为3*3；

第7层是最大池化层，其卷积核的大小为2*2；

第8层至第9层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有256个卷积核，每个卷积核大小为3*3；

第10层是最大池化层，其卷积核的大小为2*2；

第11层至第12层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有512个卷积核，每个卷积核大小为3*3；

第13层是反卷积层up-conv，该卷积层含有256个卷积核，每个卷积核大小为2*2；

第14层是融合层Merge，用于将第13层的反卷积结果和Copy第9层的卷积结果融合输出；

第15层至第16层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有256个卷积核，每个卷积核大小为3*3；

第17层是反卷积层up-conv，该卷积层含有128个卷积核，每个卷积核大小为2*2；

第18层是融合层Merge，用于将第17层的反卷积结果和Copy第6层的卷积结果融合输出；

第19层至第20层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有128个卷积核，每个卷积核大小为3*3；

第21层是反卷积层up-conv，该卷积层含有64个卷积核，每个卷积核大小为2*2；

第22层是融合层Merge，用于将第21层的反卷积结果和Copy第3层的卷积结果融合输出；

第23层至第24层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有64个卷积核，每个卷积核大小为3*3；

第25层是输出层，含有一个卷积核大小为1*1的卷积层Conv和一个修正线性单元激活层Sigmoid。

上述编码器-解码器网络N中的卷积层，其数学形式如下：

其中，表示网络第l层的第i个特征图，当l＝0时，F⁰表示网络输入的PET图像块，

表示网络第l层的第i个卷积核的权值，

表示网络第l层的第i个卷积核的偏置，n_l表示网络第l层的卷积核数量，

表示图像卷积运算，该卷积运算采用“same”方式，以保持卷积前后图像大小不变；

上述编码器-解码器网络N中的修正线性单元激活层ReLU，其数学形式如下：

其中，x表示输入数据；

上述编码器-解码器网络N中的修正线性单元激活层Sigmoid，其数学形式如下：

其中，x表示输入数据。

步骤3：对图编码器-解码器网络N的权值W和偏置b进行初始化。

3a)使用MSRA方法对网络N的权值W进行初始化，其公式如下：

其中，W表示网络的权值，N(·,·)表示高斯分布，即网络的权值W服从均值为0，标准差为

的高斯分布；

3b)将网络N的所有偏置b均初始化为数值0。

步骤4：使用PET图像数据集{D_P,G_P}，训练基于PET图像的编码器-解码器网络N。

(4a)打乱{D_P,G_P}中PET图像数据对的顺序，依次从{D_P,G_P}中选择3对PET图像数据和对应的参考图像，记为一个训练批次

其中

是当前训练批次中第i张PET图像，

为第i张PET图像对应的胰腺参考图像；

(4b)将第i张PET图像

输入到编码器-解码器网络N中，经过前向传播，得到该网络输出的胰腺分割结果

(4c)计算胰腺分割结果图像

和胰腺参考图像

之间的二值交叉熵，得到编码器-解码器网络N的整体损失值L_N：

其中，m为训练批次大小，取值为3，

表示当前训练批次中第i张PET图像对应的胰腺参考图像，表示当前训练批次中第i张PET图像经过分割网络N后输出的胰腺分割结果；

(4d)根据编码器-解码器网络N的整体损失值L_N，使用自适应矩估计优化器Adam对网络N的权值W和所有偏置b进行更新；

(4e)重复(4a)到(4d)，直到达到网络训练的最大迭代次数T＝50，得到训练好的分割网络N_T。

步骤5：构成基于多尺度迁移学习的编码器-解码器MRI分割网络M。

参照图3，本步骤的具体实现根据MRI图像数据集对{D_M,G_M}，通过交叉验证设置一个包括两条支路的网络，MRI分割网络M的输入为MRI图像，输出为胰腺分割结果图像。

所述第一条支路由依次连接的第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层组成，其中：

该第一多尺度卷积层、第二多尺度卷积层和第三多尺度卷积层具有相同的结构，即每层含有3条分支、一个融合层和一个激活层，其中：

第1分支由依次连接的第1卷积层、修正线性单元激活层Relu、第2卷积层和修正线性单元激活层Relu组成，每个卷积层Conv的卷积核大小均为3*3；

第2分支由依次连接的第3卷积层、修正线性单元激活层Relu、第4卷积层和修正线性单元激活层Relu组成，其中，第3卷积层的卷积核大小为3*3，第4卷积层的卷积核大小为5*5；

第3分支包含1个池化层Pool，卷积核大小为2*2；

融合层，其包含一个融合函数Merge，用于将第一层中第1分支到第3分支的结果融合输出；

激活层，其包含一个修正线性单元激活层Relu，用于将第一层中融合层的结果线性修正后输出；

上述第一多尺度卷积层中每个卷积层Conv有64个卷积核，第二多尺度卷积层中每个卷积层Conv有128个卷积核，第三多尺度卷积层中每个卷积层Conv有256个卷积核；

该第四多尺度卷积层含有2条分支、一个融合层和一个激活层，其中：

第1分支由依次连接的第1卷积层Conv和修正线性单元激活层Relu组成，该卷积层Conv含有大小为3*3的512个卷积核；

第2分支由依次连接的第2卷积层Conv和修正线性单元激活层Relu组成，该卷积层Conv含有大小为5*5的512个卷积核；

融合层，其包含一个融合函数Merge，用于将第四层中第1分支和第2分支的结果融合输出；

激活层，其包含一个修正线性单元激活层Relu，用于将第四层中融合层的结果线性修正后输出；

该第一上采样层含有5条分支、一个融合层、两个卷积层和三个激活层，其中：

第1分支由第三多尺度卷积层的第1卷积层和修正线性单元激活层Relu组成；

第2分支由第三多尺度卷积层的第3卷积层和修正线性单元激活层Relu组成；

第3分支由反卷积层Deconv和修正线性单元激活层Relu组成，反卷积层Deconv含有大小为3*3的256个卷积核，该分支输入是第四多尺度卷积层的融合层输出；

第4分支由插值上采样层和修正线性单元激活层Relu组成，该分支输入是第四多尺度卷积层的融合层输出；

第5分支由第二支路的第9卷积层和修正线性单元激活层Relu组成；

融合层，其包含一个融合函数Merge，用于将第1分支到第5分支的结果融合输出；

激活层，其包含一个修正线性单元激活层Relu，用于将融合层的结果线性修正后输出；

该第二上采样层含有5条分支、一个融合层、两个卷积层和三个激活层，其中：

第1分支由第二多尺度卷积层的第1卷积层和修正线性单元激活层Relu组成；

第2分支由第二多尺度卷积层的第3卷积层和修正线性单元激活层Relu组成；

第3分支由反卷积层Deconv和修正线性单元激活层Relu组成，反卷积层Deconv含有大小为3*3的128个卷积核，该分支输入是第一上采样层的融合层输出；

第4分支由插值上采样层和修正线性单元激活层Relu组成，该分支输入是第一上采样层的融合层输出；

第5分支由第二支路的第6卷积层和修正线性单元激活层Relu组成；

融合层，其包含一个融合函数Merge，用于将第1分支和第5分支的结果融合输出；

激活层，其包含一个修正线性单元激活层Relu，用于将融合层的结果线性修正后输出；

该第三上采样层含有5条分支、一个融合层、两个卷积层和三个激活层，其中：

第1分支由第一多尺度卷积层的第1卷积层和修正线性单元激活层Relu组成；

第2分支由第一多尺度卷积层的第3卷积层和修正线性单元激活层Relu组成；

第3分支由反卷积层Deconv和修正线性单元激活层Relu组成，反卷积层Deconv含有大小为3*3的64个卷积核，该分支输入是第二上采样层的融合层输出；

第4分支由插值上采样层和修正线性单元激活层Relu组成，该分支输入是第二上采样层的融合层输出；

第5分支由第二支路的第3卷积层和修正线性单元激活层Relu组成；

融合层，其包含一个融合函数Merge，用于将第1分支和第5分支的结果融合输出；

激活层，其包含一个修正线性单元激活层Relu，用于将融合层的结果线性修正后输出；

该第一特征提取层、第二特征提取层和第三特征提取层具有相同的结构，即由依次连接的卷积层Conv、修正线性单元激活层Relu、卷积层Conv和修正线性单元激活层Relu组成，每个卷积核大小均为3*3；

其中，第一特征提取层中每个卷积层Conv有256个卷积核，第二特征提取层中每个卷积层Conv有128个卷积核，第三特征提取层中每个卷积层Conv有64个卷积核；

该输出层含有1个卷积层和1个修正线性单元激活层Sigmoid，卷积层含有1个大小为1*1的卷积核；

所述第二支路的网络结构共有8层，将编码器-解码器网络N_T中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中，并在训练过程中保持不变，构成其第二支路。

上述MRI分割网络M中的卷积层，其数学形式如下：

其中，

表示网络第l层的第i个特征图，当l＝0时，F⁰表示网络输入的MRI图像块，表示网络第l层的第i个卷积核的权值，

表示网络第l层的第i个卷积核的偏置，n_l表示网络第l层的卷积核数量，

表示图像卷积运算，该卷积运算采用“same”方式，以保持卷积前后图像大小不变；

上述MRI分割网络M中的修正线性单元激活层ReLU，其数学形式如下：

其中，x表示输入数据。

上述MRI分割网络M中的修正线性单元激活层Sigmoid，其数学形式如下：

其中，x表示输入数据。

步骤6：对MRI分割网络M的权值W和偏置b进行初始化。

3a)使用MSRA方法对MRI分割网络M的权值W进行初始化，其公式如下：

其中，W表示网络的权值，N(·,·)表示高斯分布，即网络的权值W服从均值为0，标准差为

的高斯分布；

3b)将MRI分割网络M的所有偏置b均初始化为数值0。

步骤7：使用MRI图像数据集{D_M,G_M}，训练基于多尺度迁移学习的编码器-解码器MRI分割网络M。

(7a)打乱{D_M,G_M}中MRI图像数据对的顺序，依次从{D_M,G_M}中选择3对MRI图像数据和对应的参考图像，记为一个训练批次

其中

是当前训练批次中第i张MRI图像，

第i张MRI图像对应的胰腺参考图像；

(7b)将输入多尺度编码器-解码器MRI分割网络M中，经过前向传播，得到该分割网络输出的胰腺分割结果

(7c)计算胰腺分割结果

与胰腺参考图像

之间的二值交叉熵，得到MRI分割网络M的整体损失值L_M；

其中，m为训练批次大小，取值为3，

表示当前训练批次中第i张MRI图像对应的胰腺参考图像，

表示当前训练批次中第i张MRI图像经过分割网络M后输出的胰腺分割结果；

(7d)根据多尺度编码器-解码器MRI分割网络M的整体损失值L_M，使用自适应矩估计优化器Adam对MRI分割网络M的权值W和所有偏置b进行更新；

(7e)重复步骤(7a)到(7d)，直到达到MRI分割网络训练的最大迭代次数T＝100，得到训练好的MRI分割网络M_T。

步骤8：使用训练好的MRI分割网络M_T对MRI图像进行胰腺分割。

将一张完整的MRI图像X_T，如图5(A)所示，输入到训练好的MRI分割网络M_T中，经过该MRI分割网络M_T的前向传播，得到胰腺分割结果图像A_T，如图5(B)所示。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于多尺度迁移学习的MRI胰腺图像分割方法，其特征在于，包括如下：

(1)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像，得到PET图像序列，记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像，得到MRI图像序列，记为MRI图像数据集Y，其中，PET图像是三维全身成像，MRI是二维成像；

(2)对PET图像数据集X中的胰腺部位进行标记，得到PET胰腺参考数据集X_T，对MRI图像数据集Y中的胰腺部位进行标记，得到MRI胰腺参考数据集Y_T；

(3)对PET图像数据集对{X,X_T}进行扩充，得到扩充的PET图像数据集对{P,P_T},对MRI图像数据集对{Y,Y_T}进行扩充，得到扩充的MRI图像数据集对{M,M_T}；

(4)对扩充的PET图像数据集对{P,P_T}中P的每张PET图像和扩充的MRI图像数据集对{M,M_T}中M的每张MRI图像进行归一化操作，即将Hu值映射到区间[0,1]，对扩充的PET图像数据集对{P,P_T}中P_T的每张PET胰腺参考图像和扩充的MRI图像数据集对{M,M_T}中M_T的每张MRI胰腺参考图像进行灰度转换操作，即将二值图像转换成浮点数；

(5)对扩充的PET图像数据集对{P,P_T}和扩充的MRI图像数据集对{M,M_T}中的每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪，得PET图像数据集对{D_P,G_P}和MRI图像数据集对{D_M,G_M}；

(6)搭建基于PET图像的编码器-解码器网络N，并初始化：

(6a)根据得到的PET图像数据集对{D_P,G_P}，通过交叉验证搭建一个包括输入层、特征提取层、下采样层、反卷积层和输出层的25层网络，构成基于PET图像的编码器-解码器网络N，网络的输入为PET图像，输出为胰腺分割结果图像；

(6b)用MSRA初始化方法初始化网络的权值W，并将网络的所有偏置b初始化为0；

(7)使用PET图像数据集对{D_P,G_P}，训练基于PET图像的编码器-解码器网络N，得到训练好的分割网络N_T；

(8)搭建基于多尺度迁移学习的编码器-解码器MRI分割网络M，并初始化：

(8a)根据MRI图像数据集对{D_M,G_M}，通过交叉验证搭建一个包括两条支路构成的基于多尺度迁移学习的编码器-解码器MRI分割网络M，其中，第一支路依次连接第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层；将编码器-解码器网络N_T中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中，并在训练过程中保持不变，构成其第二支路；在上采样层，将多尺度卷积层提取的多尺度图像特征和第二支路中卷积层提取的图像特征融合输出，该网络的输入为MRI图像，输出为胰腺分割结果图像；

(8b)用MSRA初始化方法初始化MRI分割网络M的权值W，并将MRI分割网络M的所有偏置b初始化为0；

(9)使用MRI图像数据集对{D_M,G_M}，训练基于多尺度迁移学习的编码器-解码器MRI分割网络M，得到训练好的MRI分割网络M_T；

(10)将一张完整的MRI图像X_M输入到训练好的MRI分割网络M_T中，经过该分割网络M_T的前向传播，得到胰腺分割结果图像A_T。

2.根据权利要求1所述的方法，其特征在于，(3)中对PET图像数据集对{X,X_T}进行扩充，得到扩充的PET图像数据集对{P,P_T}，按如下步骤进行：

(3a)对PET图像数据集X中PET图像x进行扩充，得到扩充的PET图像数据集P：

(3a1)对PET图像x沿其水平中轴线上下翻转，得到第2张PET图像；

(3a2)对PET图像x逆时针旋转90度，得到第3张PET图像；再沿水平中轴线上下翻转，得到第4张PET图像；

(3a3)对PET图像x逆时针旋转180度，得到第5张PET图像；再沿其水平中轴线上下翻转，得到第6张PET图像；

(3a4)对PET图像x逆时针旋转270度，得到第7张PET图像；再沿其水平中轴线上下翻转，得到第8张PET图像；

(3b)对PET胰腺参考数据集X_T进行扩充，得到扩充的PET胰腺参考数据集P_T：

(3b1)对胰腺参考图像x_T沿其水平中轴线上下翻转，得到第2张胰腺参考图像；

(3b2)对胰腺参考图像x_T逆时针旋转90度，得到第3张胰腺参考图像；再沿水平中轴线上下翻转，得到第4张胰腺参考图像；

(3b3)对胰腺参考图像x_T逆时针旋转180度，得到第5张胰腺参考图像；再沿其水平中轴线上下翻转，得到第6张胰腺参考图像；

(3b4)对胰腺参考图像x_T逆时针旋转270度，得到第7张胰腺参考图像；再沿其水平中轴线上下翻转，得到第8张胰腺参考图像；

(3c)重复操作(3a)和(3b)，依次处理PET图像数据集{X,X_T}中每一对PET图像x及其对应的胰腺参考图像x_T，得到扩充的PET图像数据集对{P,P_T}。

3.根据权利要求1所述的方法，其特征在于，(3)中对MRI图像数据集对{Y,Y_T}进行扩充，得到扩充的MRI图像数据集对{M,M_T}，按如下步骤进行：

(3d)对MRI图像数据集Y中MRI图像y进行扩充，得到扩充的MRI图像数据集M：

(3d1)对MRI图像y沿其水平中轴线上下翻转，得到第2张MRI图像；

(3d2)对MRI图像y逆时针旋转90度，得到第3张MRI图像；再沿水平中轴线上下翻转，得到第4张MRI图像；

(3d3)对MRI图像y逆时针旋转180度，得到第5张MRI图像；再沿其水平中轴线上下翻转，得到第6张MRI图像；

(3d4)对MRI图像y逆时针旋转270度，得到第7张MRI图像；再沿其水平中轴线上下翻转，得到第8张MRI图像；

(3e)对MRI胰腺参考数据集Y_T进行扩充，得到扩充的MRI胰腺参考数据集M_T：

(3e1)对胰腺参考图像y_T沿其水平中轴线上下翻转，得到第2张胰腺参考图像；

(3e2)对胰腺参考图像y_T逆时针旋转90度，得到第3张胰腺参考图像；再沿水平中轴线上下翻转，得到第4张胰腺参考图像；

(3e3)对胰腺参考图像y_T逆时针旋转180度，得到第5张胰腺参考图像；再沿其水平中轴线上下翻转，得到第6张胰腺参考图像；

(3e4)对胰腺参考图像y_T逆时针旋转270度，得到第7张胰腺参考图像；再沿其水平中轴线上下翻转，得到第8张胰腺参考图像；

(3f)重复操作(3d)和(3e)，依次处理MRI图像数据集{Y,Y_T}中每一对MRI图像y及其对应的胰腺参考图像y_T，得到扩充的MRI图像数据集对{M,M_T}。

4.根据权利要求1所述的方法，其特征在于，(4)中对扩充的PET图像数据集对{P,P_T}和扩充的MRI图像数据集对{M,M_T}进行归一化和数值转换，其实现如下：

(4a)将PET图像和MRI图像的灰度值归一化到[0,1]，得到归一化后的图像X'：

其中，X表示输入图像，min(X)表示输入的PET图像或MRI图像像素灰度值的最小值，max(X)表示输入的PET图像或MRI图像像素灰度值的最大值；

(4b)将输入PET图像和MRI图像对应的胰腺参考图像的灰度值转换为浮点型。

5.根据权利要求1所述的方法，其特征在于，(5)中对每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪，实现如下：

(5a)对PET图像集{P,P_T}进行裁剪，即将PET图像及其对应的胰腺擦参考图像，裁剪其上下左右各40个像素点，再调整其尺寸为320*240；

(5b)对MRI图像集{M,M_T}进行裁剪，即将MRI图像及其对应的胰腺参考图像，裁剪其上下各136个像素点，左右各96个像素点，再调整其尺寸为320*240；

(5c)重复(5a)和(5b)，依次处理PET图像数据集{P,P_T}和MRI图像数据集{M,M_T}中每一对PET图像和每一对MRI图像，得到裁剪后的PET图像数据集{D_P,G_P}和MRI图像数据集{D_M,G_M}。

6.根据权利要求1所述的方法，其特征在于，(6a)中搭建的25层编码器-解码器网络N，其结构如下：

第1层是输入层，输入尺寸大小240*320*1的PET图像；

第2层至第3层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有64个卷积核，每个卷积核大小为3*3；

第4层是最大池化层，其卷积核的大小为2*2；

第5层至第6层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有128个卷积核，每个卷积核大小为3*3；

第7层是最大池化层，其卷积核的大小为2*2；

第8层至第9层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有256个卷积核，每个卷积核大小为3*3；

第10层是最大池化层，其卷积核的大小为2*2；

第11层至第12层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有512个卷积核，每个卷积核大小为3*3；

第13层是反卷积层，该卷积层含有256个卷积核，每个卷积核大小为2*2；

第14层是融合层，用于将第13层的反卷积结果和第9层的卷积结果融合输出；

第15层至第16层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有256个卷积核，每个卷积核大小为3*3；

第17层是反卷积层，该卷积层含有128个卷积核，每个卷积核大小为2*2；

第18层是融合层，用于将第17层的反卷积结果和第6层的卷积结果融合输出；

第19层至第20层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有128个卷积核，每个卷积核大小为3*3；

第21层是反卷积层，该卷积层含有64个卷积核，每个卷积核大小为2*2；

第22层是融合层，用于将第21层的反卷积结果和第3层的卷积结果融合输出；

第23层至第24层是特征提取层，每一层含有1个卷积层Conv、1个修正线性单元激活层Relu，该卷积层含有64个卷积核，每个卷积核大小为3*3；

第25层是输出层，含有一个卷积核大小为1*1的卷积层Conv和一个修正线性单元激活层Sigmoid。

7.根据权利要求1所述的方法，其特征在于，(7)中训练基于PET图像的编码器-解码器网络N，其实现如下：

(7a)打乱{D_P,G_P}中图像对的顺序，依次从{D_P,G_P}中选择3对PET图像数据和对应的胰腺参考图像数据，记为一个训练批次

其中

是当前训练批次中第i张PET图像，

为第i张PET图像对应的胰腺参考图像；

(7b)将第i张PET图像

输入到编码器-解码器网络N中，经过前向传播，得到该网络输出的胰腺分割结果

(7c)计算胰腺分割结果图像

和胰腺参考图像

之间的二值交叉熵，得到编码器-解码器网络N的整体损失值L_N：

其中，m为训练批次大小，取值为3，

表示当前训练批次中第i张PET图像对应的胰腺参考图像，

表示当前训练批次中第i张PET图像经过分割网络N后输出的胰腺分割结果；

(7d)根据编码器-解码器网络N的整体损失值L_N，使用自适应矩估计优化器Adam对网络N的权值W和所有偏置b进行更新；

(7e)重复(7a)到(7d)，直到达到网络训练的最大迭代次数T＝50，得到训练好的分割网络N_T。

8.根据权利要求1所述的方法，其中(8a)搭建的基于多尺度迁移学习的编码器-解码器MRI分割网络M中的第一支路，其结构与参数如下：

所述第一多尺度卷积层、第二多尺度卷积层和第三多尺度卷积层具有相同的结构，即每层含有3条分支、一个融合层和一个激活层，其中

第1分支由依次连接的第1卷积层、修正线性单元激活层Relu、第2卷积层和修正线性单元激活层Relu组成，每个卷积层Conv的卷积核大小均为3*3；

第2分支由依次连接的第3卷积层、修正线性单元激活层Relu、第4卷积层和修正线性单元激活层Relu组成，其中，第3卷积层的卷积核大小为3*3，第4卷积层的卷积核大小为5*5；

第3分支包含1个池化层Pool，卷积核大小为2*2；

第一多尺度卷积层所含的每个卷积层Conv的卷积核个数为64；

第二多尺度卷积层所含的每个卷积层Conv的卷积核个数为128；

第三多尺度卷积层所含的每个卷积层Conv的卷积核个数为256；

所述第四多尺度卷积层含有2条分支、一个融合层和一个激活层，其中：

第1分支由依次连接的第1卷积层Conv和修正线性单元激活层Relu组成，该卷积层Conv含有大小为3*3的512个卷积核；

第2分支由依次连接的第2卷积层Conv和修正线性单元激活层Relu组成，该卷积层Conv含有大小为5*5的512个卷积核；

所述第一至第三上采样层均包括5个分支、1个融合层和一个修正线性单元激活层Relu，其中：

第一上采样层的第1分支由第三多尺度卷积层的第1卷积层组成，第2分支由第三多尺度卷积层的第3卷积层组成，第3分支由反卷积层组成，第4分支由插值上采样层组成，第5分支由第二支路的第6卷积层组成；

第二上采样层的第1分支由第二多尺度卷积层的第1卷积层组成，第2分支由第二多尺度卷积层的第3卷积层组成，第3分支由反卷积层组成，第4分支由插值上采样层组成，第5分支由第二支路的第4卷积层组成；

第三上采样层的第1分支由第一多尺度卷积层的第1卷积层组成，第2分支由第一多尺度卷积层的第3卷积层组成，第3分支由反卷积层组成，第4分支由插值上采样层组成，第5分支由第二支路的第2卷积层组成；

所述第一特征提取层、第二特征提取层和第三特征提取层具有相同的结构，即由依次连接的卷积层Conv、修正线性单元激活层Relu、卷积层Conv和修正线性单元激活层Relu组成，每个卷积核大小均为3*3，其中：

第一特征提取层中每个卷积层Conv有256个卷积核；

第二特征提取层中每个卷积层Conv有128个卷积核；

第三特征提取层中每个卷积层Conv有64个卷积核；

所述输出层含有1个卷积层和1个修正线性单元激活层Sigmoid，卷积层含有1个大小为1*1的卷积核；

上述各层中的融合层，其包含一个融合函数Merge，用于将第四层中第1分支和第2分支的结果融合输出；

上述各层中的激活层，其包含一个修正线性单元激活层Relu，用于将第四层中融合层的结果线性修正后输出。

9.根据权利要求1所述的方法，其中(9)中训练基于多尺度迁移学习的编码器-解码器MRI分割网络M，其实现如下：

(9a)打乱{D_M,G_M}中图像对的顺序，依次从{D_M,G_M}中选择3对MRI图像数据和对应的胰腺参考图像，记为一个训练批次

其中

是当前训练批次中第i张MRI图像，

第i张MRI图像对应的胰腺参考图像；

(9b)将

输入多尺度编码器-解码器MRI分割网络M中，经过前向传播，得到该分割网络输出的胰腺分割结果

(9c)计算胰腺分割结果

与胰腺参考图像之间的二值交叉熵，得到MRI分割网络M的整体损失值L_M；

其中，m为训练批次大小，取值为3，

表示当前训练批次中第i张MRI图像对应的胰腺参考图像，

表示当前训练批次中第i张MRI图像经过分割网络M后输出的胰腺分割结果；

(9d)根据多尺度编码器-解码器MRI分割网络M的整体损失值L_M，使用自适应矩估计优化器Adam对MRI分割网络M第一支路的权值W和所有偏置b进行更新，第二支路的权值W和所有偏置b与训练好的编码器-解码器网络N_T中对应的权值W和偏置b相同，且在训练过程中保持不变；

(9e)重复步骤(9a)到(9d)，直到达到MRI分割网络训练的最大迭代次数T＝100，得到训练好的MRI分割网络M_T。

Images