CN111275712B - 一种面向大尺度图像数据的残差语义网络训练方法 - Google Patents

Abstract

一种面向大尺度图像数据的残差语义网络训练方法，包括以下步骤：步骤1、基于全局训练策略的语义分割模型，过程为：步骤1.1下采样数据和标注；步骤1.2Unet模型训练；步骤1.3基于全局的语义分割模型；步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型，过程为：步骤2.1从原始尺寸的图像中裁切训练数据块；步骤2.2从训练好的全局模型中裁切全局特征块；步骤2.3基于局部语义分割模型的测试/运用。本发明在保证较高准确率的同时，极大地提高工作效率。

Description

一种面向大尺度图像数据的残差语义网络训练方法

技术领域

本发明属于医学图像处理领域，涉及一种面向大尺度图像数据的残差语义网络训练方法。

背景技术

目前在人工智能技术领域中，对于大尺度(大分辨率)的医学图像的语义分割，分为以下几类：

1)逐块分割patch-wise:该类方法只用一个图像的块特征来预测一个像素或体素的类别。具体描述为：先把大尺度的医学图像在每个像素/体素的位置裁切固定的大小的块，这样一张图对应的有效块样本数量就会大量增加，用这些带有目标的图像块作为训练集，来训练一个具有多层神经网络的编码器，通过最深层的特征映射该像素/体素所代表的块为目标的概率，因此每一像素都能对应一个目标概率，最后构造成原图尺寸大小的概率图，通过阈值判定进行目标分割。

2)基于局部训练策略的语义分割(patch-level)：该方法仍然是基于裁剪局部的块作为训练集，采用了语义分割的技术，以端到端的方式，直接返回网络输入大小的概率图或分类图。具体描述为，构建一组对称的编码器和解码器的网络，首先图像通过多层神经卷积获得深度特征，再通过多层网络的转置卷积，将深度特征恢复成原图大小的概率图，此外在他们中间(编码器每个尺寸的最后的输出对应解码器相应尺寸的第一个输入)加上跳跃连接以保证解码特征的平滑性能。但是基于局部块的语义分割仍然是对应局部尺寸，因此通常采用重叠的滑动窗口判别方式，重叠地采样并获得相应的概率，在对每个像素/体素取平均来获得最终的概率图。

3)基于全局训练策略的语义分割(global-level)：该方法和第二种方法的模型结构类似，只是在处理训练集时，对整体图像先进行重采样操作(一般是下采样2倍)，使得整体的训练参数和计算量降低。但是为了重新恢复原图尺寸的概率图，在模型输出之后会进行上采样操作(无需训练参数的双线性/三线性插值方法)。

为了更清楚地观测病人的病灶状况，利用卓越的成像技术生成分辨率较高的三维图像，这将极大地提升的整个深度学习的代价，特别是基于三维空间下的语义分割网络训练，模型的参数和训练过程中的计算量相较于该技术运用纯熟的二维空间以指数形式增长，常规的硬件设备不能或者难以对原始大尺度数据进行训练，为了训练的进行各种训练策略由此产生，如上述现有技术介绍的，他们具有各自的特点和适用范围：

1)逐块分割patch-wise:

该方法是对原始大尺度图像进行切块的操作，通过块区域判定该块中心点对应的图像体素的类别，因此建立的神经网络模型比较简单，适用于分割整个图像尺度非常庞大而目标相对较小的目标，例如在病理图像的癌细胞组织分割，脑部MRI的病变组织和肿瘤分割，这类方法由于图像非常庞大，特别是进行三维分割操作时，构成的块数据集更加复杂，模型的拟合程度变得很差，使得整个图的分割效率更加低下。

2)基于局部训练策略的语义分割(patch-level)：

该方法是对原始大尺度图像进行切片和切块的操作，但是属于块对块的映射，判定块整个区域每个体素的类别。因此该方法适用在较大分辨率图像中分割较小的器官、病变组织等，对于第一类的方法，在分割效率上有明显提高。但该方法仍然是局部对象的观测及判定，对于目标整体没有一个较好的描述，在目标稍大的情况下容易造成欠分割，在有存在多种易混淆目标的情况下则容易造成过渡分割。

3)基于全局训练策略的语义分割(global-level)

该方法主要是对原始大尺度图像进行降采样操作，以降低图像尺寸，判断的结果也是降采样后的大小，需要后续在恢复成原始尺寸。因此该方法适用于尺寸较大，分割目标不算小的图像，由于直接获得原始大小的概率图，分割效率进一步提升，但是由于存在缩放操作，是的在最终的分割结果比较粗糙，对分割目标的小结构容易造成欠分割。

综上，不同的模型训练策略按照其各自的特点可适用于于不同尺度大小的分割对象，但是各自都有所欠缺，因此我们制定一种融合各种策略的优势的方法来进行精细化分割模型的生成。

发明内容

为了克服已有医学图像分割方法中，对不同分割对象适用性较差的不足，本发明提供了一种面向大尺度图像数据的残差语义网络训练方法，在保证较高准确率高鲁棒性的同时，极大地提高工作效率。

本发明解决其技术问题所采用的技术方案是：

一种面向大尺度图像数据的残差语义网络训练方法，包括以下步骤：

步骤1、基于全局训练策略的语义分割模型(全局模型训练)：通过模型构成可以训练基于全局的语义分割模型，过程为：

步骤1.1下采样数据和标注：考虑到设备硬件(图形卡)的存储和运算能力，将原始数据I进行2倍下采样处理以缩小原始数据的尺度，下采样D方式为三维线性插值；同样对于手工标注我们也用该方法缩小尺度，为了减少降采样导致边缘标注类别的误差，我们分别对每个类的标注数据进行下采样，然后再叠加在一起，对插值重叠处类别的选择优先级为：内腔，外壁，背景；

步骤1.2Unet模型训练：该模型最后得到的是一个小尺度上的概率图，再用三维上采样的方式将其恢复到原始尺度大小，考虑到该语义分割网络对应的结果是多分类，以及目标类别不平衡性，采用多类别dice loss函数L_mcd：

此外，由于全局模型输出包含2个尺度的估计，对以上loss函数再增加了多尺度监督的内容：

L^s _mcd为小尺度(下采样后)上的残差，L^o _mcd为原始尺度上的残差计算；

步骤1.3基于全局的语义分割模型：训练完模型之后，由于全局模型f_g的输出,进行上采样操作U后可以得到原始大小的整个目标分割S_g，根据每个体素位置的概率直接对其进行分类判断：

步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型(融合全局模型特征的局部模型训练)，过程为：

步骤2.1从原始尺寸的图像中裁切训练数据块：裁切将在手工标注的有效区域中，对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入，而对应位置在手工标注中裁切的图像块为学习的目标P_c(N,C,D,H,W)，此外还记录在采集块的中心位置POS₀(x,y,z)(相对于原始的图像尺寸)，为加速网络训练我们采取批训练的方式，将多个数据块构成一个小批次(每批N组)进行网络的训练。

步骤2.2从训练好的全局模型中裁切全局特征块：首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集(全局Unet模型特征图)，为了融合之前全局模型训练的特征，对裁切位置进行位置尺度映射：

其中i表示的对应的尺度等级，i＝0时表示在原始尺寸上。显然我们训练好的基于全局的模型(全局模型G对应特征等级：fg₁、fg₂、fg₃、fg₄、fg₅)和要准备进行融合训练的基于局部的语义分割模型(局部模型P对应特征等级：fp₁、fp₂、fp₃、fp₄、fp₅)，在相同的特征级上，图像的尺度等级不同，因此做特征融合处理时要对其它们的尺度等级，即：

然后对于对应好的特征等级进行特征叠加；

步骤2.3基于局部语义分割模型的测试/运用：

训练完成融合全局特征的局部语义分割模型之后，运用这个模型进行整体目标分割S_p时，需要采用融合局部估计的方法，以固定的步长，重叠地用三维滑动窗口方式在原始数据中裁切块I_pi进行模型进行局部估计f_p，然后平均每个位置的估计概率(除以每个位置被估计的次数C_nt)，最后取对应位置的最大概率作为该位置的分类：

进一步，所述2.2中，对于对应好的特征等级按照以下流程进行特征叠加：

步骤2.2.1叠加解码器端的全局特征：将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中，增加待卷积的特征图数量(2倍)；

步骤2.2.2叠加编码器端的全局特征：将将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中，并且加上来自自身解码器端的特征图叠加，使得待卷积的特征图数量增加(4倍)；

相应灰色区域对应同类模型的某一特征等级的一组解码编码器，每个泳道矩形框省略来自前一级的输入和后一级的输出，其中左边的是已经完成训练的全局模型，右边则是我们步骤需要进行的融合特征的局部模型训练。

对于模型优化的loss函数：当输入通过模型进行映射后得到估计的结果P_c’，使用多类别dice残差函数：

N为目标类别数，即每个体素有N类，C为对应的某一类，当该类相应的体素位置被标注时，P_c为对应该位置的值为1，否则为0。而P_c’代表模型对该位置给予该类的一个估计概率。

本发明的技术构思为：利用计算机图像处理技术对医学图像进行处理，能够更加直观地反映病人的具体生理情况，帮助医生分析与诊断病情，术前方案规划及术后评估。随着医学成像技术和图形硬件的发展，以及庞大的医学图像数据集的推广，目前对于医学图像的分析更多采用更有效更便捷的深度学习方法。

深度网络模型对于大数据集有更好的拟合效果，基于深度学习的语义分割技术，有更好的分割效果。此外由于该类方法具有端到端，图像到结果的特点，相较于传统方法而言，不需要手工设定复杂的数学模型参数，使用者(通常是医学工作者)不需要具备相应的计算机图像处理知识即可直接使用预训练好的神经网络模型，直接生成分割结果。在对大尺度的三维数据进行模型训练时，考虑不同训练策略造成模型性能的优缺点，提出一种新的模型训练方法来融合以上模型的的特点，提高整体的正确性。

本发明的有益效果主要表现在：在保证较高准确率的同时，极大地提高工作效率。

附图说明

图1是训练策略图。

图2是Unet模型结构定义图。

图3是模型中的特征叠加细节图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种面向大尺度图像数据的残差语义网络训练方法，包括以下步骤：

步骤1、基于全局训练策略的语义分割模型(全局模型训练)：通过以上模型构成可以训练基于全局的语义分割模型，过程为：

步骤1.1下采样数据和标注：考虑到设备硬件(图形卡)的存储和运算能力，将原始数据I进行2倍下采样处理以缩小原始数据的尺度，下采样D方式为三维线性插值；同样对于手工标注我们也用该方法缩小尺度，为了减少降采样导致边缘标注类别的误差，我们分别对每个类的标注数据进行下采样，然后再叠加在一起，对插值重叠处类别的选择优先级为：内腔，外壁，背景；

步骤1.2Unet模型训练：该模型最后得到的是一个小尺度上的概率图，再用三维上采样的方式将其恢复到原始尺度大小，考虑到该语义分割网络对应的结果是多分类以及目标类别不平衡性，我们采用多类别dice loss函数L_mcd：

此外，由于全局模型输出包含2个尺度的估计，我们对以上loss函数再增加了多尺度监督的内容：

L^s _mcd为小尺度(下采样后)上的残差，L^o _mcd为原始尺度上的残差计算；

步骤1.3基于全局的语义分割模型：训练完模型之后，由于全局模型f_g的输出,进行上采样操作U后可以得到原始大小的整个目标分割S_g，根据每个体素位置的概率直接对其进行分类判断：

步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型(融合全局模型特征的局部模型训练)，过程为：

步骤2.1从原始尺寸的图像中裁切训练数据块：裁切将在手工标注的有效区域中，对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入，而对应位置在手工标注中裁切的图像块为学习的目标P_c(N,C,D,H,W)，此外还记录在采集块的中心位置POS₀(x,y,z)(相对于原始的图像尺寸)，为加速网络训练我们采取批训练的方式，将多个数据块构成一个小批次(每批N组)进行网络的训练。

步骤2.2从训练好的全局模型中裁切全局特征块：首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集(全局Unet模型特征图)，为了融合之前全局模型训练的特征，对裁切位置进行位置尺度映射：

其中i表示的对应的尺度等级，i＝0时表示在原始尺寸上。显然我们训练好的基于全局的模型(全局模型G对应特征等级：fg₁、fg₂、fg₃、fg₄、fg₅)和要准备进行融合训练的基于局部的语义分割模型(局部模型P对应特征等级：fp₁、fp₂、fp₃、fp₄、fp₅)，在相同的特征级上，图像的尺度等级不同，因此我们做特征融合处理时要对其它们的尺度等级，即：

然后对于对应好的特征等级按照以下流程进行特征叠加；

步骤2.3基于局部语义分割模型的测试/运用：

训练完成融合全局特征的局部语义分割模型之后，运用这个模型进行整体目标分割S_p时，需要采用融合局部估计的方法，以固定的步长，重叠地用三维滑动窗口方式在原始数据中裁切块I_pi进行模型进行局部估计f_p，然后平均每个位置的估计概率(除以每个位置被估计的次数C_nt)，最后取对应位置的最大概率作为该位置的分类：

进一步，所述2.2中，对于对应好的特征等级按照以下流程进行特征叠加的过程如下：

步骤2.2.1叠加解码器端的全局特征：将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中，增加待卷积的特征图数量(2倍)，如图3的特征叠加2；

步骤2.2.2叠加编码器端的全局特征：将将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中，并且加上来自自身解码器端的特征图叠加，使得待卷积的特征图数量增加(4倍)，如图3中的特征叠加1+2；

参照图3，相应灰色区域对应同类模型的某一特征等级的一组解码编码器，每个泳道矩形框省略来自前一级的输入和后一级的输出，其中左边的是已经完成训练的全局模型，右边则是我们步骤需要进行的融合特征的局部模型训练。

对于模型优化的loss函数：当输入通过模型进行映射后得到估计的结果P_c’，使用多类别dice残差函数：

N为目标类别数，即每个体素有N类，C为对应的某一类，当该类相应的体素位置被标注时，P_c为对应该位置的值为1，否则为0。而P_c’代表模型对该位置给予该类的一个估计概率。

本实施例中，前期数据准备：运用本方法之前已经完成数据预处理工作，我们可以获得已经配准好的医学图像数据。

本发明的拟合方法主首先需要训练基于全局的语义分割模型，然后在训练基于局部的语义分割模型，并且在训练过程中进行位置映射以叠加全局模型的特征进行共同训练，参照图1。

应用不同策略处理大尺度数据进行语义分割模型(Unet模型)训练，其基本的结构如图2所示。

此语义分割模型由对称结构的多组编码器和解码器构成，不同的分割可能对具体模型结构有特别的处理。为了方便本方案融合方法的描述，我们主要引入尺度级这个概念，其中每个灰色的区域为统一尺寸特征图，我们把它从左至右定义为第一级特征、第二级特征级、第三级特征、第四级特征、第五级特征。图像的尺寸随着每次下采样、上采样进行缩小、放大。在后续不同类型模型中，对于初始输入图像的不同，每个特征级的特征图大小有区别。

以原图尺寸S₀(160*256*256)为例，在我们接下来的各个模型训练中，它存在以下5个尺度等级，图像在每一次下采样尺寸都会缩小2倍(对应的上采样则相反)：

S₀(160*256*256)→S₁(80*128*128)→S₂(40*64*64)→S₃(20*32*32)→S₄(10*16*16)→S₅(5*8*8)

因此，局部模型的输入图像是从原始图像(160*256*256，我们定义为S₀)中裁剪出固定尺寸为80*80*32的图像，，因此特征图尺寸从第一级到第五级：80*80*32(裁切于S₀：160*256*256)，40*40*16(裁切于S₁：80*128*128)，20*20*8(裁切于S₂：40*64*64)，10*10*4(裁切于S₃：20*32*32)，5*5*2(裁切于S₄：10*16*16)

而全局模型的输入图像由于进行了下采样操作，尺寸变为80*128*128(S₁)，它的特征图尺寸从第一级到第五级：80*128*128(S₁)，40*64*64(S₂)，20*32*32(S₃)，10*16*16(S₄)，5*8*8(S₅)。

此外，在同一个模型中，编码器的除最后一级之外(第五级)，每一级特征都会叠加入解码器中转置卷积层后的特征图中(具体如图3的特征叠加1)。

Claims (2)

1.一种面向大尺度图像数据的残差语义网络训练方法，其特征在于，所述方法包括以下步骤：

步骤1、基于全局训练策略的语义分割模型，过程为：

步骤1.1下采样数据和标注：将原始数据I进行2倍下采样处理以缩小原始数据的尺度，下采样D方式为三维线性插值；同样对于手工标注也用该方法缩小尺度，分别对每个类的标注数据进行下采样，然后再叠加在一起，对插值重叠处类别的选择优先级为：内腔，外壁，背景；

步骤1.2Unet模型训练：模型最后得到的是一个小尺度上的概率图，再用三维上采样的方式将其恢复到原始尺度大小，考虑到该语义分割网络对应的结果是多分类以及目标类别不平衡性，采用多类别dice loss函数L_mcd：

此外，由于全局模型输出包含2个尺度的估计，对以上loss函数再增加了多尺度监督的内容：

L^s _mcd为小尺度上的残差，L^o _mcd为原始尺度上的残差计算；

步骤1.3基于全局的语义分割模型：训练完模型之后，由于全局模型f_g的输出，进行上采样操作U后可以得到原始大小的整个目标分割S_g，根据每个体素位置的概率直接对其进行分类判断：

步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型，过程为：

步骤2.1从原始尺寸的图像中裁切训练数据块：裁切将在手工标注的有效区域中，对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入，而对应位置在手工标注中裁切的图像块为学习的目标P_c(N,C,D,H,W)，此外还记录在采集块的中心位置POS₀(x,y,z)，为加速网络训练我们采取批训练的方式，将多个数据块构成一个小批次进行网络的训练，所述小批次中每批N组；

步骤2.2从训练好的全局模型中裁切全局特征块：首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集，为了融合之前全局模型训练的特征，对裁切位置进行位置尺度映射：

其中i表示的对应的尺度等级，i＝0时表示在原始尺寸上，训练好的基于全局的模型，全局模型G对应特征等级：fg₁、fg₂、fg₃、fg₄、fg₅；要准备进行融合训练的基于局部的语义分割模型，局部模型P对应特征等级：fp₁、fp₂、fp₃、fp₄、fp₅，在相同的特征级上，图像的尺度等级不同，因此特征融合处理时要对齐它们的尺度等级，即：

然后对于对应好的特征等级进行特征叠加；

步骤2.3基于局部语义分割模型的测试/运用：

训练完成融合全局特征的局部语义分割模型之后，运用这个模型进行整体目标分割S_p时，需要采用融合局部估计的方法，以固定的步长，重叠地用三维滑动窗口方式在原始数据中裁切块I_pi进行模型进行局部估计f_p，然后平均每个位置的估计概率，即除以每个位置被估计的次数C_nt，最后取对应位置的最大概率作为该位置的分类：

2.如权利要求1所述的一种面向大尺度图像数据的残差语义网络训练方法，其特征在于，所述2.2中，对于对应好的特征等级按照以下流程进行特征叠加：

步骤2.2.1叠加解码器端的全局特征：将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中，增加待卷积的特征图数量2倍；

步骤2.2.2叠加编码器端的全局特征：将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中，并且加上来自自身解码器端的特征图叠加，使得待卷积的特征图数量增加4倍；

相应灰色区域对应同类模型的某一特征等级的一组解码编码器，每个泳道矩形框省略来自前一级的输入和后一级的输出，其中左边的是已经完成训练的全局模型，右边则是需要进行的融合特征的局部模型训练；

对于模型优化的loss函数：当输入通过模型进行映射后得到估计的结果P_c’，使用多类别dice残差函数：

N为目标类别数，即每个体素有N类，C为对应的某一类，当该类相应的体素位置被标注时，P_c为对应该位置的值为1，否则为0，而P_c’代表模型对该位置给予该类的一个估计概率。

Images