CN111080591A - 基于编码解码结构结合残差模块的医学图像分割方法 - Google Patents

Abstract

本发明公开了基于编码解码结构结合残差模块的医学图像分割方法，对用于医学图像分割的卷积神经网络采用编码解码网络和残差模块特定的结合方式，编码解码网络在无需大量数据的情况下即可提取有效特征，使卷积神经网络能够充分学习到图像的特征；残差模块解决网络中可能出现的网络退化的问题，提高医学图像的分割精度。本发明采用深度学习的方法，使得卷积神经网络通过数据集能够自动学习医学图像中需要分割区域的特征，且不需要繁琐的操作过程和参数调整。另外本发明通过使用预训练权重参数和基于全连接条件随机场的边缘优化策略提高网络的收敛速度并进一步优化医学图像分割的结果。

Description

基于编码解码结构结合残差模块的医学图像分割方法

技术领域

本发明涉及医学图像分割技术领域，尤其涉及基于编码解码结构结合残差模块的医学图像分割方法。

背景技术

图像分割一直是图像处理和分析领域的一个热点研究话题，是计算机视觉中至关重要的问题。在医疗图像分析中，图像分割技术所发挥的作用愈加重要。图像分割是对图像中特定组织或区域进行精确提取的不可或缺的手段，分割图像用于对患病区域定量的分析与研究，对医生的诊断能够起到重要的辅助作用。目前对于医学图像的分割主要有以下几种方法：

第一种是传统的图像分割，这种方法通常是根据图像的灰度、纹理、颜色、空间结构等特性将图像分割不同的区域。如基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法，它们对不同类型的图像分割效果差异较大，且依赖于医生手动调整输入参数特性，对医生往往有较高的经验要求，而往往大部分医生都不具备充分的案例经验，导致传统图像分割的使用范围和性能都有一定限制。

第二种是基于机器学习的方法，这些方法利用大量的训练数据提取特征，并用这些特征来训练模型，完成这个任务的关键是在复杂的原始图片中提取鉴别度高的特征，提取特征的步骤仍然由研究人员手动完成，效率低下并且容易受到医生的经验等主观因素影响。

第三种是基于深度学习的方法，这种可以很好的将一些已有的数据转化为辅助医生诊断的实际工具，现在也有一些通用的深度学习方法来对医学图像进行分割，但分割精度也无法达到理想效果，另外通常医学图像缺乏高质量的标注数据，导致数据集中数据质量和数量都堪忧，而通用的大型深度学习网络结构由于需要大量的数据进行训练，也无法从有限的数据中学习到有效特征。

发明内容

本发明为解决现有的医学图像分割方法的分割精度和分割效率较低，且存在使用局限性的问题，提供了基于编码解码结构结合残差模块的医学图像分割方法。

为实现以上发明目的，而采用的技术手段是：

基于编码解码结构结合残差模块的医学图像分割方法，包括以下步骤：

S1.获取医学图像数据集作为训练集；

S2.构建基于编码解码结构结合残差模块的卷积神经网络并利用所述训练集进行训练；

S3.获取待分割的医学图像，并通过训练完毕的基于编码解码结构结合残差模块的卷积神经网络对其进行分割，得到分割结果。

优选的，步骤S2中利用所述训练集进行训练前还包括基于所述训练集进行预处理：

对所述训练集中的医学图像进行归一化处理为一致的图像大小；

对归一化处理后的医学图像进行数据增强处理；

利用数据增强处理后的医学图像对所述卷积神经网络进行预训练从而初始化所述卷积神经网络的权重参数。

在本优选方案中，由于训练集中的医学图像的大小可能不相同，因此对其进行归一化处理为统一的大小；由于医学图像缺乏高质量的标注数据，使用数据增强的方法可以扩大数据集的数据量大小，以便有充足的数据进行特征学习。

优选的，所述数据增强处理具体为对所述训练集中归一化处理后的医学图像沿随机轴镜像翻转。

优选的，步骤S2所述的基于编码解码结构结合残差模块的卷积神经网络中采用编码解码结构，包括具有N层神经网络的编码器网络和具有N层神经网络的解码器网络，所述编码器网络的神经网络与解码器网络的神经网络依次连接；每层编码器网络或解码器网络中的神经网络中包括两层卷积，其中第二层卷积替换为一个残差模块。在本优选方案中，采用编码解码网络来进行特征提取，无需大量数据规模即可使模型充分学习到图像的特征；针对卷积神经网络中可能出现的网络退问题，引入残差模块并和网络有效结合，提高医学图像的分割精度。

优选的，所述残差模块中包括跳跃连接结构，所述跳跃连接结构用于实现残差模块中输入层经过两层卷积后再和输出层的特征映射过程。在本优选方案中，跳跃连接结构可以解决网络层数过深而导致梯度消失，影响训练效果的问题。

优选的，所述步骤S3获取待分割的医学图像后，还包括对待分割的医学图像进行归一化处理为一致的图像大小。

优选的，所述医学图像分割方法还包括以下步骤：采用全连接条件随机场对所述分割结果进行优化，得到最终的医学图像分割结果。在本优选方案中，由于卷积神经网络是一种端对端的学习方式，本身缺少对空间信息以及边缘信息的余数，因此可以对其添加一种先验信息，即如果相邻的像素点差别很大，那么其分属于两个不同的类别可能性很大，若相邻像素点差别很小，那么其属于同一种类别的可能性更大。

优选的，所述采用全连接条件随机场对所述分割结果进行优化具体为：

使用全连接条件随机场建立所述分割结果中任意两像素点概率之间的相互关系的模型：

其中x为像素点的预测值；该像素点所在的相关吉布斯能量值E(x|I)用公式表示：

其中

表示训练后卷积神经网络的输出值，

表示将像素点i与像素点j各自设置为标签x_i和x_j的平滑度；

采用平均场近似推理算法求解得到所述模型的最优解，得到最终的医学图像分割结果。

与现有技术相比，本发明技术方案的有益效果是：

本发明对用于医学图像分割的卷积神经网络采用编码解码网络和残差模块特定的结合方式，编码解码网络在无需大量数据的情况下即可提取有效特征，使卷积神经网络能够充分学习到图像的特征；残差模块解决网络中可能出现的网络退化的问题，提高医学图像的分割精度。本发明采用深度学习的方法，使得卷积神经网络通过数据集能够自动学习医学图像中需要分割区域的特征，且不需要繁琐的操作过程和参数调整。另外本发明通过使用预训练权重参数和基于全连接条件随机场的边缘优化策略提高网络的收敛速度并进一步优化医学图像分割的结果。本发明方法解决了现有的医学图像分割方法的分割精度和分割效率较低，且存在使用局限性的问题。

附图说明

图1为实施例1的流程图。

图2为实施例2的流程图。

图3为实施例2中基于医学图像进行预处理的流程图。

图4为实施例2中基于编码解码结构的卷积神经网络。

图5为实施例2中采用的跳跃连接结构示意图。

图6为实施例2将残差模块应用于第二次卷积操作中后的结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

基于编码解码结构结合残差模块的医学图像分割方法，如图1所示，包括以下步骤：

S1.获取医学图像数据集作为训练集；如医学图像为脑部肿瘤图像，则获取的医学图像数据集就应该为脑部肿瘤数据集；

S2.构建基于编码解码结构结合残差模块的卷积神经网络并利用所述训练集进行训练；

S3.获取待分割的医学图像，并通过训练完毕的基于编码解码结构结合残差模块的卷积神经网络对其进行分割，得到分割结果。

实施例2

基于编码解码结构结合残差模块的医学图像分割方法，如图2所示，包括以下步骤：

S1.获取医学图像数据集作为训练集；

S2.构建基于编码解码结构结合残差模块的卷积神经网络并利用所述训练集进行训练；

下面首先对进行训练前的训练集预处理过程进行说明：

大量实验和工作证明，使用深度学习的方法效果对数据集的大小和质量息息相关，能够直接影响训练得到的模型的实际性能。但医疗领域的数据集较少，并且通常伴随有多个模态的图像，数据标注的时间和成本较高，并且由于各个医院对数据保护等原因，造成难以获取有效的数据，这也是医疗环境中的典型情况，所以在本实施例中，首先基于获取的医学图像进行预处理：

对训练集中的医学图像进行归一化处理为一致的图像大小，从而保证输入的医学图像符合深度学习的要求；

对归一化处理后的医学图像进行数据增强处理；数据增强的方法通常有平移、翻转、扭曲，在本实施例中通过对归一化处理后的医学图像沿随机轴镜像翻转进行数据增强处理；

利用数据增强处理后的医学图像对所述卷积神经网络进行预训练从而初始化所述卷积神经网络的权重参数；通常情况下默认的深度神经网络的权重应该初始化为0，但这样做每一个权重都需要从0开始计算，导致网络收敛低效。因此本实施例根据迁移学习的思想，使用预训练参数来初始化整个卷积神经网络的权重参数，从而加快其达到收敛的速度，提高训练效率。

下面对本实施例基于编码解码结构结合残差模块的卷积神经网络进行具体说明：

如图4所示，在该卷积神经网络中，采用编码解码结构，包括具有N层神经网络的编码器网络和具有N层神经网络的解码器网络，所述编码器网络的神经网络与解码器网络的神经网络依次连接；每层编码器网络或解码器网络中的神经网络中包括两层卷积，其中第二层卷积替换为一个残差模块。

关于编码器网络和解码器网络：

相对于传统的人工特征如HOG、SIFT等，卷积神经网络具有更加强大的特征学习能力，而全卷积神经网络是整个网络都去掉全连接层使卷积神经网络能够产生稠密的预测图，编码解码网络是一个由全卷积神经网络演化而来的结构，通过修改原先的直线型结构，使得该网络只需很少的训练图像就可以进行更精准的分割。编码器网络中由于卷积神经网络会进行下采样操作，卷积和池化层提取特征并使分辨率减小，使得编码后的图像大小相对于原理图像大小都要小很多，而医疗图像分割的任务要求是最终结果为原始图像大小，因此需要解码器网络进行上采样操作，使图像恢复至原图大小，通常使用转置卷积作上采样，并使用跨层连接来加入细节特征。

关于残差模块：

由于以上编码解码过程中随着网络的结构加深，网络能够学习到更多的抽象特征，同样也会丢失很多表层特征，造成梯度消失现象。因此本实施例中引入了残差模块来解决这个问题。在编码器网络的编码阶段和解码器网络的解码阶段，即特征提取和融合阶段，会对每一层神经网络进行卷积，本实施例将残差模块应用于第二次卷积操作中，即将每层编码器网络或解码器网络中的神经网络中包括两层卷积，其中第二层卷积替换为一个残差模块，如图6所示，使得网络在加深的过程中能够学习到更多的表层特征，不至于产生梯度消失的问题，同时又能够学习到足够的抽象特征。

残差模块的主要思路是：定义底层映射H(x)，让叠加的非线性层适应另一个映射F(x)＝F(x)-x。因此原始的特征映射被修改为F(x)+x。即整个流程可以用以下公式表示：

y＝F(x,{w_i})+x

其中x和y分别为所述卷积层的输入和输出，F(x,{wi})表示可以学习的残差映射；而F(x)+x在本实施例中使用如图5所示的跳跃连接结构实现，用于实现残差模块中输入层经过两层卷积后再和输出层的特征映射过程。

在该残差模块中，首先对输入进入模块的网络进行批量正则化和使用relu函数激活，然后通过两次卷积，各使用16个卷积核来进行扫描，其中卷积核大小为3x3，最后和输入进模块的网络进行叠加返回，之后进行最大池化和丢弃部分参数(dropout)。

关于最终的基于编码解码结构结合残差模块的卷积神经网络：

对于本实施例2，在编码过程中，设置卷积核大小为3*3，激活函数为None，输入补零的宽度(padding)为SAME，然后经过进入两次残差模块，然后对其进行最大池化和Dropout后输入到下一阶段的网络中去，其中具体的网络结构如下表所示：

S3.获取待分割的医学图像，对待分割的医学图像进行归一化处理为一致的图像大小后通过训练完毕的基于编码解码结构结合残差模块的卷积神经网络对医学图像进行分割，得到分割结果。

由于卷积神经网络是一种端对端的学习方式，本身缺少对空间信息以及边缘信息的余数，因此可以对其添加一种先验信息，即如果相邻的像素点差别很大，那么其分属于两个不同的类别可能性很大，若相邻像素点差别很小，那么其属于同一种类别的可能性更大。因此在本实施例中采用全连接条件随机场对所述分割结果进行优化，得到最终的医学图像分割结果。具体如下：

使用全连接条件随机场建立所述分割结果中任意两像素点概率之间的相互关系的模型：

其中x为像素点的预测值；该像素点所在的相关吉布斯能量值E(x|I)用公式表示：

其中

表示训练后卷积神经网络的输出值，

表示将像素点i与像素点j各自设置为标签x_i和x_j的平滑度；

采用平均场近似推理算法求解得到所述模型的最优解，得到最终的医学图像分割结果。该步骤是在上述的卷积神经网络已经输出分割结果后充分利用上下文信息，对分割结果进行的优化，需要根据卷积神经网络的训练结果以及实际情况来使用。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.基于编码解码结构结合残差模块的医学图像分割方法，其特征在于，包括以下步骤：

S1.获取医学图像数据集作为训练集；

S2.构建基于编码解码结构结合残差模块的卷积神经网络并利用所述训练集进行训练；

S3.获取待分割的医学图像，并通过训练完毕的基于编码解码结构结合残差模块的卷积神经网络对其进行分割，得到分割结果。

2.根据权利要求1所述的医学图像分割方法，其特征在于，步骤S2中利用所述训练集进行训练前还包括基于所述训练集进行预处理：

对所述训练集中的医学图像进行归一化处理为一致的图像大小；

对归一化处理后的医学图像进行数据增强处理；

利用数据增强处理后的医学图像对所述卷积神经网络进行预训练从而初始化所述卷积神经网络的权重参数。

3.根据权利要求2所述的医学图像分割方法，其特征在于，所述数据增强处理具体为对所述训练集中归一化处理后的医学图像沿随机轴镜像翻转。

4.根据权利要求1所述的医学图像分割方法，其特征在于，步骤S2所述的基于编码解码结构结合残差模块的卷积神经网络中采用编码解码结构，包括具有N层神经网络的编码器网络和具有N层神经网络的解码器网络，所述编码器网络的神经网络与解码器网络的神经网络依次连接；每层编码器网络或解码器网络中的神经网络中包括两层卷积，其中第二层卷积替换为一个残差模块。

5.根据权利要求4所述的医学图像分割方法，其特征在于，所述残差模块中包括跳跃连接结构，所述跳跃连接结构用于实现残差模块中输入层经过两层卷积后再和输出层的特征映射过程。

6.根据权利要求1所述的医学图像分割方法，其特征在于，所述步骤S3获取待分割的医学图像后，还包括对待分割的医学图像进行归一化处理为一致的图像大小。

7.根据权利要求1所述的医学图像分割方法，其特征在于，所述医学图像分割方法还包括以下步骤：采用全连接条件随机场对所述分割结果进行优化，得到最终的医学图像分割结果。

8.根据权利要求7所述的医学图像分割方法，其特征在于，所述采用全连接条件随机场对所述分割结果进行优化具体为：

使用全连接条件随机场建立所述分割结果中任意两像素点概率之间的相互关系的模型：

其中x为像素点的预测值；该像素点所在的相关吉布斯能量值E(x|I)用公式表示：

其中

表示训练后卷积神经网络的输出值，

表示将像素点i与像素点j各自设置为标签x_i和x_j的平滑度；

采用平均场近似推理算法求解得到所述模型的最优解，得到最终的医学图像分割结果。

Images