CN113240691B - 一种基于u型网络的医学图像分割方法 - Google Patents

Abstract

本发明公开了一种基于U型网络的医学图像分割方法，属于图像处理技术领域，包括如下步骤：首先将医学影像数据集的原图和实际分割图按照一定比例分成训练集、验证集以及测试集，并将训练集以及验证集送入改进的恒定缩放分割网络中训练；本发明针对传统传统U型网络中编码器和解码器的部分进行改进，提出恒定缩放的残差网络与循环神经网络结合代替原有的编解码器模块，增强浅层信息与深层语义的灵活性融合，更深入地提取了图像的特征信息，同时提高医学图像分割的精确度。本发明从改进模块结构的角度弥补了传统U型网络捕捉细节信息能力丢失、深浅层信息特征融合比例固定的问题，从而改善了最终的分割结果。

Description

一种基于U型网络的医学图像分割方法

技术领域

本发明涉及一种基于U型网络的医学图像分割方法，属于图像处理技术领域。

背景技术

医学图像分割技术的发展，是从手工分割到人机式的半自动分割，再逐步发展到全自动分割的过程。手工分割指的是由具有丰富经验的临床医生在原始胶片上直接勾勒出组织的边界或者感兴趣的区域，手工分割对人的先验知识有很高的要求，且标注时间长、成本较高。随着深度学习在计算机视觉领域的发展出现了半自动分割技术，该分割技术是将计算机的数据存储和计算功能以及医学专家的经验和知识结合起来，运用人机交互的方法来完成图像的分割。全自动分割则是计算机根据事先编好的算法运行独立自动完成图像的分割全过程。但大部分全自动分割算法的实现复杂，分割结果不理想，且分割的速度和性能也需要提高，目前临床医学上，研究实用的全自动分割方法来取代繁琐的人工分割或者半自动分割一直是人们追求的目标，全自动分割方法是近年来医学图像的研究重点和关键技术。为使机器自动分割医学图像，减少人工繁琐工作，为之后的肿瘤识别和病理判断打下坚实基础，研究如何使得分割边缘结果更精确至关重要。

目前图像分割方法可以分为传统的图像分割方法及基于深度学习的图像分割两种，传统的图像分割方法主要利用数字图像处理、数学、物理、光学、拓扑图等知识来进行图像处理，包括基于阈值的分割方法、基于区域的分割方法、基于边界的分割方法、基于小波分析和变换以及基于遗传算法。传统的图像分割方法主要利用边缘及算法特性进行分割，易忽略图像深层的语义类别信息等。近年来，深度学习在计算机视觉领域取得很大进展，有些逐渐逼近人为判断，因此使用深度学习方法做图像分割逐渐成为主流，该方法没有先验知识的限制，在网络训练好的情况下可以取得较好的效果。

2015年，Ronneberger等人在MICCAI会议发表U-Net，是深度学习在医学影像分割中的突破性的进展。U-Net是基于FCN(fully convolutional network)改进而成，包括编码器、瓶颈(bottleneck)模块、解码器几部分组成,由于其U型结构结合上下文信息和训练速度快、使用数据量小，满足医学影像分割的诉求，而在医学影像分割中广泛应用。U-Net自发表以来，其编码器-解码器-跳连的网络结构启发了大量基于U-Net结构改进的医学影像分割方法。随着深度学习技术的发展，包括注意力机制、稠密模块、特征增强、评价函数改进等基于U-Net的基础结构，将这些深度神经网络发展的最新技术引入到医学影像分割应用中，成为被广泛采取的改进方法。这些相关工作或者面向不同的优化目标，或者通过结构改进、添加新模块等手段,提高医学影像分割的准确性、运算效率、适用范围等。

但在目前的医学分割领域，由于神经网络中不断的“卷积-池化”操作丢失了许多浅层的空间及细节信息，出现的梯度消失现象易导致小病灶或器官边缘的分割效果不好，在所需分割的目标(器官或病灶)大小差异较大时总体分割效果不佳，如何灵活地确定深浅层信息特征融合比例，以及提取更深层次的特征信息也是目前学者正在努力的方向，其中对U型网络的提升优化是在医学图像分割领域的研究热点。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于U型网络的医学图像分割方法，将恒定缩放的残差网络与循环神经网络结合代替原有的编解码器模块，改善U型网络浅层及深层网络连接时可能产生的语义差距以及最大池化下采样过程中的浅层信息丢失问题，充分捕捉到大小不一的目标区域，提升不同尺度分割目标的分割准确度，使其在训练更深的网络的同时可以获得到更多的图像特征信息。

为达到上述目的，本发明是采用下述技术方案实现的：

本发明提供了一种基于U型网络的医学图像分割方法，包括以下步骤：

步骤1：获取医学图像数据集；

步骤2：从所述医学图像数据集中获取成对的原始图片及对原始图片中目标区域的真实分割图，一起作为预先构建的恒定缩放分割网络的输入数据集，其中，所述输入数据集分为训练集、验证集和测试集；

步骤3：利用所述训练集对恒定缩放分割网络进行训练，得到训练好的分割网络模型，利用所述验证集对恒定缩放分割网络进行验证，其中，所述恒定缩放分割网络包括特征提取模块和分辨率增大模块，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接；

步骤4：将待分割的原始图片输入到所述分割网络模型中进行分割，得到真实分割图。

进一步的，将所述输入数据集按照6：2：2的比例分为训练集、验证集和测试集。

进一步的，所述步骤3中，特征提取模块包括5个第一恒定缩放模块，4个下采样模块，所述恒定缩放模块之间通过下采样模块相连接，所述分辨率增大模块包括4个上采样模块和4个第二恒定缩放模块，所述第二恒定缩放模块之间通过上采样模块相连接。

进一步的，所述恒定缩放模块由恒定缩放的残差网络结构与循环神经网络结合而成，所述恒定缩放的残差网络结构的输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次权重层后乘以权值b；权值a与权值b应满足如下关系：

a+b＝1(1)。

进一步的，所述循环神经网络由输入特征图进入卷积层，后进行循环操作，使得每一次卷积操作都能获取上一次卷积操作得到的特征信息，最后经过ReLu激活函数得到输出。

进一步的，使用所述循环神经网络替换恒定缩放模型的残差网络结构中的权重层，从而形成恒定缩放模块，其输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b；权值a与权值b应满足公式(1)。

进一步的，所述步骤3中，在所述恒定缩放分割网络中，设置损失函数为集合相似度度量函数，具体公式为：

其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；

为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。

进一步的，所述步骤3中，当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：

基于Adam优化器对每一阶段恒定缩放分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；

对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；

重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。

与现有技术相比，本发明所达到的有益效果：

第一、本发明从改进编码器与解码器的的角度，结合其他具有特定功能的网络模型，弥补了传统U型网络捕捉细节信息能力丢失、深浅层信息特征捕捉不完整的问题，提升了对不同分割任务的适应性，改善了最终分割结果。

第二、本发明提出的恒定缩放的残差网络，在输出特征信息前使用不同数值组合的权重a和权重b，权重a控制原始输入图像的特征信息，权重b控制权重层提取的语义信息，使其在不同的医学影像场景下，能够选择不同的组合方式，灵活改善浅层特征信息传入到下一层的比例，增强了模型算法的可用性与灵敏性。

第三、本发明所使用的恒定缩放的分割网络融合恒定缩放的残差网络与循环神经网络，其中残差网络使用跳跃结构将浅层空间特征与深层语义通过权重值关联起来，循环神经网络进一步挖掘输入图像的深层次语义信息，改善了传统U型网络中直接相连造成的语义鸿沟问题，增强了对细节信息的提取，改善了不同层级特征图的融合效果。

附图说明

图1是本发明实施例提供的方法流程图；

图2是本发明实施例提供的恒定缩放分割网络结构的示意图；

图3是本发明实施例提供的恒定缩放的残差网络结构示意图；

图4是本发明实施例提供的循环神经网络结构示意图；

图5是本发明实施例提供的恒定缩放模块的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1至图5所示，本发明提供了一种基于U型网络的医学图像分割方法，包括以下步骤：

步骤1：获取医学图像数据集；

步骤2：从所述医学图像数据集中获取成对的原始图片及对原始图片中目标区域的真实分割图，一起作为预先构建的恒定缩放分割网络的输入数据集，其中，所述输入数据集分为训练集、验证集和测试集；将所述输入数据集按照6：2：2的比例分为训练集、验证集和测试集；

步骤3：利用所述训练集对恒定缩放分割网络进行训练，得到训练好的分割网络模型，利用所述验证集对恒定缩放分割网络进行验证，其中，所述恒定缩放分割网络包括特征提取模块和分辨率增大模块，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接；特征提取模块包括5个第一恒定缩放模块，4个下采样模块，所述恒定缩放模块之间通过下采样模块相连接，所述分辨率增大模块包括4个上采样模块和4个第二恒定缩放模块，所述第二恒定缩放模块之间通过上采样模块相连接；

所述恒定缩放模块由恒定缩放的残差网络结构与循环神经网络结合而成，所述恒定缩放的残差网络结构的输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次权重层后乘以权值b；权值a与权值b应满足如下关系：

a+b＝1(1)。

所述循环神经网络由输入特征图进入卷积层，后进行循环操作，使得每一次卷积操作都能获取上一次卷积操作得到的特征信息，最后经过ReLu激活函数得到输出。

使用所述循环神经网络替换恒定缩放模型的残差网络结构中的权重层，从而形成恒定缩放模块，其输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b；权值a与权值b应满足公式(1)。

在所述恒定缩放分割网络中，设置损失函数为集合相似度度量函数，具体公式为：

其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；

为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。

当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：

基于Adam优化器对每一阶段恒定缩放分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；

对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；

重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型；

步骤4：将待分割的原始图片输入到所述分割网络模型中进行分割，得到真实分割图。

本发明所使用的恒定缩放的分割网络融合恒定缩放的残差网络与循环神经网络，其中残差网络使用跳跃结构将浅层空间特征与深层语义通过权重值关联起来，循环神经网络进一步挖掘输入图像的深层次语义信息，改善了传统U型网络中直接相连造成的语义鸿沟问题，增强了对细节信息的提取，改善了不同层级特征图的融合效果。

下面结合一个优选实施例，对上述实施例中设计到的内容进行说明。

步骤1：获取医学图像数据集，本实施例中医学图像数据集为2018年ISIC挑战：黑色素瘤检测的皮肤病数据集；

医学图像数据集是从现有医学图像数据库中下载调用。

步骤2：从黑色素瘤检测的皮肤病数据集中取出成对的黑色素皮肤病原图及其真实的分割标签，并将其数据集按照6：2：2的比例分成训练集、验证集以及测试集。

步骤3：利用步骤2中输入数据集对恒定缩放分割网络进行训练，所述恒定缩放分割网络包括特征提取和增大分辨率，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接，将步骤2中的测试集以及验证集输入本发明所述恒定缩放分割网络(如图2所示)，特征提取包括5个恒定缩放模块，4个下采样，恒定缩放模块之间采用下采样连接；增大分辨率包括4个上采样和4个恒定缩放模块，恒定缩放模块之前采用上采样，恒定缩放模块(如图5所示)的输出由两部分相加组成：(1)输入特征图乘以权值a；(2)输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b，

假设x_l为第l层循环卷积块的输入，x_l中位于循环卷积层第k个特征图的像素点坐标为(i，j)，在t时，循环卷积层输出可以表示为：

其中和/>分别表示第l层循环卷积层的两个标准卷积层的输入，/>和/>分别表示第l层循环卷积层的两个标准卷积层第k个特征图的权重向量，b_k则为偏移量。循环卷积层的输出经过标准ReLU即函数f(·)处理，得到：

其中表示第l层循环卷积网络的输出，而第l层残卷循环网络的输出x_l+1表示为：

步骤4：具体实施如下，设置恒定缩放的分割网络损失函数。

分割网络部分设置Loss函数为医学中常用的dice coefficient，具体公式为

其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；

为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型为了计算预测的分割图的dicecoefficient，将|A|+|B|近似为预测图和label之间的点乘，并将集合A和集合B中的元素相加。

步骤5：训练分割网络；

为使步骤5中的损失函数最小，使用Adam优化器，先对每一阶段网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；

对每个样本图片x，先利用前向传播求出总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新，重复此步骤直至损失函数达到最小，得到训练好的分割网络模型。

步骤6：将待分割的黑色素皮肤病图像输入本发明所述分割网络，得到分割好的黑色素皮肤病图像。

在对黑色素皮肤病数据集进行分割时，本发明通过改进原始U型网络结构，改善了浅层细节信息在下采样过程中丢失的问题，结合了恒定缩放的残差网络和循环神经网络进一步提升了深、浅层语义的融合，减少了语义差距，提升了医学图像前景和背景的分割准确性，同时对于不同场景下的医学影像分割，可以选择不同的权值组合进行应用，对于多场景，本发明提出的方法有很好的可用性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于U型网络的医学图像分割方法，所述方法由计算机实现，其特征是，包括以下步骤：

步骤1：获取医学图像数据集；

步骤2：从所述医学图像数据集中获取成对的原始图片及对原始图片中目标区域的真实分割图，一起作为预先构建的恒定缩放分割网络的输入数据集，其中，所述输入数据集分为训练集、验证集和测试集；

步骤3：利用所述训练集对恒定缩放分割网络进行训练，得到训练好的分割网络模型，利用所述验证集对恒定缩放分割网络进行验证，其中，所述恒定缩放分割网络包括特征提取模块和分辨率增大模块，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接；

步骤4：将待分割的原始图片输入到所述分割网络模型中进行分割，得到真实分割图；

所述步骤3中，特征提取模块包括5个恒定缩放模块，4个下采样模块，其中，所述恒定缩放模块之间通过下采样模块相连接；所述分辨率增大模块包括4个上采样模块和4个恒定缩放模块，其中，所述恒定缩放模块之间通过上采样模块相连接；

所述恒定缩放模块由恒定缩放的残差网络结构与循环神经网络结合而成，所述恒定缩放的残差网络结构的输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次权重层后乘以权值b；权值a与权值b应满足如下关系：

a+b＝1(1)

所述循环神经网络由输入特征图进入卷积层，后进行循环操作，使得每一次卷积操作都能获取上一次卷积操作得到的特征信息，最后经过ReLu激活函数得到输出；

使用所述循环神经网络替换恒定缩放模型的残差网络结构中的权重层，从而形成恒定缩放模块，其输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b；权值a与权值b应满足公式(1)。

2.根据权利要求1所述的基于U型网络的医学图像分割方法，其特征是，所述步骤2中，将所述输入数据集按照6：2：2的比例分为训练集、验证集和测试集。

3.根据权利要求1所述的基于U型网络的医学图像分割方法，其特征是，所述步骤3中，在所述恒定缩放分割网络中，设置损失函数为集合相似度度量函数，具体公式为：

其中，A∩B表示集合A和集合B之间的共同元素，A表示A中的元素的个数，B表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；

为了计算预测的真实分割图的集合相似度度量函数，将A+B近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。

4.根据权利要求3所述的基于U型网络的医学图像分割方法，其特征是，所述步骤3中，当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：

基于Adam优化器对每一阶段恒定缩放分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；

对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；

重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。