CN109886971A - 一种基于卷积神经网络的图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的图像分割方法及系统，包括以下步骤：采集预设数量的样本图像，将其进行归一化和数据增强，获得训练样本数据；通过训练样本数据训练具有残差块的U‑Net卷积神经网络模型，获得训练好的U‑Net卷积神经网络模型；将与样本图像同类的待分割图像进行像素归一化处理；将像素归一化处理后的待分割图像输入到训练好的U‑Net卷积神经网络模型中，最终获得分割好的图像。本发明的方法具有较高的分割精度；采用端到端的分割方式，具有较高的分割效率。

Description

一种基于卷积神经网络的图像分割方法及系统

技术领域

本发明属于图像分割技术领域，特别涉及一种基于卷积神经网络的图像分割方法及系统。

背景技术

目前，传统的图像分割方法一般包括：首先，人工提取一些图形学的特征，例如：纹理特征和色度等；然后，基于上述提取的特征再对图片进行分割，其存在的缺陷包括：由于人对图像特征的提取能力是有限的，传统的单一图像算法只能从单个角度对图像进行特征提取；传统的基于阈值分割的算法原理简单，通过手动遍历选取最佳阈值实现图像分割，但是其计算过程复杂，且容易受到噪声干扰，鲁棒性差；基于边缘检测的算法，先检测图中边缘点，再按一定策略连接成轮廓，从而构成分割区域，其缺点在于抗噪性与检测精度的矛盾，因此得到的分割经常是断续的、不完整的结构信息。

综上，亟需一种新型的图像分割方法。

发明内容

本发明的目的在于提供一种基于卷积神经网络的图像分割方法及系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。本发明的方法具有较高的分割精度；采用端到端的分割方式，具有较高的分割效率。

为达到上述目的，本发明采用以下技术方案：

一种基于卷积神经网络的图像分割方法，包括以下步骤：

S1，采集预设数量的样本图像，将其像素值归一化，然后进行数据增强，获得训练样本数据；

S2，构建具有多个残差块的U-Net卷积神经网络模型；所述残差块用于代替U-Net卷积神经网络模型中的部分卷积运算；

S3，通过S1获得的训练样本数据训练S2构建的具有残差块的U-Net卷积神经网络模型；其中，训练方法采用带权重的交叉熵损失函数，训练至预设收敛条件，获得训练好的U-Net卷积神经网络模型；

S4，将与样本图像同类的待分割图像按照S1中像素归一化的方法进行像素归一化处理；将像素归一化处理后的待分割图像输入到S3训练好的U-Net卷积神经网络模型中，最终获得分割好的图像。

进一步地，步骤S1中像素值归一化的具体步骤包括：

(1)从采集的样本图像中获取以数字表征的图像灰度矩阵；

(2)将步骤(1)获得的图像灰度矩阵归一化到0-255之间。

进一步地，步骤S1中，数据增强包括：左右翻转、加高斯噪声、调整图像的亮度、调整图像的锐度、调整图像的饱和度或调整图像的对比度中的一种或多种；数据增强后，再次进行像素归一化处理。

再次进行像素归一化处理时，将图像的像素灰度值归一化在0-1之间。

进一步地，步骤S2构建的具有多个残差块的U-Net卷积神经网络模型具体包括：编码器结构和解码器结构；编码器结构的每一层均由两个残差块构成，编码器结构的层与层之间均采用最大池化进行下采样；解码器结构的每一层均由两个残差块构成，解码器结构的层与层之间均采用反卷积操作；其中，解码器结构中两个相邻层之间，较低层经过反卷积之后与编码器结构中相对应层的结果进行拼接，通道数进行合并，得到较高层的图像特征图，用于增强解码器中每一层的语义信息；解码器的最后一层连接卷积操作以及SoftMax操作，用于获得分割结果。

所述残差块的结构包括：两个卷积层、两个批正则化层、两个激活函数层以及一个横向连接结构。

进一步地，步骤S3的训练过程中使用Adam优化器，momentum设置为0.9。

进一步地，步骤S1中，采集的样本图像为已诊断的乳腺MRIT2成像的第四期序列影像。

进一步地，步骤S1具体包括：读取乳腺原始MRIT2影像，将第四期序列影像提取出来，保存成npz的格式。

一种基于卷积神经网络的图像分割系统，包括：

数据获取及标注模块：选择乳腺MRIT2成像第四期序列作为标注数据，采用ITK-SNAP软件涂抹出T2的第四期影像中肿瘤的轮廓掩膜；

训练样本模块，从所有标注好的数据中采集预设数量的训练样本图像，将其像素值归一化，并进行数据增强，获得训练样本数据；

网络结构模块，用于构建具有多个残差块的U-Net卷积神经网络模型，并接收训练样本数据；通过训练样本数据训练构建的具有残差块的U-Net卷积神经网络模型，训练至预设收敛条件，获得训练好的U-Net卷积神经网络模型；训练方法采用带权重的交叉熵损失函数；

输入输出模块，用于把待分割的图像输入训练好的U-Net卷积神经网络模型以及输出分割好的图像。

与现有技术相比，本发明具有以下有益效果：

本发明的基于卷积神经网络的图像分割方法的过程为，通过获取训练数据，分析序列图像基本特征，对图像进行归一化预处理，训练全卷积语义分割神经网络，用后处理去除假阳性和噪声点，将感兴趣区域从图像中分割出来，并标记其具体位置。本发明相较于传统的图像分割方法，不需要人工提取特征，可以端到端的进行分割，将待分割的图像输入到神经网络中可以直接得到分割好的图像；相较于传统的人工提取图形学特征的分割方法，卷积神经网络通过对训练样本进行学习可以识别出噪声点，学习到待分割区域的整体形状、位置信息等，这样分割结果的鲁棒性可大大提高，并且可降低出现断续分割区域的频率，大大提高了分割的精度。

深度学习尤其是卷积神经网络具有强大的学习能力，利用其百万级别的参数可以对一张图片学习到各种不同的图形学特征，因此，考虑采用卷积神经网络对图像特征进行学习，利用卷积神经网络其自身学习到的特征自动进行分割。卷积神经网络进行图像分割可以进行端到端的分割，输入一张图片到神经网络中可直接得到一张分割好的图片，效率和精度更高。

附图说明

图1是本发明的一种基于卷积神经网络的图像分割方法中残差块结构示意框图；

图2是本发明的一种基于卷积神经网络的图像分割方法中构建的新型U-Net卷积神经网络示意框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明的一种基于卷积神经网络的图像分割方法，包括以下步骤：

步骤1，采集预设数量的样本图像，将其像素值归一化，并进行数据增强，获得训练样本数据。

在获取数据的过程中，由于客观操作情况的不同，例如不同医生和不同机器等，得到的数据缺乏一致性，因此需要对数据做基本的预处理操作。

具体的预处理步骤如下：

S1，从采集的图像中获取以数字表征的图像灰度矩阵；

S2，将(1)中得到的图像灰度矩阵归一化到0-255之间。

对数据进行数据增强，主要包括以下方式：左右翻转；加高斯噪声；调整图片的亮度、锐度、饱和度和对比度；再次像素归一化在0-1之间。

步骤2，构建具有多个残差块的U-Net卷积神经网络模型。

网络架构主要是基于U-Net卷积神经网络，并在网络结构中将一部分的卷积操作用一个残差块来代替，这样就增加了网络的深度，增强了网络的特征表示能力。网络的大体架构由两部分组成：网络的左半部分是一个编码器，右边的部分是一个解码器。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。

请参阅图1，具体的，所述残差块的结构包括：两个卷积层(3×3)，两个批正则化层和两个ReLu激活函数层；具体的排列方式是：卷积-BN-ReLu-卷积-BN-ReLu；除此之外，重要的是残差块结构还有一个横向连接结构，将输入直接和经过上述卷积等操作之后的结果相连。

具体可以是：残差块的结构包括：依次连接的第一卷积层、第一批正则化层、第一激活函数层、第二卷积层、第二批正则化层和第二激活函数层；第一卷积层用于接收输入数据，第二激活函数层的输出与输入数据相加后作为整个残差块的输出；还有一个重要的横向连接结构，使得输入可以直接和其经过两个卷积-BN-ReLu之后的结果相加。

请参阅图2，具体的，具有多个残差块的U-Net卷积神经网络模型具体包括：左半部分看做是一个5层的编码器结构，每一层是由两个残差块构成，层与层之间采用最大池化进行下采样；网络的右半部分可以看做是一个4层的解码器，每一层的解码器也是由两个残差块构成，层与层之间采用反卷积操作；重要的是解码器中低层经过反卷积之后会与编码器中相对应层的结果进行拼接，通道数进行合并，这样就可以增强解码器中每一层的语义信息；最后，在解码器的最后一层加一个单一的卷积操作和SoftMax操作。

步骤3，训练步骤2构建的网络模型。

训练方法采用带权重的交叉熵损失函数，由于正负样本数量上存在很大的差异，所以使用带权重的损失函数。这样不致于负样本太多导致网络对正样本的拟合能力太差。训练过程中使用Adam优化器，momentum设置为0.9。随着迭代次数的增加学习率进行一定程度的衰减。

步骤4，待分割图像的图像分割过程。

利用步骤3训练好的模型，将待分割的图像送入到训练好的神经网络中，得到新图像的分割结果。最后，还可以确定出分割区域的中心点的坐标、长宽等物理特征。

本发明相较于传统的人工提取图形学特征的分割方法，可大大提高分割的精度；采用端到端的分割方式，可加快分割的速度。

本发明的一种基于卷积神经网络的图像分割系统，包括：

数据获取及标注模块：选择乳腺MRIT2成像第四期序列作为标注数据，采用ITK-SNAP软件涂抹出T2的第四期影像中肿瘤的轮廓掩膜；

训练样本模块，从所有标注好的数据中采集预设数量的训练样本图像，将其像素值归一化，并进行数据增强，获得训练样本数据；

网络结构模块，用于构建具有多个残差块的U-Net卷积神经网络模型，并接收训练样本数据；通过训练样本数据训练构建的具有残差块的U-Net卷积神经网络模型，训练至预设收敛条件，获得训练好的U-Net卷积神经网络模型；训练方法采用带权重的交叉熵损失函数；

输入输出模块，用于把待分割的图像输入训练好的U-Net卷积神经网络模型以及输出分割好的图像。

实施例1

本发明的一种基于卷积神经网络的乳腺MRI图像分割方法，包括以下步骤：

S1，样本数据预处理。

由于医学影像数据具有较大的分割价值，故选择乳腺MRI影像数据作为案例进行分析。选择MRIT2成像第四期序列作为我们的标注数据。采用的标注软件为ITK-SNAP，这是一个开源并被广泛使用的医学图像处理标注软件。涂抹出T2的第四期影像中肿瘤的轮廓掩膜。

在获取数据的过程中，由于客观操作情况的不同(不同医生、不同机器)，得到的数据缺乏一致性，因此需要对数据做基本的预处理操作。

具体的预处理步骤如下：

(1)从DICOM文件中获取以数字表征的图像灰度矩阵；

(2)将图像的像素灰度值归一化在0-255之间。

S2，数据增强。

(1)读取乳腺癌患者的原始MRIT2影像，将第四期序列影像提取出来，保存成npz的格式。保存成npz格式的主要原因是npz格式的数据读取较快，可以加快网络的训练速度。

(2)对数据进行增强，在数据量不算很大的情况下，可以防止网络过拟合。数据增强的方式主要包括如下内容：1)左右翻转；2)加高斯噪声；3)调整图片的亮度、锐度、饱和度、对比度。

由于乳腺具有一定的对称性，所以将原始的图片随机进行左右的翻转可以在一定程度上起到数据增强的作用。值得一提的是，并没有采用随机上下翻转，这是因为在乳腺MRI影像中，乳腺区域主要集中在图片的中上方，下面的区域是人的胸腔。U-Net网络会学习到图片中像素的位置信息，就会感知到图片下方的区域是不会存在肿瘤的，这样就避免了一种错误检测的情况。

乳腺癌患者的MRI影像中图片的亮度、清晰度和对比度是不一样的，有的图片的亮度比较高，清晰度好，但有的就是清晰度较低，肿瘤区域的轮廓相较于背景区域并不是很明显，所以对图片随机地进行对比度等调整。

(3)再次像素归一化，使得图像的像素灰度值归一化在0-1之间。

数据归一化问题是数据挖掘中特征向量表达时的重要问题，当不同的特征成列在一起的时候，由于特征本身表达方式的原因而导致在绝对数值上的小数据被大数据“吃掉”的情况，这个时候需要做的就是对抽取出来的特征向量进行归一化处理，以保证每个特征被分类器平等对待。该方法采用的是使用数据的均值和标准差对数据进行归一化。

S3，网络模型设计。

网络架构主要是基于U-Net卷积神经网络，并在网络结构中将一部分的卷积操作用一个残差块来代替，这样就增加了网络的深度，增强了网络的特征表示能力。

U-Net是基于FCN的一个语义分割网络,适合用来做医学图像的分割。U-Net的大体架构是一种编码器-解码器结构。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。U-Net的网络架构如图2所示。所述网络架构使用全卷积神经网络，没有使用全连接层。U-Net网络由于没有使用全连接层，所以，参数的数量相比之下也是较少的。同时，由于没有全连接层，所以不需要将图片固定成统一的大小，可以输入任意大小的图片。左边的网络可以看作是一个encoder的过程，与平常的卷积神经网络一样，只是单纯地使用卷积和maxpooling操作。右边的网络可以看作是一个decoder的过程。U-Net网络中最突出的特点就是使用了反卷积操作。卷积操作是将大的特征图变成小的特征图，而反卷积正好相反，会将小的特征图变大，这样就可以将当前的特征图与浅层的特征图进行拼接。浅层的特征图没有那么抽象，但是却拥有更多的语义信息；高层的特征图包含更多的抽象特征。这样一来，最后得到的特征图就包含了较多的信息。

在深度神经网络中，随着网络深度的增加，会比较容易出现梯度消失、梯度爆炸等问题，阻碍了收敛。为了解决这个问题，何凯明等人在2015年提出了深度残差网络(Residual Network，ResNet)，可以将网络的深度增加到152层，同时避免了出现梯度消失等问题。现如今，ResNet在很多的网络架构中被使用来提取图片特征。残差块的结构如图1所示。

图1中明显的一个操作是由X(Input)到Y(Output)的直接连接操作，该操作通常是一个卷积操作。X会经过两组卷积、BachNormalization、ReLu操作得到一个特征图，该特征图会和X进行相加得到新的一个特征图Y作为输出。

网络的具体细节如图2所示，网络的左半部分是5层的编码器结构，每一层的卷积操作都是采用改进后的残差块结构来代替。层与层之间采用max-pooling下采样来减小特征图的大小；右半部分是一个4层的解码器的结构，每一层的结构与编码器是一样的，层与层之间采用的是反卷积操作进行上采样，增大特征图的大小。编码器与解码器之间的对应的层将特征图进行拼接，增强了特征图的上下文信息，提高分割的精度。具有多个残差块的U-Net卷积神经网络模型具体结构如表1所示。

表1.具有多个残差块的U-Net卷积神经网络模型的具体结构

在Deconvolution与Decode之间会有编码器与解码器之间对应层特征图的拼接操作，所以会导致特征图的通道数目翻倍。

S4，训练构建的网络模型。

训练方法采用交叉熵损失函数，计算公式如下：

其中p_i是模型预测的该像素点属于肿瘤区域的概率；是图像中每个像素点的标签，0代表该像素点属于非肿瘤区域，1代表该像素点属于肿瘤区域。

由于乳腺MRI图像中肿瘤区域和非肿瘤区域的面积存在很大的悬殊，故使用带权重的交叉熵损失，增加肿瘤区域的损失函数的权重，使网络能够更好地对肿瘤区域进行分割。

具体实验过程中的参数设置为：优化器的设置：使用Adam，momentum设置为0.9。学习率：初始学习率设置为0.001，每50个epoch，学习率衰减为原来的十分之一；训练100epoch，训练完毕。

S5，乳腺肿瘤检测。

为了获取病灶的具体信息，将分割得到的结果会进行过滤，将一些很小的噪声点过滤掉，然后生在矩形框，将病灶区域框住，确定其中心坐标，长宽等物理特征，并还原到原始的病人的MRI影像当中。

综上，本发明提出一种基于卷积神经网络的图像分割方法，包括以下步骤：首先，对图像进行标注，获取训练样本，对训练样本进行数据预处理；其次，对得到的样本进行数据增强，防止过拟合；再次，构建一个新型的卷积神经网络，在U-Net网络中加入残差块，训练模型；最后利用训练好的卷积神经网络对新数据进行分割，得到分割结果。本发明通过构建新型的U-Net卷积神经网络，对图像进行分割，相较于传统的分割方法，大大提高了分割的精度，并且采用端到端的方式，大大加快了分割速度。在我国，影像科医生稀缺，影像科医生数量的增长远不及影像数据的增长。医生在对医学影像进行长时间审阅时，误诊率会增高，阅片的难度会加大，存在很大的安全隐患，本发明的提出具有较大的应用价值和社会意义。

以上所述仅为本发明的方法实施案例而已，仅作为本发明的解释说明，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的图像分割方法，其特征在于，包括以下步骤：

S1，采集预设数量的样本图像，将其像素值归一化，然后进行数据增强，获得训练样本数据；

S2，构建具有多个残差块的U-Net卷积神经网络模型；所述残差块用于代替U-Net卷积神经网络模型中的部分卷积运算；

S3，通过S1获得的训练样本数据训练S2构建的具有残差块的U-Net卷积神经网络模型；其中，训练方法采用带权重的交叉熵损失函数，训练至预设收敛条件，获得训练好的U-Net卷积神经网络模型；

S4，将与样本图像同类的待分割图像按照S1中像素归一化的方法进行像素归一化处理；将像素归一化处理后的待分割图像输入到S3训练好的U-Net卷积神经网络模型中，最终获得分割好的图像。

2.根据权利要求1所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S1中像素值归一化的具体步骤包括：

(1)从采集的样本图像中获取以数字表征的图像灰度矩阵；

(2)将步骤(1)获得的图像灰度矩阵归一化到0-255之间。

3.根据权利要求1所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S1中，数据增强包括：左右翻转、加高斯噪声、调整图像的亮度、调整图像的锐度、调整图像的饱和度或调整图像的对比度中的一种或多种；

数据增强后，再次进行像素归一化处理。

4.根据权利要求3所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S1中，再次进行像素归一化处理时，将图像的像素灰度值归一化在0-1之间。

5.根据权利要求1所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S2构建的具有多个残差块的U-Net卷积神经网络模型具体包括：编码器结构和解码器结构；

编码器结构的每一层均由两个残差块构成，编码器结构的层与层之间均采用最大池化进行下采样；解码器结构的每一层均由两个残差块构成，解码器结构的层与层之间均采用反卷积操作；

其中，解码器结构中两个相邻层之间，较低层经过反卷积之后与编码器结构中相对应层的结果进行拼接，通道数进行合并，得到较高层的图像特征图，用于增强解码器中每一层的语义信息；

解码器的最后一层连接卷积操作以及SoftMax操作，用于获得分割结果。

6.根据权利要求1所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S2中所述残差块的结构包括：两个卷积层、两个批正则化层、两个激活函数层以及一个横向连接结构。

7.根据权利要求1所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S3的训练过程中使用Adam优化器，momentum设置为0.9。

8.根据权利要求1至7中任一项所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S1中，采集的样本图像为已诊断的乳腺MRIT2成像的第四期序列影像。

9.根据权利要求8所述的一种基于卷积神经网络的图像分割方法，其特征在于，步骤S1具体包括：读取乳腺原始MRIT2影像，将第四期序列影像提取出来，保存成npz的格式。

10.一种基于卷积神经网络的图像分割系统，其特征在于，包括：

数据获取及标注模块：选择乳腺MRIT2成像第四期序列作为标注数据，采用ITK-SNAP软件涂抹出T2的第四期影像中肿瘤的轮廓掩膜；

训练样本模块，从所有标注好的数据中采集预设数量的训练样本图像，将其像素值归一化，并进行数据增强，获得训练样本数据；

网络结构模块，用于构建具有多个残差块的U-Net卷积神经网络模型，并接收训练样本数据；通过训练样本数据训练构建的具有残差块的U-Net卷积神经网络模型，训练至预设收敛条件，获得训练好的U-Net卷积神经网络模型；训练方法采用带权重的交叉熵损失函数；

输入输出模块，用于把待分割的图像输入训练好的U-Net卷积神经网络模型以及输出分割好的图像。