CN110599495B - 一种基于语义信息挖掘的图像分割方法 - Google Patents

Abstract

本发明提出了一种基于语义信息挖掘的图像分割方法。传统深度学习算法往往包含编码器和解码器两个部分，其中编码器用于提取细节信息，解码器会将这些细节信息融合，进行上采样，得到最终的分割结果。目前大多分割方法在编码器部分只使用一条通路，基于残差网络的分割方法又在编码器的每个下采样区域中增加了一条残差通路，用于补充信息，但是补充的信息来自于之前的卷积层，提取的细节信息不足，因此，需要在分割过程中进行语义信息挖掘。本发明采用了语义信息挖掘编码器、解码器与特征金字塔的组合结构，在BraTS2017数据集上进行了算法验证，我们的方法优于传统的方法，具有更好的分割结果。

Description

一种基于语义信息挖掘的图像分割方法

技术领域

本发明属于图像处理与分析领域，具体涉及一种基于语义信息挖掘的图像分割方法。

背景技术

图像的语义分割，就是对图像中每个像素进行分类，将相同语义的类别分割出来。近年来，自动驾驶、无人机、图片美化、智能家居、智能医疗等行业中图像分割的应用日渐增多，越来越多的产品、装置需要更好的图像分割技术作为支撑。

传统的图像自动分割算法包括阈值法、边缘检测法、区域增长法、分水岭算法、基于模型的方法(水平集)和综合使用多种方法。上述传统算法运算效率较高，但是准确度仍不能达到应用要求，而且在分割过程中需要人为干预。随着计算机科学与人工智能的发展，计算机的运行速度不断加快，在面对很多实际应用问题时，深度学习方法得到越来越多的使用。基于深度学习的图像分割算法在准确率性能上优于以上传统算法，但是在性能上仍存在可改进的空间。传统深度学习算法往往包含编码器和解码器两个部分，其中编码器用于提取细节信息，解码器会将这些细节信息融合，进行上采样，得到最终的分割结果。目前大多分割方法在编码器部分只使用一条通路，基于残差网络的分割方法又在编码器的每个下采样区域中增加了一条残差通路，用于补充信息，但是补充的信息来自于之前的卷积层，提取的细节信息不足，因此，需要在分割过程中进行语义信息挖掘。

发明内容

传统的基于卷积神经网络的图像分割方法采用单通路编码器进行特征提取，对细节信息的提取不足。针对这一问题，本发明提出了一种基于语义信息挖掘的图像分割方法，在编码器的每个下采样区域中增加了语义信息挖掘支路，融合了更丰富的细节信息，提高分割的精度。

本发明采用的技术方案如下：

一种基于语义信息挖掘的图像分割方法，该方法使用语义信息挖掘支路结构，在分割过程中提取更丰富的细节信息，并将其逐次拼接到编码器的各个下采样区域中，再经过解码器和特征金字塔，得到分割结果，具体步骤包括：

(一)数据预处理：对数据集进行归一化处理，并进行数据多通道融合，再进行数据清洗，将没有标签的图像去除，最后进行数据增强，得到最终数据集；

(二)经过语义信息挖掘编码器对数据进行下采样处理：编码器部分由多个下采样区域组成，数量可自由设置，每个下采样区域包含三条支路：第一条为特征提取支路，包含两个卷积层，每个卷积层后添加了局部响应归一化层与激活层；第二条为残差支路，包含一个卷积层、一个局部响应归一化层和一个激活层，然后与特征提取支路的输出进行特征相加；第三条为语义信息挖掘支路，由两个残差单元组成，即四个卷积层，其中每两个卷积层添加一个残差支路，每个卷积层后添加了局部响应归一化层与激活层，然后与特征提取支路进行特征拼接，下采样区域三条支路结束后为一个池化层，改变图像尺度，池化层的输出特征为下一个下采样区域的输入特征，特征经过多个下采样区域后尺度变小，同时通道数变大，最后经过一个没有池化层的下采样区域得到最终的编码器输出。过程如下所示：

E(x_i)是语义信息挖掘编码器中第i个下采样区域的输出，R(x_i)是第i个残差支路的输出，S(x_i)是第i个语义信息挖掘支路的输出，

是特征连接操作；

(三)经过解码器对数据进行上采样处理：解码器部分由多个上采样区域组成，数量可自由设置，最终需要上采样到原图尺度，下采样区域包括一个上采样层、一个连接层和两个卷积层，其中每个卷积层后增加一个局部响应归一化层和一个激活层，其中上采样层将来自上一级解码器的特征进行上采样，连接层将上采样后的特征与来自语义信息挖掘编码器的同级特征连接，最后经过卷积等操作得到下采样区域的输出，过程如下所示：

D(x_i)是解码器中第i个上采样区域的输出；

(四)经过特征金字塔输出分割结果：将解码器各上采样区域的输出上采样到原图尺度，且通道相同，然后将这些特征相加，过程如下所示：

P(x)是特征金字塔的输出，最后经过一个卷积层并激活，得到最终的分割结果，过程如下所示：

Output是网络最终的输出结果；

(五)结果预测：将训练好的模型保存，输入测试集，得到最终的分割结果。

在模型训练的数据预处理过程中，将数据随机打乱顺序，将数据集分为n份，选取其中n-1份作为训练集，选取剩余的1份作为验证集合，得到最终分割结果。本发明与传统的方法相对比，分割精度更高，具有更好的泛化能力。

附图说明

图1是基于语义信息挖掘的图像分割方法示意框图。

图2是本发明使用的语义信息挖掘结构示意框图。

图3是本发明的图像处理装置示意框图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明。

如图1所示，本发明基于语义信息挖掘的图像分割方法如下文所示：

步骤一：训练阶段：使用有标注的数据集进行训练。将数据集送入网络中参与训练，将交叉熵函数作为损失函数，使用Adam优化器更新语义信息挖掘网络的参数，训练迭代70次，每次迭代都保存模型，保存模型之后使用数据集中的验证集部分进行验证，将最后一个模型作为该方法生成的模型。

步骤二：测试阶段：将数据进行预处理，对多个模态的数据进行裁剪然后进行减均值除以方差的标准化操作，然后送入训练阶段得到的效果最优的模型中，经过模型计算，得到分割结果图并显示出来。

如图2所示，语义信息挖掘的网络结构与具体方法如下文所示：

(一)数据预处理：

对数据集进行归一化处理，

X为输入数据，μ为输入数据的均值，σ为输入数据的方差，X′为归一化处理后的数据。如有多模态数据，将其融合，形成多通道数据，如数据为单模态，直接进行后续处理。将数据读取进来，得到的数据大小为b×w×h×c，其中b为图像数目，w为图像宽度，h为图像高度，c为通道数。然后进行数据清洗，打乱数据顺序，将没有标签的图像去除。最后进行数据增强，将原数据集的前半部分向左旋转90度，后半部分向右旋转90度，增强为原来的两倍，得到最终数据集。将全部数据集分为n份分别保存为数组形式，读取其中的n-1份作为训练集，剩余的1份作为测试集；

(二)语义信息挖掘编码器：

语义信息挖掘编码器部分由多个下采样区域组成。其中四个包含池化层，最后一个不包含池化层。每个下采样区域包含三条支路：第一条为特征提取支路，包含两个卷积层，每个卷积层后添加了局部响应归一化层与激活层；第二条为残差支路，包含一个卷积层、一个局部响应归一化层和一个激活层，然后与特征提取支路的输出进行特征相加；第三条为语义信息挖掘支路，由两个残差单元组成，即四个卷积层，其中每两个卷积层添加一个残差支路，每个卷积层后添加了局部响应归一化层与激活层，然后与特征提取支路进行特征拼接。下采样区域三条支路结束后为一个池化层，改变图像尺度，池化层的输出特征为下一个下采样区域的输入特征。特征经过多个下采样区域后尺度变小，同时通道数变大，最后经过一个没有池化层的下采样区域得到最终的编码器输出，过程如下所示：

E(x_i)是语义信息挖掘编码器中第i个下采样区域的输出，R(x_i)是第i个残差支路的输出，S(x_i)是第i个语义信息挖掘支路的输出，

是特征连接操作；

(三)解码器：

经过解码器对数据进行上采样处理。在经历下采样之后，图像尺度变小，采用上采样的方式将图像恢复到原尺度。解码器部分由多个上采样区域组成，数量为4，最终上采样到原图尺度。下采样区域包括一个上采样层、一个连接层和两个卷积层，其中每个卷积层后增加一个局部响应归一化层和一个激活层，其中上采样层将来自上一级解码器的特征进行上采样，连接层将上采样后的特征与来自语义信息挖掘编码器的同级特征连接，最后经过卷积等操作得到下采样区域的输出，过程如下所示：

D(x_i)是解码器中第i个上采样区域的输出；

(四)特征金字塔：

将解码器区域不同尺度的输出全送入特征金字塔计算分割结果。将解码器各上采样区域的输出上采样到原图尺度，采用双线性插值法，通道数都变成32，卷积核大小为1，然后将这些特征相加，过程如下所示：

P(x)是特征金字塔的输出，最后经过一个卷积层并激活，得到最终的分割结果，过程如下所示：

Output是网络最终的输出结果；

(五)结果预测：将训练好的模型保存，输入测试集，得到最终分割结果。

在模型训练的数据预处理过程中，将数据随机打乱顺序，将数据集分为n份，选取其中n-1份作为训练集，选取剩余的1份作为验证集合，得到最终分割结果。

本发明与传统的方法相对比，分割精度更高，具有更好的泛化能力。

本发明的效果可以通过分割结果进一步说明：

为验证本发明的性能，采用数据集BraTS2017，包含285个患者的多模态数据。将标准数据集分为训练集与验证集，将语义信息挖掘的图像分割方法与其他不使用语义信息挖掘的方法进行对比。分别对比了水肿、坏死、增强部分的dice系数、查全率、查准率。

表1为本发明在BraTS2017数据集上的分割结果。其中VGG、DUNet、FCNN为深度学习图像分割领域中的经典方法，FPUNet为基于金字塔融合学习的图像分割方法，SIMNet为语义信息挖掘编码器、解码器、特征金字塔的组合，是本发明提出的方法。表中黑体数字为该列最大值，代表了最优效果。综上所述，本发明比经典方法的分割效果更好。

表1

Claims (1)

1.一种基于语义信息挖掘的图像分割方法，该方法使用语义信息挖掘支路结构，在分割过程中提取更丰富的细节信息，并将其逐次拼接到编码器的各个下采样区域中，再经过解码器和特征金字塔，得到分割结果，具体步骤包括：

(一)数据预处理：对数据集进行归一化处理，并进行数据多通道融合，再进行数据清洗，将没有标签的图像去除，最后进行数据增强，得到最终数据集；

(二)经过语义信息挖掘编码器对数据进行下采样处理：编码器部分由多个下采样区域组成，数量可自由设置，每个下采样区域包含三条支路：第一条为特征提取支路，包含两个卷积层，每个卷积层后添加了局部响应归一化层与激活层；第二条为残差支路，包含一个卷积层、一个局部响应归一化层和一个激活层，然后与特征提取支路的输出进行特征相加；第三条为语义信息挖掘支路，由两个残差单元组成，即四个卷积层，其中每两个卷积层添加一个残差支路，每个卷积层后添加了局部响应归一化层与激活层，然后与特征提取支路进行特征拼接，下采样区域三条支路结束后为一个池化层，改变图像尺度，池化层的输出特征为下一个下采样区域的输入特征，特征经过多个下采样区域后尺度变小，同时通道数变大，最后经过一个没有池化层的下采样区域得到最终的编码器输出，过程如下所示：

E(x_i)是语义信息挖掘编码器中第i个下采样区域的输出，R(x_i)是第i个残差支路的输出，S(x_i)是第i个语义信息挖掘支路的输出，

是特征连接操作；

(三)经过解码器对数据进行上采样处理：解码器部分由多个上采样区域组成，数量可自由设置，最终需要上采样到原图尺度，上采样区域包括一个上采样层、一个连接层和两个卷积层，其中每个卷积层后增加一个局部响应归一化层和一个激活层，其中上采样层将来自上一级解码器的特征进行上采样，连接层将上采样后的特征与来自语义信息挖掘编码器的同级特征连接，最后经过卷积操作得到下采样区域的输出，过程如下所示：

D(x_i)是解码器中第i个上采样区域的输出；

(四)经过特征金字塔输出分割结果：将解码器各上采样区域的输出上采样到原图尺度，且通道相同，然后将这些特征相加，过程如下所示：

P(x)是特征金字塔的输出，最后经过一个卷积层并激活，得到最终的分割结果，过程如下所示：

Output是网络最终的输出结果，n为模型层数是大于等于二的整数；

(五)结果预测：将训练好的模型保存，输入测试集，得到最终的分割结果。

Images