CN109145920A - 一种基于深度神经网络的图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的图像语义分割方法，包括以下步骤：S1、构建基于密集连接网络和多孔空间金字塔池化的深度神经网络；S2、对数据集的训练图片进行预处理，并将预处理结果输入至深度神经网络中进行训练，得到图像语义分割模型；S3、将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。通过密集连接网络不进行图像降采样，而保持图像的空间维度来进行训练，通过多孔空间金字塔池化模块捕捉图像的多尺度信息，能够有效地解决图像语义分割准确率低、图像空间细节信息丢失的问题，最终得到较好的图像语义分割结果。

Description

一种基于深度神经网络的图像语义分割方法

技术领域

本发明属于图像语义分割技术领域，具体涉及一种基于深度神经网络的图像语义分割方法。

背景技术

深度卷积神经网络将计算机视觉系统的性能推到了新的高度。图像语义分割是计算机视觉的重要任务之一，对后续的计算机视觉任务具有至关重要的作用，例如无人驾驶视频分析中道路和非道路场景的区分。图像语义分割一般建模为像素级别的多分类问题，其目标是将图像的每一像素区分为预定义的多个类别之一。

传统的图像语义分割方法一般从图像像素邻域小窗提取人为设计的特征再做判别，例如纹理特征。同时，考虑到图像像素间的空间依赖性，研究人员基于低级视觉特征的相似性构建更高级的全局上下文的表征，例如马尔科夫随机场和条件随机场。

近年来，绝大多数当前最佳的图像语义分割方法都是基于卷积神经网络的。卷积神经网络能够学习到优于传统手工特征的具有区分性的特征。典型的语义分割网络结构是编码器解码器结构，编码器是一个图像降采样过程，负责抽取图像粗糙的语义特征，紧接着就是一个解码器，解码器的一个图像上采样过程，负责对降采样得到的图像特征进行上采样恢复到输入图像原始维度。密集连接卷积网络在图像分类任务中展现了十分优秀的结果，而图像语义分割也可以认为是一个密集分类任务，所以密集连接网络可以在语义分割网络中获得较好的分割结果。另外，空洞卷积是密集预测任务中的强有力的工具，可以在深度卷积网络中计算特征响应时，明确的控制图像的分辨率。而多孔空间金字塔池化则采用多种扩张率和视野上的滤波器探测进入的卷积特征层，因此可以在多尺度上捕捉物体和图像的内容。

目前已有的图像语义分割方法多数基于编码器解码器的卷积神经网络。但是这种网络结构虽然可以获得较好的语义分割结果，但是一旦采用编解码结构，必然会在编码过程明显的降低特征图的空间分辨率，尽管在上采样过程恢复图像的原始分辨率，但是不可避免的会造成空间细节信息的丢失。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度神经网络的图像语义特征提取方法解决了现有技术中图像语义分割准确率低、图像空间细节信息丢失的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于深度神经网络的图像语义分割方法，包括以下步骤：

S1、构建基于密集连接网络和多孔空间金字塔池化的深度神经网络；

S2、对数据集的训练图片进行预处理，并将预处理结果输入深度神经网络中进行训练，得到图像语义分割模型；

S3、将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。

进一步地，所述步骤S1中，所述深度神经网络包括顺次连接的前端网络和后端网络；

所述前端网络包括顺次连接的5个卷积模块；

每个所述卷积模块包括顺次连接的3个卷积层、一个重叠池化层，一个批归一化层和一个修正线性单元层；

所述后端网络包括顺次连接的多孔空间金字塔池化模块、一个卷积层和一个softmax分类层；

所述多孔空间金字塔池化模块包括四个均与前端网络输出端连接的通道，每个通道均包括顺次连接的空洞卷积层和重叠池化层。

进一步地，所述前端网络中，每个所述卷积模块之间通过密集网络连接。

进一步地，所述后端网络中的每个所述空洞卷积层具有不同的扩张率，每个所述重叠池化层完全相同。

进一步地，所述步骤S2中，对深度神经网络训练的过程具体为：

首先，将深度神经网络初始化；

然后，将经过预处理的图像作为训练数据，以批处理的方式输入到初始化后的深度神经网络中，采用随机梯度下降法进行误差反向传播，采用多项式学习策略，对深度神经网络进行训练；

所述多项式学习策略中，学习率lr设置为：

式中，baselr为初始学习率；

iter为当前迭代次数；

total_iter为迭代总次数；

上标power为多项式的幂。

进一步地，所述步骤S21中，深度神经网络初始化包括前端网络的卷积模块初始化和后端网络的多孔空间金字塔池化模块和卷积层的初始化；

所述卷积模块初始化时，权值设置为零均值高斯分布，标准差设置为

其中，n_l＝k_l ²d_l-1，k_l为第l层卷积层卷积核的边长的大小，d_l-1为第l-1层滤波器的数量；

所述多孔空间金字塔池化模块和卷积层初始化时，每个所述空洞卷积层和卷积层的参数均通过标准高斯分布进行参数初始化。

本发明的有益效果为：本发明提供的基于深度神经网络的图像语义分割方法通过密集连接网络不对图像进行降采样，而保持图像的空间维度来进行训练，通过多孔空间金字塔池化模块捕捉图像的多尺度信息，能够有效地解决图像分割准确率低、图像空间细节信息丢失的问题，最终得到较好的图像语义分割结果。

附图说明

图1为本发明提供的实施例中基于深度神经网络的图像语义分割方法流程图。

图2为本发明提供的实施例中基于深度神经网络的图像语义分割网络模型结构图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于深度神经网络的图像语义分割方法，包括以下步骤：

S1、构建基于密集连接网络和多孔空间金字塔池化的深度神经网络；

如图2所示，上述步骤S1中，深度神经网络包括顺次连接的前端网络和后端网络；

前端网络包括顺次连接的5个卷积模块；

每个卷积模块包括顺次连接的3个卷积层、一个重叠池化层，一个批归一化层和一个修正线性单元层；

其中，第一个卷积模块中的卷积层的卷积核大小均为3×3，滤波器个数为64，重叠池化层步长为2；

第二个卷积模块中的卷积层的卷积核大小均为3×3，滤波器个数为128，重叠池化层步长为2；

第三个卷积模块中的卷积层的卷积核大小均为3×3，滤波器个数为256，重叠池化层步长为2；

第四个卷积模块中的卷积层的卷积核大小均为3×3，滤波器个数为512，重叠池化层步长为2；

第五个卷积模块中的卷积层的卷积核大小均为3×3，滤波器个数为512，重叠池化层步长为2；

上述前端网络中，每个卷积模块之间通过密集网络连接，每个卷积模块输出的特征图都直接与其他卷积模块以一种向前传播的形式相连，形成密集相连的网络结构，使得产生的参数数量相比其他网络(如残差网络)等更少，而且，采用密集连接能进行高效计算，相比残差网络，达到残差网络相当的精度只需要大约残差网络一半的计算量，最重要的是密集连接网络能降低网络深度，避免过拟合，密集连接网络比其他网络更加高效，主要是因为网络每层计算量的减少以及特征的重复利用，每层只需要学习很少的特征，使得参数量和计算量显著减少。

后端网络包括顺次连接的多孔空间金字塔池化模块、一个1×1的卷积层和一个softmax分类层，多孔空间金字塔池化模块包括四个均与前端网络输出端连接的通道，每个通道均包括顺次连接的空洞卷积层和重叠池化层。后端网络中的每个空洞卷积层具有不同的扩张率，每个重叠池化层完全相同。四个通道的空洞卷积层的使用扩张率分别为1、2、4、8的方式进行卷积，针对不同尺度的目标得到相同分辨率的特征图，使得具有较小扩张率的卷积核的卷积层学习较小目标的特征，具有较大扩张率的卷积核的卷积学习较大目标的特征；并对卷积后的特征图通过一个3×3的重叠池化层以提高网络的学习能力，使得卷积后的特征能够根据误差的反向传播进行微调，由于不同扩张率的空洞卷积能得到相同分辨率的特征图，使最后的特征图串联成为可能。最后多孔空间金字塔池化模块输出的每一个尺度的输出都用一个卷积核大小为1×1的卷积层来减少图像特征的通道数，最后再把经过1×1的卷积层的特征图串联起来。

S2、对数据集的训练图片进行预处理，并将预处理结果输入深度神经网络中进行训练，得到图像语义分割模型；

以VOC2012数据集的21类(其中一类为背景)场景类别为基准，采集COCO数据集中包含上述20类类别目标的图像加入数据集，最终得到训练数据集和测试数据集。为提高深度神经网络的泛化性能，将数据集中的训练数据裁剪为224×224的固定尺寸，并采用随机翻转图像，在0.5到2倍之间随机缩放图像；使用随机尺度缩放、随机宽高比调整和随机旋转来做数据扩增。

上述深度神经网络训练的过程具体为：

S21、将深度神经网络初始化；

步骤S21中，深度神经网络初始化包括前端网络的卷积模块初始化和后端网络的多孔空间金字塔池化模块和卷积层的初始化；

卷积模块初始化时，权值设置为零均值高斯分布，标准差设置为

其中，n_l＝k_l ²d_l-1，k_l为第l层卷积层卷积核的边长的大小，d_l-1为第l-1层滤波器的数量；

多孔空间金字塔池化模块和卷积层初始化时，每个空洞卷积层和卷积层的参数均通过标准高斯分布进行参数初始化。

然后，将经过预处理的图像作为训练数据，以批处理的方式输入到初始化后的深度神经网络中，采用随机梯度下降法进行误差反向传播，采用多项式学习策略，对深度神经网络进行训练；

所述多项式学习策略中，学习率lr设置为：

式中，baselr为初始学习率；

iter为当前迭代次数；

total_iter为迭代总次数；

上标power为多项式的幂。

S3、将待测试的图像输入训练好的深度神经网络，进行一次前向传播，端到端的输出语义分割结果。

本发明的有益效果为：本发明提供的基于深度神经网络的图像语义分割方法通过密集连接网络不对图像进行降采样，而保持图像的空间维度来进行训练，通过多孔空间金字塔池化模块捕捉图像的多尺度信息，能够有效地解决图像分割准确率低、图像空间细节信息丢失的问题，最终得到较好的图像语义分割结果。

Claims (6)

1.一种基于深度神经网络的图像语义分割方法，其特征在于，包括以下步骤：

S1、构建基于密集连接网络和多孔空间金字塔池化的深度神经网络；

S2、对数据集的训练图片进行预处理，并将预处理结果输入深度神经网络中进行训练，得到图像语义分割模型；

S3、将待测试的图像输入图像语义分割模型，进行一次前向传播，端到端的输出语义分割结果。

2.根据权利要求1所述的基于深度神经网络的图像语义分割方法，其特征在于，所述步骤S1中，所述深度神经网络包括顺次连接的前端网络和后端网络；

所述前端网络包括顺次连接的5个卷积模块；

每个所述卷积模块包括顺次连接的3个卷积层、一个重叠池化层，一个批归一化层和一个修正线性单元层；

所述后端网络包括顺次连接的多孔空间金字塔池化模块、一个卷积层和一个softmax分类层；

所述多孔空间金字塔池化模块包括四个均与前端网络输出端连接的通道，每个通道均包括顺次连接的空洞卷积层和重叠池化层。

3.根据权利要求2所述的基于深度神经网络的图像语义分割方法，其特征在于，所述前端网络中，每个所述卷积模块之间通过密集网络连接。

4.根据权利要求2所述的基于深度神经网络的图像语义分割方法，其特征在于，所述后端网络中的每个所述空洞卷积层具有不同的扩张率，每个所述重叠池化层完全相同。

5.根据权利要求2所述的基于深度神经网络的图像语义分割方法，其特征在于，所述步骤S2中，对深度神经网络训练的过程具体为：

首先，将深度神经网络初始化；

然后，将经过预处理的图像作为训练数据，以批处理的方式输入到初始化后的深度神经网络中，采用随机梯度下降法进行误差反向传播，采用多项式学习策略，对深度神经网络进行训练；

所述多项式学习策略中，学习率lr设置为：

式中，baselr为初始学习率；

iter为当前迭代次数；

total_iter为迭代总次数；

上标power为多项式的幂。

6.根据权利要求5所述的基于深度神经网络的图像语义分割方法，其特征在于，所述步骤S21中，深度神经网络初始化包括前端网络的卷积模块初始化和后端网络的多孔空间金字塔池化模块和卷积层的初始化；

所述卷积模块初始化时，权值设置为零均值高斯分布，标准差设置为

其中，n_l＝k_l ²d_l-1，k_l为第l层卷积层卷积核的边长的大小，d_l-1为第l-1层滤波器的数量；

所述多孔空间金字塔池化模块和卷积层初始化时，每个所述空洞卷积层和卷积层的参数均通过标准高斯分布进行参数初始化。