CN109190752A - 基于深度学习的全局特征和局部特征的图像语义分割方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的全局特征和局部特征的图像语义分割方法，包括以下步骤：在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；在获取深度特征后，将其输入到解码端；以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。本发明设计合理，其使用深度卷积神经网络模型提取图像的全局和局部特征，充分利用了全局特征和局部特征的互补性，并且利用了堆叠池化层进一步提高性能，有效地提高了图像语义分割地准确率。

Description

基于深度学习的全局特征和局部特征的图像语义分割方法

技术领域

本发明属于计算机视觉图像语义分割技术领域，尤其是一种基于深度学习的全局特征和局部特征的图像语义分割方法。

背景技术

图像语义分割是指通过一定的方法将图像中的每个像素分为不同的语义类别，实现从底层到高层语义的推理过程，最终得到显示不同分割区域的逐像素语义标注的分割图。图像语义分割广泛用于汽车自动驾驶中的街景识别及目标检测、无人机落地点检测、场景理解、机器人视觉等许多计算机视觉任务方面的应用。从基于计算机视觉的机器学习方法到目前基于深度学习的方法，图像语义分割算法的研究得到了很大的进展，但是，由于工业需求的不断加大，图像语义分割依然是计算机视觉任务中的研究热点之一。

尽管图像语义分割方法目前已经有了快速的发展，但是，因为它的复杂性，仍然有很多问题有待解决。图像语义分割的挑战性主要体现在：(1)物体层次的不确定性，这是因为图像的明亮程度、模糊程度、图像中物体的大小及方向等诸多因素的影响；(2)物体类别层次的模糊性，同一个物种的不同类别，也不好分别开。为了减少不确定性和模糊性等外界因素的影响，充分利用图像中的信息(如图像像素值，从中可以提出许多特征，如颜色特征、图像中像素、物体之间的联系等上下文信息)，获得更好的特征表示，是一个重要的方法。为了提高图像语义分割的准确性，人们也一直在努力使用先进的算法。因此，对图像语义分割算法进行进一步的研究仍然具有非常重大的实际意义。

早期的图像语义分割利用手工标注特征，如方向梯度直方图HOG和尺度不变特征转换SIFT。基于机器学习的方法从最简单的像素级别阈值法、基于像素聚类的分割方法到基于图论划分的分割方法。这些方法过于依赖手工标注的特征库，难以广泛表示图像特征，在实际应用中有很大的局限性。近年来，卷积神经网络(CNN)的发展，使计算机视觉任务中的许多问题得到了巨大的突破。由于深度卷积网络可以从大量样本数据中提取出图像的特征，比手工标注特征更好，在图像分类和目标检测等高层计算机视觉任务上获得了巨大的成功，因此，如何利用深度学习技术以提高图像语义分割性能是目前迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理且识别准确率高的基于深度学习的全局特征和局部特征的图像语义分割方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于深度学习的全局特征和局部特征的图像语义分割方法，包括以下步骤：

步骤1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；

步骤2、应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；

步骤3、在获取深度特征后，将其输入到解码端；

步骤4、以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。

所述低层特征由纹理、边缘的局部特征组成，所述高层特征包括语义信息的全局特征。

所述步骤1的具体实现方法包括以下步骤：

⑴将输入图像缩放到统一尺寸224×224，以Resnet18卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的全连接层，然后将网络分成4个模块；

⑵将缩放后的图像输入到修改后的Resnet18卷积神经网络架构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个模块输出一种特征，其分辨率依次为56×56，28×28，14×14，7×7的局部特征；

⑶将7×7的局部特征输入到全局池化层，得到1×1的全局特征。

所述步骤2的具体实现方法包括以下步骤：

⑴将全局特征经过反池化得到7×7的全局特征；

⑵通过级联器将原始7×7的局部特征和全局特征在维度上级联起来获得融合特征。

所述解码端由一系列卷积层和堆叠池化层组成，卷积层的输出和堆叠池化层的输出融合后得到更强的特征表示。

所述步骤3的具体实现方法包括以下步骤：

⑴将全局特征分别经过卷积层和堆叠池化层，分别得到不同的特征；

⑵将这两种特征级联，然后经过卷积层和上采样层，增大其特征分辨率，使其分辨率为14×14，然后与14×14的特征级联；

⑶然后将14×14的经过步骤⑵的处理，得到28×28特征，最后同样经过步骤⑵的处理，直至获得112×112的特征；

⑷将112×112特征经过卷积和上采样处理，得到输出的预测分割图。

所述步骤4的具体实现方法包括以下步骤：

⑴计算预测分割图与已标注好的分割图的交叉熵损失，利用反向传播算法更新权重；

⑵网络训练完成后，使用mIoU衡量其预测性能。

本发明的优点和积极效果是：

本发明设计合理，其使用深度卷积神经网络模型提取图像的全局和局部特征，然后将局部特征与全局特征融合，以获得更强的特征表示，并在解码端使用堆叠池化层将图像特征经过堆叠的最大池化层、卷积层，最后经过反池化层，将输出的特征与之前的卷积特征融合，用来减小特征图中的噪声，使其分割图的边界更加清晰，同时也减小了因全局信息缺失而造成的分类错误，本发明充分利用了全局特征和局部特征的互补性，并且利用了堆叠池化层进一步提高性能，有效地提高了图像语义分割地准确率。

附图说明

图1是本发明的图像语义分割算法网络框架图；

图2是卷积模块(CB)的工作原理图；

图3是堆叠池化模块(SPB)的工作原理图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于深度学习的全局特征和局部特征的图像语义分割方法，如图1至图3所示，在编码端，使用深度卷积神经网络模型提取图像的全局和局部特征；在解码端，将两种特征融合获得互补的图像判别特征用于图像语义分割。同时在解码端为了获得更加准确地恢复图像原始分辨率，提出了一种堆叠池化层，将图像特征经过堆叠的最大值池化层、卷积层，最后经过反池化层，将输出的特征与之前的卷积特征融合，用来减小特征图中的噪声，使其分割图的边界更加清晰，同时也减小了因全局信息缺失而造成分类错误。网络的输出是与原图像分辨率大小一致的分割图，使用图像已有的标签计算分割准确率，最后以最小化交叉熵损失函数为目标来训练网络。

在本实施例中，一种基于深度卷积神经网络的利用全局特征和局部特征融合的图像语义分割方法，包括以下步骤：

步骤S1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征。低层特征由一些纹理、边缘等局部特征组成，高层特征包含了一些语义信息表征了全局特征。本步骤的具体实现方法如下：

步骤S1.1、将输入图像缩放到统一尺寸224×224，以Resnet18卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的全连接层，然后将网络分成4个模块；

步骤S1.2、将缩放后的图像输入到修改后的Resnet18卷积神经网络架构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个模块输出一种特征，其分辨率依次为56×56，28×28，14×14，7×7的局部特征；

步骤S1.3、将7×7的局部特征输入到全局池化层，得到1×1的全局特征。

步骤S2、应用特征融合模块将低层特征和高层特征融合成增强型深度特征。

步骤S3、在获取深度特征后，将其输入到解码端，解码端由一系列卷积层和堆叠池化层组成，卷积层的输出和堆叠池化层的输出融合后得到更强的特征表示。本步骤的具体实现方法如下：

步骤S3.1、将全局特征分别经过卷积层和堆叠池化层，分别得到不同的特征

步骤S3.2、将这两种特征级联，然后经过卷积层和上采样层，增大其特征分辨率，使其分辨率为14×14，然后与14×14的特征级联。

步骤S3.3、将14×14的也经过S3.2的处理，得到28×28特征，之后同样经过S3.2的处理，直到获得112×112的特征。

步骤S3.4、将112×112特征经过卷积和上采样处理，得到输出的预测分割图。

步骤S4、以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。本步骤的具体实现方法如下：

步骤S4.1、计算预测分割图与已标注好的分割图的交叉熵损失，利用反向传播算法更新权重。

步骤S4.2、网络训练完成后，使用mIoU(Mean Intersection over Union，均交并比):衡量其预测性能。

下面按照本发明的方法进行实验，说明本发明的效果。

测试环境：python2.7；PyTorch框架；Ubuntu16.04系统；NVIDIA GTX 1070p GPU

测试序列：所选数据集是用于图像分割的图像数据集CamVid和CityScapes。其中CamVid数据集包含701张图像，CityScapes数据集包含5000张图像。

测试指标：本发明使用mIoU为评价指标mIoU指平均预测正确的错误像素的交集与并集之比。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在图像语义分割领域得到较好的结果。

测试结果如下：

表1.本发明与其他算法在CamVid数据集下的性能比较

表2.本发明与其他算法在CityScapes数据集下的性能比较

通过以上对比数据可以看出，本发明的mIoU与现有算法相比有明显的提高。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (7)

1.一种基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于包括以下步骤：

步骤1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；

步骤2、应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；

步骤3、在获取深度特征后，将其输入到解码端；

步骤4、以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。

2.根据权利要求1所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述低层特征由纹理、边缘的局部特征组成，所述高层特征包括语义信息的全局特征。

3.根据权利要求1或2所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：

⑴将输入图像缩放到统一尺寸224×224，以Resnet18卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的全连接层，然后将网络分成4个模块；

⑵将缩放后的图像输入到修改后的Resnet18卷积神经网络架构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个模块输出一种特征，其分辨率依次为56×56，28×28，14×14，7×7的局部特征；

⑶将7×7的局部特征输入到全局池化层，得到1×1的全局特征。

4.根据权利要求1所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：

⑴将全局特征经过反池化得到7×7的全局特征；

⑵通过级联器将原始7×7的局部特征和全局特征在维度上级联起来获得融合特征。

5.根据权利要求1所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述解码端由一系列卷积层和堆叠池化层组成，卷积层的输出和堆叠池化层的输出融合后得到更强的特征表示。

6.根据权利要求1或5所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述步骤3的具体实现方法包括以下步骤：

⑴将全局特征分别经过卷积层和堆叠池化层，分别得到不同的特征；

⑵将这两种特征级联，然后经过卷积层和上采样层，增大其特征分辨率，使其分辨率为14×14，然后与14×14的特征级联；

⑶然后将14×14的经过步骤⑵的处理，得到28×28特征，最后同样经过步骤⑵的处理，直至获得112×112的特征；

⑷将112×112特征经过卷积和上采样处理，得到输出的预测分割图。

7.根据权利要求1所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述步骤4的具体实现方法包括以下步骤：

⑴计算预测分割图与已标注好的分割图的交叉熵损失，利用反向传播算法更新权重；

⑵网络训练完成后，使用mIoU衡量其预测性能。