CN109685067B - 一种基于区域和深度残差网络的图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于区域和深度残差网络的图像语义分割方法。基于区域的语义分割方法使用多尺度提取相互重叠的区域，可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络自主学习特征，可以针对逐像素分类任务进行端到端训练，但是这种方法通常会产生粗糙的分割边界。本发明将两种方法的优点结合起来：首先使用区域生成网络在图像中生成候选区域，然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图，结合候选区域以及特征图得到区域的特征，并将其映射到区域中每个像素上；最后使用全局平均池化层进行逐像素分类。本发明还使用了多模型融合的方法，在相同的网络模型中设置不同的输入进行训练得到多个模型，然后在分类层进行特征融合，得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明本发明算法具有较高的平均准确率。

Description

一种基于区域和深度残差网络的图像语义分割方法

技术领域

本发明属于计算机视觉领域，涉及对数字图像的预处理、模型的改进、图像语义分割与仿真实现。

背景技术

图像语义分割结合了图像分割和目标识别任务，其目的是将图像分割成若干组具有特定语义含义的区域，并标记出每个区域的类别，实现从底层到高层语义的推理过程，最终获得一幅具有像素语义标注的分割图像，即为图像中每个像素分配一个表示其语义目标类别的标签。图像语义分割在生活中有着很广泛的应用，如自动驾驶，地理信息系统，医疗影像分析以及虚拟或增强现实等穿戴式应用设备系统。越来越多新兴的应用领域需要精确和高效的分割机制，图像语义分割是计算机视觉任务中的研究热点之一。

基于区域的语义分割方法使用多尺度提取相互重叠的区域，可识别多种尺度的目标并得到精细的物体分割边界；基于全卷积网络的方法使用卷积神经网络自主学习特征，可以针对逐像素分类任务进行端到端训练，但是这种方法通常会产生粗糙的分割边界。本发明提出了一种结合区域与深度残差网络的图像语义分割方法：首先使用区域生成网络在图像中生成候选区域，然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图，结合候选区域以及特征图得到区域的特征，并将其映射到区域中每个像素上；最后使用全局平均池化层进行逐像素分类。本发明使用了多模型融合的方法，在相同的网络模型中设置不同的输入进行训练得到多个模型，然后在分类层进行特征融合，得到最终的分割结果。

发明内容

1.发明目的：

本发明的目的是提出基于区域和深度残差网络的图像语义分割方法。

2.技术方案：

本发明提出一种结合区域和深度残差网络的语义分割模型，网络分为三个部分，第一部分生成候选区域，第二部分是全卷积网络，用于特征提取。本发明使用残差网络ResNet-50前五层卷积层作为基础网络，在基础网络中的部分卷积层使用不同的扩张率，在最后一层卷积层得到高分辨率的特征图。第三部分为分割网络，输入第一部分生成的候选区域和第二部分得到的特征图，输出分割图像。具体流程如下：在训练阶段，首先在输入图像上生成候选区域集，同时将输入图像归一化后输入到带扩张卷积的深度残差网络中进行特征提取，得到相应的特征图。然后将候选区域以及特征图输入到自由形状的ROI(RegionOf Interest)池化层中，得到候选区域特征。通过全局平均池化层代替全连接层对候选区域分类，并使用区域到像素层将区域类别信息映射到区域内每个像素，最终得到像素级预测结果。由于全连接层需要固定尺寸的输入，一般的语义分割方法都是将候选区域缩放至某种固定尺寸(一般为7×7)，从而得到固定尺寸的特征图。考虑到不同尺寸的特征图包含的细节信息不一致，且本发明使用的全局平均池化分类层可接受任意尺度的特征图，故将候选区域缩放成多种不同的尺度，并在ROI池化层中得到相应尺度的特征图，尽尽可能的保留特征图的细节信息。所以通过每次选择不同尺度进行缩放，可以训练学习得到不同的模型。在测试阶段，将测试图像同时输入这些模型中，将在全局平均池化分类层得到的特征进行融合，旨在得到一个更鲁棒的结果。

本发明所述的一种基于区域和深度残差网络的图像语义分割方法，包括以下步骤：

步骤(1)：在使用Selective Search在图像上生成候选区域的基础上，将每个候选区域缩放为四种不同的尺度，每个候选区域由三部分进行描述：边界框、前景掩膜、前景大小；

步骤(2)：在原残差网络ResNet-50的基础上，在第四层与第五层卷积层中加入扩张因子，并将这两层的步长设为1；

步骤(3)：将图像输入到由步骤(2)得到的带扩张卷积的深度残差网络中进行特征提取，得到特征图；

步骤(4)：将由步骤(1)得到的候选区域与步骤(3)得到的特征图输入到ROI池化层中，得到区域特征；结合前景掩膜得到区域前景特征，将区域特征与区域前景特征进行串联；

步骤(5)：将步骤(4)中串联后特征通过全局平均池化层进行逐像素分类，得到每个像素的类别预测值；

步骤(6)：对步骤(1)中每个尺度的候选区域，保持模型中其他参数不变，分别进行训练最终得到四个模型。

步骤(7)：将测试集图像分别通过这四个模型，并将其在分类层中得到的特征进行融合，使用融合后的特征进行预测，对分割效果进行分析。

3.有益效果：

本发明公开了一种结合区域和深度残差网络的语义分割方法，结合了基于区域和深度残差网络两种分割方法的优点，解决了一般语义分割方法容易出现粗糙分割边界的缺点，并且使得整个框架都能进行端到端训练。在SIFT FLOW和PASCAL Context数据集上的实验结果表明本发明具有较好的分割效果。

附图说明

图1为本发明整体流程框架。

图2为本发明特征图大小变化情况示意图。

图3为本发明获取区域特征过程。

图4为本发明全局平均池化层结构示意图。

图5为本发明模型融合框架示意图。

图6为本发明在SIFT FLOW数据集上图像分割效果。

图7为本发明在PASCAL Context数据集上图像分割效果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。一种基于区域和深度残差网络的图像语义分割方法，其具体实施方式步骤如下：

(S1)：提取候选区域。

在Selective Search的基础上，使用过分割将原图分割成多个原始区域，依据区域的颜色、纹理、尺寸和交叠计算区域间的相似度，依次对最相似的区域进行合并，一直重复此操作直到合并成一个区域，从而得到不同层次的候选区域，通过设定区域的尺寸最小值筛选一定数量的候选区域。在SIFT FLOW数据集和PASCAL Context数据集中，本发明设置的最小尺寸分别为100像素和400像素，最终在每张图像上得到候选区域数量平均为370个和150个。

生成的候选区域由三个部分来描述：边界框(bounding box)，前景掩膜(mask)，前景大小(size)。其中边界框是一个四维坐标，表示候选区域在原图上的位置；前景掩膜是覆盖在候选区域上表示区域前景的二进制掩码。将区域特征在每个通道上与其对应的前景掩膜相乘可得到区域前景特征，如图1所示。

为了充分保留图像中候选区域的空间细节信息，本发明将每个候选区域缩放至四种不同尺度(7×7，9×9，13×13，15×15)输入到网络中。虽然本发明提出的模型理论上可以接收任意尺寸的候选区域输入，但考虑到候选区域尺度太大会造成计算量剧增的问题，以及目标尺寸的分布情况，故只考虑使用上述四种合理的尺度进行实验。

(S2)：修改原残差网络，并进行特征提取

修改原50层残差网络(ResNet-50)的前五层卷积层作为本发明特征提取网络的基础网络。网络的输入为经过归一化大小的图像(600×600)，输出为特征图(75×75)，如图2所示。

在基础网络的第四层Res4和第五层卷积层Res5中引入扩张卷积核。具体做法如下，首先将第四层和五层的卷积步长设置为1，并且设置第四层Res4的扩张率dilated＝2，第五层Res5的扩张率dilated＝4。原ResNet-50网络中Res5层分辨率分别相对于Res4层和Res3层输出下降了2倍和4倍，但是经过扩张卷积操作，特征图的尺度没有发生改变，最终输出的特征图大小为75×75，保留了更多的图像空间信息，结构如图2所示。

(S3)：提取区域特征以及特征串联。

使用ROI池化层可以将原图经过卷积神经网络得到的特征映射到每个候选区域上，流程如图3所示。ROI池化层的输入由两部分组成，第一部分为候选区域在原图上的位置坐标，即边界框；第二部分为原图经特征提取网络得到的特征图。首先将候选区域坐标映射到特征图上，得到候选区域在特征图上的位置，然后将映射后的区域划分成与输出维度个数相同的部分，并对每一部分进行最大池化，从而得到固定大小的区域特征，此时得到的区域特征包含了候选区域的前景与背景信息。

为了更加突显前景特征，本发明考虑第二种特征：区域前景特征，即把区域前景的特征从区域特征中提取出来，实现方法是在区域特征的每个通道上乘以其对应的前景掩膜，即可得到候选区域的前景特征。将区域特征和区域前景特征串联起来，然后将串联后的特征通过全局平均池化分类层，得到区域的类别预测值，再将类别预测值映射到区域内每个像素上。由于语义分割目标是给每一个像素分配一个语义标签，相当于多分类问题，故采用SOFTMAX回归进行分类。

对于候选区域r，经网络的全局平均池化分类层得到激活值F_r，使用区域到像素层从所有包含像素p的区域中选取激活值最大的作为像素p的激活值，即

经过SOFTMAX层得到像素p属于第i类的概率θ_p,i为

从而p的语义类别l_p可由以下公式预测

本发明模型的损失函数采用对数似然函数，如式(4)所示，其中y为像素p的真实标签，P为训练集中的像素总数，C为数据集的类别总数。

其中l{l_p＝y}为示性函数，当l_p＝y时l{l_p＝y}为1，其他情况为0。

项是权重衰减项，其中λ为衰减因子，W表示网络中可更新参数层的网络参数。

(S4)：使用全局平均池化对图像中的每一个像素进行分类.

本发明提出适用于语义分割任务的全局平均池化层结构，来代替全连接层进行分类，结构如图4所示，输入特征向量的大小为(H,W)，通道数为D，C为类别总数。实现过程为：首先使用C个1×1×D的卷积核对输入特征向量H×W×D进行卷积，得到H×W×C特征图，这里使用1×1×D卷积核进行卷积的目的是实现跨通道的信息整合。然后使用与特征图大小相同的池化核对其进行平均池化，如图4所示，得到最终的类别预测值。本发明提出的全局平均池化分类层可以接收任意尺度输入，对每张特征图使用全局平均池化得到一个输出，这个输出即表示类别预测值。相较于普通的全连接层，全局平均池化层更符合卷积结构，加强了特征映射与分类的对应关系，同时由于没有需要优化的参数，大大减少了参数量，从而可以加速训练过程和减轻过拟合风险。

(S5)分别训练得多个模型。

为了得到平均性能更好的语义分割结果，将候选区域缩放成四种尺度：7×7，9×9，13×13，15×15，分别训练学习得到四个不同的模型。在测试阶段，按照每个模型不同的候选区域尺寸参数设置，将测试图像分别输入到这四个模型中，然后将图像在全局平均池化分类层得到的激活值进行融合，融合方式为取对应激活值的最大值。框架图如图5所示。

以下结合分割效果图实施例对本发明效果进行详细描述。

图6示例了本发明在SIFT FLOW测试集的一些测试图片上得到的分割效果图。从图6可以看出，本发明在物体边界处分割精确，分割边缘几乎与真实标注结果一致，如图6(a)中的建筑物，图6(d)、图6(f)和图6(h)中的树木。由于生成候选区域算法使用了多尺度，提取相互重叠的区域，并且后续使用了多尺度融合，使得各个尺度的目标都有概率被识别出来，故本发明方法在一些小物体上也有不错的识别效果，如图6(g)中的路灯与标志物，图6(i)与图6(j)中的电线杆。甚至在真实标注中未精准标注的类别都被识别出来，如图6(b)、图6(c)和图6(e)中的草坪，真实标注为田野，而本发明算法识别为草地，但这反而会影响本发明算法在某些类别上的准确度。

图7示例了一些本发明在PASCAL Context验证集上得到的分割结果。本发明得到的分割结果接近于真实标注，如图7(e)中的狗，有些结果甚至要优于真实标注，如图7(f)中的猫胡须。在一些小物体识别上也取得了很好的识别效果，如图7(d)中的食物以及杯子，图7(c)中的雪，图7(b)中的标志物。在图7(a)中，本发明提出的方法把被围栏分割的天空完整识别出来了，而真实标注忽略了这个目标，并且在该图中本发明方法也将椅子的轮廓较完整地分割了出来。

本发明提出的基于区域和深度残差网络的语义分割方法，结合了基于区域方法中可以得到清晰物体边界的优点和基于全卷积网络的可进行端到端训练的优点。通过使用带扩张卷积的深度残差网络来提取特征，得到了包含更多信息的高分辨率的特征图。使用全局平均池化分类方法，从而输入到该层的特征图可以是任意尺度。在SIFT FLOW和PASCALContext数据集上的测试结果表明本发明在语义分割任务中具有很好的性能。

Claims (1)

1.一种基于区域和深度残差网络的图像语义分割方法，包括以下步骤：

步骤(1)：在使用Selective Search在图像上生成候选区域的基础上，将每个候选区域缩放为四种不同的尺度，每个候选区域由三部分进行描述：边界框、前景掩膜、前景大小；

步骤(2)：在原残差网络ResNet-50的基础上，在第四层与第五层卷积层中加入扩张因子，并将这两层的步长设为1；

步骤(3)：将图像输入到由步骤(2)得到的带扩张卷积的深度残差网络中进行特征提取，得到特征图；

步骤(4)：将由步骤(1)得到的候选区域与步骤(3)得到的特征图输入到ROI池化层中，得到区域特征；结合前景掩膜得到区域前景特征，将区域特征与区域前景特征进行串联；

步骤(5)：将步骤(4)中串联后特征通过全局平均池化层进行逐像素分类，得到每个像素的类别预测值；

步骤(6)：对步骤(1)中每个尺度的候选区域，保持模型中其他参数不变，分别进行训练最终得到四个模型；

步骤(7)：将测试集图像分别通过这四个模型，并将其在分类层中得到的特征进行融合，使用融合后的特征进行预测，对分割效果进行分析。

Images