CN110458172A - 一种基于区域对比度检测的弱监督图像语义分割方法 - Google Patents

Abstract

本发明提出一种基于区域对比度检测的弱监督图像语义分割方法，包括将带标签的图像I分割成若干个区域；计算每一个区域的颜色对比度；相似的显著性值分配给相似的颜色；利用每个区域和其他区域空间对比度，得到显著性目标区域；对显著性目标区域图像进行显著性分割；迭代应用GrabCut优化分割结果，得到预测分割掩膜；将带标签的图像I输入至分割网络；以图像级标签及预测分割掩膜为监督信息，使用多标签交叉熵损失函数训练网络；输出精度较高的分割图像。本发明利用利用基于区域对比度的显著性检测，得到分割图作为深度卷积神经网络的监督信息，实现弱监督学习，减少对人工标注的依赖，并且达到较高分割精度的分割模型。

Description

一种基于区域对比度检测的弱监督图像语义分割方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于区域对比度检测的弱监督图像语义分割方法。

技术背景

图像语义分割是计算机视觉领域的关键任务之一，其目标是对每个像素点进行密集的预测，使得每个像素点均被标注上与之相对应物体或区域的类别。深度卷积神经网络已成为解决语义分割的主流方法。然而深度卷积神经网络需要大量标注数据以及训练时间来提高训练模型的泛化能力。收集大规模标注数据耗时耗力，需要为每幅图像的每个像素手动分配类别标签。并且人工标注是一项非常主观的工作，这导致很难保证标注的数据具有较高的精确度和准确度。与此同时，大量的带有图像级别标记的数据集在网络上公开，利用这些弱标注的数据实现图像语义分割成为计算机视觉领域的新课题。

近年来研究者利用计算机模拟人类注意力机制，进行目标的显著性检测为图像语义分割任务提供参考，可以有效的减少深度卷积神经网络对强监督标注信息的依赖。基于深度学习的显著性目标检测成为热门，但是仍然存在训练步骤较繁琐、时间复杂度高等问题，与此同时，检测显著目标时，往往需要结合背景先验、边界先验、中心先验、形状先验、颜色先验等先验信息。

发明内容

为解决上述问题，本发明提出一种基于区域对比度检测的弱监督图像语义分割方法，包括如下步骤：

步骤一：将带标签的图像I分割成若干个区域；

步骤二：为所述步骤一分割成的每一个区域建立颜色直方图，计算颜色对比度；

步骤三：使用平滑操作改善每个颜色的显著性值，相似的显著性值分配给相似的颜色，以减少颜色空间量化后引入的噪声；

步骤四：利用每个区域和其他区域空间对比度，得到显著性目标区域；

步骤五：对得到的显著性目标区域图像进行显著性分割；

步骤六：迭代应用GrabCut优化分割结果，得到预测分割掩膜；

步骤七：将带标签的图像I输入至分割网络；

步骤八：以图像级标签及预测分割掩膜为监督信息，使用多标签交叉熵损失函数训练网络；

步骤九：输出精度较高的分割图像。

进一步，在步骤一中，计算图像I每一个像素点与其8邻域的不相似度，对各个边不相似度升序排列，选不相似度最小的边，对剩余的边进行区域合并判断，最后得到超像素分割图。

进一步，步骤二中，保留高频出现的颜色，并且保证能够覆盖95％以上像素，丢弃出现频率较小的颜色，剩余小于5％的像素所占的颜色被直方图中距离最近的颜色所代替。

进一步，步骤四中，将前20％显著性值的区域合并成为显著性目标区域。

进一步，步骤五中，对所述步骤四得到的所述显著性目标区域图进行二值化处理，得到灰度图，并设定阈值60进行全局阈值分割，得到显著性目标轮廓分割图。

本发明的有益效果是：本发明利用非深度学习的显著性目标检测方法，基于区域对比度的显著性检测，得到分割图作为深度卷积神经网络的监督信息，实现弱监督学习，减少对人工标注的依赖，并且达到较高分割精度的分割模型。

附图说明

图1是本发明的一种基于区域对比度检测的弱监督图像语义分割方法的流程图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明所述的基于区域对比度检测的弱监督图像语义分割方法包括如下步骤：

步骤一：将带标签的图像I分割成若干个区域。

图像I是由顶点集v和边集e组成，每个像素点连接一对顶点的边(v_i,v_j)具有权重w(v_i,v_j)。给定顶点，选择边权之和最小的数构成图像I的最小生成树(MST)。

分割区域的内部差Int(C)代表区域内C中包含权重最大的边，即最不相似的两个像素点：

分割区域之间的差别Dif代表两个分割区域之间顶点相互连接的最小边的权值：

min(Int(C₁),Int(C₂))表示C₁和C₂能够共同容忍的最大差异,如果Dif(C₁,C₂)≤min(Int(C₁),Int(C₂))，表示类间差异小于类内共同容忍的最大差异，以此作为是否可以合并为一个分割区域的判断依据。

计算图像I每一个像素点与其八个邻域点的类间差别Dif，并将两个像素点所连接的边按其类间差别值由小到大进行排序。用类间差别值最小所对应的边，判断与当前边是否可以合并，若可以，则进行合并，更新此区域的类内差异值；若不可以，则按照已经排列边的顺序，选择下一条边，重复上述操作。知道遍历完所有的边，得到超像素分割图。

步骤二：为步骤一分割所得的每一个区域建立颜色直方图，计算颜色对比度。

用D(I_k,I_i)为像素I_k和像素I_i在L*a*b空间的颜色距离度量，c_l为像素I_k的颜色值，n为图像中所包含的颜色总数，f_j为c_j在图像出现的概率，图像中每个颜色的显著性值定义为：

将每个颜色通道由256个颜色值量化到12个颜色值后，颜色数目n减少到12³＝1728；

保留高频出现的颜色，并且保证能够覆盖95％以上像素，丢弃出现频率较小的颜色。剩余小于百分之五的像素所占的颜色被直方图中距离最近的颜色所代替。

步骤三，使用平滑操作改善每个颜色的显著性值，相似的显著性值分配给相似的颜色，以减少颜色空间量化后引入的噪声。

用表示颜色c和他的m个最邻近c_i之间的距离，距离小的相似颜色显著性值的加权平均来替换每个颜色的显著性值，利用m＝n/4个最近邻颜色来改善颜色c的显著性值：

其中用(T-D(c,c_i))为在L*a*b颜色空间中距离颜色c较近的颜色分配新的权值。

步骤四：利用每个区域和其他区域空间对比度，得到显著性目标区域。

使用归一化的颜色直方图中的颜色出现概率作为权值，计算两个区域r₁和r₂的颜色距离：

其中f(c_k,i)为第i个颜色c_k,i在第k个区域r_k的所有n_k种颜色中出现的概率，k＝{1,2}；

通过测量每个区域r_k与图像其他区域的颜色对比度，计算它的显著性值：

其中w(r_i)为区域r_i的权值，Dr(r_k,r_i)为两个区域的颜色距离度量。

两个区域的空间距离定义为两个区域重心的欧氏距离，加入空间信息，基于空间加权区域对比度的显著性定义为：

其中，像素坐标归一化到[0,1]区间。

在最终的结果中，将前20％显著性值的区域合并成为显著性目标区域。

使用非深度学习的显著性目标检测，可以产生空间增强的高质量的显著性图像，同时保证了较低的时间复杂度，成为在语义分割网络中可靠的监督信息，减少人工标注的依赖。

步骤五：对得到的显著性目标区域图像进行显著性分割。

对上一步骤得到的显著性目标区域图进行二值化处理，得到灰度图，并设定阈值60进行全局阈值分割，得到显著性目标轮廓分割图。

步骤六：迭代应用GrabCut优化分割结果，得到预测分割掩膜。

用上一步骤的得到的显著性分割图进行GrabCut迭代优化。本发明使用的GrabCut算法是Felzenszwalb于2004年发布在计算机视觉国际期刊上的基于图的图像分割。(Felzenszwalb P F,Huttenlocher D P.Efficient Graph-Based Image Segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.)

其中，GrabCut迭代算法步骤如下：

S1：进行GrabCut初始化，框选图像中前景(目标)像素TU，背景像素记为TB；

S2：通过K-mean算法分别将TU和TB的聚类为k类，每个高斯模型分量的权值通过属于该高斯分量的像素个数与像素总数的比值来确定，均值及协方差通过属于该高斯分量的像素样本的RGB值估计得到；

S3：对每个像素分配的混合高斯模型的高斯分量；

S4：计算混合高斯模型概率，选择最大的模型分量，公式如下：

上式中x表示RGB三个通道向量，π_i代表第i个高斯分量的样本数量n_i在样本总数n的比值；g_i代表第i个高斯分量的概率模型公式，均值μ，协方差∑；

S5：计算边界项，利用最大流算法进行分割；

S6：重复S3到S5，直到收敛，每次迭代都会交互地优化混合高斯模型和分割结果。

最终得到预测的分割掩膜图。这一步骤中，对显著性检测图像迭代应用GrabCut进行显著性目标分割，只需少量的交互操作即可得到较好的分割结果，每次迭代过程都使得对目标和背景建模的高斯混合模型的参数更优。

步骤七：将带标签的图像I输入至分割网络。

构建分割网络。本发明使用的编码器-解码器结构分割模型是谷歌团队发布在2018年IEEE国际计算机视觉与模式识别会议上的带可分离的空洞卷积的编码器-解码器在图像语义分割的应用(Chen L C,Zhu Y,Papandreou G,et al.Encoder-Decoder withAtrous Separable Convolution for Semantic Image Segmentation[J].2018.)。

将DeepLab V3+作为编码器(利用空洞卷积生成任意维度的特征，并采用ASPP策略)，在其后面级联解码器进而恢复边界细节信息。解码器部分，编码器的输出首先经过因子为4的双线性差值上采样，然后与相应的低级特征连接，之后经过几个3x 3的卷积层，更好的保证高级语义信息。

金字塔池化部分包括两个部分：多尺度空洞卷积和图像特征。其中多尺度的多尺度空洞卷积包括，1x1的普通卷积，3x3空洞率为6的空洞卷积，3x3空洞率为12的空洞卷积，3x3空洞率为18的空洞卷积；图像级特征，对输入在[1,2]维上求均值，经过的普通卷积，再使用线性差值恢复到输入图像的大小，最后将4个卷积和图像级特征连接起来，最后再经过一个的卷积得到网络的输出。

将带标签的图像I输入分割网络，参数由VGG-16模型初始化，使用小批量大小的8个图像。每个训练图像的大小调整为330×n，并且在训练阶段期间随机剪切大小为321×321的补丁。初始学习率设定为0.001(最后一层为0.01)，几乎每5个周期后除以10。动量和重量衰减设定为0.9和0.0005，执行共计15次。

步骤八：以图像级标签及预测分割掩膜为监督信息，使用多标签交叉熵损失函数训练网络。

图像级标签用O_I＝{1,2，...，C}表示，步骤四所得预测分割掩膜即为训练所需的像素级标签，用O_P＝{0,1,2，...，C}表示。分割网络由f(·)过滤，其中所有的卷积层过滤给定的图像I。f(·)产生一个h*w*(c+1)维的激活输出，其中h和w分别表示每个通道的特征图的高度以及宽度。利用损失函数对图像I中属于第k类的每一个像素进行计算，其表述如下:

其中是第k个特征图中位于(i,j)，(1≤i≤h，1≤j≤w)处的激活值；

对于在(i,j)处的第l类的显著图，将其定义为：

多标签交叉熵损失函数定义为：

步骤九：最终输出语义级的分割图像。

上述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种区域对比度检测的弱监督图像语义分割方法，其特征在于，包括以下步骤：

步骤一：将带标签的图像I分割成若干个区域；

步骤二：为所述步骤一分割成的每一个区域建立颜色直方图，计算颜色对比度；

步骤三：使用平滑操作改善每个颜色的显著性值，相似的显著性值分配给相似的颜色，以减少颜色空间量化后引入的噪声；

步骤四：利用每个区域和其他区域空间对比度，得到显著性目标区域；

步骤五：对得到的显著性目标区域图像进行显著性分割；

步骤六：迭代应用GrabCut优化分割结果，得到预测分割掩膜；

步骤七：将带标签的图像I输入至分割网络；

步骤八：以图像级标签及预测分割掩膜为监督信息，使用多标签交叉熵损失函数训练网络；

步骤九：输出精度较高的分割图像。

2.根据权利要求1所述的一种基于区域对比度检测的弱监督图像语义分割方法，其特征在于：在所述步骤一中，计算图像I每一个像素点与其8邻域的不相似度，对各个边不相似度升序排列，选不相似度最小的边，对剩余的边进行区域合并判断，最后得到超像素分割图。

3.根据权利要求1所述的一种基于区域对比度检测的弱监督图像语义分割方法，其特征在于：所述步骤二中，保留高频出现的颜色，并且保证能够覆盖95％以上像素，丢弃出现频率较小的颜色，剩余小于5％的像素所占的颜色被直方图中距离最近的颜色所代替。

4.根据权利要求1所述的一种基于区域对比度检测的弱监督图像语义分割方法，其特征在于：所述步骤四中，将前20％显著性值的区域合并成为显著性目标区域。

5.根据权利要求1所述的一种基于区域对比度检测的弱监督图像语义分割方法，其特征在于：所述步骤五中，对所述步骤四得到的所述显著性目标区域图进行二值化处理，得到灰度图，并设定阈值60进行全局阈值分割，得到显著性目标轮廓分割图。