CN109993173A - 一种基于种子生长及边界约束的弱监督图像语义分割方法 - Google Patents

Abstract

本发明属于深度学习和计算机视觉技术领域，涉及一种基于种子生长及边界约束的弱监督图像语义分割方法，包括：对待分割图像进行预处理，并通过弱定位的方法，提取待分割图像中目标物体的初始种子点；以初始种子点作为监督信息，采用分割网络对图像进行初分割，并引入线性约束指导种子点合理生长，得到生长后的目标物体；结合条件随机场和Roberts算子，对生长后的目标物体进行分割边缘优化，输出分割结果；构建及训练弱监督语义分割MSOSEC模型，对训练好的MSOSEC模型进行参数权重的评估，剪除权重较低的参数，得到优化后的MSOSEC模型；基于优化后的MSOSEC模型，进行弱监督图像语义分割。本发明方法提高了弱监督图像语义分割质量及效率。

Description

一种基于种子生长及边界约束的弱监督图像语义分割方法

技术领域

本发明属于深度学习和计算机视觉技术领域，涉及一种基于种子生长及边界约束的弱监督图像语义分割方法。

背景技术

随着计算机运算能力的飞速提升，计算机视觉、人工智能、机器感知等领域迅猛发展，语义分割作为基础核心的研究课题之一，开始应用于智能驾驶、医疗诊断、机器人视觉等生活服务中。为了克服传统全监督语义分割训练数据标记造价成本过高的问题，弱监督语义分割方法成为一个新的热门研究方向，具有更实用的价值和落地的可能。

现有的弱监督语义分割方法，包括基于图像级类标签、框边框、画线甚至绘点等不同粒度监督信息的方法，其中以基于图像级类标签的弱监督语义分割最为普遍。在基于图像级类标签下的弱监督语义分割中，种子生长及边界约束思想下的方法较为直观，并且已经取得了一定的精度。然而，该类方法仍然存在着一些不足：

(1)初始种子点提取阶段，种子点虽定位精准却存在稀疏或间断的问题。

(2)在种子点生长阶段，先验约束知识不足，导致生长不足或生长过度的问题。

(3)图像语义分割的结果往往还存在边缘粗糙及模型效率低的问题。

发明内容

针对现有技术的不足，本发明提供一种基于种子生长及边界约束的弱监督图像语义分割方法。

本发明采取如下技术方案实现：

一种基于种子生长及边界约束的弱监督图像语义分割方法，包括：

S1、对待分割图像进行预处理，并通过弱定位的方法，提取待分割图像中目标物体的初始种子点；

S2、以初始种子点作为监督信息，采用分割网络对图像进行初分割，并引入线性约束指导种子点合理生长，得到生长后的目标物体；

S3、结合条件随机场和Roberts算子，对生长后的目标物体进行分割边缘优化，输出分割结果；

S4、构建及训练弱监督语义分割MSOSEC模型，对训练好的MSOSEC模型进行参数权重的评估，剪除权重较低的参数，得到优化后的MSOSEC模型；

S5、基于优化后的MSOSEC模型，进行弱监督图像语义分割。

优选地，S1中预处理包括图像自适应对比度增强和仿射变换预处理。

优选地，S1中采用CAM弱定位方法。

优选地，S2中分割网络采用DeepLab-CRF-LargeFOV图像语义分割结构。

优选地，S2中线性约束包括抑制约束、前景约束和背景约束。

优选地，线性约束包括：

其中：X表示图像，p表示图像任意像素点，n表示图像像素点总数，f_p(l)表示被标记为类l的像素点，f_p(0)表示被标记为背景的像素点，表示图像X中包含的类标签集合，a_l表示前景约束取值下限，a₀表示背景约束下限，b₀表示背景约束上限。

进一步地，S4包括：

S41、将S1、S2、S3的优化整合及训练后形成训练好的MSOSEC模型；

S42、对训练好的MSOSEC模型进行裁剪处理，得到优化后的MSOSEC模型。

优选地，对训练好的MSOSEC模型进行裁剪处理流程包括：

①对每一个Filter F_i,j，计算其对应权重绝对值的和：

其中：i表示Filter所处的卷积层，n_i对应通道数，k_t是与n_i对应的权重值；

②对s_j进行排序；

③对排序值较低的m个Filter及其对应的特征图进行裁剪，同时在下一层移除被裁剪的部分；

④对第i和i+1层生成新的内核矩阵，同时将保留的参数赋值到新生成的模型。

本发明相对于现有技术具有如下的优点及有益效果：

(1)增加图像预处理，通过图像自适应对比度增强、仿射变换方法，改善现有种子点提取稀疏、间断的不足。

(2)在种子点生长的过程中，引入多样的线性约束，形成对种子点生长的更合理化规约。

(3)结合条件随机场与Roberts算子进行边缘校正，对目标物体进行分割边界优化。

(4)对MSOSEC模型进行裁剪处理，改善参数冗余，降低分割处理时间及硬件资源的损耗，使MSOSEC模型更为精细且高效，提高弱监督图像语义分割质量及效率。

附图说明

图1是本发明一个实施例中MSOSEC模型的框架图；

图2是本发明一个实施例中线性约束规约MSOSEC模型分割图像的示例图；

图3是本发明一个实施例中MSOSEC模型裁剪过程的可视化过程图。

具体实施方式

为使本发明技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图像语义分割是计算机视觉的基础任务，弱监督图像语义分割作为其中的一个分支，具有极大的应用潜能。基于种子生长及边界约束原则的弱监督图像语义分割方法是一种可以直观地依据图像级弱标记对图像进行分割处理的思维方式，目前这种方案已经形成基本的处理流程，但不可否认的是，现有方案各个环节仍存在一些不足。首先是初始种子点的稀疏、间断问题，加大了种子生长的困难度。其次是生长过程缺少足够约束指导，带来过度生长或生长不足的问题。此外，后处理的不足也使得整体的分割精度和效率低下。

为此，本发明增加图像预处理，改善图像的质量和数量数据，使得初始种子点的质量更优，为后续的生长过程打下良好的基础。同时，在生长过程中引入线性约束，更合理地约束种子点在合理的区间内生长。为了改善模糊或间断的目标物体边缘，结合条件随机场与传统Roberts算子，校正物体的分割边缘。此外，将上述优化工作整合训练后形成弱监督语义分割MSOSEC(Multiple Stage Optimization Seed Expand and Constant)模型，由于其复杂度过大导致了较大的时间及硬件资源损耗，对MSOSEC模型进行裁剪处理，以达到压缩加速的效果。

一种基于种子生长及边界约束的弱监督图像语义分割方法，包括：

S1、对待分割图像进行预处理，并通过弱定位的方法，提取待分割图像中目标物体的初始种子点。

本实施例中，通过对待分割图像进行图像自适应对比度增强预处理，改善图像的前背景对比度，在弱定位提取种子点时，可更聚焦于前景物体的特征，从而降低种子点提取间断的可能。同时，进行仿射变换预处理，增加MSOSEC模型训练数据集，构建更丰富的种子点，达到强化学习的效果，从而弥补种子点稀疏的不足。

具体地，如图1所示，输入待分割图像尺寸为321*321，经过图像自适应对比度增强和仿射变换预处理作后，进入目标前景种子点的弱定位。弱定位过程采用CAM(ClassActivate Mapping)方法实现，CAM方法主要原理在于提取图像中目标物体最具有区分特性的部分，如对一只猫进行CAM处理后，其对应的激活图响应值最大处应为猫耳朵。CAM对待分割图像处理后即可获得待分割图像对应的激活图，本实施例中，设定激活图中响应值最大的前20％作为初始的种子点。从图1可见，根据待分割图像的类标签“人”和“牛”，弱定位处理后提取到了相应准确位置的少量像素点作为初始种子点。

S2、以初始种子点作为监督信息，采用分割网络对图像进行初分割，并引入线性约束指导种子点合理生长，得到生长后的目标物体。

线性约束包括抑制约束、前景约束、背景约束等，本实施例中，线性约束包括：

其中：X表示图像，p表示图像任意像素点，n表示图像像素点总数，f_p(l)表示被标记为类l的像素点，f_p(0)表示被标记为背景的像素点，表示图像X中包含的类标签集合，a_l表示前景约束取值下限，a₀表示背景约束下限，b₀表示背景约束上限，则式(1)表明，任何不存在于当前图像类标签集合子集中的像素点数目为0；式(2)则约束对应图像中存在的类标签，最少有a_l个像素点被标记为该类；式(3)考虑当分割的时候，背景像素点满足对应设定的上下限取值对应为a₀、b₀。

在种子点的生长阶段，首先采用分割网络对待分割图像进行初分割。本实施例中，分割网络采用常用的图像语义分割结构DeepLab-CRF-LargeFOV，初分割处理后输出41*41的分割掩模。然后，对线性约束的相关参数进行设置，即可结合初始的种子点及现行约束，进行图像分割的调整，从而实现种子点的更合理化“生长”。

本实施例中，对图像中不存在的类，严格限定分割中标记为该类标签的像素点个数为0，即抑制约束；对图像中存在的类，即待分割的单个类的前景目标物体，限定图像中至少有多于图像总像素点的5％个像素点被标记为该类，即前景约束；限定图像中被标记为背景的像素点总数在总像素点的[30％，70％]之间，即背景约束。需说明的是，上述约束参数的取值属于经验参数，故可以针对不同的数据集，进行灵活的调整。基于上述线性约束设置，对于特定的类标签，如图2所示，类标签“人”和“牛”其实对应着一个预期的分布，从而分割网络在对图像进行处理时也会趋向于遵循该区间的指导，进而达到种子生长的合理化。

S3、结合条件随机场和传统Roberts算子，对生长后的目标物体进行分割边缘优化，输出分割结果。

本发明使用条件随机场结合Roberts算子提取的直接边缘信息，对生长后的目标物体进行边缘校正，进行分割边缘的调整，提升分割结果的准确率。

Roberts梯度分布计算式为：

G[f(x,y)]＝|f(p,q)-f(p+1,q+1)|+|f(p+1,q)-f(p,q+1)| (4)

式(4)中f(x,y)表示一幅图像，G[f(x,y)]表示(p,q)，(p+1,q+1)像素点之间的梯度幅度。

S4、构建及训练弱监督语义分割MSOSEC(Multiple Stage Optimization SeedExpand and Constant)模型，对训练好的MSOSEC模型进行参数权重的评估，剪除权重较低的参数，得到优化后的MSOSEC模型。

具体包括：

S41、将S1、S2、S3的优化整合及训练后，形成训练好的MSOSEC(Multiple StageOptimization Seed Expand and Constant)模型。

S42、对训练好的MSOSEC模型进行深度网络模型裁剪处理，改善参数冗余，降低分割处理时间及硬件资源的损耗，使模型更为精细且高效。

由于本发明仅仅基于图像级标签，需要对图像每个像素点进行分类，信息粒度跨度太大，故MSOSEC模型迭代将近20000步才收敛，从而导致MSOSEC模型深度深、参数量级较大。基于此，借鉴Li(详见文献：Li H,Kadav A,Durdanovic I,et al.Pruning Filters forEfficient ConvNets[J].2016.)等提出的用于深度网络模型裁剪的方法，进行参数权重的评估，剪除权重较低的参数，减少模型冗余，进一步优化MSOSEC模型的整体效率。

MSOSEC模型裁剪基本流程包括：

①对每一个Filter F_i,j，计算其对应权重绝对值的和：

式(5)中i表示Filter所处的卷积层，n_i对应通道数，k_t是与n_i对应的权重值；

②对s_j进行排序；

③对排序值较低的m个Filter及其对应的特征图进行裁剪，同时在下一层移除被裁剪的部分；

④对第i和i+1层生成新的内核矩阵，同时将保留的参数赋值到新生成的模型。

上述MSOSEC模型裁剪的可视化过程如图3所示，通过对参数权重绝对值求和，将不重要的参数移除，可降低模型参数的冗余度。本实施例中，借助Li等的深度网络模型裁剪算法，对训练好的MSOSEC模型进行裁剪后，在精度几乎无损失的情况下，使得原容量为237M的MSOSEC模型压缩为156M，同时单张图片的分割效率提升39.2％。

S5、基于优化后的MSOSEC模型，进行弱监督图像语义分割。

本发明提出的基于种子生长及边界约束原则的弱监督图像语义分割方法，对现有技术进行优化：首先，增加图像预处理，提升种子点的质量。其次，在生长过程中引入线性约束，帮助种子点更合理地生长。再次，结合条件随机场和Roberts算子对分割边缘进行校正，使目标物体的分割边界更清晰。最后，将图像预处理及引入线性约束优化处理整合训练出一个整体的弱监督语义分割MSOSEC模型，并对已训练好的MSOSEC模型进行优化处理，压缩了它的容量，同时提升了它的分割效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于种子生长及边界约束的弱监督图像语义分割方法，其特征在于，包括：

S1、对待分割图像进行预处理，并通过弱定位的方法，提取待分割图像中目标物体的初始种子点；

S2、以初始种子点作为监督信息，采用分割网络对图像进行初分割，并引入线性约束指导种子点合理生长，得到生长后的目标物体；

S3、结合条件随机场和Roberts算子，对生长后的目标物体进行分割边缘优化，输出分割结果；

S4、构建及训练弱监督语义分割MSOSEC模型，对训练好的MSOSEC模型进行参数权重的评估，剪除权重较低的参数，得到优化后的MSOSEC模型；

S5、基于优化后的MSOSEC模型，进行弱监督图像语义分割。

2.根据权利要求1所述的弱监督图像语义分割方法，其特征在于，S1中预处理包括图像自适应对比度增强和仿射变换预处理。

3.根据权利要求1所述的弱监督图像语义分割方法，其特征在于，S1中采用CAM弱定位方法。

4.根据权利要求1所述的弱监督图像语义分割方法，其特征在于，S2中分割网络采用DeepLab-CRF-LargeFOV图像语义分割结构。

5.根据权利要求1所述的弱监督图像语义分割方法，其特征在于，S2中线性约束包括抑制约束、前景约束和背景约束。

6.根据权利要求5所述的弱监督图像语义分割方法，其特征在于，线性约束包括：

其中：X表示图像，p表示图像任意像素点，n表示图像像素点总数，f_p(l)表示被标记为类l的像素点，f_p(0)表示被标记为背景的像素点，表示图像X中包含的类标签集合，a_l表示前景约束取值下限，a₀表示背景约束下限，b₀表示背景约束上限。

7.根据权利要求1-6中任一项所述的弱监督图像语义分割方法，其特征在于，S4包括：

S41、将S1、S2、S3的优化整合及训练后形成训练好的MSOSEC模型；

S42、对训练好的MSOSEC模型进行裁剪处理，得到优化后的MSOSEC模型。

8.根据权利要求7所述的弱监督图像语义分割方法，其特征在于，对训练好的MSOSEC模型进行裁剪处理流程包括：

①对每一个Filter F_i,j，计算其对应权重绝对值的和：

其中：i表示Filter所处的卷积层，n_i对应通道数，k_t是与n_i对应的权重值；

②对s_j进行排序；

③对排序值较低的m个Filter及其对应的特征图进行裁剪，同时在下一层移除被裁剪的部分；

④对第i和i+1层生成新的内核矩阵，同时将保留的参数赋值到新生成的模型。