CN108986101A - 基于循环“抠图-分割”优化的人体图像分割方法 - Google Patents

Abstract

用于人体图像分割的循环“抠图‑分割”优化方法，利用图像抠图和分割进行两个任务的共同优化，包含以下步骤：首先原始输入图像经过级联的分割网络产生了二分类分割图和多分类分割图；然后，由图像分割产生的多类分割分数图计算出在抠图中利用的引导滤波器的权值参数，对具有抠图功能的引导滤波器组的输出进行线形组合得到抠图结果。最后由循环的“抠图‑分割”优化方法先对抠图结果进行二值化得到二分割图，再输入到分割网络中更新多类分割图从而更新抠图输出，形成一个优化循环。通过以上三个步骤，本发明可以在获取有细致边缘的分割结果的同时获取同样得到优化的人像抠图结果。

Description

基于循环“抠图-分割”优化的人体图像分割方法

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及的是人体图像抠图和人体图像分割领域。针对人体图像分割领域中分割边缘模糊的情况，提出了一种用于人体图像分割的循环“抠图-分割”优化方法。

背景技术

人体图像分割的任务是将一幅的包含人体的图像中的包含人体部分的前景区域分割出来，然后将这些前景区域进行更加精细语义区域的划分。具体来说是给输入的人体图像的每一个像素点都分配一个标签，例如帽子，上衣，裙子，胳膊等。人体的图像分割作为一个十分重要的基础任务，它有很多实际应用例如虚拟现实，虚拟试衣，人体的重定向。除此之外，本发明同时也能输出优化后的图像抠图的结果。人体图像抠图任务与人体图像分割类似，但抠图的任务更加细致，它是将图像的中目标人物从原始输入图像中分离出来成为单独的图层，用来和另外的背景进行合成。抠图的输出值在0和1之间，用来表示前景的透明度。抠图的应用很广泛，在电影、影视剧中都有着大量的应用。

近年来，大部分图像分割技术都基于深度学习设计出了各式各样的网络结构将分割的准确率一步步提高。这些基于深度学习的方法主要分为以下几类：基于全卷积网络的分割方法；基于SegNet的分割方法；基于Mask的分割方法等。这些基于深度学习分割方法大部分都依赖于大量的标注数据，直接向深层网络输入大量原始数据，通过深度网络的中的卷积和池化等操作，对数据进行海量非线性变化，逐渐丢弃了低维特征，得到高层次的语义特征，从而预测出每个像素点的语义标签。但随着卷积网络层数的加深，一些低维的特征丢失，导致通过卷积网络得到的分割结果的边缘过于平滑，无法准确描绘出待分割物体的边缘。

于此同时，近期也有很多技术专注于解决人体图像的分割问题。不同于通用的图像分割技术，这些技术考虑到了图像中人的特性，例如加入人的姿态检测或者提前输入一个人体的分割模板等。虽然这些在通用图像分割技术中加入了很多优化的分割技术提升了人像分割的效果，但是并没有本质上解决分割边缘过于平滑的问题，人像的轮廓没有被很好的描绘。

相对于上述图像分割任务来说，抠图相当于是一种超精细的前后景图像分割任务，它需要细致到分割出一根头发丝。抠图的目标是求得一个表示前景透明度的α矩阵。传统抠图技术主要利用了输入图像每个像素点的RGB值结合一些例如位置等低维特征来确定输出的α值。现有的抠图技术主要分为：基于采样的抠图技术；基于传播的抠图技术；基于深度学习的抠图技术。基于采样的抠图技术将位置区域的RGB值表示为相邻的已知的前景和背景的RGB值的线形组合，再通过求解特定的度量函数来获取最优解。基于传播的抠图技术结合了求解图像的梯度场来迭代得到最终α值。以上两种抠图方法都需要用户交互，例如事先提供与输入图像相关联的三分图或者用画笔大致标注出确定的前景和后景。不同于传统的基于用户交互的抠图技术，基于深度学习的抠图方法建立了一个大规模的抠图数据集，训练了一个端到端的卷积神经网络来进行抠图任务。但是基于深度学习的抠图技术所需的输入图像与抠图标注数据集很难获取，并且直接在抠图数据集上训练卷积网络会出现梯度偏移的情况，所以这些基于深度学习的抠图效果不好。

发明内容

本发明要克服上述的图像分割和抠图技术的难点，提出了一种基于循环“抠图-分割”优化的人体图像分割的方法。

该发明方法主要为了解决在人像分割中边缘不精确问题，在优化分割的过程中同时也能输出较好的人像抠图结果。新的框架包括两个模块：一个由卷积神经网络组成的分割模块，一个由引导滤波器组成的抠图模块。由分割模块得到的初步抠图结果和原图一起送入抠图模块中，产出初步的抠图α矩阵。由抠图模块得到的α矩阵转换为分割图重新输入到分割模块中更新分割图，更新得到的分割图重新输入到抠图模块更新α矩阵。这种循环更新的策略就被称作为循环“抠图-分割”优化。通过这样的人像分割框架我们能够获取更好的人像分割和抠图输出。

用于人体图像分割的循环“抠图-分割”优化方法，主要思想是将人体图像分割和抠图结合起来，包含如下步骤：

1)人体图像分割前后景分割；

该步骤利用的是事先训练好的的前后景分割卷积网络。针对一副输入的三通道的人体图像，利用训练好的网络对图像进行大量卷积和其他的非线性操作得到与输入图像对应的初步前后景分割图。输出的二分割图中的标签0表示背景，标签1表示前景区域。该步骤可以确定前景中人的大体位置和轮廓信息。

2)利用人体前后景分割的结果和原始图像级联，利用另一个卷积网络进行人体再分割；

将步骤1)中获取的前后景分割图和原始输入图像深度级联(得到一个四通道的输入)，送入第二个全卷积网络，可以得到包含更加细致分割的人体的各个部位的标签，如胳膊和腿。即输出的分割图中每个像素点的值的范围大于1) 中的标签。

步骤1)和步骤2)进行了图像从粗到细的分割，整体的分割过程采取的是一种级联的思想，在本方法中利用的是二级联。级联的输出是粒度大小不同的的分割图(由粗到精)。

在人体图像分割这一步骤需要训练两个全监督的分割网络。第二个级联网络的监督信息是多类的图像标签图。因此需要创建对第一个级联网络创建对应的二进制标签。在本发明中简单地提取所有的前景像素并将它们赋值为1，同时将其余像素赋值值为0。

在训练分割网络时两个级联网络的损失函数是一样的，这里利用的损失函数为：

其中y是真实的标签，是预测标签，R(θ)是网络的L2正则项。在实际的实验参数设计中，Convnet-1和Convnet-2中y的种类分别为2类和17类。

3)利用前两个步骤中具有分层粒度的人体图像分割结果和原始图像一起进行人像抠图；

获取人像分割图(前后景分割图和多类分割图)之后，将其和原始输入图像辅助进行人像抠图。该步骤的实现主要依靠一系列的引导滤波器组来输出无监督的人像抠图。具体的步骤如下：

先来看下该步骤中的符号及公式定义：

f_ε,r(i)：引导滤波器关于像素点i函数，受参数ε和r控制；

B：二分割图；

S：多类分割分数图；

N：引导滤波器的个数；

λ_n,n∈[0,N]：每个引导滤波器相关联的权重；

v：循环次数。

α：该步骤所求的抠图矩阵。

对于每一幅输入图像，用引导滤波器进行图像滤波，得到：

r和ε为引导滤波器的参数。利用一系列有着不同参数的引导滤波进行线形组合来拟合抠图输出：

利用引导滤波器组来进行抠图的动机是由于不同参数的引导滤波器对图像中不同区域的抠图效果不同，例如有着高r值和低ε值的引导滤波器对头发区域的抠图效果更好，有着低r值和高ε值的引导滤波器对图像中手等区域的抠图效果更好。因此每个引导滤波器的相关权重是由前一个分割步骤中后一个级联网络输出的多类分割分数图S求得的，具体计算公式为：

4)利用抠图结果对分割进行优化，优化后的分割结果继续产生更加细致的抠图结果，生产“抠图-分割”优化循环；

经过前三个个步骤可以得到带有着更多细节的抠图α矩阵(如能够细致的分出发梢)。第二个步骤的输出弥补了第一个分割的分割输出不能产生细致边缘的缺陷，为了充分利用抠图的输出，本发明反过来将抠图α矩阵对分割结果进行优化。比较抠图和前后景分割的区别，很容易发现在前后景分割中每个像素点的输出值为0或1，而在α矩阵中的每个像素的值为0到1之间，因此在这里设定了一个阈值来将每个像素点进行了二值化。设定了阈值之后就可以将抠图α矩阵转换为二分割图。下一步将这个二分割图作为输入分割级联网络后一个网络的输入，然后更新Convnet-2的参数得到更加精细的多分类分割图。具体的循环优化过程如下：

输入：原始输入图像I；二分割图B；多分类分割分数图S，引导滤波器总数N。

①初始化：

引导滤波器的相关参数对为(ε_j,r_j),j∈[0,N-1]；

多类分割图为P；

循环中止参数为θ；

②计算引导滤波器的相关权值参数：λ_j＝Λ_j(S)；

③计算出每个有着不同参数对的引导滤波器输出α矩阵：

④计算出抠图模块最终输出的α矩阵：α＝∑_jλ_jα_j；

⑤通过二值化α矩阵更新二分割图B；

⑥用新的二分割图B更新Convnet-2；

⑦更新Convnet-2输出的多分类分割分数图S；

⑧通过多分割分数图得到Convnet-2输出的多分类分割图P；

⑨若不等式Δ|B|＜θ不成立，则跳转到步骤②；

⑩结束。

输出：抠图矩阵α，多分类分割图P。

本发明的优点：解决了人像分割在边缘不精确的问题，并且同时也能输出较好的人像抠图结果。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合附图1进一步说明本发明的技术方案。

用于人体图像分割的循环“抠图-分割”优化方法，主要思想是将人体图像分割和抠图结合起来，包含如下步骤：

1)训练人体图像前后景分割网络Convnet-1，为了得到Convnet-1的监督信息，在训练Convnet-1时需要将人像分割数据集中的分割真值图进行二值化 (将非背景区域置1，背景区域置0)；

2)将Convnet-1输出的二分割图和原始输入图像进行级联，一同输入 Convnet-2产生多类分割图，训练人体图像再分割网络Convnet-2；

3)利用训练完毕的Convnet-1对给定的人体图像I进行前后景分割，得到前后景分割图B；

4)级联人体图像I和对应的前后景分割图B，送入训练好的分割网络 Convnet-2，得到N个人体各部件分割分数图(S₀，S₁，...,S_N)和人体再分割图 P

5)利用分割图辅助输入的人体图像进行人像抠图，其中步骤5)具体包括：

(5.1)对于每一幅输入图像，用引导滤波器进行图像滤波，得到如下表示抠图结果α_n：

其中，r和ε为引导滤波器的参数。

(5.2)利用一系列有着不同参数的引导滤波进行线形组合来拟合抠图总输出α：

由于不同参数对(r，ε)的引导滤波器对图像中不同区域的抠图效果不同，因此使用多类分割分数图S来指导每个引导滤波器的加权相加，具体计算公式为：

6)将抠图结果α进行二值化，得到更新的前后景分割图B；

7)用新的二分割图B更新Convnet-2；紧接着更新Convnet-2输出的多分类分割分数图S；通过多分割分数图更新Convnet-2输出的多分类分割图P；

8)重复步骤5-7，直到Δ|B|＜θ，在本发明中将阈值设定为0.01。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.用于人体图像分割的循环“抠图-分割”优化方法，包含如下步骤：

1)训练人体图像前后景分割网络Convnet-1；

2)级联原始输入图像和Convnet-1的输出，训练人体图像再分割网络Convnet-2；

3)利用训练完毕的Convnet-1对给定的人体图像I进行前后景分割，得到前后景分割图B；

4)级联人体图像I和对应的前后景分割图B，送入训练好的分割网络Convnet-2，得到N个人体各部件分割分数图(S₀，S₁，...,S_N)和人体再分割图P

5)利用分割图辅助输入的人体图像进行人像抠图，其中步骤5)具体包括：

(5.1)对于每一幅输入图像，用引导滤波器进行图像滤波，得到如下表示抠图结果α_n：

其中，r和ε为引导滤波器的参数。

(5.2)利用一系列有着不同参数的引导滤波进行线形组合来拟合抠图总输出α：

由于不同参数对(r，ε)的引导滤波器对图像中不同区域的抠图效果不同，因此使用多类分割分数图S来指导每个引导滤波器的加权相加，具体计算公式为：

6)将抠图结果α进行二值化，得到更新的前后景分割图B；

7)用新的二分割图B更新Convnet-2；紧接着更新Convnet-2输出的多分类分割分数图S；通过多分割分数图更新Convnet-2输出的多分类分割图P；

8)重复步骤5-7，直到Δ|B|＜θ。