CN109934843B - 一种实时的轮廓精细化抠像方法及存储介质 - Google Patents

Abstract

一种实时的轮廓精细化抠像方法及存储介质，该抠像方法获取先验前背景知识，沿着前景的轮廓建立缓冲区掩膜从而可粗略地得到前景范围；将缓冲区掩膜数据下采样到一定比例；结合缓冲区掩膜数据，基于速度优化以及添加人物轮廓形状先验的Grabcut算法对彩色图进行分割，得到该尺度的分割结果；将分割结果上采样到与原始数据相同的分辨率，实现抠图。本发明对原始Grabcut算法进行了优化，优化后的算法速度提升了30％，分割出的轮廓鲁棒性较强，不受周围梯度较大的物体影响，基本沿着真实的目标轮廓走，并且本发明不需要人机交互，在高分辨率视频流下，不依赖昂贵的GPU，可实时提取出人物前景，并能保证边缘的精细。

Description

一种实时的轮廓精细化抠像方法及存储介质

技术领域

本申请涉及图像处理领域，具体的，涉及一种低成本实时的轮廓精细化抠像方法及存储介质，能够用于包括人物在内的抠像。

背景技术

得益于大规模集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物的抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性。并且只有在简单特定背景下，才能够达到较好的抠像效果。对于复杂背景，大多数抠像算法需要在多次人机交互的情况下才能够得到令人满意的结果，计算复杂度高，在很大程度上限制了抠像算法的实际应用。当然，当前流行的深度学习算法，可得到较好的抠图效果，但是依赖GPU，使用成本昂贵。

现有技术中对于包括人物抠像在内的各种抠像，主要采用Grabcut算法即图割算法，该算法是基于MRF(Markov Random Field马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。对该算法的改进也有很多，如构建颜色、纹理等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但是很耗时。

原始的Grabcut算法基本思想是把整幅图像映射为s-t网络图，参见图1，其中：源点s表示前景终点，汇点t表示背景终点。边集E包含两部分源点汇点和所有其他节点的连接边、图中相邻节点之间的边。边的权值需反映出像素点与前景、背景的相似程度，相邻像素间的颜色差异。该算法首先需要用户简单交互选定前景和背景样本，对前景、背景区域建立GMM(高斯混合模型)，并利用k-means算法初始化GMM，分别计算节点到前背景的距离和相邻节点之间的距离，然后获得分割能量权重，对未知区域构造s-t网络图，接着采用Maxflow(最大流最小割)算法进行切分。分割过程是通过不断迭代更新，使得能量函数逐渐减少，最终能够保证能量函数收敛于最小值，实现图像分割。

因此，对于包括人物抠像在内的各种抠像应用，存在着需要交互、高分辨率下计算复杂度高、边缘不够精细、成本高等缺点，如何能够提高速度，降低成本，以提高抠像精细度成为现有技术亟需解决的技术问题。

发明内容

本发明的目的在于提出一种低成本实时的轮廓精细化抠像方法及存储介质，对Grabcut算法本身做了算法层面的优化，达到效果不变的情况下，速度提升了30％。在此基础上加入人体轮廓方向信息作为形状先验，达到效果上的优化。

为达此目的，本发明采用以下技术方案：

一种实时的轮廓精细化抠像方法，包括如下步骤：

缓冲区掩膜建立步骤S110：获取待抠像处理的实时视频流，并根据一定的规则标记目标的初始前景轮廓，并根据所述前景轮廓建立缓冲区掩膜，在所述缓冲区中轮廓内为确定的前景，缓冲区与轮廓之间为不确定区域，缓冲区外为确定的背景像素；

速度优化后的前背景建模步骤S120：根据视频图像中的彩色图和所述缓冲区掩膜，统计前景区域中彩色的最大值和最小值，根据前背景GMM中的模型个数，对彩色的最大值和最小值之间的差值进行划分，得到每个GMM模型的初始中心点，根据所述初始中心点统计每个GMM模型的参数，以及类别间的权重，并迭代更新GMM模型，得到最终的前景模型参数；

目标形状先验添加步骤S130:构建梯度链，并且统计缓冲区内不确定点的目标轮廓方向值，将每个不确定点的目标轮廓方向值以一定的权重添加到N链计算中，以保证在约束到梯度最大的同时保证是沿着目标轮廓方向的；

最大流最小割算法图像分割步骤S140：利用最大流最小割算法对图像进行解算分割，确定缓冲区内不确定区域中不确定点的前景标识，得到精细化后的前景掩膜；

抠像步骤S150：利用精细化后的前景掩膜结合彩色图像进行目标抠像。

可选的，在缓冲区掩膜建立步骤S110之后具有下采样步骤S115，对所述缓冲区掩膜下采样到一定比例；

在最大流最小割算法图像分割步骤S140之后具有上采样步骤S145，对所述精细化后的前景掩膜进行上采样到原始数据相同的分辨率。

可选的，在缓冲区掩膜建立步骤S110中，通过深度信息获取待抠像目标的粗略的初始前景轮廓或者利用已知的人脸检测技术初始化获得初始前景轮廓。

可选的，在缓冲区掩膜建立步骤S110中，所述缓冲区通过所述前景轮廓垂直向外扩展一定宽度像素的方法来建立。

可选的，在速度优化后的前背景建模步骤S120中，所述对彩色的最大值和最小值之间的差值进行划分是对彩色的最大值和最小值之间的差值进行均分，以每个均分值作为每个GMM模型的初始中心点。

可选的，在目标形状先验添加步骤S130中，所述权重为0.5。

可选的，在所述上采样步骤中，采用双线性插值对分割后的所述前景掩膜进行上采样。

本发明进一步公开了一种存储介质，用于存储计算机可执行指令，其特征在于：所述计算机可执行指令在被处理器执行时执行权利要求1-7中任意一项所述的实时的轮廓精细化抠像方法。

本发明的实时的轮廓精细化抠像方法对原始Grabcut算法进行了优化，优化后的算法速度提升了30％，分割出的轮廓鲁棒性较强，不受周围梯度较大的物体影响，基本沿着真实的目标轮廓走，并且本发明不需要人机交互，在高分辨率视频流下，不依赖昂贵的GPU，可实时提取出人物前景，并能保证边缘的精细。

附图说明

图1是现有技术中的应用Grabcut算法切割图像的s-t网络原理示意图；

图2是根据本发明的实时的轮廓精细化抠像方法的流程图；

图3是根据本发明具体的实施例根据初始前景轮廓建立缓冲区掩膜(mask)的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明具有如下的名词缩写：

Prior Shape(形状先验)；Speed-Optimized Grabcut(速度优化后的图割)；MRF(Markov Random Field马尔可夫随机场)；GMM(高斯混合模型)；Grabcut(图割)；Maxflow(最大流最小割)。

对于原始的Grabcut算法，用户可以通过画框的方式大致选择前景区域，或者提供样本点的方式给出先验前背景知识。根据给定的样本点，通过kmeans聚类出前背景的类别中心，再根据类别中心统计出每个类别的均值和方差，以及类别间的权重，得到前背景的GMM模型，这部分耗时占整个算法的35％，然后通过建立MRF链，得到需要解算的Graph，最终通过maxflow算法解算图，推算出不确定区域是属于前景还是背景。

本发明要点在于：

1)考虑到现今大多数抠像算法需要交互的问题，本发明首先通过深度的方式获取先验前背景知识，沿着前景的轮廓建立缓冲区掩膜(mask)，例如可以利用带有深度信息的摄像机采集深度图像，通过深度值转换标记出人物在彩色图中地大体范围，从而可粗略地得到前景范围；

2)根据深度前景建立人物轮廓缓冲区，缓冲区内为确定的人物前景，缓冲区外为确定的背景；

3)考虑到效率问题，将缓冲区掩膜数据下采样到一定比例；

4)结合缓冲区掩膜数据，基于速度优化以及添加人物轮廓形状先验的Grabcut算法对彩色图进行分割，得到该尺度的分割结果；

5)使用双线性插值将分割结果上采样到与原始数据相同的分辨率，实现抠图。

具体而言，参见图2，示出了根据本发明的实时的轮廓精细化抠像方法的流程图，本发明包括如下步骤：

缓冲区掩膜建立步骤S110：获取待抠像处理的实时视频流，并根据一定的规则标记目标的初始前景轮廓，并根据所述前景轮廓建立缓冲区掩膜，在所述缓冲区中轮廓内为确定的前景，缓冲区与轮廓之间为不确定区域，缓冲区外为确定的背景像素；

在该步骤中，通过获取目标的前景，能够给出待抠像目标的形状先验信息，所述目标为待扣取的对象，可以为人物、动物、或者其他希望扣取的目标。

在一个具体的实施例中，可以通过深度信息获取待抠像目标的粗略的初始前景轮廓，例如利用深度摄像机拍摄得到深度图，或者利用已知的人脸检测技术初始化获得初始前景轮廓。虽然该前景轮廓存在着精细度不够的问题，但是能够给出一定的抠像目标的形状先验信息。在后续的步骤中，将对其进行优化。

参见图3，示出了通过深度前景确定的缓冲区掩膜以提供形状先验信息，利用深度前景的轮廓建立缓冲区，参见图3中的灰色区域即为缓冲区轮廓以内的为确定前景，图3中的黑色区域即为缓冲区以外的为确定背景，图3中的白色区域则是缓冲区中的未知区域，需要通过算法来给出精确轮廓。

在一个具体的实施例中，可以通过所述前景轮廓垂直向外扩展一定宽度像素的方法来建立缓冲区。示例性的，通过所述前景轮廓垂直向外扩展9个像素。

速度优化后的前背景建模步骤S120：根据视频图像中的彩色图和所述缓冲区掩膜，统计前景区域中彩色的最大值和最小值，根据前背景GMM中的模型个数，对彩色的最大值和最小值之间的差值进行划分，得到每个GMM模型的初始中心点，根据所述初始中心点统计每个GMM模型的参数，包括GMM模型的均值和方差，以及类别间的权重，并迭代更新GMM模型，例如，迭代更新两次GMM模型，得到最终的前景模型参数。

在该步骤中，考虑到建前背景GMM模型时，耗时占整个算法的35％，主要花在了Kmeans聚类初始类别中心上。本发明通过大量实验，发现初始聚类中心对分割结果几乎没有影响，可通过求取确定前背景区域的最大像素值和最小像素值，然后取平均代替。通过此优化，建前背景GMM模型时间缩减到5％。

进一步的，所述对彩色的最大值和最小值之间的差值进行划分是对彩色的最大值和最小值之间的差值进行均分，以每个均分值作为每个GMM模型的初始中心点。

例如，当具有4个前背景GMM模型时，则对彩色的最大值和最小值之间的间距进行五等分，取每个等分值作为GMM的初始中心点。

目标形状先验添加步骤S130:构建梯度链，并且统计缓冲区内不确定点的目标轮廓方向值，将每个不确定点的目标轮廓方向值以一定的权重添加到N链计算中，以保证在约束到梯度最大的同时保证是沿着目标轮廓方向的。

原始算法中建立N链时，采用统计8邻域高斯梯度差的方式，梯度越高，被割的可能性越大。这种方法会导致最终的分割结果沿着物体轮廓走。以抠像目标为人为例，如果人的周围有一个桌子，那轮廓会沿着桌子走，大大影响了最终的分割结果。本发明考虑到初始人物轮廓相当于一个人物的形状先验，通过统计初始前景轮廓的方向，方向值为轮廓切线方向，并将每个轮廓点切线方向的点设为相等，以统计缓冲区内不确定点的方向值，将每个不确定点的方向值以一定的权重添加到N链计算中，这样分割会沿着人物轮廓方向并且梯度较大。这种策略大大解决了缓冲区内彩色图中人物轮廓沿着物体边缘走的问题。

在一个可选的实施例中，所述权重为0.5。

最大流最小割算法图像分割步骤S140：利用最大流最小割算法对图像进行解算分割，确定缓冲区内不确定区域中不确定点的前景标识，得到精细化后的前景掩膜。

抠像步骤S150：利用精细化后的前景掩膜结合彩色图像进行目标抠像。

进一步可选，为了降低图像计算的复杂度，本发明还分别具有降采样和上采样步骤，

在缓冲区掩膜建立步骤S110之后具有下采样步骤S115，对所述缓冲区掩膜下采样到一定比例。

在最大流最小割算法图像分割步骤S140之后具有上采样步骤S145，对所述精细化后的前景掩膜进行上采样到原始数据相同的分辨率。这样恢复原有的数据精度。

在一个可选的实施例中，采用双线性插值对分割后的所述前景掩膜进行上采样。

通过上下采样步骤，能够既降低图像计算的数据量和复杂度，又保证最终抠像结果的精度。

本发明还公开了一种存储介质，用于存储计算机可执行指令，其特征在于：所述计算机可执行指令在被处理器执行时执行上述的实时的轮廓精细化抠像方法。

因此，本发明的实时的轮廓精细化抠像方法对原始Grabcut算法进行了优化，优化后的算法速度提升了30％，分割出的轮廓鲁棒性较强，不受周围梯度较大的物体影响，基本沿着真实的目标轮廓走，并且本发明不需要人机交互，在高分辨率视频流下，不依赖昂贵的GPU，可实时提取出人物前景，并能保证边缘的精细。

在实际的实施例中，本发明的抠像方法可基于深度图和彩色图，可对人物进行抠像，可在1080p分辨率下，实时删除视频中人物的复杂背景，得到精细的人像边缘。并且不需要昂贵的GPU硬件支持，在i5CPU上可以达到50fps。

显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (8)

1.一种实时的轮廓精细化抠像方法，包括如下步骤：

缓冲区掩膜建立步骤S110：获取待抠像处理的实时视频流，并根据一定的规则标记目标的初始前景轮廓，并根据所述初始前景轮廓建立缓冲区掩膜，在所述缓冲区中轮廓内为确定的前景，缓冲区与轮廓之间为不确定区域，缓冲区外为确定的背景像素；

速度优化后的前背景建模步骤S120：根据视频图像中的彩色图和所述缓冲区掩膜，统计前景区域中彩色的最大值和最小值，根据前背景GMM中的模型个数，对彩色的最大值和最小值之间的差值进行划分，得到每个GMM模型的初始中心点，根据所述初始中心点统计每个GMM模型的参数，以及类别间的权重，并迭代更新GMM模型，得到最终的前景模型参数；

目标形状先验添加步骤S130：构建梯度链，并且统计缓冲区内不确定点的目标轮廓方向值，将每个不确定点的目标轮廓方向值以一定的权重添加到所述梯度链计算中，以保证在约束到梯度最大的同时保证是沿着目标轮廓方向的；

最大流最小割算法图像分割步骤S140：利用最大流最小割算法对图像进行解算分割，确定缓冲区内不确定区域中不确定点的前景标识，得到精细化后的前景掩膜；

抠像步骤S150：利用精细化后的前景掩膜结合彩色图像进行目标抠像。

2.根据权利要求1所述的抠像方法，其特征在于：

在缓冲区掩膜建立步骤S110之后具有下采样步骤S115，对所述缓冲区掩膜下采样到一定比例；

在最大流最小割算法图像分割步骤S140之后具有上采样步骤S145，对所述精细化后的前景掩膜进行上采样到原始数据相同的分辨率。

3.根据权利要求1或2所述的抠像方法，其特征在于：

在缓冲区掩膜建立步骤S110中，通过深度信息获取待抠像目标的粗略的初始前景轮廓或者利用已知的人脸检测技术初始化获得初始前景轮廓。

4.根据权利要求3所述的抠像方法，其特征在于：

在缓冲区掩膜建立步骤S110中，所述缓冲区通过所述初始前景轮廓垂直向外扩展一定宽度像素的方法来建立。

5.根据权利要求1或2所述的抠像方法，其特征在于：

在速度优化后的前背景建模步骤S120中，所述对彩色的最大值和最小值之间的差值进行划分是对彩色的最大值和最小值之间的差值进行均分，以每个均分值作为每个GMM模型的初始中心点。

6.根据权利要求1或2所述的抠像方法，其特征在于：

在目标形状先验添加步骤S130中，所述权重为0.5。

7.根据权利要求2所述的抠像方法，其特征在于：

在所述上采样步骤中，采用双线性插值对分割后的所述前景掩膜进行上采样。

8.一种存储介质，用于存储计算机可执行指令，其特征在于：所述计算机可执行指令在被处理器执行时执行权利要求1-7中任意一项所述的实时的轮廓精细化抠像方法。

Images