CN108965739A - 视频抠像方法及机器可读存储介质 - Google Patents

Abstract

本发明涉及图像处理领域。本发明一实施例提供一种视频抠像方法，包括：获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；基于超像素分割算法，确定对应所述视频图像的超像素图；基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；根据所述目标分割结果，生成抠像结果。由此，提出了基于视频图像的深度图信息和彩色图信息所实现的抠像技术，不需要人机交互，在高分辨率视频流下，实时粗略提取出人物前景，并基于超像素和精细分割技术优化该所提取出的人物前景的边缘，在提高运算效率的同时，还提高了图像的分割精度。

Description

视频抠像方法及机器可读存储介质

技术领域

本发明涉及图像处理领域，具体地涉及一种视频抠图方法及机器可读存储介质。

背景技术

抠像技术广泛应用于电影后期处理、二维图形艺术、电视、广告、视频后期制作等领域。最典型的，在电影制作的过程中，导演利用抠像与合成技术，将不同时间，不同地点拍摄到的影像合成到同一场景中，实现特殊的艺术效果。

随着集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性，并且其只有针对简单的特定背景才能够达到较好的抠像效果。并且，对于复杂背景，目前的抠像方法需要在多次人机交互(例如三值图和涂鸦，来获得一些前景或背景像素的标记信息)才能够得到令人满意的结果，直接导致计算复杂度高，在很大程度上限制了抠像技术的实际应用。

发明内容

本发明实施例的目的是提供一种视频抠像方法及机器可读存储介质，用以解决现有技术中的抠像过程需要交互，以及高分辨率下计算复杂度高且边缘不够精细的技术问题。

为了实现上述目的，本发明实施例提供一种视频抠像方法，包括：获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；基于超像素分割算法，确定对应所述视频图像的超像素图；基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；根据所述目标分割结果，生成抠像结果。

本发明实施例另一方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的视频抠像方法。

通过上述技术方案，提出了基于视频图像的深度图信息和彩色图信息所实现的抠像技术，不需要人机交互，在高分辨率视频流下，实时粗略提取出人物前景，并基于超像素和精细分割技术优化该所提取出的人物前景的边缘，在提高运算效率的同时，还提高了图像的分割精度。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的视频抠像方法的流程图；

图2是图1所示的视频抠像方法中超像素分割在一示例下的流程原理图；

图3是图1所示的视频抠像方法中实施精细分割操作的流程原理图；

图4是图1所示的视频抠像方法中上采样过程的流程原理图；

图5示出的是应用Grabcut算法切割图像的原理示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的视频抠像方法，包括：

S11、获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围。

关于本发明实施例的实施客体，其可以是专用于视频抠像的终端，还可以是通用型终端，例如配置有视频抠像功能模块的计算机等，且都属于本发明的保护范围内。

在具体实施的一方面，其可以是通过解析视频图像所对应的彩色图和深度图信息，并基于该深度图信息来标记目标在彩色图中的前景范围。其中，该被标记的“目标”可以表示视频图像中所出现的人物或动物等，在此应不加以限定，由此能够粗略提取出关于目标的前景范围。

S12、基于超像素分割算法，确定对应该视频图像的超像素图。

为了解决高像素图像的分割问题，超像素图像算法应运而生。该算法是将多个具有相同或类似意义的像素点组合成多个不同的原子区域，来代替单个像素表示一个区域的算法。

由于传统的分水岭算法产生的超像素将失去形状和大小的规律性，因此本实施例中推荐使用基于空间约束的分水岭算法来进行超像素分割，由此可获得紧凑且均匀分布的分割结果。

在本发明一实施例的基于空间约束的分水岭算法中，超像素分割的优先级不仅取决于它的梯度值，同时也取决于空间模式。如图2所示，其可以是通过实施以下操作来实现超像素分割的：S121、确定视频图像分别在梯度和空间约束上的像素优先级；S122、根据所确定的像素优先级超像素分割视频图像。

S13、基于精细分割算法分割该超像素图中对应前景范围的部分，以生成目标分割结果，其中该精细分割算法对应预定的分割尺度。

由此，通过该精细分割算法会使得能量函数逐渐减少，最终能够保证能量函数收敛于最小值，优化后的分割能量函数尽可能地保留了图像的细节信息，使得在提高运算效率的同时还提高了图像的分割精度。

如图3所示，其可以通过以下操作来实现精细分割操作：S131、对超像素图中对应前景范围的部分实施迭代建模操作，以确定相应的分割能量函数；S132、基于分割能量函数分割目标部分，以确定相应的目标分割结果。由此，能够得到对应于精细分割算法尺度的目标细化的分割结果。

S14、根据该目标分割结果，生成抠像结果。

在本发明实施例中，考虑到抠像效率的问题，将数据下采样到一定的下采样比例，相应地，在超像素分割过程中可以是对基于超像素分割算法超像素分割经下采样所得的视频图像。相应地，在S14中需要实施上采样时，如果使用常规的双线性插值的方法对分割结果上采样到原始尺寸，此时会存在精度丢失、分割边缘不是真实边缘的问题。

有鉴于此，关于S14，其可以是通过实施如图4所示的操作来实现优化边缘的目的，具体包括以下步骤：S141、上采样目标分割结果，并在目标分割结果所指示的边缘部分建立缓冲区，其中缓冲区的宽度是上采样比例的多倍(例如两倍或两倍之上)。S142、统计缓冲区内属于前背景的高斯混合模型GMM概率大于预定阈值的第一像素点集合。S143、对缓冲区内轮廓进行分割，并将分割后的像素点确定为种子点。S144、根据种子点与第一像素点集合的三基色差值，由种子点向第一像素点集合中的像素点生长以生成抠像结果。

在一些实施方式中，超像素分割算法可以是以SCoW(Spatial-ConstrainedWater-shed，空间约束的分水岭)算法为基础的，例如SCoW算法或改进型 SCoW算法；以及，精细分割算法可以是以Grabcut(迭代的图割)算法为基础的，例如Grabcut算法或改进型Grabcut算法，其都属于本发明的保护范围内。

需说明的是，图割算法是基于MRF(Markov Random Field，马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。如图5所示，其示出的是 Grabcut算法的切割原理，源点s表示前景终点，汇点t表示背景终点。边集 E包含两部分源点汇点和所有其他节点的连接边、图中相邻节点之间的边。边的权值需反映出像素点与前景、背景的相似程度，相邻像素间的颜色差异。该算法首先需要用户简单交互选定前景和背景样本，对前景、背景区域建立高斯混合模型GMM，并利用k均值聚类(k-means)算法初始化GMM，分别计算节点到前背景的距离和相邻节点之间的距离，然后获得分割能量权重，对未知区域构造s-t网络图，接着采用最大流-最小割算法进行切分。分割过程是通过不断迭代更新，使得能量函数逐渐减少，最终能够保证能量函数收敛于最小值，实现图像分割。

目前，对该算法的有很多种改进方式，如构建颜色、纹理和形状等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但是很耗时。

在本发明的一优选实施方式中，通过改进Grabcut算法提升了Grabcut 算法的效率。以下将结合SCoW算法和改进的Grabcut算法对分割视频图像的示例进行说明：

1)SCoW超像素分割算法：

传统分水岭算法是用梯度值进行像素处理，经常会导致形状和大小的不规则。基于这一点，SCoW算法引入空间约束来确保超像素的紧凑型，基本思想是优先级不仅取决于它的梯度值，同时也取决于空间模式。

像素的优先级定义如下：

p＇(x，y)＝p_g(x，y)+α*p_s(x，y)

其中，p_g(x，y)表示梯度像素优先级，p_s(x，y)表示空间约束像素优先级，α表示梯度和空间约束的像素优先级这两个测量值的平衡参数。

2)改进的Grabcut算法：

Grabcut算法虽然经过迭代可以有效提高分割结果的精确性，但是算法效率低下仍然影响它在图像分割领域的应用前景。考虑到一般Grabcut算法分割过程中是对图片所有像素点进行建模，若只是对超像素分割结果进行建模，将在保证效果的基础上大大提升运算效率。基于SCoW算法速度快，超像素分割结果好的特点，本发明将该算法得到的超像素图中每个小块的均值作为Grabcut的节点算法流程如下：

a求取超像素图每个小块区域的均值作为节点，假设有N个小块区域，

X＝(x₁，...，x_n，...，x_N)，x_i(i＝1，2，...，N)，每个节点由K个GMM的混合特征表示。

b根据前景范围确定各个节点的前背景标记，利用α_n表示前背景标记，其中α_n＝0代表背景以及α_n＝1代表前景。

c利用k均值聚类分别对前背景节点聚类，得到前背景中每类的均值μ_k、方差∑k，以及每像素点比例π_k。

d利用获得的μ_k、∑k和π_k分别初始化前背景高斯混合模型，并统计每个像素点点属于前景和背景的概率以得到能量函数的数据项，其中像素点x_i在第k类高斯分布的密度函数如下：

各个节点属于前背景的概率函数为：

其中，θ＝{π_k，μ_k，∑k}为模型参数，π_k为混合比例参数。

能量函数数据项为：

e统计每相邻两个节点的梯度差作为平滑项：

f基于平滑项通过最大流最小割方法优化所述能量函数数据项，以得到目标分割结果。

在本发明实施例中，通过SCoW算法对下采样数据进行超像素分割，并基于改进的Grabcut算法对超像素分割图进行分割，得到该尺度地分割结果。由此，不需要人机交互分割视频图像，且优化后的分割能量函数尽可能地保留了图像的细节信息，在提高运算效率的同时也提高了图像的分割精度。

本发明实施例另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，其分别用于执行本申请上述由终端所执行的视频抠像方法的步骤，其具体的技术方案的细节和效果可以参照上文方法实施例的描述，在此便不赘述。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种视频抠像方法，包括：

获取待抠像处理的视频图像，并标记目标在视频图像中的前景范围；

基于超像素分割算法，确定对应所述视频图像的超像素图；

基于精细分割算法分割该超像素图中对应所述前景范围的部分，以生成目标分割结果，其中所述精细分割算法对应预定的分割尺度；

根据所述目标分割结果，生成抠像结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待抠像处理的视频图像并标记目标在视频图像中的前景范围包括：

解析所述视频图像所对应的彩色图和深度图信息；以及

基于所述深度图信息标记所述目标在所述彩色图中的前景范围。

3.根据权利要求1所述的方法，其特征在于，所述基于超像素分割算法超像素分割所述视频图像包括：

确定所述视频图像的梯度像素优先级和空间约束像素优先级；

根据所确定的所述梯度像素优先级和所述空间约束像素优先级，确定像素的像素优先级；

根据所确定的所述像素优先级，超像素分割所述视频图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所确定的所述梯度像素优先级和所述空间约束像素优先级确定像素的像素优先级包括：

基于预配置的关于所述梯度像素优先级和所述空间约束像素优先级之间的平衡参数，并结合所述梯度约束像素优先级和所述空间约束像素优先级，确定所述像素优先级。

5.根据权利要求1所述的方法，其特征在于，所述基于精细分割算法分割超像素图中对应所述前景范围的部分以生成目标分割结果包括：

对所述超像素图中对应所述前景范围的部分实施迭代建模操作，以确定相应的分割能量函数；

基于所述分割能量函数分割所述目标部分，以确定相应的目标分割结果。

6.根据权利要求5所述的方法，其特征在于，所述基于精细分割算法分割超像素图中对应所述前景范围的部分以生成目标分割结果包括：

将所述超像素图划分为多个节点，其中各个节点由K个高斯混合模型的混合特征表示；

根据所述前景范围确定所述各个节点的前背景标记，并聚类前背景节点以初始化各个节点的前背景高斯混合模型；

确定各个像素点在第k类高斯分布的密度函数，并基于所述密度函数、所述前背景高斯混合模型的模型参数和混合比例参数来确定所述各个节点属于前背景的概率函数；

统计每相邻两个节点的梯度差作为平滑项，并基于所述平滑项通过最大流最小割方法优化所述能量函数数据项以得到目标分割结果。

7.根据权利要求1所述的方法，其特征在于，所述基于超像素分割算法超像素分割所述视频图像包括：

按照下采样比例来下采样所述视频图像；以及

基于超像素分割算法超像素分割经下采样所得的视频图像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标分割结果生成抠像结果包括：

上采样所述目标分割结果，并在所述目标分割结果所指示的边缘部分建立缓冲区，其中所述缓冲区的宽度是上采样比例的多倍；

统计所述缓冲区内属于前背景的高斯混合模型概率大于预定阈值的第一像素点集合；

对所述缓冲区内轮廓进行分割，并将分割后的像素点确定为种子点；以及

根据所述种子点与所述第一像素点集合的三基色差值，由所述种子点向所述第一像素点集合中的像素点生长以生成抠像结果。

9.根据权利要求1所述的方法，其特征在于，所述超像素分割算法包括SCoW算法，以及所述精细分割算法包括改进型Grabcut算法。

10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-9中任一项所述的视频抠像方法。