CN104156959A - 一种视频抠图方法及装置 - Google Patents

Abstract

本申请提供了一种视频抠图方法及装置，以预设人体轮廓模型为依据，在视频流的当前帧图像中确定待检测轮廓区域，依据该区域中的各个像素点的像素值，以及各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程，并利用图分割算法求解该方程的最小解，从而获得该算法对应的图结构中每个结点的二值标记，依据各个结点的二值标记，实现对该轮廓区域的分割，进而提取出该当前帧图像中的人物区域。本发明利用轮廓模型确定出待检测轮廓区域，在该待检测区域检测分割线，避免对整幅图像的分割检测，提高了抠图效率；在构建能量方程时利用了当前帧图像与上一帧图像的亮度差值，即考虑了视频图像中人物区域的运动状态，从而提供了抠图准确率。

Description

一种视频抠图方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是一种视频抠图方法及装置。

背景技术

视频抠图，是将感兴趣的目标物体从视频图像中提取出来。随着移动通信技术的发展，视频通话的应用已经越来越广泛。人们利用移动终端进行视频通话时，摄像头会拍摄包括人物在内的视频图像，该视频图像中不仅包括对话者本身，还包含有环境背景。目前，人们在视频通话中的一种需求是，自由设置视频图像中的环境背景图像，例如，设置为默认的统一背景，或者设置为海边环境背景等。从技术手段上来讲，实现上述功能，最重要的是要将人物区域从视频图像中抠取出来，即视频抠图。

目前，大多数的抠图技术是针对静态图像的，也即从单张的静态图片中抠取目标区域，然而，由于视频流中的人物区域极有可能是变化的，所述方法并不适用。因此，需要一种视频抠图方法来实现从视频流图像中抠取人物区域图像。

发明内容

有鉴于此，本申请提供了一种视频抠图方法，以实现从视频流图像中抠取人物区域。为实现所述发明目的，本发明提供的技术方案如下：

一种视频抠图方法，包括：

获取视频流的当前帧图像；

以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域；

依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程；

利用graph-cut(图分割)算法求解所述能量方程的最小值，以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域中各个像素点一一对应；

依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。

上述方法，优选地，所述以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域，包括：

获取预设人体轮廓模型中左眼右眼间距值E₁E₂、左眼嘴巴间距值E₁M₁、右眼嘴巴间距值E₂M₁，并获取所述当前帧图像中左眼右眼间距值E_lE_r、左眼嘴巴间距值E_lM、右眼嘴巴间距值E_rM；

将及中的最大值确定为模型缩放系数；

依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。

上述方法，优选地，所述依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程，包括：

依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述所属区域概率包括前景概率及背景概率；

依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方程的平滑项；

依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定能量方程的运动项；

由所述数据项、平滑项及运动项，构建能量方程。

上述方法，优选地，所述构建的能量方程为：

$E\left(\mathrm{\Ω}\right)=\underset{i}{\mathrm{\Σ}}{E}_d\left(l_i\right)+\mathrm{\λ}\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_s(l_i,l_j)+\mathrm{\η}\underset{i}{\mathrm{\Σ}}{E}_m\left(l_i\right);$ 其中：

所述E_d(l_i)为数据项；l_i为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓区域内边缘线像素点i的所属区域概率为前景概率时对应的E_d(l_i)为0；待检测轮廓区域内边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i为前景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为0；待检测轮廓区域内部像素点i的所属区域概率l_i为前景概率时，依据获得对应的E_d(l_i)；待检测轮廓区域内部像素点i的所属区域概率l_i为背景概率时，依据获得对应的E_d(l_i)；其中：d_f(x_i)＝-ln(P_f(x))，P_f(x)为待检测轮廓区域内部像素点i的前景概率；d_b(x)＝-ln(P_b(x))，P_b(x)为待检测轮廓区域内部像素点i的背景概率；

所述E_s(l_i,l_j)为平滑项；(i,j)∈ε表示像素点j为像素点i的相邻像素点，且平滑项依据 $E_s(l_i,l_j)=|l_i-l_j|\×\frac{\mathrm{\ϵ}+e^{-{\mathrm{\β}\left|\right|x_i-x_j\left|\right|}^2}}{1+\mathrm{\ϵ}}$ 获得；其中，ε为预设常数，e为自然对数函数的底数，β为预设调整系数，||x_i-x_j||²为范数，表征像素点i与像素点j的相似度，x_i为像素点i的像素值，x_j为像素点j的像素值；

所述E_m(l_i)为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预设阈值时对应的E_m(l_i)为1，否则，E_m(l_i)为0；

所述λ及η为预设系数。

上述方法，优选地，所述依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项，包括：

将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点；

利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型；

依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率；

依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。

本申请还提供了一种视频抠图装置，包括：

帧图像获取单元，用于获取视频流的当前帧图像；

轮廓区域确定单元，用于以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域；

能量方程构建单元，用于依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程；

二值标记获得单元，用于利用graph-cut(图分割)算法求解所述能量方程的最小值，以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域中各个像素点一一对应；

人物区域提取单元，用于依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。

上述装置，优选地，所述轮廓区域确定单元包括：

间距值获取子单元，用于获取预设人体轮廓模型中左眼右眼间距值E₁E₂、左眼嘴巴间距值E₁M₁、右眼嘴巴间距值E₂M₁，并获取所述当前帧图像中左眼右眼间距值E_lE_r、左眼嘴巴间距值E_lM、右眼嘴巴间距值E_rM；

缩放系数确定子单元，用于将及中的最大值确定为模型缩放系数；

轮廓区域确定子单元，用于依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。

上述装置，优选地，所述能量方程构建单元包括：

数据项确定子单元，用于依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述所属区域概率包括前景概率及背景概率；

平滑项确定子单元，用于依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方程的平滑项；

运动项确定子单元，用于依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定能量方程的运动项；

方程构建子单元，用于由所述数据项、平滑项及运动项，构建能量方程。

上述装置，优选地，所述构建的能量方程为：

$E\left(\mathrm{\Ω}\right)=\underset{i}{\mathrm{\Σ}}{E}_d\left(l_i\right)+\mathrm{\λ}\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_s(l_i,l_j)+\mathrm{\η}\underset{i}{\mathrm{\Σ}}{E}_m\left(l_i\right);$ 其中：

所述E_d(l_i)为数据项；l_i为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓区域内边缘线像素点i的所属区域概率为前景概率时对应的E_d(l_i)为0；待检测轮廓区域内边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i为前景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为0；待检测轮廓区域内部像素点i的所属区域概率l_i为前景概率时，依据获得对应的E_d(l_i)；待检测轮廓区域内部像素点i的所属区域概率l_i为背景概率时，依据获得对应的E_d(l_i)；其中：d_f(x_i)＝-ln(P_f(x))，P_f(x)为待检测轮廓区域内部像素点i的前景概率；d_b(x)＝-ln(P_b(x))，P_b(x)为待检测轮廓区域内部像素点i的背景概率；

所述E_s(l_i,l_j)为平滑项；(i,j)∈ε表示像素点j为像素点i的相邻像素点，且平滑项依据 $E_s(l_i,l_j)=|l_i-l_j|\×\frac{\mathrm{\ϵ}+e^{-{\mathrm{\β}\left|\right|x_i-x_j\left|\right|}^2}}{1+\mathrm{\ϵ}}$ 获得；其中，ε为预设常数，e为自然对数函数的底数，β为预设调整系数，||x_i-x_j||²为范数，表征像素点i与像素点j的相似度，x_i为像素点i的像素值，x_j为像素点j的像素值；

所述E_m(l_i)为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预设阈值时对应的E_m(l_i)为1，否则，E_m(l_i)为0；

所述λ及η为预设系数。

上述装置，优选地，所述数据项确定子单元包括：

种子像素点确定子单元，用于将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点；

概率模型构建子单元，用于利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型；

所属区域概率获取子单元，用于依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率；

数据项获得子单元，用于依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。

与现有技术相比，本发明具有如下有益效果：

本发明提供的视频抠图方法及装置，以预设人体轮廓模型为依据，在视频流的当前帧图像中确定出待检测轮廓区域，依据该区域中的各个像素点的像素值，以及各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程，并利用图分割算法求解该方程的最小解，从而获得该算法对应的图结构中每个结点的二值标记，该二值标记用以对该图结构中的各个结点进行分割，由于该图结构中的各个结点与该轮廓区域中各个像素点一一对应，从而可以依据所述各个结点的二值标记，实现对该轮廓区域的分割，进而提取出该当前帧图像中的人物区域。本发明利用轮廓模型确定出待检测轮廓区域，在该待检测区域检测分割线，避免对整幅图像的分割检测，提高了抠图效率；在构建能量方程时利用了当前帧图像与上一帧图像的亮度差值，即考虑了视频图像中人物区域的运动状态，从而提供了抠图准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的视频抠图方法的流程图；

图2为本发明实施例提供的人体轮廓模型的示例图；

图3为本发明实施例提供的待检测轮廓区域的示例图；

图4为本发明实施例提供的视频抠图方法中构建能量方程的流程图；

图5为本发明实施例提供的视频抠图装置的结构框图；

图6为本发明实施例提供的视频抠图装置中能量方程构建单元的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，其示出了本发明实施例提供的视频抠图方法的流程，具体包括以下步骤：

步骤S101：获取视频流的当前帧图像。

本发明实施例应用但不局限于移动终端进行视频通话的场景中，在进行通话过程中，摄像头会拍摄人物视频流图像，该视频流图像是由多帧图像构成，提取当前一帧图像。

步骤S102：以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域。

其中，人体轮廓模型是预先设置的能体现人体轮廓特征的模型图，例如图2所示的Ω模型，该模型是指两条轮廓线21及22包围的区域，利用该模型图在当前帧图像中适配出待检测轮廓区域，如图3所示，由边缘线31及边缘线32确定的区域。

步骤S103：依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程。

其中，由上述人体轮廓模型确定出的待检测轮廓区域包括内外两条边缘线，利用该两条边缘线像素点的像素值生成概率模型，该概率模型用于确定该待检测轮廓区域内部各个像素点属于前景的概率及属于背景的概率，同时，再加上利用该待检测区域各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程。需要说明的是，从应用数学范畴来讲，视频抠图属于对比类问题，而能量方程是此类问题进行建模后的数学表达式，通过该表达式将该类实际应用问题转化为数学表达式的求解过程。

本发明实施例，在构建能量方程过程中利用了像素点的颜色值及图像中人物区域的运动状态信息，考虑了多方面的影响因素，构建的能量方程更加精确。

步骤S104：利用graph-cut(图分割)算法求解所述能量方程的最小值，以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域中各个像素点一一对应。

其中，图分割算法是现有技术中的一种图像分割算法，通过对像素进行标记实现图像分割。具体地，其依据参与分割的各个像素点生成图(一种数据结构)，该图中的各个结点即为待分割图像中的各个像素点，结点四邻域相连。同时，该图具有两个顶点即源点与汇点，每个结点均与顶点相连。当该能量方程取得最小值时，该图的分割准确性最高，并且此时，该图中的各个结点分别属于不同的顶点，也即获得了每个结点的二值标记，进而实现将各个结点进行区分。

步骤S105：依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。

其中，由于图分割算法对应的图结构是依据待检轮廓区域的各个像素点生成的，对该图中节点的二值标记可以实现对待分割检测区域的分割。具体地，将具有同一二值标记的像素点确定为一个区域，将具有另一二值标记的像素点即该待检测区域中的剩余像素点确定为另一区域，从而实现分割，如图3所示，曲线33将待检测轮廓区域划分为两部分区域，即区域A与区域B，可以知道的是，两个区域的二值标记是不同的，且属于同一区域中的二值标记是相同的，进而，将曲线33包围的内部区域提取为人物区域。

由以上技术方案可知，本发明实施例提供的视频抠图方法，首先利用预设人体轮廓模型确定出待检测轮廓区域，进而在该轮廓区域中进行分割检测，避免对整帧图像的处理，提供了抠图效率，实时性较好，可以更好地应用于移动终端中的视频通话场景中。而且，在现有技术中，一些抠图技术需要用户在图像进行区域划分，而本发明可以实现自动依据预设的模板对待检测区域的确定，减少了用户的参与；或者，某些抠图技术需要预先利用视频流中的前几帧图像进行训练，以确定待检测区域，本发明并不需要预先训练过程，抠图实时性更好。

同时，在对该待检测轮廓区域分割检测时，考虑了视频流图像的人物活动状态，由于人物活动会导致前后两帧图像中对应像素点的亮度值产生变化，因此体现在本方案中，即构建的能量方程中利用了当前帧图像中像素点与上一帧图像像素点的亮度值差值，从而使构建的能量方程更精确地体现视频图像中的人物区域特征，抠图更加精确。

可选地，上述方法实施例中的步骤S102可以通过以下方式实现：

获取预设人体轮廓模型中左眼右眼间距值E₁E₂、左眼嘴巴间距值E₁M₁、右眼嘴巴间距值E₂M₁，并获取所述当前帧图像中左眼右眼间距值E_lE_r、左眼嘴巴间距值E_lM、右眼嘴巴间距值E_rM。

其中，参见图2所示的人体轮廓模型，利用该模型对应的左眼E_l、右眼E_r及嘴巴M的坐标值，获得E_lE_r、E_lM及E_rM的值；参见图3所示的待检测轮廓区域，利用该区域对应的当前帧图像中的左眼E₁、右眼E₂及嘴巴M₁的坐标值，获得E₁E₂、E₁M₁及E₂M₁的值。

将及中的最大值确定为模型缩放系数。

具体地，当该最大值为大于1的数值时，则该模型需要放大；反之，该模型需要缩小。

依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。

其中，如图3所示，需要将该模型进行缩放后，对应覆盖在该当前帧图像中。具体的，模型图中包含预设人体轮廓模型Ω，该模型图为黑色，模型Ω为白色，则形成mask图，mask区域即为模型Ω。具体的对应方式是将模型图的嘴巴位置与该当前帧图像对应的嘴巴位置对齐，将模型Ω覆盖的区域确定为最终的待检测轮廓区域。

可选地，参见图4，上述方法实施例中的步骤S103可以通过以下方式实现：

步骤S201：依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述所属区域概率包括前景概率及背景概率。

需要说明的是，本发明中前景可以认为是需要抠取的人物区域，图像中的剩余的区域为背景。具体地，构建数据项的方法可以为：

将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点。

利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型。

具体地，采用Kmeans++聚类算法对前景像素点进行聚类，设聚集为M类，获得每一聚类的均值μ_k与方差σ_k，且：

μ_k＝∑x_i/N；

其中：k∈[1,M]，x_i为第k类像素点的像素值，N为第k类的像素点个数。

进而，利用上述均值与方差获得前景概率模型，具体为：

$P\left(x\right)=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}w\left(k\right)*N(x,{\mathrm{\μ}}_k,{\mathrm{\σ}}_k);$ 其中：

w(k)为第k类在整个模型中权重系数，即第k类像素数占总像素数的比例，则 $\underset{k=1}{\overset{M}{\mathrm{\Σ}}}w\left(k\right)=1,$ 并且： $N(x,{\mathrm{\μ}}_k,{\mathrm{\σ}}_k)=\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_k}}\exp (-\frac{1}{2{\mathrm{\σ}}_k}{(x-{\mathrm{\μ}}_k)}^T(x-{\mathrm{\μ}}_k)).$

同理，依据上述原理，对背景像素点进行聚类，获得背景概率模型。

依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率。

依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。

步骤S202：依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方程的平滑项；

步骤S203：依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定能量方程的运动项；

步骤S204：由所述数据项、平滑项及运动项，构建能量方程。

具体地，所述能量方程为：

$E\left(\mathrm{\Ω}\right)=\underset{i}{\mathrm{\Σ}}{E}_d\left(l_i\right)+\mathrm{\λ}\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_s(l_i,l_j)+\mathrm{\η}\underset{i}{\mathrm{\Σ}}{E}_m\left(l_i\right);$ 其中：

所述E_d(l_i)为数据项；l_i为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓区域内边缘线像素点i的所属区域概率为前景概率时对应的E_d(l_i)为0；待检测轮廓区域内边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i为前景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为0；待检测轮廓区域内部像素点i的所属区域概率l_i为前景概率时，依据下述式(1)获得对应的E_d(l_i)；待检测轮廓区域内部像素点i的所属区域概率l_i为背景概率时，依据下述式(2)获得对应的E_d(l_i)；

$E_d\left(l_i\right)=\frac{d_f\left(x_i\right)}{d_b\left(x_i\right)+d_f\left(x_i\right)}$       式(1)；

$E_d\left(l_i\right)=\frac{d_b\left(x_i\right)}{d_b\left(x_i\right)+d_f\left(x_i\right)}$        式(2)；

其中：d_f(x_i)＝-ln(P_f(x))，P_f(x)为待检测轮廓区域内部像素点i的前景概率；d_b(x)＝-ln(P_b(x))，P_b(x)为待检测轮廓区域内部像素点i的背景概率；

所述E_s(l_i,l_j)为平滑项，(i,j)∈ε表示像素点j为像素点i的相邻像素点，且平滑项依据 $E_s(l_i,l_j)=|l_i-l_j|\×\frac{\mathrm{\ϵ}+e^{-{\mathrm{\β}\left|\right|x_i-x_j\left|\right|}^2}}{1+\mathrm{\ϵ}}$ 获得；其中，ε为预设常数，e为自然对数函数的底数，β为预设调整系数，||x_i-x_j||²为范数，表征像素点i与像素点j的相似度，可以用欧式距离算法计算获得，x_i为像素点i的像素值，x_j为像素点j的像素值；

所述E_m(l_i)为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预设阈值时对应的E_m(l_i)为1，否则，E_m(l_i)为0。

所述λ及η为预设系数。

需要说明的是，在上述能量方程中，数据项用于表示该待检测轮廓区域的各个像素点的前景概率及背景概率，其中，该待检测区域的各个像素点分为三个部分，外轮廓线上的像素点为背景像素点、内轮廓线上的像素点为前景像素点，该轮廓区域内的像素点为未知像素点，依据所述三个区域像素点的像素值的背景概率及前景概率获得该数据项。可见，该数据项考虑了像素点的颜色信息。

同时，平滑项体现了相邻像素点像素值之间的平滑性能量，平滑性能量与对应像素点的颜色差有关，相邻像素点的像素值越大，则平滑性能量越小，处于图像边缘的可能性越大，该项使分割的边界尽量与强图像边缘对齐。由于，前景与背景之间具有较强的图像边缘，因此，沿图像边缘分割，可以提高图像抠取的精准度。

另外，运动项是利用前后两帧图像中对应像素点的亮度差值获得，从而考虑了图像中人物的运动信息，进一步提供了抠图准确性。

下文对本发明实施例提供的视频抠图装置进行介绍，需要说明的是，有关视频抠图装置的说明可参照上文描述的视频抠图方法，不做赘述。

参见图5，其示出了本发明实施例提供的视频抠图装置的结构，具体包括：

帧图像获取单元100，用于获取视频流的当前帧图像；

轮廓区域确定单元200，用于以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域；

能量方程构建单元300，用于依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程；

二值标记获得单元400，用于利用graph-cut(图分割)算法求解所述能量方程的最小值，以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域中各个像素点一一对应；

人物区域提取单元500，用于依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。

由以上技术方案可知，本发明实施例提供的视频抠图装置，首先利用预设人体轮廓模型确定出待检测轮廓区域，进而在该轮廓区域中进行分割检测，避免对整帧图像的处理，提供了抠图效率，实时性较好，可以更好地应用于移动终端中的视频通话场景中。而且，在现有技术中，一些抠图技术需要用户在图像进行区域划分，而本发明可以实现自动依据预设的模板对待检测区域的确定，减少了用户的参与；或者，某些抠图技术需要预先利用视频流中的前几帧图像进行训练，以确定待检测区域，本发明并不需要预先训练过程，抠图实时性更好。

同时，在对该待检测轮廓区域分割检测时，考虑了视频流图像的人物活动状态，由于人物活动会导致前后两帧图像中对应像素点的亮度值产生变化，因此体现在本方案中，即构建的能量方程中利用了当前帧图像中像素点与上一帧图像像素点的亮度值差值，从而使构建的能量方程更精确地体现视频图像中的人物区域特征，抠图更加精确。

可选地，所述轮廓区域确定单元200包括：

间距值获取子单元，用于获取预设人体轮廓模型中左眼右眼间距值E₁E₂、左眼嘴巴间距值E₁M₁、右眼嘴巴间距值E₂M₁，并获取所述当前帧图像中左眼右眼间距值E_lE_r、左眼嘴巴间距值E_lM、右眼嘴巴间距值E_rM；

缩放系数确定子单元，用于将及中的最大值确定为模型缩放系数；

轮廓区域确定子单元，用于依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。

可选地，参见图6，所述能量方程构建单元300包括：

数据项确定子单元301，用于依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述所属区域概率包括前景概率及背景概率；

平滑项确定子单元302，用于依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方程的平滑项；

运动项确定子单元303，用于依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定能量方程的运动项；

方程构建子单元304，用于由所述数据项、平滑项及运动项，构建能量方程。

可选地，上述各个装置实施例中构建的所述能量方程为：

$E\left(\mathrm{\Ω}\right)=\underset{i}{\mathrm{\Σ}}{E}_d\left(l_i\right)+\mathrm{\λ}\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_s(l_i,l_j)+\mathrm{\η}\underset{i}{\mathrm{\Σ}}{E}_m\left(l_i\right);$ 其中：

所述E_d(l_i)为数据项；l_i为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓区域内边缘线像素点i的所属区域概率为前景概率时对应的E_d(l_i)为0；待检测轮廓区域内边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i为前景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为0；待检测轮廓区域内部像素点i的所属区域概率l_i为前景概率时，依据获得对应的E_d(l_i)；待检测轮廓区域内部像素点i的所属区域概率l_i为背景概率时，依据获得对应的E_d(l_i)；其中：d_f(x_i)＝-ln(P_f(x))，P_f(x)为待检测轮廓区域内部像素点i的前景概率；d_b(x)＝-ln(P_b(x))，P_b(x)为待检测轮廓区域内部像素点i的背景概率；

所述E_s(l_i,l_j)为平滑项；(i,j)∈ε表示像素点j为像素点i的相邻像素点，且平滑项依据 $E_s(l_i,l_j)=|l_i-l_j|\×\frac{\mathrm{\ϵ}+e^{-{\mathrm{\β}\left|\right|x_i-x_j\left|\right|}^2}}{1+\mathrm{\ϵ}}$ 获得；其中，ε为预设常数，e为自然对数函数的底数，β为预设调整系数，||x_i-x_j||²为范数，表征像素点i与像素点j的相似度，x_i为像素点i的像素值，x_j为像素点j的像素值；

所述E_m(l_i)为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预设阈值时对应的E_m(l_i)为1，否则，E_m(l_i)为0。

所述λ及η为预设系数。

可选地，所述数据项确定子单元包括：

种子像素点确定子单元，用于将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点；

概率模型构建子单元，用于利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型；

所属区域概率获取子单元，用于依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率；

数据项获得子单元，用于依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频抠图方法，其特征在于，包括：

获取视频流的当前帧图像；

以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域；

依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程；

利用graph-cut(图分割)算法求解所述能量方程的最小值，以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域中各个像素点一一对应；

依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。

2.根据权利要求1所述的方法，其特征在于，所述以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域，包括：

获取预设人体轮廓模型中左眼右眼间距值E₁E₂、左眼嘴巴间距值E₁M₁、右眼嘴巴间距值E₂M₁，并获取所述当前帧图像中左眼右眼间距值E_lE_r、左眼嘴巴间距值E_lM、右眼嘴巴间距值E_rM；

将及中的最大值确定为模型缩放系数；

依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。

3.根据权利要求1所述的方法，其特征在于，所述依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程，包括：

依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述所属区域概率包括前景概率及背景概率；

依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方程的平滑项；

依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定能量方程的运动项；

由所述数据项、平滑项及运动项，构建能量方程。

4.根据权利要求1或3所述的方法，其特征在于，所述构建的能量方程为：

$E\left(\mathrm{\Ω}\right)=\underset{i}{\mathrm{\Σ}}{E}_d\left(l_i\right)+\mathrm{\λ}\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_s(l_i,l_j)+\mathrm{\η}\underset{i}{\mathrm{\Σ}}{E}_m\left(l_i\right);$ 其中：

所述E_d(l_i)为数据项；l_i为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓区域内边缘线像素点i的所属区域概率为前景概率时对应的E_d(l_i)为0；待检测轮廓区域内边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i为前景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为0；待检测轮廓区域内部像素点i的所属区域概率l_i为前景概率时，依据获得对应的E_d(l_i)；待检测轮廓区域内部像素点i的所属区域概率l_i为背景概率时，依据获得对应的E_d(l_i)；其中：d_f(x_i)＝-ln(P_f(x))，P_f(x)为待检测轮廓区域内部像素点i的前景概率；d_b(x)＝-ln(P_b(x))，P_b(x)为待检测轮廓区域内部像素点i的背景概率；

所述E_s(l_i,l_j)为平滑项；(i,j)∈ε表示像素点j为像素点i的相邻像素点，且平滑项依据 $E_s(l_i,l_j)=|l_i-l_j|\×\frac{\mathrm{\ϵ}+e^{-{\mathrm{\β}\left|\right|x_i-x_j\left|\right|}^2}}{1+\mathrm{\ϵ}}$ 获得；其中，ε为预设常数，e为自然对数函数的底数，β为预设调整系数，||x_i-x_j||²为范数，表征像素点i与像素点j的相似度，x_i为像素点i的像素值，x_j为像素点j的像素值；

所述E_m(l_i)为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预设阈值时对应的E_m(l_i)为1，否则，E_m(l_i)为0；

所述λ及η为预设系数。

5.根据权利要求3所述的方法，其特征在于，所述依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项，包括：

将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点；

利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型；

依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率；

依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。

6.一种视频抠图装置，其特征在于，包括：

帧图像获取单元，用于获取视频流的当前帧图像；

轮廓区域确定单元，用于以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域；

能量方程构建单元，用于依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程；

二值标记获得单元，用于利用graph-cut(图分割)算法求解所述能量方程的最小值，以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域中各个像素点一一对应；

人物区域提取单元，用于依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。

7.根据权利要求6所述的装置，其特征在于，所述轮廓区域确定单元包括：

间距值获取子单元，用于获取预设人体轮廓模型中左眼右眼间距值E₁E₂、左眼嘴巴间距值E₁M₁、右眼嘴巴间距值E₂M₁，并获取所述当前帧图像中左眼右眼间距值E_lE_r、左眼嘴巴间距值E_lM、右眼嘴巴间距值E_rM；

缩放系数确定子单元，用于将及中的最大值确定为模型缩放系数；

轮廓区域确定子单元，用于依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。

8.根据权利要求6所述的装置，其特征在于，所述能量方程构建单元包括：

数据项确定子单元，用于依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述所属区域概率包括前景概率及背景概率；

平滑项确定子单元，用于依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方程的平滑项；

运动项确定子单元，用于依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定能量方程的运动项；

方程构建子单元，用于由所述数据项、平滑项及运动项，构建能量方程。

9.根据权利要求6或8所述的装置，其特征在于，所述构建的能量方程为：

$E\left(\mathrm{\Ω}\right)=\underset{i}{\mathrm{\Σ}}{E}_d\left(l_i\right)+\mathrm{\λ}\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{E}_s(l_i,l_j)+\mathrm{\η}\underset{i}{\mathrm{\Σ}}{E}_m\left(l_i\right);$ 其中：

所述E_d(l_i)为数据项；l_i为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓区域内边缘线像素点i的所属区域概率为前景概率时对应的E_d(l_i)为0；待检测轮廓区域内边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i为前景概率时对应的E_d(l_i)为∞；待检测轮廓区域外边缘线像素点i的所属区域概率为背景概率时对应的E_d(l_i)为0；待检测轮廓区域内部像素点i的所属区域概率l_i为前景概率时，依据获得对应的E_d(l_i)；待检测轮廓区域内部像素点i的所属区域概率l_i为背景概率时，依据获得对应的E_d(l_i)；其中：d_f(x_i)＝-ln(P_f(x))，P_f(x)为待检测轮廓区域内部像素点i的前景概率；d_b(x)＝-ln(P_b(x))，P_b(x)为待检测轮廓区域内部像素点i的背景概率；

所述E_s(l_i,l_j)为平滑项；(i,j)∈ε表示像素点j为像素点i的相邻像素点，且平滑项依据 $E_s(l_i,l_j)=|l_i-l_j|\×\frac{\mathrm{\ϵ}+e^{-{\mathrm{\β}\left|\right|x_i-x_j\left|\right|}^2}}{1+\mathrm{\ϵ}}$ 获得；其中，ε为预设常数，e为自然对数函数的底数，β为预设调整系数，||x_i-x_j||²为范数，表征像素点i与像素点j的相似度，x_i为像素点i的像素值，x_j为像素点j的像素值；

所述E_m(l_i)为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预设阈值时对应的E_m(l_i)为1，否则，E_m(l_i)为0；

所述λ及η为预设系数。

10.根据权利要求8所述的装置，其特征在于，所述数据项确定子单元包括：

种子像素点确定子单元，用于将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点；

概率模型构建子单元，用于利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型；

所属区域概率获取子单元，用于依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率；

数据项获得子单元，用于依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。