CN103473780A - 一种人像背景抠图的方法 - Google Patents

Abstract

本发明公开了一种人像背景抠图的方法，包括以下步骤：1)获得照片中人像的下巴位置，先对下巴以上的区域标记前景像素、背景像素、可能前景像素以及可能背景像素，再对下巴以下的区域标记前景像素、可能前景像素以及可能背景像素；2)根据整幅图像的像素标记，对图像进行分割，并沿着分割的边界自动生成初步Trimap图；3)从初步Trimap图中找到背景区域中属于前景的头发丝，并向头发区域探测属于背景的头发空隙，根据头发丝区域和头发空隙区域自动生成最终Trimap图；4)根据最终Trimap图计算出alpha图，将alpha图与新的背景进行合成，得到新的合成结果图。本发明方法可以自动批量处理图片，使最后的合成结果图中背景到前景的过渡更加平滑与真实。

Description

一种人像背景抠图的方法

技术领域

本发明涉及一种图像抠图方法，尤其是一种人像背景抠图的方法。属于图像处理领域。

背景技术

众所周知，图像抠图的研究已有二十多年的历史，所谓抠图，即精确地将一个对象的前景从背景中提取出来，具体可用下式表示:

I_z=α_zF_z+(1-α_z)B_z

其中，α_z为像素z的透明度:当α_z=0时，像素z为背景，当α_z=1时，像素z为前景;F_z为像素z的前景颜色值，B_z为像素z的背景颜色值，I_z前景颜色值和背景颜色值混合得到像素z本身的颜色值。尽管大多数像素是确定的前景或者背景，但是在前景与背景的过渡区域需要精确地估算α_z。

近十年来，研究人员提出一些经典的自然场景图像抠图算法，这里所谓自然场景图像是指前景与背景不明确的一般图像。因此，所有的这些方法都存在下面的问题:1)需要人工交互来指定全部或者部分前景和背景区域;2)由于自然图像背景的复杂性，前景边界抠图的微小错误，很容易被合成图的复杂背景所掩盖，尤其对于证件照来说，由于证件照的合成背景是纯色的，微小的抠图瑕疵，在合成图像中很容易被放大，因此对前景边界有更高的精度要求。

然而，每张图片都作前景与背景区域的手工标注，无法满足某些特定应用的需求。例如，在线证件照处理系统每天要处理的照片多达成千上万张。

由于图像抠图是一个欠约束问题，可有无穷多解，它的解很大程度上都依赖于用户的指导或者一些先验假设，很多抠图方法都需要一个Trimap图或者简单描绘几笔的scribble涂鸦图作为输入。

在基于trimap图的方法中，每一个像素根据提供的trimap输入都被标记为前景、背景或未知区域，前景区域和背景区域的像素可以用来预测未知区域像素的归属。Poisson抠图和Bayesian抠图就是两个重要的接受trimap图作为输入的抠图方法:a)Poisson抠图对公式(1)的两边分别求梯度，然后求解带狄利克雷边界条件的Poisson方程来计算出alpha图;b)Chuang等人提出的Bayesian抠图算法，利用局部区域的前景和背景像素分布来预测当前像素的alpha值，为了更好地提高抠图的质量，Wang等人优化了前景区域与背景区域的颜色采样。

为了减轻用户交互的负担，一些方法只要求用户输入几笔涂鸦(srcibble)来代替完整的trimap输入，Chen等人使用K近邻方法(KNN)来匹配全局的邻居像素，提出了一个简单而快速而又没有降低抠图质量的方法。

虽然基于Scribble的方法简化了用户的交互，但是，srcibble的位置和形状还是对抠图质量有着很大影响。更重要的是，再简单的交互，也无法进行批量图片处理。Levin等人提出了一个可以自动计算模糊抠图的方法，该方法使用一个自己适当定义的拉普拉斯矩阵，然而，该方法很难处理那些有复杂前景边界的图像。

综上所述，上述现有技术的缺点主要有以下两点:

1)严重依赖手工交互输入的Trimap图或者scribble作为输入，难以做到整个抠图过程的全自动处理，在需要经常处理大量照片时应用效率低下。

2)前景与背景的边界有虚化、模糊或过度不平滑的现象。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供一种人像背景抠图的方法，该方法可以自动批量处理图片，使最后的合成结果图中背景到前景的过渡更加平滑与真实。

本发明的目的可以通过采取如下技术方案达到:

一种人像背景抠图的方法，其特征在于包括以下步骤:

1)获得图片中人像的下巴位置，先对下巴以上的区域标记前景像素、背景像素、可能前景像素以及可能背景像素，再对下巴以下的区域标记前景像素、可能前景像素以及可能背景像素;

2)根据整幅图像的像素标记，采用Grabcut算法对图像进行分割，并沿着分割的边界自动生成初步Trimap图;

3)从初步Trimap图中采用canny算子找到背景区域中属于前景的头发丝，并向头发区域探测属于背景的头发空隙，根据头发丝区域和头发空隙区域自动生成最终Trimap图;

4)根据最终Trimap图计算出alpha图，将alpha图与新的背景进行合成，得到新的合成结果图。

作为一种优选方案，步骤1)所述图像的下巴位置的获得，具体如下:

调用OpenCV中已用Adaboost训练好的瀑布式级联分类器对图像进行模式匹配，检测到图像中的人脸的位置，进而检测到人脸中鼻子和嘴巴的位置，根据检测到的鼻子与嘴巴的距离以及嘴巴的位置确定下巴的位置。

作为一种优选方案，步骤1)所述对下巴以上的区域标记前景像素、背景像素、可能前景像素以及可能背景像素，具体如下:

首先，对下巴以上的区域执行k-means聚类，将下巴以上的区域分为背景类别、头发类别和皮肤类别;然后，在下巴以上的区域中，通过前景模板区域标记出前景像素以及通过皮肤检测得到的皮肤区域标记出可能前景像素，且背景类别的像素和头发类别的像素分别标记为背景像素和可能前景像素，剩余的像素标记为可能背景像素。

作为一种优选方案，步骤1)所述对下巴以下的区域标记前景像素、可能前景像素以及可能背景像素，具体如下:

在下巴以下的区域中，通过前景模板区域标记出前景像素以及通过皮肤检测得到的皮肤区域标记出可能前景像素;对于下巴以下的区域中的每一列像素，找到该列像素中颜色值与背景类别的颜色均值相差大于给定阈值或梯度值大于给定阈值的像素，在该像素以下的所有像素标记为可能前景像素，而以上的所有像素则标记为可能背景像素。

作为一种优选方案，所述通过皮肤检测得到的皮肤区域，具体如下:

在图像中找到两只眼睛的位置，取两只眼睛中点位置的一个21*21的矩形区域作为采样计算脸部皮肤模型，在Lab颜色空间中计算模型的平均值U=(U_R，U_G，U_B)，并设定一个阈值T，采用下式计算一个像素C(x，y)是否属于皮肤像素，S_M(x，y)值为1时C(x，y)为皮肤像素，进而得到皮肤区域S_M:

$S_M(x,y)=\left\{\begin{array}{cc}1,& {\left|\right|C(x,y)-U\left|\right|}_{\&infin;}<T\\ 0,& {\left|\right|C(x,y)-U\left|\right|}_{\&infin;}\&GreaterEqual;T\end{array}\right.$

在得到的皮肤区域S_M上执行一个先膨胀后腐蚀的操作，进而得到一个具有较大连通面积的皮肤区域S_M'。

作为一种优选方案，所述前景模板区域为采用50～200张图片的前景区域重叠而成所得到的一个最小公共前景区域。

作为一种优选方案，步骤2)所述沿着分割的边界自动生成初步Trimap图，具体如下:

沿着分割边界得到一条分割线，对分割线进行左右扩充:根据分割后的图像，将标记的前景像素和可能前景像素作为前景像素，将标记的背景像素和可能背景像素作为背景像素，得到一个二值图，并对该二值图做一个模糊，在经过模糊的图像中，找出变化程度大于给定梯度阈值的区域，即得到初步Trimap图。

作为一种优选方案，步骤3)所述采用canny算子找到背景区域中属于前景的头发丝，具体如下:

采用canny双阈值检测算法，给定一个较大阈值和一个较小阈值，将较小阈值检测的图像对较大阈值检测的图像进行补充，从而连接图像边缘，得到头发丝区域。

作为一种优选方案，步骤3)所述向头发区域探测属于背景的头发空隙，具体如下:

先计算下巴以上区域中背景像素的平均颜色HSV(H_B，S_B，V_B)，再计算头发区域中每个像素的颜色HSV与HSV颜色空间的背景颜色均值之差，当头发区域中某一像素的颜色接近于背景颜色均值，就把该像素标记为未知像素，即对于头发区域中的每一个像素满足以下判断条件的，都设为未知像素:

$\min \left(\right|H-H_B|,1-|H-H_B\left|\right)<4T_H(1+\frac{1}{2}(1-S_B)),$

|S-S_B|＜T_S，

|V-V_B|＜T_V;

其中，T_H、T_S、T_V为设置的阈值，T_H=0.3，T_S=0.2，T_V＝0.4;

然后，在距离图上执行一个高斯滤波，若某一像素的颜色与背景颜色均值的差小于给定的阈值，就把这个像素标记为背景像素;再重新遍历头发区域中像素，若存在某一像素的21*21的邻域内至少有一个像素标记为背景像素，则所述的某一像素被当作一个未知像素。

作为一种优选方案，步骤4)所述根据最终Trimap图计算出alpha图，具体如下:

对最终Trimap图采用Bayesian抠图算法，加入对alpha值的平滑约束，计算得到alpha图:

a)采用Bayesian抠图算法，通过Bayesian公式求得每个未知像素C的前景F值和前景B值作为初始值:

ε_ORG(i)=lnP(F_i，B_i，α_i|C_i)≈lnP(C_i|F_i，B_i，α_i)+lnP(F_i)+lnP(B_i)

其中，i≥0;

b)当满足似然度阈值或者达到规定迭代次数，跳到步骤e);

c)将步骤a)得到的前景F值和前景B值代入加入如下所示平滑约束的Bayesian公式，求得每个像素的透明度α的值:

ε_IMP=ε_ORG+λε_ALP

式中:

${\mathrm{\&epsiv;}}_{\mathrm{ORG}}=\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{ORG}}\left(i\right),$ ${\mathrm{\&epsiv;}}_{\mathrm{ALP}}=\underset{i-1}{\overset{N+M-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{ALP}}\left(i\right),$ 而ε_ALP(i)=lnP(α_i)=-w_i(Δα_i)²，

i_j是第i个像素的八个相邻的像素，w_i为用来控制alpha过渡形状的权重;

d)将步骤c)得到的α代入步骤a)的Bayesian公式中，求得前景F值和前景B值;

e)完成计算。

本发明相对于现有技术具有如下的有益效果:

1、本发明方法提出了一个全自动处理图片抠图的框架，主要针对于人像(尤其是证件照的人像)的背景自动替换，免去了手工交互操作，在需要大批量图片处理的应用中具有很好的效果，可达到86%以上的正确率。

2、本发明方法在原有的Bayesian抠图的基础上加入了对alpha值的平滑约束，使得最后合成的结果图里背景到前景的过渡更加平滑与真实，解决了过渡区域的锯齿和马赛克现象。

附图说明

图1为本发明方法的流程示意图。

图2a-2c分别为本发明方法经过皮肤检测得到的皮肤区域示意图、皮肤区域膨胀后的示意图以及皮肤区域腐蚀后的示意图。

图3为本发明方法根据前景像素、背景像素、可能前景像素以及可能背景像素得到的mask图。

图4a-4c分别为本发明方法对于分割后的图像得到的二值图、该二值图模糊后的示意图以及生成的初步Trimap图。

图5为本发明方法对初步Trimap图通过canny算子找到的背景区域中的边缘成分示意图。

图6为本发明方法生成的最终Trimap图。

图7为本发明方法中alpha值从背景到前景的过渡曲线图。

具体实施方式

实施例1:

如图1所示，本实施例的人像背景抠图的方法以证件照的人像为例，包括以下步骤:

1)获得照片中人像的下巴位置

1.1)调用OpenCV中已用AdabooSt训练好的瀑布式级联分类器对图像进行模式匹配，检测到图像中的人脸的位置，进而检测到人脸中鼻子和嘴巴的位置;

1.2)一般情况下，鼻子到嘴巴的距离与嘴巴到下巴的距离近似，计算鼻子与嘴巴之间的距离，根据鼻子与嘴巴之间的距离以及嘴巴的位置确定下巴的位置;

2)对下巴以上的区域进行像素标记

2.1)由于衣服的颜色很复杂，很容易混淆背景和头发区域，于是对下巴以上的区域执行k-means聚类，将下巴以上的区域分为背景类别、头发类别和皮肤类别;

2.2)皮肤检测:在图像中找到两只眼睛的位置，取两只眼睛中点位置的一个21*21的矩形区域作为采样计算脸部皮肤模型;在Lab颜色空间中计算模型的平均值U=(U_R，U_G，U_B)，并设定一个阈值T，采用下式计算一个像素C(x，y)是否属于皮肤像素，S_M(x，y)值为1时C(x，y)为皮肤像素，进而得到皮肤区域S_M，如图2a所示:

$S_M(x,y)=\left\{\begin{array}{cc}1,& {\left|\right|C(x,y)-U\left|\right|}_{\&infin;}<T\\ 0,& {\left|\right|C(x,y)-U\left|\right|}_{\&infin;}\&GreaterEqual;T\end{array}\right.$

在得到的皮肤区域S_M上先进行膨胀，如图2b所示;再进行腐蚀的操作，进而得到一个具有较大连通面积的皮肤区域S_M'，如图2c所示。

2.3)在下巴以上的区域中，通过前景模板区域(该前景模板区域为采用50～200张图片的前景区域重叠而成所得到的一个最小公共前景区域)标记出前景像素以及通过皮肤检测得到的皮肤区域标记出可能前景像素，且背景类别的像素和头发类别的像素分别标记为背景像素和可能前景像素，剩余的像素标记为可能背景像素;

3)对下巴以下的区域进行像素标记

在下巴以下的区域中，通过前景模板区域标记出前景像素以及通过皮肤检测得到的皮肤区域标记出可能前景像素;对于下巴以下的区域中的每一列像素，找到该列像素中颜色值与背景类别的颜色均值相差大于给定阈值或梯度值大于给定阈值的像素，在该像素以下的所有像素标记为可能前景像素，而以上的所有像素则标记为可能背景像素;

4)自动生成初步Trimap图

5.1)根据整幅图像的像素标记(即下巴以上的区域的像素标记和下巴以下的区域的像素标记)，得到划分前景像素、背景像素、可能前景像素以及可能背景像素四个区域的mask图，如图3所示;采用Grabcut算法对图像进行分割，得到的图像仍然是具有前景像素、背景像素、可能前景像素以及可能背景像素的四值图;

5.2)沿着图像的分割边界得到一条分割线，对分割线进行左右扩充:根据分割后的图像，将标记的前景像素和可能前景像素作为前景像素，将标记的背景像素和可能背景像素作为背景像素，得到一个二值图，如图4a所示;并对该二值图做一个模糊，如图4b所示;在经过模糊的图像中，找出变化程度大于给定梯度阈值的区域，即得到初步Trimap图，如图4c所示;

6)自动生成最终Trimap图

6.1)找到背景区域中属于前景的头发丝

由于证件照的背景非常的单一，于是散落在背景中的头发丝就成为了背景中唯一具有边缘的部分，因此采用canny边缘算子从初步Trimap图中找寻背景中的边缘成分，即可找到背景区域中的头发丝;由于canny单阈值算法处理时，合适的阈值选择较困难，常常需要采用反复试验，在此采用canny双阈值检测算法，给定一个较大阈值和一个较小阈值，将较小阈值检测的图像对较大阈值检测的图像进行补充，从而连接图像边缘，得到头发丝区域，如图5所示;

6.2)探测前景区域中属于背景的头发空隙

6.2.1)在分割之后，大部分的头发区域都被分为前景区域，而这个区域通常会包含部分的背景像素，HSV颜色空间中采用一个颜色阈值的方法找到这些背景像素，然后将这些像素设为计算区域;先计算下巴以上区域中背景像素的平均颜色HSV(H_B，S_B，V_B)，再计算头发区域中每个像素的颜色HSV与HSV颜色空间的背景颜色均值之差，当头发区域中某一像素的颜色接近于背景颜色均值，就把该像素标记为未知像素，即对于头发区域中的每一个像素满足以下判断条件的，都设为未知像素:

$\begin{array}{c}\min \left(\right|H-H_B|,1-|H-H_B\left|\right)<4T_H(1+\frac{1}{2}(1-S_B)),\\ |S-S_B|<T_S,\\ |V-V_B|<T_V;\end{array}---\left(2\right)$

其中，T_H、T_S、T_V为设置的阈值，T_H=0.3，T_S=0.2，T_V＝0.4;

6.2.2)在距离图上执行一个高斯滤波，若某一像素的颜色与背景颜色均值的差小于给定的阈值，就把这个像素标记为背景像素，即为头发空隙;再重新遍历头发区域中像素，若存在某一像素的21*21的邻域内至少有一个像素标记为背景像素，则所述的某一像素被当作一个未知像素;

6.3)根据得到的头发丝区域和得到的头发空隙区域，自动生成最终Trimap图，如图6所示;

7)合成新的结果图

关于Bayesian(贝叶斯)算法，该算法对于Trimap图中每个未知像素C的前景F、背景B和透明度α，如下式所示:

C=α*F+(1-α)*B   (3)

Bayesian算法是最大化Bayesian公式:

P(F_i，B_i，α_i|C_i)≈P(C_i|F_i，B_i，α_i)P(F_i)P(B_i)P(αi)

ε_ORG(i)=lnP(F_i，B_i，α_i|C_i)≈lnP(C_i|F_i，B_i，α_i)+lnP(F_i)+lnP(Bi)   (4)

其中，

lnP(C_i|F_i，B_i，α_i)=-||C_i-α_iF_i-(1-α_i)B_i||，

$\ln P\left(F_i\right)=-\frac{1}{2}(F_i-{\stackrel{\&OverBar;}{F}}_i){\mathrm{\&Sigma;}}_{F_i}^{-1}{(F_i-{\stackrel{\&OverBar;}{F}}_i)}^T,$

$\ln P\left(B_i\right)=-\frac{1}{2}(B_i-{\stackrel{\&OverBar;}{B}}_i){\mathrm{\&Sigma;}}_{B_i}^{-1}{(B_i-{\stackrel{\&OverBar;}{B}}_i)}^T$

分别表示每个未知像素规定的邻域内前景像素的平均值和背景像素的平均值，

分别表示该邻域内聚类的协方差矩阵的逆矩阵;i≥0;

最大化式(4)即解以下方程:

$\left(\begin{array}{cc}{\mathrm{\&sigma;}}_{C_i}^2{\mathrm{\&Sigma;}}_{F_i}^{-1}+I{\mathrm{\&alpha;}}_i^2& I{\mathrm{\&alpha;}}_i(1-{\mathrm{\&alpha;}}_i)\\ I{\mathrm{\&alpha;}}_i(1-{\mathrm{\&alpha;}}_i)& {\mathrm{\&sigma;}}_{C_i}^2{\mathrm{\&Sigma;}}_{B_i}^{-1}+I{(1-{\mathrm{\&alpha;}}_i)}^2\end{array}\right)\left(\begin{array}{c}{F}_i\\ B_i\end{array}\right)=\left(\begin{array}{c}{\mathrm{\&sigma;}}_{C_i}^2{\mathrm{\&Sigma;}}_{F_i}^{-1}{\stackrel{\&OverBar;}{F}}_i+C_i{\mathrm{\&alpha;}}_i\\ {\mathrm{\&sigma;}}_{C_i}^2{\mathrm{\&Sigma;}}_{B_i}^{-1}{\stackrel{\&OverBar;}{B}}_i+C_i(1-{\mathrm{\&alpha;}}_i)\end{array}\right)---\left(5\right)$

求出F_i和B_i，然后求解α：

${\mathrm{\&alpha;}}_i=\frac{1}{{\left|\right|F_i-B_i\left|\right|}^2}(C_i-B_i)(F_i-B_i)---\left(6\right)$

在自然图像中，从背景区域到前景区域的过渡通常是非常平滑的，

本实施例中以原Bayesian抠图算法的基础，加入对alpha值的平滑约束ε_ALP(i)=lnP(α_i)=-w_i(Δα_i)²，而

i_j是第i个像素的八个相邻的像素;w_i为用来控制alpha过渡形状的权重;所以式(4)的变成了下式:

ε_IMP=ε_ORG+λε_ALP   (7)

${\mathrm{\&epsiv;}}_{\mathrm{ORG}}=\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{ORG}}\left(i\right)$ 为原来Bayesian公式;

${\mathrm{\&epsiv;}}_{\mathrm{ALP}}=\underset{i=0}{\overset{N+M-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{ALP}}\left(i\right)$ 为平滑项。

然而，使alpha值尽量和谐只能保证它过渡的平滑，而不能解决边缘过渡的模糊现象，通过观察大量图片发现，在背景边缘与前景边缘的过渡通常是很小的，而在两个区域之间则存在着一个alpha值的巨变。于是，绘出alpha值从背景区域到前景区域的剖面过渡，如图7所示的靠近a轴的曲线，该曲线显示出，从背景区域到前景区域，alpha的拉普拉斯算子是以按照以下速度变化的:小，大，小，大，小。

在λ=2000，

时，d_i为第i个像素到已知区域的最小距离，σ_w=2。N为未知像素的个数，M为与未知像素相邻的已知像素的个数。

对最终Trimap图进行处理，计算得到alpha图，如下:

7.1)采用式(5)求得每个未知像素C的前景F值和前景B值作为初始值;

7.2)当满足似然度阈值或者达到规定迭代次数，跳到步骤7.5);

7.3)将步骤7.1)得到的前景F值和前景B值代入式(7)，求得每个像素的透明度α的值:

7.4)将步骤7.3)得到的α代入式(5)中，求得前景F值和前景B值;

7.5)完成计算。

将上述步骤7.1)～步骤7.5)计算得到的alpha图和新的背景进行合成，得到新的结果图，最后合成的结果图里背景到前景的过渡更加平滑与真实，解决了传统抠图技术出现的过渡区域的锯齿和马赛克现象。

以上所述，仅为本发明专利可选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种人像背景抠图的方法，其特征在于包括以下步骤:

1)获得图片中人像的下巴位置，先对下巴以上的区域标记前景像素、背景像素、可能前景像素以及可能背景像素，再对下巴以下的区域标记前景像素、可能前景像素以及可能背景像素;

2)根据整幅图像的像素标记，采用Grabcut算法对图像进行分割，并沿着分割的边界自动生成初步Trimap图;

3)从初步Trimap图中采用canny算子找到背景区域中属于前景的头发丝，并向头发区域探测属于背景的头发空隙，根据头发丝区域和头发空隙区域自动生成最终Trimap图;

4)根据最终Trimap图计算出alpha图，将alpha图与新的背景进行合成，得到新的合成结果图。

2.根据权利要求1所述的一种人像背景抠图的方法，其特征在于:步骤1)所述图像的下巴位置的获得，具体如下:

调用OpenCV中已用Adaboost训练好的瀑布式级联分类器对图像进行模式匹配，检测到图像中的人脸的位置，进而检测到人脸中鼻子和嘴巴的位置，根据检测到的鼻子与嘴巴的距离以及嘴巴的位置确定下巴的位置。

3.根据权利要求1所述的一种人像背景抠图的方法，其特征在于:步骤1)所述对下巴以上的区域标记前景像素、背景像素、可能前景像素以及可能背景像素，具体如下:

首先，对下巴以上的区域执行k-means聚类，将下巴以上的区域分为背景类别、头发类别和皮肤类别;然后，在下巴以上的区域中，通过前景模板区域标记出前景像素以及通过皮肤检测得到的皮肤区域标记出可能前景像素，且背景类别的像素和头发类别的像素分别标记为背景像素和可能前景像素，剩余的像素标记为可能背景像素。

4.根据权利要求3所述的一种人像背景抠图的方法，其特征在于:步骤1)所述对下巴以下的区域标记前景像素、可能前景像素以及可能背景像素，具体如下:

在下巴以下的区域中，通过前景模板区域标记出前景像素以及通过皮肤检测得到的皮肤区域标记出可能前景像素;对于下巴以下的区域中的每一列像素，找到该列像素中颜色值与背景类别的颜色均值相差大于给定阈值或梯度值大于给定阈值的像素，在该像素以下的所有像素标记为可能前景像素，而以上的所有像素则标记为可能背景像素。

5.根据权利要求3或4所述的一种人像背景抠图的方法，其特征在于:所述通过皮肤检测得到的皮肤区域，具体如下:

在图像中找到两只眼睛的位置，取两只眼睛中点位置的一个21*21的矩形区域作为采样计算脸部皮肤模型，在Lab颜色空间中计算模型的平均值U=(U_R，U_G，U_B)，并设定一个阈值T，采用下式计算一个像素C(x，y)是否属于皮肤像素，S_M(x，y)值为1时C(x，y)为皮肤像素，进而得到皮肤区域S_M:

$S_M(x,y)=\left\{\begin{array}{cc}1,& {\left|\right|C(x,y)-U\left|\right|}_{\&infin;}<T\\ 0,& {\left|\right|C(x,y)-U\left|\right|}_{\&infin;}\&GreaterEqual;T\end{array}\right.$

在得到的皮肤区域S_M上执行一个先膨胀后腐蚀的操作，进而得到一个具有较大连通面积的皮肤区域S_M'。

6.根据权利要求3或4所述的一种人像背景抠图的方法，其特征在于:所述前景模板区域为采用50～200张图片的前景区域重叠而成所得到的一个最小公共前景区域。

7.根据权利要求1所述的一种人像背景抠图的方法，其特征在于:步骤2)所述沿着分割的边界自动生成初步Trimap图，具体如下:

沿着分割边界得到一条分割线，对分割线进行左右扩充:根据分割后的图像，将标记的前景像素和可能前景像素作为前景像素，将标记的背景像素和可能背景像素作为背景像素，得到一个二值图，并对该二值图做一个模糊，在经过模糊的图像中，找出变化程度大于给定梯度阈值的区域，即得到初步Trimap图。

8.根据权利要求1所述的一种人像背景抠图的方法，其特征在于:步骤3)所述采用canny算子找到背景区域中属于前景的头发丝，具体如下:

采用canny双阈值检测算法，给定一个较大阈值和一个较小阈值，将较小阈值检测的图像对较大阈值检测的图像进行补充，从而连接图像边缘，得到头发丝区域。

9.根据权利要求1所述的一种人像背景抠图的方法，其特征在于:步骤3)所述向头发区域探测属于背景的头发空隙，具体如下:

先计算下巴以上区域中背景像素的平均颜色HSV(H_B，S_B，V_B)，再计算头发区域中每个像素的颜色HSV与HSV颜色空间的背景颜色均值之差，当头发区域中某一像素的颜色接近于背景颜色均值，就把该像素标记为未知像素，即对于头发区域中的每一个像素满足以下判断条件的，都设为未知像素:

$\min \left(\right|H-H_B|,1-|H-H_B\left|\right)<4T_H(1+\frac{1}{2}(1-S_B)),$

|S-S_B|＜T_S，

|V-V_B|＜T_V;

其中，T_H、T_S、T_V为设置的阈值，T_H=0.3，T_S=0.2，T_V＝0.4;

然后，在距离图上执行一个高斯滤波，若某一像素的颜色与背景颜色均值的差小于给定的阈值，就把这个像素标记为背景像素;再重新遍历头发区域中像素，若存在某一像素的21*21的邻域内至少有一个像素标记为背景像素，则所述的某一像素被当作一个未知像素。

10.根据权利要求1所述的一种人像背景抠图的方法，其特征在于:步骤4)所述根据最终Trimap图计算出alpha图，具体如下:

对最终Trimap图采用Bayesian抠图算法，加入对alpha值的平滑约束，计算得到alpha图:

a)采用Bayesian抠图算法，通过Bayesian公式求得每个未知像素C的前景F值和前景B值作为初始值:

ε_ORG(i)=lnP(F_i，B_i，α_i|C_i)≈lnP(C_i|F_i，B_i，α_i)+lnP(F_i)+lnP(B_i)

其中，i≥0;

b)当满足似然度阈值或者达到规定迭代次数，跳到步骤e);

c)将步骤a)得到的前景F值和前景B值代入加入如下所示平滑约束的Bayesian公式，求得每个像素的透明度α的值:

ε_IMP=ε_ORG+λε_ALP

式中:

${\mathrm{\&epsiv;}}_{\mathrm{ORG}}=\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{ORG}}\left(i\right),$ ${\mathrm{\&epsiv;}}_{\mathrm{ALP}}=\underset{i-1}{\overset{N+M-1}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{ALP}}\left(i\right),$ 而ε_ALP(i)=lnP(α_i)=-w_i(Δα_i)²，i_j是第i个像素的八个相邻的像素，w_i为用来控制alpha过渡形状的权重;

d)将步骤c)得到的α代入步骤a)的Bayesian公式中，求得前景F值和前景B值;

e)完成计算。

Images