CN102147852B - 检测头发区域的方法 - Google Patents

Abstract

本发明提供了一种检测头发区域的方法，所述方法包括：获得头部区域的置信度图像；以及对获得的上述置信度图像进行处理以检测头发区域。所述方法能够结合皮肤和头发颜色、频率、深度信息以检测头发区域，并利用全局最优化方法而非局部信息方法来从噪声背景中分割出整个头发区域。

Description

检测头发区域的方法

技术领域

本申请涉及一种新型头发区域检测方法，通过该方法可精确快速地检测头发区域。

背景技术

因为各式各样的发型、头发颜色和亮度，造成头发检测成为一个非常具有挑战性的研究主题。对于虚拟理发、虚拟人模型、虚拟形象等，头发检测是非常有用的技术。各大公司已经对头发区域检测研究了很多年。在美国专利US20070252997中，设计了一种具有发光装置和图像传感器以检测头发区域的设备。尽管该设备通过使用特别设计的发光装置解决了照度问题，但是它对皮肤颜色和清楚背景依赖程度很高。因此，该结果不是很稳定，并且应用也受到了限制。在美国专利US2008215038中，采用了2步法，首先在2D图像中定位大致的头发区域，然后在激光扫描的3D图像中检测精确的头发区域。激光扫描仪非常昂贵并且用户界面不友好。

在美国专利6711286中，将产生的RGB和色调颜色空间相结合以检测皮肤颜色和皮肤像素中的黄色的头发像素。该方法也会受到不稳定的颜色信息和背景区域的影响。

在现有技术中，主要存在两个问题，一个问题在于先前的专利太依赖于皮肤颜色和清楚的背景。皮肤颜色随着人、照度、相机和环境的不同而有很大变化；因此，所述检测头发区域的方法很不稳定，并且不能获得稳定而精确的结果。第二个问题在于上述专利基于局部信息，而用局部信息，不可能精确地确定像素是否属于头发区域。

发明内容

本发明提供了一种精确快速地检测头发区域的方法。该方法采用彩色相机(CCD/CMOS)和深度相机，并将彩色相机的图像和深度相机的图像对准。所述方法能够结合皮肤和头发颜色、频率、深度信息以检测头发区域，并利用全局最优化方法而非局部信息方法来从噪声背景中分割出整个头发区域。

根据本发明的一方面，提供了一种检测头发区域的方法，所述方法包括：获得头部区域的置信度图像；以及对获得的上述置信度图像进行处理以检测头发区域，其中，所述获得头部区域的置信度图像的步骤包括：对彩色图像的头部区域进行颜色分析以获得头发颜色置信度图像。

根据本发明的一方面，所述获得头部区域的置信度图像的步骤还包括：对与彩色图像的头部区域相应的灰度图像进行频率分析以获得头发频率置信度图像。

根据本发明的一方面，所述获得头部区域的置信度图像的步骤还包括：对与彩色图像的头部区域相应的深度图像进行前景分析以计算前景区域置信度图像。

根据本发明的一方面，所述获得头部区域的置信度图像的步骤包括：对彩色图像的头部区域进行颜色分析以获得非皮肤颜色置信度图像。

根据本发明的一方面，所述对获得的上述置信度图像进行处理以检测头发区域的步骤包括：基于为各个置信度图像分别设置的阈值，将各置信度图像中的像素值大于相应阈值的像素设置为1，否则将其设置为0；然后针对各置信度图像中的相应像素进行与操作，并将得到的像素值为1的区域确定为头发区域。

根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括：将各置信度图像的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加以计算各置信度图像的和图像的相应像素的像素值，然后基于预定阈值来确定和图像的相应像素是否属于头发区域。

根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括：根据获得的各置信度图像使用通用二值分类器来确定像素是否属于头发区域。

根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括：将各置信度图像的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加以计算各置信度图像的和图像的相应像素的像素值，然后基于预定阈值来确定和图像的相应像素是否属于头发区域。

根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括：对于获得各置信度图像使用全局最优化方法来确定像素是否属于头发区域。

根据本发明的一方面，所述全局最优化方法是图割方法，其中，利用图割方法来使下面的能量函数E(f)最小化，来将图像分割为头发区域和非头发区域：

E(f)＝E_data(f)+E_smooth(f)

其中，f表示所有像素的分类，所述类被划分为非头发像素类和头发像素类，E_data(f)表示把像素拉到所属类的外力产生的能量，E_smooth(f)表示相邻像素之间的平滑度的平滑度能量值。

根据本发明的一方面，在置信度图像数是m的情况下，图像的每个像素值具有与各置信度图像相应的m个置信度值；其中，如果在像素被标记为头发类的情况下，则该像素的数据能量为分别与m个置信度值相应的m个能量的加权和；否则为(m-m个能量的加权和)，其中，m大于等于2并且m小于等于4。

根据本发明的一方面，所述方法还包括：对彩色图像进行分割以获得彩色图像的头部区域。

根据本发明的一方面，根据彩色图像的头部区域的大小和位置来确定与彩色图像相应的深度图像的头部区域。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明：

图1是示出根据本发明的检测头发区域的方法的流程图；

图2A示出了输入的RGB彩色图像和脸部/眼睛检测区域；

图2B示出了彩色图像的头部区域；

图3A示出了深度图像的头部区域；

图3B示出了深度图像的头部区域的置信度图像；

图4A示出了头发颜色置信度图像；

图4B示出了非皮肤颜色置信度图像；

图5A示出带通滤波器的设计；

图5B示出了头发频率置信度图像；

图6示意性地示出图割方法；

图7示出检测的头发区域。

具体实施方式

图1是示出根据本发明的检测头发区域方法。该方法包括如下几个操作：根据图1所示的方法，在步骤S110，对RGB彩色图像进行分割以获得彩色图像的头部区域。在步骤S120，根据获得的彩色图像的头部区域的位置和大小，获得对应于彩色图像的深度图像中与彩色图像的头部区域相应的深度图像的头部区域。在步骤S130，对深度图像的头部区域进行前景分析以计算前景区域置信度图像D。在步骤S140，对彩色图像的头部区域进行颜色分析以获得头发颜色置信度图像H。在本发明的上述步骤中，步骤S120和S130都不是必要的，可根据实际需要而省略上述步骤。另外，在步骤S140中，除了通过颜色分析获得头发颜色的置信度图像H之外，还可根据需要而进行颜色分析以获得彩色图像的头部区域的非皮肤颜色置信度图像N。此外，根据本发明所述的方法，还可包括步骤S150，在该步骤中，对与彩色图像的头部区域相应的灰度图像进行频率分析以获得头发频率置信度图像F1。然后，在步骤S160，对获得的置信度图像进行求精操作以检测头发区域。这里，所获得的置信度图像是头发颜色置信度图像和头发频率置信度图像与前景区域置信度图像和非皮肤颜色置信度图像中的至少一个的结合。

在步骤S110，用脸部和眼睛检测方法，可精确定位头部区域。用脸部位置和大小来确定所述头部区域的位置和大小。

$\left\{\begin{array}{c}x=x0-\mathrm{\α}0*W0\\ y=y0-\mathrm{\α}1*W0\\ W=\mathrm{\α}2*W0\\ H=\mathrm{\α}3*W0\end{array}\right.$

其中，坐标(x，y)表示头部区域左上角位置，W和H表示头部区域的宽度和高度，(x0，y0)表示左眼中心的位置，w0表示左右眼中心之间的距离，a0至a3表示常数值，其中，通过在多个脸部图像中手工标注两眼中心和脸部区域，并根据标注结果来统计a0至a3的平均值。图2A示出了输入的彩色图像和脸部/眼睛检测区域，图2B示出了彩色图像的头部区域。在步骤S120，根据获得的彩色图像的头部区域的位置和大小，获得对应于彩色图像的深度图像中与彩色图像的头部区域相应的深度图像的头部区域。图3A示出了相应的深度图像的头部区域。

在步骤S130中，通过在线训练方法建立高斯模型来计算深度图像的头部区域的前景区域置信度图像D，在所述前景区域置信度图像D中，每个像素具有置信度值，这里，所述置信度值表示该像素是前景区域的概率值。

在这里，我们将对使用在线训练方法来建立高斯模型的方法简单地进行描述：首先，统计分割的深度图像中的深度的直方图，然后将直方图中大部分区域的深度信息作为粗略前景区域，根据粗略前景区域的深度，计算用高斯模型对前景区域的概率值进行建模的G(d，σ)中深度的均值d和方差σ，通过将每个像素的深度代入G(d，σ)，得到该像素在前景区域置信度图像D中的置信度，即：

D(x，y)＝G(d，σ)，

其中，D(x，y)表示在前景区域置信度图像中坐标为(x，y)的像素是前景区域的概率值，d和σ表示深度图像中前景区域的深度的均值和方差。用在线训练的高斯模型，可计算前景区域置信度图像D，其结果如图3B所示。

在步骤S140所示的颜色分析过程中，可通过为头发颜色建立高斯混合模型，而获得如图4A所示的头发颜色置信度图像H。另外，还可根据需要在该步骤中通过为皮肤颜色建立高斯混合模型，而获得如图4B所示的非皮肤颜色置信度图像N。头发颜色置信度图像H表示图像H中每个像素是头发颜色的概率值，非皮肤颜色置信度图像N表示所述图像N中每个像素不是皮肤颜色的概率值。

其中，头发颜色的高斯混合模型具体训练方法为：首先找一些人脸图像，并手工标注头发区域，将标注的头发区域的各个像素作为样本，将RGB值转为HSV值，然后利用其中的HS计算高斯混合模型的参数。另外，皮肤颜色的高斯混合模型具体训练方法为：找一些人脸图像，手工标注人脸中皮肤区域；将标注的皮肤区域的各个像素作为样本，将RGB值转为HSV值，利用其中的HS计算高斯混合模型的参数。而非皮肤颜色高斯混合模型具体训练方法为：首先训练皮肤颜色高斯混合模型，然后利用(1.0-皮肤颜色高斯混合模型)可以得到非皮肤颜色高斯混合模型。

其中，高斯混合模型的一般公式为：

$G\left(x\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i*g_i({\mathrm{\μ}}_i,{\mathrm{\σ}}_i,x),$

其中，M表示高斯混合模型中包含的单高斯模型的数目，g_i(μ_i，σ_i，x)表示一个单高斯模型，μ_i为均值，σ_i为方差，x表示色调值，w_i表示g_i(μ_i，σ_i，x)的权重。

步骤S150表示频率分析步骤。在频率空间，头发区域具有非常稳定的特征。在本发明的频率分析过程中，如图5A所示来设计带通滤波器以计算头发频率置信度图像F1。其中，带通滤波器的上限值(f_L)和下限值(f_U)通过离线训练得到。其训练方法如下所示：首先，采集头发区域图像，手工分割出头发区域，然后计算头发区域的频域图像，统计频域图像中头发区域的直方图H(f)以使得f_L和f_U满足如下所述的关系：和其中，上述两个式子分别表示只有5％的值小于f_L和只有5％的值大于f_U。在频率分析过程中，针对头发区域中的像素，建立头发频域值的高斯模型，其中，高斯模型的参数是离线训练得到的。然后对每个像素，计算其频域值，代入高斯模型得到概率值。在频率置信度图像F1中，每个像素值表示该像素是头发频率的概率值。然后得到如图5B所示的头发频率置信度图像F1。

步骤S160是求精步骤。在步骤S160中，将精确地确定哪个像素属于头发区域及哪个像素不属于头发区域。这里，有四种确定方法。

(1)阈值方法

在该方法中，为获得的各个置信度图像不同地设置阈值，将每个置信度图像中的像素分为两类：头发像素和非头发像素，也即，如果某置信度图像中的像素的概率值大于为该置信度图像设置的阈值，则将该头发像素确定为头发像素，其像素值用“1”表示；否则，将该像素确定为非头发像素，其像素值用“0”表示。然后在对各个置信度图像进行二值化后，针对各个置信度图像中相应像素进行与操作，并将进行与操作之后得到的像素值为1的区域确定为头发区域。

(2)分值结合方法

与阈值方法不同，在该方法中，计算前面所述的步骤中得到的各个置信度图像的加权的和图像。其与阈值方法的不同之处在于不同的置信度图像具有不同权值，然后将权值与相应置信度图像的(i，j)像素的置信度值相乘并将各个置信度图像的相乘结果相加来得到和图像的(i，j)像素是头发像素的概率值。这些权值表示其在分割头发区域的稳定性和性能。举例来说，对于获得了D、H、N和F1四个置信度图像的情况下，通过下述公式来获得(i，j)处的像素是头发像素的概率值：

s(i，j)＝W_n×n(i，j)+W_f×f(i，j)+W_h×h(i，j)+W_d×d(i，j)

其中，W_n、W_f、W_h和W_d分别表示置信度图像N、F1、H和D的权值，n(i，j)、f(i，j)、h(i，j)和d(i，j)分别表示置信度图像N、F1、H和D中的(i，j)像素是头发像素的概率值，而s(i，j)表示置信度图像N、F1、H和D的和图像中(i，j)像素是头发像素的概率值。

在获得了和图像的像素的概率值s(i，j)之后，将获得的s(i，j)与设置的阈值相比较，如果大于阈值就属于头发区域；否则，则不属于头发区域。

(3)通用二值分类器方法

在通用二值分类器方法中，像素(i，j)具有m(4≥m≥2)维特征，其中，m等于获得的置信度图像的个数，而(i，j)处像素的特征可根据获得的置信度图像的类型和个数而改变。例如，如果m＝4，则像素(i，j)具有[d(i，j)，n(i，j)，h(i，j)，f(i，j)]的特征，其中，d(i，j)、n(i，j)、h(i，j)和f(i，j)分别表示所获得的置信度图像D、N、H和F1中的(i，j)像素是头发像素的概率值。当然，如果获得的置信度图像是N、H和F1的情况下，像素(i，j)具有[n(i，j)，h(i，j)，f(i，j)]的特征，而如果获得的置信度图像是D、H和F1的情况下，像素(i，j)具有[d(i，j)，h(i，j)，f(i，j)]的特征。一些比如支持向量机(SVM)和线性鉴别分析(lineardiscriminativeanalysis，LDA)的通用二值分类器可被直接用于确定(i，j)像素是否是头发像素。

(4)全局最优化方法

前面的三种方法都是基于局部信息，只用局部信息，很难确定像素是否属于头发区域。全局最优化方法整合整个图像信息以实现全局最优化。图割(graphcut)、马尔科夫随机场(MarkovRandomField)、置信度传播(BeliefPropagation)是目前常用的全局最优化方法。在本发明中，采用如图6所示的图割方法。在图6的示意性示图中，各个顶点表示图像中的各个像素，F表示将该顶点拉到所属的类所需要的外力。在图7中，各相邻顶点之间示意性地用弹簧连接，其中，如果相邻像素属于同一类，他们之间的弹簧就处于松弛状态，没有附加能量；否则，弹簧被拉伸，额外附加一个能量。

在该方法中，建立了下面所示的全局能量函数E(f)：

E(f)＝E_data(f)+E_smooth(f)

其中，f表示所有像素的分类，所述类被划分为非头发像素类和头发像素类，E_data(f)表示把像素拉到所属类的外力产生的能量。E_smooth(f)表示相邻像素之间的平滑度的平滑度能量值。通过使用全局最优化方法，即使用一个置信度图像，也可精确地分割头发区域。

对于获得了m(4≥m≥2)置信度图像的情况，图像中每个像素都包含分别与获得的各个置信度图像中的相应像素相应的m个置信度值。具体来讲，如果某像素属于头发类，则其数据能量为分别与其m个置信度值相应的m个数据能量的加权和；否则为(m-m个数据能量的加权和)。

在本发明中，某置信度图像中的像素值越大，也就是说，该像素的概率值越大，则该像素属于头发区域所需要的能量越小。通过最优化能量函数，如图7所示，图像可被分割为两部分：头发区域和非头发区域。

通过使用根据本发明的方法，可精确快速地检测头发区域。通过使用头部区域分割过程，可从一个大图像中分割出头部区域。通过前景分析过程，可获得前景区域置信度图像。通过颜色分析过程，可获得非皮肤颜色置信度图像和头发颜色置信度图像。通过频率分析过程，可获得头发频率置信度图像。而求精过程通过使用置信度图像而能够更精确快速地分割头发区域。

Claims (10)

1.一种检测头发区域的方法，所述方法包括：

获得头部区域的置信度图像；以及

对获得的置信度图像进行处理以检测头发区域，

其中，所述获得头部区域的置信度图像的步骤包括：对彩色图像的头部区域进行颜色分析以获得头发颜色置信度图像；对与彩色图像的头部区域相应的灰度图像进行频率分析以获得头发频率置信度图像；对与彩色图像的头部区域相应的深度图像进行前景分析以计算前景区域置信度图像，

其中，在所述颜色分析的步骤中，通过为头发颜色建立高斯混合模型来获得头发颜色置信度图像，

其中，头发颜色置信度图像中的每个像素的像素值表示该像素是头发颜色的概率值，头发频率置信度图像中的每个像素的像素值表示该像素是头发频率的概率值，前景区域置信度图像中的每个像素的像素值表示该像素是前景区域的概率值。

2.如权利要求1所述的方法，其特征在于，所述获得头部区域的置信度图像的步骤包括：对彩色图像的头部区域进行颜色分析以获得非皮肤颜色置信度图像，其中，非皮肤颜色置信度图像中的每个像素的像素值表示该像素不是皮肤颜色的概率值。

3.如权利要求2所述的方法，其特征在于所述对获得的置信度图像进行处理以检测头发区域的步骤包括：基于为各个置信度图像分别设置的阈值，将各置信度图像中的像素值大于相应阈值的像素设置为1，否则将其设置为0；然后针对各置信度图像中的相应像素进行与操作，并将得到的像素值为1的区域确定为头发区域。

4.如权利要求2所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包括：将各置信度图像的各个像素的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加以计算各置信度图像的和图像的各个像素的像素值，然后基于预定阈值来确定和图像的各个像素是否属于头发区域。

5.如权利要求2所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包括：根据获得的各置信度图像使用通用二值分类器来确定像素是否属于头发区域。

6.如权利要求2所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包括：对于获得各置信度图像使用全局最优化方法来确定像素是否属于头发区域。

7.如权利要求6所述的方法，其特征在于：所述全局最优化方法是图割方法，其中，利用图割方法来使下面的能量函数E(f)最小化，来将图像分割为头发区域和非头发区域：

E(f)＝E_data(f)+E_smooth(f)

其中，f表示所有像素的分类，其特征在于：所述类被划分为非头发像素类和头发像素类，E_data(f)表示把像素拉到所属类的外力产生的能量，E_smooth(f)表示相邻像素之间的平滑度的平滑度能量值。

8.如权利要求7所述的方法，其特征在于：在置信度图像数是m的情况下，图像的每个像素值具有与各置信度图像相应的m个置信度值；其中，如果在像素被标记为头发类的情况下，则该像素的数据能量为分别与m个置信度值相应的m个能量的加权和；否则为(m-m个能量的加权和)，其中，m大于等于2并且m小于等于4。

9.如权利要求1所述的方法，其特征还在于所述方法还包括：对彩色图像进行分割以获得彩色图像的头部区域。

10.如权利要求9所述的方法，其特征在于根据彩色图像的头部区域的大小和位置来确定与彩色图像相应的深度图像的头部区域。