CN102567998A - 基于双模板匹配和边缘细化的头肩序列图像分割方法 - Google Patents

Abstract

本发明公开了一种基于双模板匹配和边缘细化的头肩序列图像分割方法，该方法按照以下步骤实施：步骤1，人脸位置的确定，考虑到人脸在颜色平面分布，采用贝叶斯风险决策决定人脸区域；步骤2，确定头肩区域，将头肩区域看成是两个矩形区域的组合，一个为头矩形，另一个为肩矩形，设定肩矩形宽度为头矩形宽度的3倍，采用两个矩形移动模板并以落入两个模板区域的比例作为匹配准则，从而最终确定头矩形；步骤3，边缘细化，采用Canny边缘检测算子就能够得到运动对象的精确轮廓。本发明的有益效果是，采用贝叶斯风险决策机制确定人脸位置，并采用双模板匹配算法进一步确定头肩区域，最后进行边缘的细化，该算法能够有效地对头肩序列进行分割。

Description

基于双模板匹配和边缘细化的头肩序列图像分割方法

技术领域

本发明属于图像压缩技术领域，涉及一种基于双模板匹配和边缘细化的头肩序列图像分割方法。

背景技术

头肩视频是在可视电话和视频会议应用中常见的典型的头肩像模型。其主要特点是：1)摄象头与背景的位置相对固定，背景在图像序列中静止不动；2)背景相对简单，不包含复杂纹理特征，且与前景物体之间有较明显的灰度差别；3)图像中只包含唯一的运动对象，或相互没有交叉重叠的多个主运动对象。主运动对象内可以包含小的子运动物体，如眼睛、嘴巴，见图1、图4，并且运动对象往往运动比较缓慢或只有局部的微小运动。

虽然目前针对头肩序列分割的研究不多，但由于头肩序列是视频电话、视频会议等视频应用场合的典型序列，同时头肩序列具有其特殊的特征和运动特点，所以对其进行分割方法的研究是十分有必要的。

目前，由于专门针对头肩序列进行的分割属于一种特定的应用，在实际应用中都是采用人为分割或半自动分割。Huitao Luo在2003年提出了一种基于模型的头肩序列分割算法，该算法至今都是在有关头肩分割文献中具有典型代表的算法。该算法包括两个过程：初始化过程和跟踪过程。初始化过程的目的是发现头肩前景目标和建立前景模型，它的逻辑过程如图2a所示，在初始阶段，背景模型被建立，当前景目标进入时，系统监测到模型的变换并分析前景的大小、速度和形状判断头肩前景的可能性；当正确的头肩前景被发现，前景模型被建立并进入到跟踪循环中。在跟踪过程中，如图2b所示，区域分割的主要步骤是像素分类、形态学滤波和斑点区域生长，每个斑点区域都使用Kalman滤波器来进行跟踪。

下面对该算法中的几个重要环节作以介绍：

背景模型和前景模型：头肩序列中的前景指的是头肩区域。定义每个像素的特征矢量(x，y，Y，U，V)，其中(x，y)表示像素坐标，Y，U，V分别表示像素的亮度、色度和饱和度。在典型的头肩序列中，假定镜头是静止的，并且背景不存在快速的变化。背景像素的色度分布在平面(U^*，V^*)中属于高斯分布，这里U^*＝U/(Y+c)，V^*＝V/(Y+c)(c是一个较小的常数)。定义背景像素的特征矢量的均值和方差分别为m₀和C₀。在分割过程中，模型参数m₀通过两步不断的更新。在发现前景对象时，建立前景模型，前景模型与背景模型是一样的。

建立形状模型：建立形状模型需要对形状进行特征进行量化并建立概率模型。形状的快速量化设计是为了满足实时性的要求，其过程是在垂直方向前景区域被分成N个条状区域，每个条状区域的水平中心和带宽之间的距离被测量形成了2N维数的特征矢量。根据上述量化算法，头肩形状集合Ω在整个形状集合中被看作是呈高斯分布。设其均值矢量为协方差矩阵为∑，给定形状矢量为

其条件概率函数为

$P\left(v\right|\mathrm{\Ω})=\frac{\exp (-\frac{1}{2}{v}^T{\mathrm{\Σ}}^{-1}v)}{{\left(2\mathrm{\π}\right)}^N\det {\left(\mathrm{\Σ}\right)}^{1/2}}---\left(1\right)$

其马氏距离为

$D={\tilde{v}}^T{\mathrm{\Σ}}^{-1}\tilde{v}$

均值

和方差∑通过一组形状数据得到。

像素分类与区域增长：

选择最大先验概率对像素进行分类。像素的特征矢量为y＝(x，y，U^*，V^*)，其对数形式的条件概率表示为

$\ln \left(p\left(\hat{y}\right|{\mathrm{\Ω}}_k)\right)=-{(\hat{y}-m_k)}^T{C}_k^{-1}(\hat{y}-m_k)-\ln \left(\det \left(C_k\right)\right)---\left(2\right)$

这里，(k＝0，1，2)，Ω_k代表像素属于k类的事件。基于贝叶斯准则，每个像素

$s(x,y)=\arg \underset{k}{\max }\left(\ln \left(p\left({\mathrm{\Ω}}_k\right|\hat{y})\right)\right)=\arg \underset{k}{\max }\left[\ln (p\left(\hat{y}\right|{\mathrm{\Ω}}_k)+\ln \left(p\left({\mathrm{\Ω}}_k\right)\right))\right]---\left(3\right)$

这里，ln(p(Ω_k))是从典型的头肩视频序列中估算的。被分类为前景对象的像素点采用形态学算子进行区域生长。

头肩模型的分割算法虽然能够有效的对头肩序列进行分割，但其存在一些弱点：该算法必需要有背景的先验知识；头肩区域的颜色有各种变化，头发、脸和衣服往往都具有不同的颜色，因此对于前景的建模，假定其特征矢量服从高斯分布却有其不合理性，因此，该方法不适合建立合理的头肩模型用于像素分类。

发明内容

本发明的目的是提供一种基于双模板匹配和边缘细化的头肩序列图像分割方法，解决了现有技术中的头肩模型的分割算法，不适合建立合理的头肩模型用于像素分类的问题。

本发明采用的技术方案是，一种基于双模板匹配和边缘细化的头肩序列图像分割方法，该方法按照以下步骤实施：

步骤1，人脸位置的确定

在C_r-C_b肤色平面内，人的肤色分布在一个相对集中的小区域内，且基本符合高斯分布，

考虑到人脸在颜色平面分布，采用贝叶斯风险决策决定人脸区域，R_i(X)是将C_r-C_b平面内一样点X分类为ω_i类的代价函数，P(ω_i|X)代表C_r-C_b平面内一点X来自ω_i类的后验概率，C₀₀和C₁₁分别是正确分类的代价权值，C₀₁和C₁₀分别是错误分类的代价权值，ω₀和ω₁分别表示非肤色类和肤色类，利用贝叶斯最小风险决策公式和贝叶斯公式，可得(4)和(5)式：

$\mathrm{\ρ}(X/{\mathrm{\ω}}_0)>\mathrm{\τ}\⇒X\∈{\mathrm{\ω}}_0---\left(4\right)$

$\mathrm{\&rho;}(X/{\mathrm{\&omega;}}_0)<\mathrm{\&tau;}\&DoubleRightArrow;X\&Element;{\mathrm{\&omega;}}_1---\left(5\right)$

式中的

将其中的

作为是固定值，将其中的作为是调节值，ρ(X/ω₁)作为是固定值，τ是可调节的阈值；

步骤2，确定头肩区域

将头肩区域看成是两个矩形区域的组合，一个为头矩形，另一个为肩矩形，设定肩矩形宽度为头矩形宽度的3倍，采用两个矩形移动模板并以落入两个模板区域的比例作为匹配准则，从而最终确定头矩形，

定义两个移动模板分别为脸模板和头模板，脸模板的大小为M×N；头模板的大小为(M+L)×(N+L)，图像中阴影椭圆部分为人脸区域，其它部分为背景区域，人脸区域近似看作椭圆，典型的人脸椭圆长轴比为1.4～1.6；假定像素点落在脸模板区域的数目为n₀，落在头模板之内同时在脸模板之外的数目为n₁，双模板匹配的算法的过程如下：

2.1)所得到的二值模板确定脸模板的长为N，按照1.4～1.6比例关系确定其宽M；

2.2)在二值图中，双模板从左至右，从上至下移动，统计n₀和n₁的值；

2.3)当n₀和n₁的比值达到最大值的时候，此时即为最佳匹配；

由于有脖子的肤裸露造成了双模板的误差，经过修正的双模板中的头模板即为最终确定的头矩形，根据头肩的比例关系得到肩矩形的数值；

步骤3，边缘细化

头肩矩形已经给出了头肩区域的初始分割区域，还需要对边缘区域进行细化，采用Canny边缘检测算子就能够得到运动对象的精确轮廓。

本发明的有益效果是，采用贝叶斯风险决策机制确定人脸位置，并采用双模板匹配算法进一步确定头肩区域，最后进行边缘的细化，该算法能够有效地对头肩序列进行分割。

附图说明

图1是头肩序列示意图，其中的图a为Akyio方法头肩序列示意图，图b为Claire方法头肩序列示意图；

图2是基于模型的分割算法流程示意图，其中的图a是在初始阶段，背景模型被建立的示意图；图b是在跟踪过程中的区域分割的示意图；

图3是皮肤颜色在色度平面上的分布示意图，图a为颜色平面分布示意图，图b为肤色在颜色平面上的分布示意图；

图4是‘Akyio’序列人脸位置确定示意图，图a为‘Akyio’序列1-3帧的原始图像；图b为参数τ＝1.4时，人脸像素分类结果；图c为参数τ＝1.5时，人脸像素分类结果；图d为参数τ＝1.6时，人脸像素分类结果；

图5是本发明采用的头肩矩形分布示意图，其中的图a是国际标准测试序列中的‘Akyio’，图b针对头肩的形状特点，将头肩区域粗略地看成两矩形区域的组合；

图6是本发明采用的双模板分布示意图；

图7是本发明提出的根据头肩的比例关系得到头肩矩形的过程。

图8是本发明提出的头肩矩形的确定过程示意图，其中的图a是利用人脸区域确定人脸模板的示意图，图b是脸模板示意图，图c是利用脸模板确定头模板和肩模板的示意图，图d是头肩模板示意图。

图9是“Akyio”分割结果示意图，其中的图a、图b分别是“Akyio”第1-2帧原始图像，图c、图d分别是“Akyio”第1-2帧原始图像像素域分割结果，图e、图f分别是“Akyio”第1-2帧原始图像压缩域分割结果；

图10是“Claire”分割结果示意图，其中的图a、图b分别是“Claire”第11-12帧原始图像；图c、图d分别是“Claire”第11-12帧原始图像像素域分割结果；图e、图f分别是“Claire”第11-12帧压缩域分割结果。

具体实施方式

以下结合附图和具体实施方式对本发明进行详细说明。

对于图像的头肩序列有两个重要特点：一是人脸肤色在色度平面上有一定的规律，头肩序列中必然有人脸出现，并且光照变化比较稳定；二是头肩区域能够近似的看作两个矩形框的组合。本发明针对头肩序列的以上两个特点，提出一种基于人脸发现的头肩序列分割流程框架，该框架分为三个步骤，第一步，采用人脸发现算法确定人脸所在位置；第二步，采用双模板匹配算法确定头肩大体区域；第三步，对头肩边缘进行细化得到最终分割结果。

步骤1，人脸位置的确定

颜色平面包括肤色平面，肤色平面只是颜色平面中肤色的颜色所在的那一部分。在C_r-C_b肤色平面内，人的肤色分布在一个相对集中的小区域内，且基本符合高斯分布。图3显示了通用的肤色分布，图3中白色点代表肤色，横坐标代表C_r分量，纵坐标代表C_b分量。

考虑到人脸在颜色平面分布，采用贝叶斯风险决策决定人脸区域，R_i(X)是将C_r-C_b平面内一样点X分类为ω_i类的代价函数，P(ω_i|X)代表C_r-C_b平面内一点X来自ω_i类的后验概率，C₀₀和C₁₁分别是正确分类的代价权值，C₀₁和C₁₀分别是错误分类的代价权值，ω₀和ω₁分别表示非肤色类和肤色类，利用贝叶斯最小风险决策公式和贝叶斯公式，可得(4)和(5)式：

$\mathrm{\&rho;}(X/{\mathrm{\&omega;}}_0)>\mathrm{\&tau;}\&DoubleRightArrow;X\&Element;{\mathrm{\&omega;}}_0---\left(4\right)$

$\mathrm{\&rho;}(X/{\mathrm{\&omega;}}_0)<\mathrm{\&tau;}\&DoubleRightArrow;X\&Element;{\mathrm{\&omega;}}_1---\left(5\right)$

式中的将其中的

作为是固定值，将其中的

作为是调节值。由于非肤色的色彩在C_r-C_b平面内分布广泛，而肤色分布则相对集中，所以在肤色分布区域内，非肤色的色彩近似视为均匀分布，因此ρ(X/ω₁)也能够认为是固定值，τ是可调节的阈值，图4显示了人脸区域的分类结果。

步骤2，确定头肩区域

如图5所示，针对头肩的形状特点，将头肩区域粗略地看成是两个矩形区域的组合，一个为头矩形，另一个为肩矩形，根据头肩数据的统计经验，设定肩矩形宽度为头矩形宽度的3倍，一旦确定了头矩形，肩矩形也就随之能够确定。

为了准确确定头矩形，本发明采用一种双模板匹配的算法，其原理是采用两个矩形移动模板并以落入两个模板区域的比例作为匹配准则，从而最终确定头矩形。

如图6所示，定义两个移动模板分别为脸模板和头模板，脸模板的大小为M×N；头模板的大小为(M+L)×(N+L)，图中阴影椭圆部分为人脸区域，其它部分为背景区域(包含头发背景等像素)，人脸区域近似看作椭圆，典型的人脸椭圆长轴比为1.4～1.6，优选值为1.5；假定像素点落在脸模板区域的数目为n₀，落在头模板之内同时在脸模板之外的数目为n₁，双模板匹配的算法的过程如下：

2.1)所得到的二值模板确定脸模板的长为N，按照1.5比例关系确定其宽M；

2.2)在二值图中，双模板从左至右，从上至下移动，统计n₀和n₁的值；

2.3)当n₀和n₁的比值达到最大值的时候，此时即为最佳匹配。

图7显示了在最佳匹配位置时的双模板与头矩形之间的差异，由于有脖子的肤裸露造成了双模板的误差，因此需要进一步修正双模板，经过修正的双模板的长为N-L，经过修正的双模板中的头模板即为最终确定的头矩形，根据头肩的比例关系得到肩矩形的数值。图7中的参数R是由脖子裸露而产生的误差修正参数，所以可以根据不同的序列可以调整。

步骤3，边缘细化

头肩矩形已经给出了头肩区域的初始分割区域，但要得到比较细致的轮廓，还需要对边缘区域进行细化。由于头肩序列背景相对简单，并且对象与背景间有很强的对比性，所以采用Canny边缘检测算子就能够得到运动对象的精确轮廓。

本发明方法同样适用于压缩域中的头肩序列分割，压缩域中进行头肩序列的分割，其过程是发现人脸后，利用本发明中提出的双模板匹配确定头肩模型，然后进行局部校正，但是处理过程在DCT系数的特征平面上进行，最后仍采用边缘校正对对象边缘区域进行校正，最终得到分割结果。

以下为本发明方法性能的测试实验，对参数τ，R和L进行调整试验，测试其对分割结果的影响。表1、表2和表3分别是采用不同选值的测试结果。

表1、当R＝7和L＝4时，参数τ对Pocs和Poes的影响

表2、当τ＝1.5和L＝4时，参数R对Pocs和Poes的影响

R	Pocs	Poes
			3	88.4％	5.8％
5	90.1％	6.5％

7	92.4％	7.1％
			9	91.4％	10.1％

表3、当τ＝1.5和R＝7时，参数L对Pocs和Poes的影响

L	Pocs	Poes
			2	91.7％	6.9％
4	92.4％	7.1％
			6	91.4％	16％
8	91.9％	23％

参数τ是在对肤色像素进行分类时可调节的阈值，根据采样数据的分析，参数τ的范围设定在1.3-1.6比较合适。表1显示了参数τ和Pocs是正比关系，和Poes成反比关系。由于参数R是由脖子裸露而产生的误差修正参数，所以可以根据不同的序列调整，表2显示了测试数据时候调整的参数R值。对于参数L，通常取脸模板宽的四分之一，表3是其测试结果。

损耗时间

计算机配置为Petium IV 1.4GHz(256MB RAM)，测试序列为Akyio(CIF，40frames)和Claire(CIF，40frames)，表4显示了其运算时间结果。

表4损耗时间统计(ms)

序列	人脸像素分类	确定头肩区域	细化边缘
				Akyio	126	40	306
Clair	121	45	342

分割结果比较

用于显示对序列“Akyio”和“Clair”的分割结果。图9和图10分别显示了序列“Akyio”和“Clair”第1帧到第2帧的像素域和压缩域的分割结果，其中的参数τ设置为1.5，R设置为7，L设置为4。实验显示该算法能够有效地对头肩序列进行分割。

Claims (3)

1.一种基于双模板匹配和边缘细化的头肩序列图像分割方法，其特点在于，该方法按照以下步骤实施：

步骤1，人脸位置的确定

在C_r-C_b肤色平面内，人的肤色分布在一个相对集中的小区域内，且基本符合高斯分布，

考虑到人脸在颜色平面分布，采用贝叶斯风险决策决定人脸区域，R_i(X)是将C_r-C_b平面内一样点X分类为ω_i类的代价函数，P(ω_i|X)代表C_r-C_b平面内一点X来自ω_i类的后验概率，C₀₀和C₁₁分别是正确分类的代价权值，C₀₁和C₁₀分别是错误分类的代价权值，ω₀和ω₁分别表示非肤色类和肤色类，利用贝叶斯最小风险决策公式和贝叶斯公式，可得(4)和(5)式：

$\mathrm{\&rho;}(X/{\mathrm{\&omega;}}_0)>\mathrm{\&tau;}\&DoubleRightArrow;X\&Element;{\mathrm{\&omega;}}_0---\left(4\right)$

$\mathrm{\&rho;}(X/{\mathrm{\&omega;}}_0)<\mathrm{\&tau;}\&DoubleRightArrow;X\&Element;{\mathrm{\&omega;}}_1---\left(5\right)$

式中的

将其中的

作为是固定值，将其中的

作为是调节值，ρ(X/ω₁)作为是固定值，τ是可调节的阈值；

步骤2，确定头肩区域

将头肩区域看成是两个矩形区域的组合，一个为头矩形，另一个为肩矩形，设定肩矩形宽度为头矩形宽度的3倍，采用两个矩形移动模板并以落入两个模板区域的比例作为匹配准则，从而最终确定头矩形，

定义两个移动模板分别为脸模板和头模板，脸模板的大小为M×N；头模板的大小为(M+L)×(N+L)，图像中阴影椭圆部分为人脸区域，其它部分为背景区域，人脸区域近似看作椭圆，典型的人脸椭圆长轴比为1.4～1.6；假定像素点落在脸模板区域的数目为n₀，落在头模板之内同时在脸模板之外的数目为n₁，双模板匹配的算法的过程如下：

2.1)所得到的二值模板确定脸模板的长为N，按照1.4～1.6比例关系确定其宽M；

2.2)在二值图中，双模板从左至右，从上至下移动，统计n₀和n₁的值；

2.3)当n₀和n₁的比值达到最大值的时候，此时即为最佳匹配；

由于有脖子的肤裸露造成了双模板的误差，经过修正的双模板中的头模板即为最终确定的头矩形，根据头肩的比例关系得到肩矩形的数值；

步骤3，边缘细化

头肩矩形已经给出了头肩区域的初始分割区域，还需要对边缘区域进行细化，采用Canny边缘检测算子就能够得到运动对象的精确轮廓。

2.根据权利要求1所述的基于双模板匹配和边缘细化的头肩序列图像分割方法，其特点在于：所述的步骤1中的参数τ的范围为1.3-1.6。

3.根据权利要求1所述的基于双模板匹配和边缘细化的头肩序列图像分割方法，其特点在于：所述的步骤2中的人脸椭圆长轴比优选1.5。

Images