CN100367294C - 在彩色数字图像和视频中分割出人体皮肤区域的方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，具体为一种在彩色数字图像与视频中分割出人体皮肤区域的方法。该发明包含三个主要算法：增量式高斯混合模型算法、基于边缘的区域增长算法、边界势场算法。本发明方法是从“一般肤色模型”出发，利用区域增长得到的特定图像中肤色样本对肤色模型进行循环修正，得到“专用肤色模型”，最后在用专用肤色模型提取出的皮肤区域图上建立“边界势场”填补皮肤区域中的空隙。通过该方法分割得到的皮肤区域较之于其它方法精确很多，而且有很高的完整性和较强的语义性，这对于不健康媒体内容的检测与过滤有非常重要的意义，在互联网媒体内容过滤领域有广泛的应用价值。

Description

在彩色数字图像和视频中分割出人体皮肤区域的方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种媒体(图像与视频)内容的分析与过滤方法，进一步则涉及一种在数字图像和视频中实现人体皮肤区域分割的方法。该方法可用于互联网上不健康(黄色)媒体内容的检测与过滤，阻止不健康内容的蔓延，保护青少年的身心健康。

技术背景

今天，随着互联网的发展与人民生活水平的提高，网络上的信息越来越丰富，网络用户获得各种信息的途径越来越便捷，速度也越来越快。然而，在互联网给广大网络用户带来精神财富的同时，一些不法分子为了种种目的，趁机给网络注入了糟粕——越来越多的色情网站正在时时刻刻威胁着广大网民，尤其是青少年网民的身心健康。根据色情统计中心(XXXcounter)报告，目前全球约有23万个色情网站，而且每天都在以200-300的速度增加。为此，网络扫黄斗争已经打响，互联网媒体内容过滤系统也应运而生。

现有的一些网络过滤系统大都是基于URL地址的过滤，该技术只是简单地对网络用户直接屏蔽掉设定在网络运营商防火墙中的色情网站URL地址数据库(俗称“黑名单”)中的网站，国内外市面上鲜有直接针对网络媒体(图像与视频)内容过滤的商用系统。虽然基于URL的屏蔽技术简单高效，但其却有着严重的局限性：由于网络运营商无法及时更新黑名单，这将导致很多新增色情网站成为漏网之鱼；同时，有些域名下并不是所有网页的内容都是不健康的，这又将导致一些正常内容被无辜屏蔽。基于媒体内容的过滤却没有以上局限性，该技术是直接针对网络上的某一个媒体对象(如一幅图像、一段视频)进行实时内容分析，在网络用户下载到客户端浏览的瞬间对媒体内容做出健康与否的判断，决定该媒体对象是否允许下载到客户端——所以基于内容的过滤技术必然是互联网过滤系统的发展趋势。然而，由于基于内容的过滤系统需要对媒体对象进行智能分析，对于色情图像(视频)的分析又主要是依靠人体皮肤区域分割技术，不幸的是，到目前为止，人体皮肤区域分割技术本身就是一个无法很好解决的难题

在彩色数字图像(视频帧)中，人体皮肤的颜色由于受到两个主要因素的影响变化非常剧烈，这两个因素为：(1)本征肤色。不同的人种，如白种人、黄种人等，以及不同的身体条件，如不同的性别、年龄等，都会拥有完全不同的本征肤色；(2)光源条件。在剧烈的光照下，一些向光皮肤区域会呈现颜色极度不饱和现象，甚至完全变白，而背光皮肤区域则会变暗；皮肤同样还会反射环境光，就如同粉刷成白色的墙壁因为邻近棕色地板的反光而呈现出淡棕色。人类的视觉系统对于这些因素引起的皮肤颜色变化是极其不敏感的，这种现象可以由Land的“颜色不变现象(Color Constancy Phenomenon)”[13]解释；然而，数字设备在成像过程中却能精确地、客观地捕获皮肤颜色的这些变化，这种“客观性”直接导致了“通用肤色模型”无法包含所有的肤色种类，即“通用模型不通用”的尴尬。当然，包含所有的皮肤颜色并不是一件难事，但是这里的前提是，肤色模型不能把除肤色之外的背景颜色也同时提取出来，否则，肤色模型将没有任何意义。

经过大量观察我们发现，传统“通用肤色模型”或“一般肤色模型”([9，11，15，20])的局限性可以由两对致命的矛盾进行概括：(1)通用性与查全率。“通用肤色模型”的性能通常是在其容纳一般肤色信息和特殊肤色信息的能力之间找到一个最佳的权衡。如果过于强调通用性，模型中分配给各种肤色的能量都过于分散且微弱，检测时大多数的样本都能得到一定的置信度，但却不足够高，达不到肤色阈值，从而导致低查全率；(2)完整性与准确率。利用“通用肤色模型”检测出来的皮肤区域大多都很粗糙，不精确，因为在特定图像中，由于光照和阴影，很多情况下背景颜色比该图像中的真实皮肤颜色更为接近于一般皮肤颜色，因此，背景往往能得到比真实皮肤区域更高的置信度，如果此时因为强调皮肤区域提取的完整性而放松阈值想把皮肤阴影区域也提取出来，那后果就是更多的背景区域也相应被提取出，从而导致低准确率[5，6，10，16，21，22]。

以上的分析说明一个问题，就是“通用肤色模型”或者说“一般肤色模型(Generic SkinModel)”是不可能对所有的图像都有效的，它只能在一般与特殊之间取一个权衡来使性能最大化。要使肤色模型对所有的图像都有效，唯一的方法就是为每一幅特定图像建立一个“专用肤色模型”。本发明就是由此激发，采用“从一般到特殊”的思想，设计了一种新颖的技术流程(包括三个主要算法)：从“一般肤色模型”出发，在检测过程中实时从特定待测图像中获得特定肤色样本，利用该特定样本集在线对原有一般模型进行循环修正，最后建立“专用肤色模型”。

参考文献

[1]Adams，R.and Bischof，L.Seeded Region Growing，IEEE Trans.on Pattern Analysis and MachineIntelligence，1994，vol.16，pp.641-647.

[2]Canny，J.A Computational Approach to Edge Detection，IEEE Trans.on Pattern Analysis and MachineIntelligence，1986，vol.8，pp.679-698.

[3]Chang，Y.L.and Li，X.Adaptive Image Region-Growing，IEEE Trans.on Image Processing，1994，vol.3，pp.868-872.

[4]Figueiredo，M.and Jain，A.K.Unsupervised Learning of Finite Mixture Models，IEEE Trans.on PatternAnalysis and Machine Intelligence，March 2002，vol.24，no.3，pp.381-396.

[5]Fleck，M.M.，Forsyth，D.A.and Bregler，C.Finding Naked People，In Proc.of the Fourth European Conf.on Computer Vision，Berlin，Germany，1996，vol.2，pp.593-602.

[6]Forsyth，D.A.and Fleck，M.M.Identifying Nude Pictures，In Proc.of the 3rd IEEE Workshop onApplications of Computer Vision，Dec 2-4，1996，pp.103-108.

[7]Haddon，J.and Boyce，J.Image Segmentation by Unifying Region and Boundary Information，IEEETrans.on Pattern Analysis and Machine Intelligence，1990，vol.12.

[8]Hall，P.and Hicks，Y.A Method to Add Gaussian Mixture Models，Tech.Rep.2004-03，Dept.ofComputer Science，Univ.of Bath，UK，April 2004.

[9]Jedynak，B.，Zheng，H.，Daoudi，M.and Barret，D.Maximum Entropy Models for Skin Detection，Tech.Rep.XIII，Universite des Sciences et Technologies de Lille，France.

[10]Jeong，C.Y.，Kim，J.S.and Hong，K.S.Appearance-Based Nude Image Detection，In Proc.of the 17th Int’lConf on Pattern Recognition，Aug 23-26，2004，vol.4，pp.467-470.

[11]Jones，M.j.and Rehg，J.M.Statistical Color Models with Application to Skin Detection，In Proc.of theComputer Vision and Pattern Recognition，1999，vol.1，pp.274-280.

[12]Kimmel，R.，Elad，M.，Shaked，D.，Keshet，R.and Sobel，I.A Variational Framework for Retinex，HewlettPackard Tech.Rep.HPL-1999-151，June 1999.

[13]Land，E.H.The Retinex Theory of Color Vision，Scientific American，1977，vol.237.

[14]Pavlidis，T.and Liow，Y.T.Integrating Region Growing and Edge Detection，IEEE Trans.on PatternAnalysis and Machine Intelligence，1990，vol.12，pp.225-233.

[15]Phung，S.L.，Bouzerdoum，A.and Chai，D.Skin Segmentation Using Color Pixel Classification：Analysisand Comparison，IEEE Trans.on Pattern Analysis and Machine Intelligence，January，2005，vol.27，no.1，pp.148-154.

[16]Phung，S.L，Chai，D.and Bouzerdoum，A.Adaptive Skin Segmentation in Color Images，In Proc.of theIEEE Int’l Conf.onAcoustics，Speech，and Signal Processing，April 6-10，2003，vol.3，pp.353-356.

[17]Piater，J.H.Mixture Models and Expectation-Maximization，Lecture at ENSIMAG，May 2002，updated onNov 15，2004.

[18]Roberts，S.J.and Rezek，L.Bayesian Approaches to Gaussian Mixture Modeling，IEEE Trans.on PatternAnalysis and Machine Intelligence，November 1998，vol.20，no.11.

[19]Shaked，D.and Keshet，R.Robust Recursive Envelope Operators for Fast Retinex，Hewkett Packard Tech.Rep.HPL-2002-74(R.l)，Mar 11，2004.

[20]Zarit，B.D.，Super，B.J and Quek，K.H.Comparison of Five Color Models in Skin Pixel Classification，InProc.of the ICCV’99Int’l Workshop on Recognition，Analysis，and Tracking of Faces and Gestures inReal-time System，September，1999，pp.58-63.

[21]Zheng，Q.F.，Zhang，M.J.and Wang，W.Q.A Hybrid Approach to Detect Adult Web Images，PCM 2004，Springer-Verlag，Berlin，Heidelberg，2004，pp.609-616.

[22]Zhu，Q.，Wu，C.T.，Cheng，K.T.and Wu，Y.L.An Adaptive Skin Model and Its Application toObjectionable Image Filtering，In Proc.of the ACM Int’l Cof.on Multimedia(MM’04)，New York，NY，USA，Oct 10-16，2004.

[23]Zivkovic，Z.and Heijden，F.Recursive Unsupervised Learning of Finite Mixture Models，IEEE Trans.onPattern Analysis and Machine Intelligence，May 2004，vol.26，no.5.

发明内容

本发明的目的在于提出一种在彩色数字图像和视频中分割出完整、边缘清晰、有较强语义的人体皮肤区域的方法。

本发明提出的在彩色数字图像和视频中分割出人体皮肤区域的方法，是利用在线获得的特定肤色样本对原有肤色模型进行循环修正，其具体步骤是：(1)离线处理(Offline-Process)。从海量各种含有不同人体皮肤区域的图像中手工提取大量一般肤色像素样本，用EM(Expectation Maximization)[17]算法建立“一般肤色模型”；(2)预处理(Pre-Process)。从待测图像中检测Canny边缘，用“一般肤色模型”提取出主种子区域(Primary Seeded Region)作为生长源，作基于边缘的区域生长，最后作光源补偿(Illumination Compensation)；(3)增量处理(Incremental-Process)。从主种子区域进行基于边缘的区域生长，得到该待测图像中特定的肤色像素样本，应用增量式高斯混合模型算法进行在线肤色模型修正，用新得到的模型再次从该待测图像中提取皮肤区域、进行基于边缘的区域生长和在线肤色模型修正，循环直到该肤色模型收敛，这时就可以得到针对于该特定待测图像的“专用肤色模型”；(4)后处理(Post-Process)。用“专用肤色模型”提取皮肤区域，生成精确的皮肤区域图，最后在该图上建立“边界势场(BoundaryPotential Field)”，用以引导皮肤区域流向势能较低的地方填补由于阴影褶皱等引起的皮肤区域中的空隙。

由以上介绍的方法提取出的皮肤区域图较之于传统方法而言，存在有两大优势：准确率高与完整性强。前者体现在用本发明中的皮肤区域分割技术分割出的皮肤区域虚警率非常低，即非皮肤区域(背景)误检为皮肤区域的部分非常少，这可以保证分割出的皮肤区域都是真实的；后者体现在用本发明中的皮肤区域分割技术分割出的皮肤区域非常完整，不是零散的、不连续的小块甚至像素，而是大块的具有一定语义(即分割出来的皮肤区域是整个人体、躯干、腿等具有语义的单位)的分割区域，而不连通的小块则作为噪声去除。本发明的两个特色正好满足对分割出来的人体皮肤区域进行高层语义分析的应用需求，黄色图像的分级就是其主要应用。

附图说明

图1为本发明算法的流程框架图。

图2为一个演示本发明算法流程例子的分割过程。

图中标号：1为离线处理功能模块；2为预处理功能模块；3为增量处理功能模块；4为后处理功能模块。

具体实施方式

本发明的关键点是三个核心算法和一个应用框架。三个核心算法是：(1)增量式高斯混合模型(Incremental Gaussian Mixture Model)算法；(2)基于边缘的区域生长(Edge-based Region Growing)算法；(3)边界势场(Boundary Potential Field)算法。利用以上三个核心算法设计了一种在数字图像(视频)中人体皮肤区域的分割技术框架。

下面详细介绍本发明在数字图像(视频)中分割人体皮肤区域的流程框架及组成该框架的三个核心算法：

1.算法的流程框架

该框架可以大致分为四个主要模块：离线处理(Offline-Process)、预处理(Pre-Process)、增量处理(Incremental-Process)、后处理(Post-Process)。三个核心算法中的两个，增量式高斯混合模型和基于边缘的区域生长将用于增量处理模块，而边界势场将用于后处理模块。在该应用框架的前两个模块中，还将用到一些目前已经比较成熟的算法与技术。

在此，首先定义一些下文中的概念约定以及将用到的符号。在本说明书中所用到的颜色空间为YUV，所提及的一切肤色模型，包括“一般肤色模型”、“专用肤色模型”、以及一切用符号(n)表示的肤色模型，其数学原型都是高斯混合模型(Gaussian MixtureModels)。(n)表示在该应用框架中处于第n次增量式循环的肤色模型，其中n≥0；这也就是说(0)表示最初的“一般肤色模型”，(n)(n＞0)表示在增量处理模块中第n次循环后计算得到的肤色模型，最后获得的则是“专用肤色模型”。附图1为该应用框架的流程图，标号1-4分别代表上述的四个主要功能模块，假设输入待测图像S。

(1)离线处理(Offline-Process)：从海量各种含有不同人体皮肤区域的图像中手工提取大量一般肤色像素样本作为训练集，用EM(Expectation Maximization)算法训练“一般肤色模型”，其中高斯模型数量由BIC(Bayesian Information Criterion)[18]确定。

(2)预处理(Pre-Process)：从待测图像S中检测出Canny边缘。用“一般肤色模型”提取出达到一定“规模”的肤色像素区域，即主种子区域(Primary Seeded Region)作为生长源，没有达到一定“规模”的离散小区域将作为噪音舍去。此处术语“规模”直观的解释就是指在指定大小的滑动窗口中肤色像素达到一定比例且肤色像素间互相连通的一块区域。主种子区域必须确保接近100％的准确率。在提取完主种子区域后，对原图像S进行光源补偿(Illumination Compensation)[12，19]。

(3)增量处理(Incremental-Process)：从“一般肤色模型”提取出的主种子区域开始区域生长(生长规则基于颜色差异与边缘约束)，可以得到该图像S中特定的肤色像素样本集；这些从特定图像中得到的新样本能够更好地表达该图像中的肤色分布，采用增量式混合高斯模型算法，用新样本集对原肤色模型Θ(0)进行在线修正(增量式建模)，得到新的肤色模型Θ(1)，第一次循环结束；然后再用Θ(1)对该图像进行第二轮皮肤区域提取，同样得到种子区域后进行区域生长。由于使用了修正后的肤色模型，此次筛选将获得更完备更精确的肤色区域，新增加的肤色样本将再次使用增量式混合高斯模型算法对Θ(1)进行修正得到Θ(2)，依此类推。当Θ(n)所筛选出的肤色区域完整到无法扩张时，增量式混合高斯模型就能确保收敛(|Θ(n)-Θ(n+1)|＜ε)，这时就能得到该特定图像的“专用肤色模型”。

(4)后处理(Post-Process)：用“专用肤色模型”进行最后一轮皮肤区域提取，经过去噪，生成较为完整且相当精确的皮肤区域图，这时仍然会存在一些肤色失真比较高的皮肤阴影、皱褶区域漏检，致使肤色区域图中出现空隙。最后在该图上建立“边界势场”，赋予那些空隙较低的势能，用以引导皮肤区域流向势能较低的地方填补这些空隙，最终获得完整的、具有较高语义级别的人体皮肤区域图。

2.增量式高斯混合模型(Incremental Gaussian Mixture Model)算法

增量式混合高斯模型的创意基于以下设想：希望在在线处理图像过程中系统能够动态建模针对特定图像的肤色模型，但是“一般肤色模型”的统计信息又不想完全丢失，即只希望利用从特定图像中新得到的样本集在原肤色模型的基础上进行修正。然而在线处理过程中只能得到“一般肤色模型”的参数集，原始训练样本集已经丢失，所以无法把新样本集与旧样本集融合在一起进行重抽样训练；所以，只有设计一种能够利用新样本集在原混合高斯模型参数上进行修正的新算法。[4，8，23]虽然都能用于高斯混合模型的学习，但是都无法同时满足这种新算法必须具备的三个条件：

(1)不需要重抽样。增量式混合高斯模型不能使用训练“一般肤色模型”的原始样本集合和新样本集一起重新训练，只能用增量的模式对原始模型的参数用新进样本集进行在线修正。

(2)时间复杂性低。不可以使用高时间复杂性的算法，如EM算法。

(3)影响因子设定。可以人为确定新加入样本集对新建立肤色模型的影响能力。

现在描述如何设计符合以上三个条件的新算法。假定现在具备“一般肤色模型”的参数集Θ＝(w_m，μ_m，σ_m，1≤m≤M)和新样本集X＝{x_n，1≤n≤N}，其中M为混合模型中的高斯模型数，N为新样本集中样本总数。为了满足第一个条件，需要构造如下形式的函数Θ’＝F(Θ，X)，其中Θ’为经过增量式建模后的新模型。因为增量式高斯混合模型算法要求增量式在线建模，这就要求该算法不能使用批处理模式(如EM算法)，显然，迭代方案最适合在线处理，把函数F分解为迭代公式：Θ⁽ⁿ⁺¹⁾＝f(Θ⁽ⁿ⁾，x_n+1)，其中上标(n+1)和(n)表示训练该高斯混合模型所使用的总样本数。该公式的含义为：给定一个用n个样本训练成的高斯混合模型Θ⁽ⁿ⁾，当第n+1个样本x_n+1对Θ⁽ⁿ⁾进行修正后得到新的混合模型Θ⁽ⁿ⁺¹⁾。假设“一般肤色模型”由K个样本离线训练而成，现在有N个新样本需要对原模型进行在线修正，函数F只需要N次迭代就可以增量建成“专用肤色模型”，时间复杂性为线性，满足了第二个条件。该算法无法重抽样的特殊性质(原始样本丢失)反而使用户能够人工干预新加入样本集对新建模型的影响能力，非常幸运，这正符合第三个条件。现在首先必须明确定义影响因子(Effect Factor)λ，影响因子可以认为是新加入样本集的个数N占用于训练新模型的样本总数(K+N)的比值，即N/(K+N)。然而K与N都是客观确定的、无法改变的，期望的影响因子往往无法得到。在“一般肤色模型”的训练中，采用的样本集数量是非常巨大的(1500万个样本)，即K＝15,000,000，而在线动态修正时，新加入的样本往往希望对新模型的影响力能达到一半甚至更多(λ≥0.5)。然而在线获取的新样本集数量级往往只能达到10³～10⁴，N/(K+N)是一个极其小的数值，远远无法达到对新模型所期望的影响力，可见传统的重抽样算法不具备调节影响因子的能力。

在“增量式高斯混合模型”算法中可以换一种角度考虑：事先得到的“一般肤色模型”Θ^(K)是用K个样本训练而成的一组高斯混合模型参数集，它虽然是由K个样本训练而成的，但它仅仅是一组标准模型，同样可以认为它是由K’(K’＜＜K)个样本拟合而成的，所以可以计算K’，使之能与N满足影响因子λ∶λ＝N/(K’+N)，K’＝N/λ-N，然后就可以把“一般肤色模型”表示为Θ^(K’)。

现在增量式高斯混合模型算法可以表示为“一般肤色模型”Θ^(K)、新样本集X和影响因子λ的函数：Θ^(K+N)＝F(Θ^(K)，X，λ)，消去λ得Θ^(K’+N)＝F(Θ^(K’)，X)，即为“增量式高斯混合模型”算法的原型。现在要利用以上基本原型公式推导出该增量算法的具体公式。以下为问题的提法：假设给定一个K个肤色像素样本离线用EM算法训练得到，高斯模型数为M(BIC确定)的“一般肤色模型”，则第m个高斯模型的权重、均值向量、协方差矩阵分别用符号表示为w_m、μ_m、C_m，其中1≤m≤M。现在有N个新进肤色样本需要对“一般”肤色模型进行修正，影响力期望值为λ，则新模型的参数集可以表示为：

$\left\{\begin{array}{c}{\mathrm{\Θ}}^{\left(K^{\′}\right)}=(w_m^{\left(K^{\′}\right)},{\stackrel{\→}{\mathrm{\μ}}}_m^{\left(K^{\′}\right)},C_m^{\left(K^{\′}\right)},1\≤m\≤M)\\ w_m^{(n+1)}=f_w(w_m^{\left(n\right)},x_{n+1}),K^{\′}\≤n\≤K^{\′}+N-1\\ {\stackrel{\→}{\mathrm{\μ}}}_m^{(n+1)}=f_u({\stackrel{\→}{\mathrm{\μ}}}_m^{\left(n\right)},x_{n+1}),K^{\′}\≤n\≤K^{\′}+N-1\\ C_m^{(n+1)}=f_C(C_m^{\left(n\right)},x_{n+1}),K^{\′}\≤n\≤K^{\′}+N-1\end{array}\right.---\left(1\right)$

为了进一步推导出“增量式高斯混合模型”算法的迭代计算公式，必须明确有限高斯混合模型权重、均值向量、协方差矩阵的基本计算公式。在这之前，首先需要定义第n个样本x_n对于第m个高斯模型的后验概率(隶属度)：

$P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})=\frac{w_m^{\left(Z\right)}{p}_m\left(x_n\right|{\mathrm{\Θ}}_m^{\left(Z\right)})}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_j^{\left(Z\right)}{p}_j\left(x_n\right|{\mathrm{\Θ}}_j^{\left(Z\right)})}---\left(2\right)$

其中1≤m≤M，p_m(·)为第m个高斯模型的概率密度函数，这里请务必注意：上标Z为训练该高斯混合模型所用的总样本数！则：

$w_m^{\left(Z\right)}=\frac{\underset{n=1}{\overset{Z}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z}---\left(3\right)$

${\stackrel{\→}{\mathrm{\μ}}}_m^{\left(Z\right)}=\frac{\underset{n=1}{\overset{Z}{\mathrm{\Σ}}}{x}_{n}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{\underset{n=1}{\overset{Z}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}---\left(4\right)$

$C_m^{\left(Z\right)}=\frac{\underset{n=1}{\overset{Z}{\mathrm{\Σ}}}(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{\left(Z\right)}){(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{\left(Z\right)})}^{T}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{\underset{n=1}{\overset{Z}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}---\left(5\right)$

以下进行“增量式高斯混合模型”算法迭代公式的推导，所有的公式都基于相同的假设Θ^(Z+1)≈Θ^(Z)(当样本数Z足够大)。高斯混合模型中第m个高斯模型的权重、均值向量、协方差矩阵分别为：

$w_m^{(Z+1)}=\frac{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{(Z+1)})}{Z+1}\≈\frac{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z+1}=\frac{Z{w}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z+1}---\left(6\right)$

${\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}=\frac{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}{x}_{n}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{(Z+1)})}{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{(Z+1)})}\≈\frac{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}{x}_{n}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}=\frac{Z{w}_m^{\left(Z\right)}{\stackrel{\→}{\mathrm{\μ}}}_m^{\left(Z\right)}+x_{Z+1}P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z{w}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}---\left(7\right)$

$C_m^{(Z+1)}=\frac{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}){(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)})}^{T}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{(Z+1)})}{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{(Z+1)})}\≈\frac{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}){(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)})}^{T}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{\underset{n=1}{\overset{Z+1}{\mathrm{\Σ}}}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}$

$=\frac{\underset{n=1}{\overset{Z}{\mathrm{\Σ}}}(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}){(x_n-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)})}^{T}P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z{w}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}\≈\frac{(x_{Z+1}-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}){(x_{Z+1}-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)})}^{T}P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{{\mathrm{Zw}}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}---\left(8\right)$

$=\frac{Z{w}_m^{\left(Z\right)}(C_m^{\left(Z\right)}+{\stackrel{\→}{\mathrm{\Γ}}}_m^{(Z+1)}{{\stackrel{\→}{\mathrm{\Γ}}}^{(Z+1)}}^T)}{Z{w}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}\≈\frac{(x_{Z+1}-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}){(x_{Z+1}-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)})}^{T}P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{{\mathrm{Zw}}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}$

最后，用于高斯模型在线增量建模的完整“增量式高斯混合模型”的迭代公式可以用伪代码概括为一个循环：

for Z＝K’∶(K’+N-1)

依次用以上3个公式(6)、(7)、(8)计算第m个高斯模型的权重、均值向量、协方差矩阵；

end

3.基于边缘的区域生长(Edge-based Region Growing)算法

对于某特定图像，其第一次基于边缘的区域生长起源于“主种子区域”。“主种子区域”是按如下步骤提取而出：一个16×16像素的窗口(在图像大小为256×256的情况下，窗口的大小可以按照待测图像大小按比例缩放)在由“一般肤色模型”提取出的初始化皮肤区域图上移动，如果该窗口所覆盖的区域(16×16的正方形)中的皮肤面积占到100％，则该区域被标记为“主种子区域”，而所有没有达到标准的窗口区域将被忽略。经过“主种子区域”提取，基于边缘的区域生长就可以从这些源区域出发了。

种子区域生长(Seeded Region Growing)是一项成熟的技术，然而该算法中的区域生长策略还必须考虑边缘约束。结合边缘信息与区域生长用于图像分割的研究也比较成熟，如[3，7，14]，然而这些复杂的分割算法并不适用于皮肤区域的分割(提取)。鉴此，一种结合了两种经典技术的新算法应运而生，它结合了Canny算子[2]与Adam种子区域生长[1]，该算法的步骤用伪代码描述如下：

(11)把“主种子区域”中所有像素的邻接未标记像素点推入顺序队列；

(12)while(顺序队列不为空)

(13)从队列中取出第一个像素v；

(14)以v为中心在图像上覆盖一个5×5像素的窗口W；

(15)计算窗口W中所有标记过像素的YUV平均向量x；

(16)计算像素v的YUV平均向量y；

(17)if(|x-y|＜δ并且没有边缘穿过窗口W)；

(18)把v标记为皮肤像素；

(19)把v的邻接未标记(不属于“主种子区域”)像素点推入顺序队列；

(20)end

其中|·|表示欧几里德距离，δ取经验值24，一般在20-30范围选取。

4.边界势场(Boundary Potential Field)算法

在经过多轮“增量式高斯混合模型”算法对“一般肤色模型”进行修正直至收敛后，就可以得到针对某特定图像S的“专用肤色模型”。用该模型对图像S进行最后一次肤色区域提取，就可以得到一幅比使用“一般肤色模型”时精确、完整得多的皮肤区域图，(1)人体皮肤难免会出现皱褶，人体自身结构的各部分也会相互遮蔽造成阴影，这些都会导致皮肤上颜色突变区域的产生，肤色区域生长由于依靠颜色差异(欧几里得距离)进行约束，这些颜色突变会导致肤色区域无法正常生长，在肤色区域图中出现无规则的镂空、缝隙、脱节。

(2)虽然canny边缘有力地阻挡了肤色区域进一步生长，从而勾勒了漂亮的肤色区域边界；但是由于canny算子的局限性，即边缘无法形成闭环以及存在大量不规则的短曲线，致使在区域生长过程中边缘隐晦处的皮肤区域边界不规则。

(3)在特定图像中往往人体皮肤区域与背景由于颜色过于接近而导致canny算子无法检测出肤色与背景交界处的边缘，无法依靠边缘拦截区域生长，只能纯粹依靠颜色进行约束。这时“基于边缘的区域生长”退化为传统的“种子区域生长(Seeded RegionGrowing)”。

基于大量观察结果可以做出以下猜想：在肤色区域图中，那些无规则的镂空区域和大幅度扭曲的边界外极有可能仍然是皮肤区域，但是由于其颜色与肤色区域内颜色差异太大，受到颜色距离的约束，导致该区域无法继续向外生长；而那些边界光滑的肤色区域外则极有可能是背景，但是由于背景颜色可能和肤色区域内颜色更接近，区域就会向背景方向进行生长。现在引出建立“边界势场”的思想：在无规则的镂空区域和大幅度扭曲的边界外赋予较低的势能，在大面积平滑区域边界外赋予较高的势能，在远离肤色区域处赋予绝对高势能，让颜色接近度与势能强度共同作用，当两者的共同作用力达到某一标准时肤色区域则可以继续生长。该设想可公式化为：

D(颜色接近度)×E(势能强度)≤C(常量)(9)

该公式的物理意义为：

(1)新生长部分的颜色越是与肤色区域颜色接近，肤色区域边界外势能越是弱，则肤色区域边界外越有可能仍然是肤色区域，该区域可以毫不犹豫生长。

(2)新生长部分的颜色与肤色区域颜色接近，但肤色区域边界外势能却很强，则肤色区域边界外很有可能为背景，只要两者的共同作用小于常数该区域还可以生长。

(3)新生长部分的颜色与肤色区域颜色差异较大，但肤色区域边界外势能却很弱，则肤色区域边界外很有可能为皮肤，只要两者的共同作用小于常数该区域还可以生长。

(4)新生长部分的颜色与肤色区域颜色差异越是大，肤色区域边界外势能越是强，则肤色区域边界外越有可能为背景，两者的共同作用很容易超过常数，该区域很难继续生长。

现在定义边界势场。给定集合U＝{v_i(x_i，y_i)，其中i为皮肤区域图中的像素索引，并且v_i不在分割出的皮肤区域内。}，对于集合U中每一个元素v_i，以其为中心放置一个h×h的窗口(W’)，这样窗口W’中的有限区域就可以认为是一个分布不均匀的质体，而窗口W’中皮肤区域的像素可以认为是单位质点m。为窗口W’中任意非肤色区域中的像素点，即属于集合U中的元素v_i赋予势能，势能赋值原则都基于这种假定：在以v_i为中心的固定大小窗口中，如果窗口中肤色区域所占的面积比率越是大、且肤色区域像素点坐标越是接近于v_i，则该点的势能越是低。为此，首先设置窗口W’的边长为h＝27，以v_i为原点建立二维直角坐标系，受万有引力定律的启发，v_i处的势能可以定义为：

$E\left(v_i\right)=\underset{x=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\underset{y=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\frac{\mathrm{Gm}\·1}{\sqrt{x_i^2+y_i^2}},(x_i,y_i)\∈W^{\′}^(x_i,y_i)\∉U---\left(10\right)$

为了势能强度的可计算性以及与颜色相似度的可比性，必须要消去上式中万有引力常数G，同时正规化势能强度E：

$E\left(W^{\′}\right)=\underset{x=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\underset{y=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\frac{\mathrm{Gm}\·1}{\sqrt{x_i^2+y_i^2}},(x_i,y_i)\∈W^{\′}---\left(11\right)$

E′(v_i)＝255·exp{-E(v_i)/E(W′)}(12)

经过以上处理后皮肤区域图中的势能效果可以直接用颜色反映出来(即和颜色相似度具有可比性)：在图中全白色区域为绝对高势能区，无论新生长部分颜色与肤色区域颜色如何接近都无法再继续生长；皮肤区域边界的黑灰色区域，表示为低势能区，颜色越是黑代表势能越是低。

在自适应框架中，后处理模块中的引流(区域生长)策略和“基于边缘的区域生长”算法几乎相同，唯一的不同之处就在于“基于边缘的区域生长”算法中第7步的判断表达式——边缘不再考虑，而换之于势能。沿袭5×5的窗口W，对于SSL中所有的像素v，其颜色相似度E_v和势能D_v可以定义为：

$E_v=\frac{\underset{i}{\mathrm{\Σ}}{E}^{\′}\left(v_i\right)}{|W\∩U|},v_i\∈W^v_i\∈U---\left(13\right)$

$D_v=\sqrt{\frac{{(y_v-\stackrel{\‾}{y})}^2+{(u_v-\stackrel{\‾}{u})}^2+{(u_v-\stackrel{\‾}{v})}^2}{3}}---\left(14\right)$

在上面第二个公式中，两个三维YUV向量分别为像素v的颜色特征向量以及窗口W中所有皮肤像素的平均颜色特征向量。最后，第7步的判断表达式可以修改为If(G_v×E_v≤δ)，其中δ取经验值，一般可在600-1200范围内选取。

应用实例

附图2通过一个具体的例子演示上述算法流程框架的具体步骤，通过给出各算法模块的中间输出以及该框架的最终分割结果，给人以直观的理解。其中(a)为输入的带有人体皮肤区域的彩色数字图像；(b)为“一般肤色模型”提取出的皮肤区域，其中白线为Canny边缘，皮肤区域中的阴影区域为“主种子区域”；(c)为“基于边缘的区域生长”效果，从“主种子区域”开始向外生长，得到图中的阴影区域；(d)为用“专用肤色模型”提取出的皮肤区域；(e)为在“专用肤色模型”提取出的皮肤区域图上建立“边缘势场”，灰度级表示势能强度，越黑势能越低；(f)为最终分割出的人体皮肤区域图。

Claims (6)

1.一种在彩色数字图像和视频中分割出人体皮肤区域的方法，其特征在于具体步骤如下：

(1)离线处理  从海量各种含有不同人体皮肤区域的图像中手工提取大量一般肤色像素样本，用EM算法建立“一般肤色模型”；

(2)预处理从待测图像中检测Canny边缘，用“一般肤色模型”提取出“主种子区域”作为生长源，作基于边缘的区域生长，最后作光源补偿；

(3)增量处理  从主种子区域进行“基于边缘的区域生长”，得到该待测图像中特定的肤色像素样本，应用增量式高斯混合模型算法进行在线肤色模型修正，用新得到的模型再次从该待测图像中提取皮肤区域、进行基于边缘的区域生长和在线肤色模型修正，循环直到该肤色模型收敛，得到针对于该待测图像的“专用肤色模型”；

(4)后处理  用“专用肤色模型”提取皮肤区域，生成精确的皮肤区域图，最后在该图上建立“边界势场”：在无规则的镂空区域和大幅度扭曲的边界外赋予较低的势能，在大面积平滑区域边界外赋予较高的势能，在远离肤色区域处赋予绝对高势能，用以引导皮肤区域流向势能较低的地方，填补由于阴影褶皱引起的皮肤区域中的空隙。

2.根据权利要求1所述的方法，其特征在于所述的增量式高斯混合模型算法的原型为：Θ^(K’+N)＝F(Θ^(K’)，X)，其中Θ为高斯混合模型参数集，上标K’+N和K’表示高斯混合模型Θ是由K’+N和K’个样本训练而成，X＝{x_n，1≤n≤N}为新进样本集，N为新进样本集中样本总数，函数F表示用原肤色模型Θ^(K’)和新进样本集X两者增量式建模，得到新肤色模型Θ^(K’+N)。

3.根据权利要求2所述的方法，其特征在于所述的增量式高斯混合模型算法的迭代计算公式为：

$w_m^{(z+1)}=\frac{{\mathrm{Zw}}_m^{\left(z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z+1}$

${\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}=\frac{Z{w}_m^{\left(Z\right)}{\stackrel{\→}{\mathrm{\μ}}}_m^{\left(Z\right)}+x_{Z+1}P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{Z{w}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}$

$C_m^{(Z+1)}=\frac{{\mathrm{Zw}}_m^{\left(Z\right)}(C_m^{\left(Z\right)}+{\stackrel{\→}{\mathrm{\Γ}}}_m^{(Z+1)}{\stackrel{\→}{\mathrm{\Γ}}}_m^{{(Z+1)}^T})}{{\mathrm{Zw}}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}+\frac{(x_{Z+1}-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)}){(x_{Z+1}-{\stackrel{\→}{\mathrm{\μ}}}_m^{(Z+1)})}^{T}P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}{{\mathrm{Zw}}_m^{\left(Z\right)}+P\left(m\right|x_{Z+1},{\mathrm{\Θ}}_m^{\left(Z\right)})}$

其中，w_m ^(Z+1)、μ_m ^(Z+1)、C_m ^(Z+1)分别为用Z+1个样本训练得到的高斯混合模型中第m个高斯模型的权重、均值向量、协方差矩阵的迭代值，其中

$P\left(m\right|x_n,{\mathrm{\Θ}}_m^{\left(Z\right)})=\frac{w_m^{\left(Z\right)}{p}_m\left(x_n\right|{\mathrm{\Θ}}_m^{\left(Z\right)})}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_j^{\left(Z\right)}{p}_j\left(x_n\right|{\mathrm{\Θ}}_j^{\left(Z\right)})}$

为第n个样本相对于第m个高斯模型的后验概率，其中1≤m≤M，p_m(·)为第m个高斯模型的概率密度函数。

4.根据权利要求1所述的方法，其特征在于所述的主种子区域按如下步骤提取：一个16x16像素的窗口在由“一般肤色模型”提取出的初始化皮肤区域图上移动，如果该窗口所覆盖的区域中的皮肤面积占到100％，则该区域被标记为“主种子区域”，而所有没有达到标准的窗口区域将被忽略。

5.根据权利要求1所述的方法，其特征在于所述的基于边缘的区域生长算法步骤用伪代码描述如下：

(1)把“主种子区域”中所有像素的邻接未标记像素点推入顺序队列；

(2)等待，顺序队列不为空；

(3)从队列中取出第一个像素v；

(4)以v为中心在图像上覆盖一个5×5像素的窗口W；

(5)计算窗口 W中所有标记过像素的YUV平均向量x；

(6)计算像素v的YUV平均向量y；

(7)如果|x-y|＜δ并且没有边缘穿过窗口W；

(8)把v标记为皮肤像素；

(9)把不属于“主种子区域”的v的邻接未标记像素点推入顺序队列；

(10)结束，

其中|·|表示欧几里德距离，δ取经验值。

6.根据权利要求1所述的方法，其特征在于所述的建立边界势场的算法如下：给定集合U＝v_i(x_i，y_i)，其中i为皮肤区域图中的像素索引，并且v_i不在分割出的皮肤区域内，对于集合U中每一个元素v_i，以其为中心放置一个h×h的窗口W’，这样窗口W’中的有限区域认为是一个分布不均匀的质体，而窗口W’中皮肤区域的像素可以认为是单位质点m；为窗口W’中任意非肤色区域中的像素点，即属于集合U中的元素v_i赋予势能，为此，首先设置窗口W’的边长为h＝27，以v_i为原点建立二维直角坐标系，v_i处的势能定义为：

$E\left(v_i\right)=\underset{x=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\underset{y=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\frac{\mathrm{Gm}\·1}{\sqrt{x_i^2+y_i^2}},(x_i,y_i)\∈W^{\′}^(x_i,y_i)\∉U$

消去上式中万有引力常数G，同时正规化势能强度E：

$E\left(W^{\′}\right)=\underset{x=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\underset{y=-h/2}{\overset{h/2}{\mathrm{\Σ}}}\frac{\mathrm{Gm}\·1}{\sqrt{x_i^2+y_i^2}},(x_i,y_i)\∈W^{\′}$

E′(v_i)＝255·exp{-E(v_i)/E(W′)}。

Images