CN1207924C - 取决于图像的面部检测方法 - Google Patents

Abstract

提供了一种取决于图像的面部检测方法，包括获取给定图像中主要分布的颜色组的步骤；在所获取的颜色组中指定对应于人体颜色的颜色组的步骤；以及划分由对应于人体颜色的颜色组的像素构成的部分的步骤。还可以包括识别面部的步骤。获取主要分布的颜色组的步骤包括：构成图像的颜色直方图；获得颜色直方图中具有最大区间值的区间(b_max)；测量b_max的代表性颜色值和其它各区间的代表性颜色值之间的相似度；利用测得的相似度低于一个临界值的区间和b_max指定主要颜色的颜色范围；以及指定主要颜色的代表性颜色。还可以包括：检测对应于从颜色直方图中提取的主要颜色的区间，计算其余区间中的最大区间，以及当最大区间大于一个临界值时另外指定主要颜色组。

Description

取决于图像的面部检测方法

技术领域

本发明涉及图像处理方法，特别涉及运动图像处理系统和图像通信系统，如VOD(视频点播)和PVR(个人图像记录器)中的取决于图像的面部检测方法，其能够有效地通过皮肤颜色来检测面部。

背景技术

近来，面部检测技术在各种应用领域得到了广泛的运用。在VOD/PVR之类的运动图像业务领域，面部表现部分是作为一个重要部分而识别的，并且使用面部检测技术来执行视频索引。

另外，在利用PC(个人计算机)摄像机的图像通信或能够进行图像传输的IMT2000业务中，通常通过检测面部来仅对面部进行高比特率的编码，所以在基于对象的编码技术中使用检测面部的技术，在低比特率下维持高的图像质量。

如上所述，因为在各种领域中使用面部检测技术，已经报导了很多与自动检测面部相关的工作。

典型的面部检测方法是利用皮肤颜色信息。也就是说，这种方法是通过仅把人体颜色的像素指定为面部候选来检测面部。

但是，在通过各种摄像机在各种场景下得到的人物图像中，分析一个具有人体颜色的部分的颜色，每个图像都会显示出不同的颜色。也就是说，因为随图像的不同面部的显示也大不相同，如果试图预先确定人体颜色的范围，则这个范围就太宽了，所以图像中包含人体颜色以外部分的情况会增加。因此，很难使用利用人体颜色范围的面部检测方法。原因如下：

(1)由照明引起的颜色失真

人体颜色范围随照明而变化。特别地，亮度随照明显著地变化，因为亮度对颜色非常敏感。

(2)由摄取图像的设备而引起的颜色失真

尽管在相同的地方在相同的照明下摄取图像，颜色还是会由于摄取图像的设备而相互不同。例如，在PC摄像机的情况下，由于摄像机的照明引起的失真，白色会显示为其它的颜色，比如灰色或绿色，而不是纯白色。这是因为各个摄像设备独特的特性使颜色失真或改变了。

(3)由再生图像的设备引起的颜色失真

颜色还会由于用于接收图像并再生图像的设备，比如PC的视频卡的特性而失真。

如此，因为利用皮肤颜色的面部检测方法具有上述的问题(1)、(2)和(3)，为了解决这些问题，已经报导了很多利用皮肤颜色之外信息的面部检测方法的研究。

在这些方法之一，在根据人体颜色特性把预先构成的人体面部图像粗略地分为一些组后，再次根据角度划分一些组从而形成各组的人体面部模板。然后，扫描所构成的模板，并通过从模板的最小尺寸到模板的最大尺寸调节模板尺寸，与图像的总体部分相匹配。

但是，在这种方法中，因为匹配的数目太大，尽管尺寸很小，还是存在处理时间太长的问题。因此，尽管精确度比较好，但难以进行实时处理。

发明内容

本发明的目的是解决上述问题，具体而言，是提供一种取决于图像的面部检测方法，对于在运动图像处理系统，比如VOD(视频点播)、PVR(个人视频记录器)和视频通信系统中检测面部，其具有非常高的处理速度和非常高的准确度。

相应的，为了实现上述目标，提供了一种取决于图像的面部检测方法，包括：

获取给定图像中主要分布的颜色组的步骤；

在所获取的颜色组中指定对应于人体颜色的颜色组的步骤；以及划分由对应于人体颜色的颜色组的像素构成的部分的步骤。

这里，还可以包括识别面部的步骤。

另外，获取主要分布的颜色组的步骤包括以下步骤：构成图像的颜色直方图；获得颜色直方图中具有最大区间(bin)值的区间(b_max)；测量b_max的代表性颜色值和其它各区间的代表性颜色值之间的相似度；利用测得的相似度低于一个临界值的区间和b_max指定主要颜色的颜色范围；以及指定主要颜色的代表性颜色。

另外，还可以包括检测对应于从颜色直方图中提取的主要颜色的区间的步骤，计算其余区间中的最大区间的步骤，以及当最大区间大于一个临界值时另外指定主要颜色组的步骤。

另外，在指定对应于所获得的颜色组中人体颜色部分的颜色组的步骤中，如果所获得的颜色组的代表性颜色属于预定的人体颜色范围，则把该代表性颜色指定为人体颜色部分的颜色组。

另外，当B＞G，G＞100，并且B+15＜R＜B+50时，把预定的人体颜色范围判断为人体颜色，其中颜色坐标是RGB，各个坐标R、G、B的范围分别属于0到255之间，当G＞B，B＞100，并且G+15＜R＜G+50时，也判断为人体颜色，其中颜色坐标是RGB，各个坐标R、G、B的范围分别属于0到255之间。

另外，当134＜Cb＜155，91＜Cr＜142，并且60＜Y＜230时，把预定范围的人体颜色判断为人体颜色，其中颜色坐标是YCrCb，并可以由24比特表示。

另外，在识别面部的步骤中，把由检测到的像素构成的划分部分与面部模板进行比较，从而确定所划分的部分是否对应于面部。

另外，在识别面部的步骤中，当划分部分的尺寸和长宽比在所期望的范围内满足某一条件时，把划分部分判断为面部。

另外，在识别面部时，把临界值以下的划分部分判断为非面部，并删除临界值以下的部分，在删除临界值以下的部分时使用开放形态技术。

根据本发明，在运动图像处理系统和图像通信系统，比如VOD(视频点播)和PVR(个人视频记录器)中，通过在分析给定图像中颜色分布之后适应性地指定适合于该给定图像的人体颜色范围，并利用皮肤颜色，可以有效地检测面部。

通常，图像中显示的人体颜色范围根据摄像条件和摄像设备而大不相同。但是，在一个图像帧中构成人体的人体颜色像素的颜色分布集中在一个很窄的范围。这是因为在一个帧中使用的是同样的照明和同样的摄像设备，对于一个帧中的物体，人体颜色显示在一个特定的范围内。

但是，尽管人体颜色显示在特定的范围内，因为人体颜色范围根据帧而变化，对于一个给定的帧，很难自动判断怎样在一个范围内指定颜色坐标，以检测最佳的人体部分颜色。在本发明中，提供了一种面部检测方法，通过分析给定图像帧中的颜色分布，并适应性地应用一个取决于图像的人体颜色范围，从而获得一个主要颜色组之后，把对应于人体颜色的部分的颜色组指定为当前给定图像的人体颜色范围，从而可以快速有效地检测面部。

附图说明

由以下的详细说明，结合附图，可以更好地理解本发明上述及其他的目的、特征和其他优点。附图中：

图1是一个流程图，显示了通过根据本发明的取决于图像的面部检测方法在图像中检测面部的过程；

图2是一个流程图，显示了在根据本发明的取决于图像的面部检测方法中，输入图像的主要颜色分组过程；

图3a至图5c显示了在根据本发明的取决于图像的面部检测方法中，通过指定输入图像而仅由人体颜色表示的图像，显示了对应于主要颜色组的部分的图像，以及人体颜色组；

图6a至图6d解释了一般的开放形态技术。

具体实施方式

在下文中，将参照附图对根据本发明的一个实施例进行详细说明。

图1是一个流程图，显示了通过根据本发明的取决于图像的面部检测方法在图像中检测面部的过程。

如图1所示，根据本发明的取决于图像的面部检测方法包括以下步骤：输入图像(步骤101)；主要颜色分组(步骤102)；指定人体颜色的颜色组(步骤103)；以及检测人体颜色的颜色部分，还可以包括识别面部的步骤。

这里，步骤101中的图像输入可以是静止图像或运动图像的一个帧。然后，步骤102的主要颜色分组步骤是通过分析步骤101的输入图像的颜色分布，自动分析主要颜色组的分布范围。

以下参照图2对步骤102的主要颜色分析处理进行详细说明。

图2是一个流程图，显示了在根据本发明的取决于图像的面部检测方法中，输入图像的主要颜色分组过程。

以下参照图2解释输入图像的主要颜色分组处理。首先，对于静止图像或运动图像的输入图像，把颜色空间转化为HSV，并量化颜色值。然后，对于量化的颜色值，获得颜色直方图，通过归一化处理把颜色分布值归一化(步骤201)。

然后，对于步骤201中获得的归一化颜色直方图，在颜色直方图的区间中检测最大b_max(步骤202)。这里，判断检测到的b_max的比率是否大于预定的临界值(τ₁)(步骤203)。

作为步骤203的判断的结果，如果检测到的b_max的比率大于预定的临界值(τ₁)，则把当前检测的区间的代表性颜色值判断为输入图像的主要颜色，并执行利用该主要颜色的颜色分组算法(步骤204之后的处理)。另外，作为步骤203的判断的结果，如果检测的b_max的比率不大于预定的临界值(τ₁)，则判断不存在代表性颜色，并结束主要颜色分组处理。

另一方面，作为步骤203的判断的结果，对于比率被判断为大于临界值(τ₁)的b_max，计算所有颜色直方图的区间和当前检测的b_max的代表性颜色之间的相似度(步骤204)。

这里，计算所有颜色直方图的区间和b_max的代表性颜色值之间相似度的方法要使用计算各个区间的代表性颜色值和b_max的代表性颜色值之间的差异的方法。然后，使用构成颜色直方图的各个区间所表现的颜色范围中的中间颜色作为各个区间的代表性颜色值。因此，在量化HSV颜色坐标以得到颜色直方图的过程中先确定代表性颜色值。

然后，通过相似度计算，检测出所有的代表性颜色值与b_max的代表性颜色值之间差异在预定临界值(τ₂)以下的区间。结果，得到一组颜色值近似于检测到的b_max的b_k，并得到一组{b_max，b_k}(步骤205)。

这里，b_k是一组颜色值近似于b_max的区间({b_max，b_k}，其中k∈S，S＝{所有Cb_max和代表性颜色值之间差异小于预定临界值(τ₂)的区间})。然后，利用这个b_max和一组b_k的代表性颜色值生成新的主要颜色(步骤206)。

这里，生成新的主要颜色的方法如下所示：

$C_{\mathrm{dom}}=P\left(b_{\max }\right)\·V\left({\mathrm{Cb}}_{\max }\right)+\underset{k\∈S}{\mathrm{\Σ}}P\left(b_k\right)\·V\left({\mathrm{Cb}}_k\right)$

其中：

b_max：颜色直方图中的最大区间，

b_k：颜色额直方图中的第i个区间，

Cb_max：最大区间的代表性颜色值，

Cb_k：颜色直方图的第i个区间的代表性颜色值，

C_dom：新的主要颜色值，

V(x)：x的向量值，

P(x)：x的概率，即直方图的区间值。

这里，在所得到的新主要颜色中反映了区间的比率和区间的代表性颜色。因为反映了区间的比率，所以可以知道在主要的整个图像中更多地包含了什么颜色值。这里，把新的主要颜色转换成原始颜色空间，以显示代表性颜色值(例如R、G、B)。然后，从当前图像中删除所检测到的b_max和b_k组的区间后(步骤207)，重复执行步骤202后的步骤。

重复执行这个主要颜色的分组计算，直到具有最大值的b_max的比率低于特定的临界值(τ₁)。在检测主要颜色的过程中，通过输入临界值(τ₁)和所需数目的颜色值，可以控制多个检测。

通过这些步骤，对输入图像进行主要颜色分组后，执行指定人体颜色的颜色组的步骤，即指定一个主要颜色组中的颜色范围属于人体颜色部分的组的步骤(步骤103).

这里，预先定义的人体颜色部分使用在统计分析一组人体颜色数据后定义的范围，正如普通技术中所使用的一样。这样，在利用这组预先提供的人体颜色数据而指定宽范围的人体颜色后，通过把对应于主要颜色分组步骤102中得到的颜色组中的人体颜色范围的颜色组指定为人体颜色组，从而执行人体颜色组的指定。这时，新指定的人体颜色的范围要比常规的人体颜色范围窄，从而适合于检测输入图像中的人体颜色部分。

但是，在本发明的这个实施例中，如下指定RGB颜色坐标和YCrCb颜色坐标中的人体颜色范围：

<RGB颜色坐标>

IF(((b＞g)&&(g＞100)&&(r＞b+15)&&(r＜b+50))||((g＞b)&&(b＞100)&&(r＞g+15)&&(r＜g+50)))

THEN SKIN COLOR

<YCrCb颜色坐标>

IF((Cb＞134&&Cb＜155&&Cr＞91&&Cr＜142)&&Y＞60&&Y＜230)

THEN SKIN COLOR

然后，可以利用新指定的人体颜色范围，通过仅检测人体颜色的像素而检测皮肤部分(步骤104)。

图3a-5c显示了通过这些步骤检测面部的示例。图3a-3c显示了原始输入图像，图4a-4c显示了通过对图3a-3c所示输入图像进行颜色分组处理得到的对应于主要颜色组的部分。然后，通过指定图4a-4c所示主要颜色组中的人体颜色组，图5a-5c仅显示了人体颜色的部分。如图所示，面部可以足够显示以适当地划分为主要颜色。

另一方面，在根据人体颜色的颜色组划分部分的步骤中，由于属于非面部的部分会一起检测到，所以还需要一个识别面部的步骤。

识别面部的步骤可以利用常规的方法来执行，比如开放形态技术，以删除检测到的人体颜色部分中尺寸小于一个临界值的部分。

图6a-6d解释了常规的开放形态技术。

也就是说，如图6a-6d所示，可以采用开放形态技术，利用直径大于相应临界值的元素，简单地执行删除尺寸小于特定临界值的部分的步骤。可以利用给定的元素(参见图6b)，通过“侵蚀”处理，使一个部分从其边界缩小该元素的半径(参照图6c)，以及通过“扩张”处理，使剩余部分从其边界扩张该元素的半径(参照图6d)，进行所述的“开放”。

但是，为了更确切地校验通过这些处理检测出的面部，可以另外使用一个面部模板。也就是说，在识别面部的步骤之后，利用面部模板从检测出来的皮肤部分中检测面部，从而检测出面部(步骤105)。

另外，在识别面部的步骤之后，如果满足所划分部分的尺寸和长宽比在一个所希望的范围内的条件，则把所划分的部分判断为面部。

但是，在皮肤部分主要出现为面部的情况下，比如图像通信，当使用本方法跟踪面部部分时，省去识别面部的步骤，仅使用人体颜色部分，也可以有效地检测面部。

如上所述，在根据本发明的取决于图像的面部检测方法中，在运动图像处理系统各图像通信系统，比如VOD(视频点播)和PVR(个人图像记录器)，在分析给定图像中的颜色分布之后，适应性地指定适合于该图像的人体颜色范围，利用皮肤颜色，可以有效地检测面部。

也就是说，在人体颜色部分的基础上，根据本发明的取决于图像的面部检测方法具有处理时间短的优点，并且通过对于输入图像的最优人体颜色范围，可以准确地检测人体颜色部分。更具体而言，在皮肤部分主要出现为面部的情况下，比如图像通信，当检测面部以跟踪面部位置时，可以有效地划分面部。

尽管以上出于示例的目的公布了本发明的优选实施例，本领域的技术人员可以理解，在不脱离所附权利要求所限定的本发明范围和精神的情况下，本发明可以有各种改进、添加和替换。

Claims (6)

1.一种取决于图像的面部检测方法，用于在运动图像处理系统和图像通信系统中通过皮肤颜色而能够检测面部包括步骤：

1)构成所述图像的归一化颜色直方图的步骤；

2)获取所述颜色直方图中具有最大区间值的区间的步骤；

3)确定检测到的具有最大区间值的区间的比率是否小于预定的第一临界值，并且如果确定的结果是“否”，则结束步骤1)到8)的过程并且转到步骤9)；

4)测量所述具有最大区间值的区间的代表性颜色值和其它各个区间的代表性颜色值之间的相似度的步骤；

5)利用测得的相似度低于一个第二临界值的区间以及具有最大区间值的区间来指定主要颜色的颜色范围的步骤；

6)指定所述主要颜色的代表性颜色的步骤；

7)删除相似度低于一个第二临界值的区间以及具有最大区间值的区间的步骤；

8)重新执行步骤2)；

9)在所获取的颜色组中指定对应于人体颜色的颜色组的步骤，其中，如果所获取的颜色组的代表性颜色属于预定的人体颜色范围，则把所述代表性颜色指定为人体颜色部分的颜色组；

10)划分由对应于人体颜色的颜色组的像素构成的部分的步骤；以及

11)将所划分的部分与面部模板进行比较，从而识别面部，以判断所划分的部分是否对应于面部的步骤。

2.根据权利要求1所述的取决于图像的面部检测方法，其中所述预定的人体颜色范围在颜色坐标为RGB时，当B＞G，G＞100，并且B+15＜R＜B+50，各个坐标R、G、B的范围分别属于0至255之间的时候，被判断为人体颜色。

3.根据权利要求1所述的取决于图像的面部检测方法，其中所述预定的人体颜色范围在颜色坐标为RGB时，当G＞B，B＞100，并且G+15＜R＜G+50，各个坐标R、G、B的范围分别属于0至255之间的时候，被判断为人体颜色。

4.根据权利要求1所述的取决于图像的面部检测方法，其中识别面部的步骤是，当所划分部分的尺寸和长宽比满足处于预定范围之内的条件时，把所划分部分判断为面部。

5.根据权利要求1所述的取决于图像的面部检测方法，其中识别面部的步骤是把低于一个第三临界值的划分部分判断为非面部，并删除低于所述第三临界值的部分。

6.根据权利要求5所述的取决于图像的面部检测方法，其中利用开放形态技术执行所述删除低于一个第三临界值的部分的步骤。

Images