CN105205437B - 基于头部轮廓验证的侧脸检测方法及装置 - Google Patents

Abstract

本发明提供一种基于头部轮廓验证的侧脸检测方法及装置，该方法包括：对采集到的图像进行肤色二值化处理，对处理后的图像进行连通分量标记，获取若干矩形肤色区域；若该区域满足预设的肤色判定条件，则对该区域进行发色二值化处理；若该区域满足预设的发色判定条件，则根据该区域调整感兴趣区域；在感兴趣区域内检测边缘像素点；根据感兴趣区域制定人头顶部轮廓模板；利用该模板在感兴趣区域内进行匹配，计算不同位置该模板内边缘像素点数量；取数量最大值，若该最大值达到预设的边缘像素点值，则认为该矩形肤色区域存在有效人头，侧脸检测成功。本发明解决了大角度的侧脸检测问题，降低了侧脸检测的技术门槛，简化了侧脸检测的流程。

Description

基于头部轮廓验证的侧脸检测方法及装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种基于头部轮廓验证的侧脸检测方法及装置。

背景技术

目前，人头检测广泛的应用于数字视频处理、视频检测、基于内容的检索等方面，有着重要的应用价值。人头检测是一个复杂的具有挑战性的模式检测，其主要的难点有两方面：一方面是由于人头内在的不同特征所引起，人头具有相当复杂的细节变化，如发色、肤色、眼镜和头部饰物等的不同；另一方面由于外在条件变化所引起，由于成像角度的不同造成人头的多姿态，如正面、侧面、背面，特征不同，还有光照的影响，如图像中的亮度、对比度的变化和阴影等。这些困难都为解决人头检测问题造成了难度。

人脸作为人头的主要特征，是人头检测的基础，在人头检测过程中往往需要利用人脸检测的结果去实现人头检测。在进行人脸检测时，现有技术中往往采用Adaboost算法进行人脸检测，该方法需采集大量人脸正负样本信息进行训练，其中，正样本包括正脸、侧脸，负样本为不包括正脸、侧脸的图像，训练生成一个人脸分类器，然后根据这个分类器来检测人脸。

该技术方案的训练工作量很大，而且该方案依赖于镜头能够拍摄到的人脸的角度，当人脸的侧脸角度或者旋转角度比较大时，如图1所示，比较难检测到。一般只能对侧脸角度不超过30度的侧脸进行检测，而且侧脸分类器的训练工作量也很大。

在利用该人脸检测结果作为观察模型进行后续跟踪时，由于该观察模型只提供了人脸信息，因此，当人背对镜头时，容易跟踪丢失。

在现有的另一种人头检测方案中，采用Canny算子进行图像边缘提取，利用Hough变换进行圆形检测，并用头发的颜色信息进行验证。该方案对应用场景存在一定限制，一般用于俯视的人头检测，如图2所示。在以该人头检测结果作为观察模型进行跟踪时，由于该观察模型提供的是发色信息，因此，当人脸正对镜头时，也会存在跟踪丢失问题。

上述两种方案中，都存在人头检测范围较小的问题，不能自适应多角度基于人脸检测的人头检测，以至于以此为基础的人头跟踪必然不稳定。

发明内容

有鉴于此，本发明提供了一种基于头部轮廓验证的侧脸检测方法，该方法包括：

对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整感兴趣区域大小；

在所述感兴趣区域内进行边缘检测，确定边缘像素点；

根据所述感兴趣区域的宽和高，制定人头顶部轮廓模板；

利用所述人头顶部轮廓模板在所述感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功。

本发明还提供了一种支持多角度人头自动检测与跟踪方法，该方法包括：

在采集到一帧图像后，采用人脸分类器进行第一正脸检测；

若所述第一正脸检测成功，则获取正脸矩形框；

根据所述正脸矩形框调整第一感兴趣区域，更新观察模型；

若所述第一正脸检测失败，则对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整第二感兴趣区域大小；

在所述第二感兴趣区域内进行边缘检测，确定边缘像素点；

根据所述第二感兴趣区域的宽和高，制定人头顶部轮廓模板；

利用所述人头顶部轮廓模板在所述第二感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功，获取侧脸矩形框；

根据所述侧脸矩形框调整第一感兴趣区域，更新观察模型；

根据所述观察模型，采用跟踪算法对人头进行跟踪。

本发明还提供了一种基于头部轮廓验证的侧脸检测装置，该装置包括：

肤色图像获取单元，用于对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

肤色区域获取单元，用于对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

发色二值化处理单元，用于若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

感兴趣区域调整单元，用于若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整感兴趣区域大小；

边缘像素确定单元，用于在所述感兴趣区域内进行边缘检测，确定边缘像素点；

轮廓模板制定单元，用于根据所述感兴趣区域的宽和高，制定人头顶部轮廓模板；

顶部轮廓匹配单元，用于利用所述人头顶部轮廓模板在所述感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

侧脸检测确认单元，用于取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功。

本发明还提供了一种支持多角度人头自动检测与跟踪装置，该装置包括：

第一正脸检测单元，用于在采集到一帧图像后，采用人脸分类器进行第一正脸检测；

正脸矩形框获取单元，用于若所述第一正脸检测成功，则获取正脸矩形框；

正脸模型更新单元，用于根据所述正脸矩形框调整第一感兴趣区域，更新观察模型；

肤色图像获取单元，用于若所述第一正脸检测失败，则对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

肤色区域获取单元，用于对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

发色二值化处理单元，用于若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

感兴趣区域调整单元，用于若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整第二感兴趣区域大小；

边缘像素确定单元，用于在所述第二感兴趣区域内进行边缘检测，确定边缘像素点；

轮廓模板制定单元，用于根据所述第二感兴趣区域的宽和高，制定人头顶部轮廓模板；

顶部轮廓匹配单元，用于利用所述人头顶部轮廓模板在所述第二感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

侧脸检测确认单元，用于取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功，获取侧脸矩形框；

侧脸模型更新单元，用于根据所述侧脸矩形框调整第一感兴趣区域，更新观察模型；

人头检测跟踪单元，用于根据所述观察模型，采用跟踪算法对人头进行跟踪。

本发明解决了大角度的侧脸检测问题，降低了侧脸检测的技术门槛，简化了侧脸检测的流程。

附图说明

图1是侧脸大角度和人脸旋转大角度示意图。

图2是俯视人头示意图。

图3是本发明一种实施方式中基于头部轮廓验证的侧脸检测装置的逻辑结构及其基础硬件环境的示意图。

图4是本发明一种实施方式中基于头部轮廓验证的侧脸检测方法的流程图。

图5是本发明一种实施方式中肤色二值化示意图。

图6是本发明一种实施方式中侧脸检测效果示意图。

图7是本发明一种实施方式中制定人头顶部轮廓模板的示意图。

图8是本发明一种实施方式中支持多角度人头自动检测与跟踪装置的逻辑结构及其基础硬件环境的示意图。

图9是本发明一种实施方式中支持多角度人头自动检测与跟踪方法的流程图。

图10是本发明一种实施方式中正脸感兴趣区域调整示意图。

具体实施方式

以下结合附图对本发明进行详细说明。

本发明提供一种基于头部轮廓验证的侧脸检测装置，以下以软件实现为例进行说明，但是本发明并不排除诸如硬件或者逻辑器件等其他实现方式。如图3所示，该装置运行的硬件环境包括CPU、内存、非易失性存储器以及其他硬件。该基于头部轮廓验证的侧脸检测装置作为一个逻辑层面的虚拟装置，其通过CPU来运行。该装置包括肤色图像获取单元、肤色区域获取单元、发色二值化处理单元、感兴趣区域调整单元、边缘像素确定单元、轮廓模板制定单元、顶部轮廓匹配单元以及侧脸检测确认单元。请参考图4，该装置的使用和运行过程包括以下步骤：

步骤101，肤色图像获取单元对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

步骤102，肤色区域获取单元对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

步骤103，发色二值化处理单元在所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件时，对所述矩形肤色区域进行发色二值化处理；

步骤104，感兴趣区域调整单元在所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件时，根据所述矩形肤色区域调整感兴趣区域大小；

步骤105，边缘像素确定单元在所述感兴趣区域内进行边缘检测，确定边缘像素点；

步骤106，轮廓模板制定单元根据所述感兴趣区域的宽和高，制定人头顶部轮廓模板；

步骤107，顶部轮廓匹配单元利用所述人头顶部轮廓模板在所述感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

步骤108，侧脸检测确认单元取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功。

本发明结合肤色信息、发色信息以及人头顶部轮廓信息进行侧脸检测，解决了现有技术中采用Adaboost算法检测人脸时，侧脸检测角度小的问题，同时，避免了使用Adaboost分类器时，侧脸分类器训练工作量大，技术门槛高的问题。本发明的具体实施过程如下。

首先，对采集到的图像进行肤色二值化处理，获取肤色二值化图像。在进行肤色二值化处理时，可以只针对图像的上半帧图像进行处理，这是由于人头一般出现在图像的上半部分，可以防止误检。由于肤色信息是人脸的重要信息，因此，通过肤色二值化处理可以缩小人脸的检测范围，在后续处理时只针对肤色区域进行处理。肤色二值化处理效果如图5所示，由于桌椅等物品与肤色接近，因此，肤色二值化处理后，桌椅等物品同人脸一起作为后续处理的候选区域。

对上述得到的肤色二值化图像进行连通分量标记，获取若干矩形肤色区域。由于图像中可能存在一些颜色接近肤色的物品，因此，需要将肤色二值化处理后的图像，根据肤色连通性划分成多个矩形区域，用于后续针对该等矩形区域进行处理，该等矩形区域为连通分量标记的外接矩形区域。

本发明根据矩形肤色区域的宽、高、肤色占空比以及宽高比进一步缩小人脸检测的范围，当上述条件满足预设的肤色判定条件时，才进行后续处理。例如，限定宽度取值范围为36～96，高度取值范围为48～96，肤色占空比取值范围为0.5～0.85，宽高比取值范围为0.5～1，当同时满足这些预设的肤色判定条件时，才认为是可能的人脸区域。如图6所示人脸附近的椭圆区域为满足预设条件的肤色区域。该椭圆区域是为了更接近人脸的显示方式，实际计算是按矩形肤色区域计算，矩形肤色区域是椭圆区域的外接矩形。

若矩形肤色区域为人脸的肤色区域，则该矩形肤色区域内会包含部分发色信息，因此，在获得满足肤色判定条件的矩形肤色区域后，对该等矩形肤色区域进行发色二值化处理，判断该矩形肤色区域内哪些是发色像素，并根据发色像素与该矩形区域内的总像素的比值，进一步缩小人脸的检测范围。例如：在YCbCr颜色空间判断图像像素是否为发色，公式如下：

Y<＝70&&Cb<＝133&&Cb>＝125&&Cr<＝133&&Cr>＝124

当满足上述公式时，对应像素为发色像素，当所有发色像素占矩形肤色区域总像素的0.1～0.5时，认为该矩形肤色区域为可能的人脸区域。

在获得通过发色过滤后的矩形肤色区域后，根据该矩形肤色区域调整感兴趣区域大小，使感兴趣区域内包含人头顶部轮廓信息。例如：输入矩形的左上角坐标为(X，Y)，宽高分别为WDT、HGT，那么调整后感兴趣区域矩形的宽高分别为WDT、WDT*1.3，左上角坐标为(X，MAX(0,Y-WDT*0.65))。在矩形肤色区域附近适当放大感兴趣区域范围，使后续处理集中在该区域内进行，能够快速准确的检测到人脸。

在上述感兴趣区域内进行边缘检测，检测所有的边缘点。若该区域内存在人头，则检测到的边缘点中一定包括人头的边缘轮廓像素点。

	Top
			Lft	Cur	Rgt
	Btm

表1

表1为像素相对位置关系表。首先，计算每个像素Cur的梯度值，该值等于|Top-Btm|+|Lft-Rgt|，当梯度值大于20时，认为该像素为有效边缘像素。

根据感兴趣区域的大小，制定人头顶部轮廓模板，利用该模板可以进一步验证感兴趣区域内是否存在人头。将该人头顶部轮廓模板在感兴趣区域内上下移动，统计其在不同位置时模板内边缘像素点的数量，模板内同一水平坐标的一个或者多个边缘像素点只能统计一次。因为边缘只能有一条，所以，同一竖直方向上的边缘像素点不能被多次统计。选取在不同位置统计后的边缘像素点数量的最大值，若该值大于预设的边缘像素点的值(例如：最大边缘像素点数量大于感兴趣区域宽度方向像素点数量的0.8倍)，则说明边缘像素点数量最大值对应的模板匹配区域内的边缘轮廓为人头顶部轮廓。

在制定人头顶部轮廓模板时，本发明根据感兴趣区域的宽和高来确定模板大小。这是由于感兴趣区域已经包含人头顶部轮廓信息，因此，根据该感兴趣区域确定的模板一定能够检测到该感兴趣区域内的人头顶部轮廓。参见图7，黑色填充区域即该轮廓模板。该轮廓模板由两个椭圆的上半部分轮廓线包围组成，竖直椭圆的水平轴长等于感兴趣区域的宽，竖直轴长等于感兴趣区域的高；水平椭圆的水平轴长等于感兴趣区域的宽，竖直轴长等于感兴趣区域宽的M倍(例如，M为0.7)，M值不易过小，否则，轮廓模板顶部过平，一些非人头的轮廓信息会被误检到。且两个椭圆最顶部的边缘差N个像素点(例如，N为2)，N的取值是为了预留一定的空间，当人头顶部最高点并不居中时，也就是说人头转动一定角度时，人头轮廓仍然能够落入该模板中。该人头顶部轮廓模板确定了人头顶部轮廓的大致范围，当感兴趣区域内边缘像素点落入该模板范围内的数量达到预设的顶部轮廓判定条件时，即检测到了人头顶部轮廓，也进一步验证了该感兴趣区域内的人脸信息。

本发明通过上述肤色信息、发色信息以及人头顶部轮廓信息的综合判断，最终完成侧脸检测，该基于人脸主要特征的检测方法，扩大了侧脸检测的角度范围。

本发明还提供一种支持多角度人头自动检测与跟踪装置，以下以软件实现为例进行说明，但是本发明并不排除诸如硬件或者逻辑器件等其他实现方式。如图8所示，该装置运行的硬件环境包括CPU、内存、非易失性存储器以及其他硬件。该支持多角度人头自动检测与跟踪装置作为一个逻辑层面的虚拟装置，其通过CPU来运行。该装置包括第一正脸检测单元、正脸矩形框获取单元、正脸模型更新单元、肤色图像获取单元、肤色区域获取单元、发色二值化处理单元、感兴趣区域调整单元、边缘像素确定单元、轮廓模板制定单元、顶部轮廓匹配单元、侧脸检测确认单元、侧脸模型更新单元以及人头检测跟踪单元。请参考图9，该装置的使用和运行过程包括以下步骤：

步骤201，第一正脸检测单元在采集到一帧图像后，采用人脸分类器进行第一正脸检测；

步骤202，正脸矩形框获取单元在所述第一正脸检测成功时，获取正脸矩形框；

步骤203，正脸模型更新单元根据所述正脸矩形框调整第一感兴趣区域，更新观察模型，转步骤213；

步骤204，肤色图像获取单元在所述第一正脸检测失败时，对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

步骤205，肤色区域获取单元对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

步骤206，发色二值化处理单元在所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件时，对所述矩形肤色区域进行发色二值化处理；

步骤207，感兴趣区域调整单元在所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件时，根据所述矩形肤色区域调整第二感兴趣区域大小；

步骤208，边缘像素确定单元在所述第二感兴趣区域内进行边缘检测，确定边缘像素点；

步骤209，轮廓模板制定单元根据所述第二感兴趣区域的宽和高，制定人头顶部轮廓模板；

步骤210，顶部轮廓匹配单元利用所述人头顶部轮廓模板在所述第二感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

步骤211，侧脸检测确认单元取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功，获取侧脸矩形框；

步骤212，侧脸模型更新单元根据所述侧脸矩形框调整第一感兴趣区域，更新观察模型；

步骤213，人头检测跟踪单元根据所述观察模型，采用跟踪算法对人头进行跟踪。

本发明通过正脸检测、侧脸检测以及引入跟踪算法，实现多角度的人头自动检测与跟踪。具体处理过程如下。

当系统处于初始状态或在人头跟踪过程中跟踪丢失，都需要重新进行人脸检测(以下简称初始人脸检测)，根据初始人脸检测的结果更新跟踪算法的观察模型，重新启动人头跟踪。

在进行初始人脸检测时，为了尽快检测到人脸，首先利用现有的Adaboost分类器进行正脸检测，该正脸检测技术已经非常成熟。在检测到正脸后，利用肤色信息对该检测结果进行验证。本发明选取占空比阈值为0.8，当肤色像素占人脸矩形框像素的比重大于0.8时，认为正脸检测有效。肤色验证是为了减少错误的检测，使检测结果更加可靠，效果更好。

在上述正脸检测失败时，需要进行侧脸检测，侧脸检测的具体过程已在基于头部轮廓验证的侧脸检测装置中介绍，在此不再赘述。

无论是正脸检测成功还是侧脸检测成功，都需要获得对应的人脸矩形框，根据该矩形框调整感兴趣区域，在该感兴趣区域内统计人脸特征作为跟踪算法的观察模型，启动人头跟踪。

由于人脸检测的结果是为了更新观察模型，进而实现人头跟踪，因此，人脸检测的准确性直接影响到跟踪效果。为了获得更好的跟踪效果，本发明只进行正脸检测和侧脸检测，其它角度由于特征不明显，容易造成误检，因此不做检测。

在通过Adaboost算法获得的正脸矩形框中不包含发色信息，因此，在初始人脸检测获得的是正脸矩形框时，需要根据该矩形框进行感兴趣区域调整。具体调整过程为：感兴趣区域的宽为正脸矩形框宽的X倍，感兴趣区域的高为正脸矩形框高的Y倍，感兴趣区域的中心和正脸矩形框的中心在同一条竖直线上，感兴趣区域的下边缘和正脸矩形框的下边缘在同一条水平线上。如图10所示，内层矩形框为正脸矩形框，外层矩形框为调整后的感兴趣区域，感兴趣区域的宽为正脸矩形框宽的1.125倍，感兴趣区域的高为正脸矩形框高的1.5倍。通过上述的调整过程，使感兴趣区域内包含了部分发色信息。由于感兴趣区域是作为跟踪算法观察模型的统计区域，观察模型是提取出的目标特征模型，是跟踪算法运行的基础，因此，感兴趣区域包含的信息越多，跟踪算法的稳定性越好。

上述感兴趣区域的调整是针对检测到的正脸矩形框进行调整，若检测到的为侧脸矩形框，则感兴趣区域为侧脸矩形框区域，无需调整。这是由于侧脸矩形框中已经包含部分发色信息，可以直接获取观察模型。

在调整感兴趣区域后，本发明通过统计该感兴趣区域内的颜色直方图作为跟踪算法的观察模型。首先，将感兴趣区域内的RGB格式转换为HSV格式，将H、S、V分量分别分成10份，假设像素H、S、V分量值为HVal、SVal、VVal，H、S、V分量最大取值为HMax、SMax、VMax，那么该像素H、S、V分量的索引分别为MIN(9,HVal*10/HMax)、MIN(9,SVal*10/SMax)、MIN(9,VVal*10/VMax)，这三个索引分别记为HIdx、SIdx、VIdx。然后，判断SIdx<1||VIdx<2是否成立，若成立，则说明该像素亮度偏暗或者饱和度偏低，色调置信度低，最终直方图索引为10*10+VIdx；若不成立，则直方图索引为10*SIdx+HIdx。最后，统计所有像素索引，并对颜色直方图进行归一化处理，返回归一化的颜色直方图作为跟踪算法的观察模型。

在获取观察模型后，启动跟踪算法对人头进行跟踪。本发明采用PF(ParticleFilter,粒子滤波)跟踪算法进行跟踪。在跟踪过程中，继续进行正脸检测，若正脸检测成功，则更新观察模型。这是由于PF跟踪算法存在粒子衰竭现象，粒子衰竭是指由于姿态、光照等影响，随着时间的推移，目标颜色直方图与初始跟踪时获取的颜色直方图差异越来越大，如果在差异大于一定阈值前，没有更新观察模型，则跟踪丢失。因此，为了获得更加稳定的跟踪效果，需要及时更新观察模型，避免粒子衰竭现象。在跟踪过程中采用正脸检测是由于正脸特征显著，能够尽可能的避免误检，保证跟踪的稳定性。

跟踪过程中的正脸检测区域为以上一帧图像的跟踪区域为中心的预设区域。本发明中，以上一帧人头跟踪区域的中心为中心，预设区域的长宽分别为跟踪区域长宽的3倍。在该预设区域内，采用Adaboost分类器做正脸检测，再用肤色信息进行验证。预设区域的设置是根据先验知识，前后两帧人头的运动具有连贯性，因此，通过设置在上一帧图像跟踪区域的附近区域来提高运算性能和减少误检，同时，很大程度上避免了PF跟踪算法长时间跟踪后的粒子衰竭现象。

在PF跟踪过程中，通过将采集到的图像的颜色直方图与观察模型的颜色直方图进行相似度比对，若相似度小于预设的相似度阈值，则跟踪丢失，重新开始本发明中的初始人脸检测过程。

本发明结合正脸检测、侧脸检测以及跟踪算法，实现多角度的人头自动检测与跟踪，具有高正检率和低误检率，降低了对Adaboost算法的依赖。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种基于头部轮廓验证的侧脸检测方法，其特征在于，该方法包括：

对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整感兴趣区域大小，所述感兴趣区域包含待确认的人头顶部轮廓信息；

在所述感兴趣区域内进行边缘检测，确定边缘像素点；

制定人头顶部轮廓模板，所述人头顶部轮廓模板为第一轮廓线和第二轮廓线构成的区域，其中，所述第一轮廓线为第一椭圆的上半部分轮廓线，所述第二轮廓线为第二椭圆的上半部分轮廓线，所述第一椭圆的水平轴长为所述感兴趣区域的宽，所述第一椭圆的竖直轴长为所述感兴趣区域的高，所述第二椭圆的水平轴长为所述感兴趣区域的宽，所述第二椭圆的竖直轴长为所述感兴趣区域宽的M倍，所述第一椭圆的圆心和所述第二椭圆的圆心在同一条竖直线上；

利用所述人头顶部轮廓模板在所述感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功。

2.一种支持多角度人头自动检测与跟踪方法，其特征在于，该方法包括：

在采集到一帧图像后，采用人脸分类器进行第一正脸检测；

若所述第一正脸检测成功，则获取正脸矩形框；

根据所述正脸矩形框调整第一感兴趣区域，更新观察模型，所述第一感兴趣区域包含发色信息；

若所述第一正脸检测失败，则对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整第二感兴趣区域大小，所述第二感兴趣区域包含待确认的人头顶部轮廓信息；

在所述第二感兴趣区域内进行边缘检测，确定边缘像素点；

制定人头顶部轮廓模板，所述人头顶部轮廓模板为第一轮廓线和第二轮廓线构成的区域，其中，所述第一轮廓线为第一椭圆的上半部分轮廓线，所述第二轮廓线为第二椭圆的上半部分轮廓线，所述第一椭圆的水平轴长为所述第二感兴趣区域的宽，所述第一椭圆的竖直轴长为所述第二感兴趣区域的高，所述第二椭圆的水平轴长为所述第二感兴趣区域的宽，所述第二椭圆的竖直轴长为所述第二感兴趣区域宽的M倍，所述第一椭圆的圆心和所述第二椭圆的圆心在同一条竖直线上；

利用所述人头顶部轮廓模板在所述第二感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功，获取侧脸矩形框；

根据所述侧脸矩形框调整第一感兴趣区域，更新观察模型；

根据所述观察模型，采用跟踪算法对人头进行跟踪。

3.如权利要求2所述的方法，其特征在于，所述第一感兴趣区域的调整过程为：

若所述正脸检测成功，则所述第一感兴趣区域的宽为所述正脸矩形框宽的X倍，所述第一感兴趣区域的高为所述正脸矩形框高的Y倍，所述第一感兴趣区域的中心和所述正脸矩形框的中心在同一条竖直线上，所述第一感兴趣区域的下边缘和所述正脸矩形框的下边缘在同一条水平线上；

若所述侧脸检测成功，则所述第一感兴趣区域为所述侧脸矩形框区域。

4.如权利要求2所述的方法，其特征在于：

在所述人头跟踪过程中，进行第二正脸检测，若所述第二正脸检测成功，则更新所述观察模型，其中，所述第二正脸检测的检测区域为以上一帧图像的跟踪区域为中心的预设区域，所述跟踪区域为基于所述观察模型跟踪到的人头所在区域。

5.一种基于头部轮廓验证的侧脸检测装置，其特征在于，该装置包括：

肤色图像获取单元，用于对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

肤色区域获取单元，用于对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

发色二值化处理单元，用于若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

感兴趣区域调整单元，用于若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整感兴趣区域大小，所述感兴趣区域包含待确认的人头顶部轮廓信息；

边缘像素确定单元，用于在所述感兴趣区域内进行边缘检测，确定边缘像素点；

轮廓模板制定单元，用于制定人头顶部轮廓模板，所述人头顶部轮廓模板为第一轮廓线和第二轮廓线构成的区域，其中，所述第一轮廓线为第一椭圆的上半部分轮廓线，所述第二轮廓线为第二椭圆的上半部分轮廓线，所述第一椭圆的水平轴长为所述感兴趣区域的宽，所述第一椭圆的竖直轴长为所述感兴趣区域的高，所述第二椭圆的水平轴长为所述感兴趣区域的宽，所述第二椭圆的竖直轴长为所述感兴趣区域宽的M倍，所述第一椭圆的圆心和所述第二椭圆的圆心在同一条竖直线上；

顶部轮廓匹配单元，用于利用所述人头顶部轮廓模板在所述感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

侧脸检测确认单元，用于取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功。

6.一种支持多角度人头自动检测与跟踪装置，其特征在于，该装置包括：

第一正脸检测单元，用于在采集到一帧图像后，采用人脸分类器进行第一正脸检测；

正脸矩形框获取单元，用于若所述第一正脸检测成功，则获取正脸矩形框；

正脸模型更新单元，用于根据所述正脸矩形框调整第一感兴趣区域，更新观察模型，所述第一感兴趣区域包含发色信息；

肤色图像获取单元，用于若所述第一正脸检测失败，则对采集到的图像进行肤色二值化处理，获取肤色二值化图像；

肤色区域获取单元，用于对所述肤色二值化图像进行连通分量标记，获取若干矩形肤色区域；

发色二值化处理单元，用于若所述矩形肤色区域的宽、高、肤色占空比以及宽高比满足预设的肤色判定条件，则对所述矩形肤色区域进行发色二值化处理；

感兴趣区域调整单元，用于若所述发色像素与所述矩形肤色区域总像素的比值满足预设的发色判定条件，则根据所述矩形肤色区域调整第二感兴趣区域大小，所述第二感兴趣区域包含待确认的人头顶部轮廓信息；

边缘像素确定单元，用于在所述第二感兴趣区域内进行边缘检测，确定边缘像素点；

轮廓模板制定单元，用于制定人头顶部轮廓模板，所述人头顶部轮廓模板为第一轮廓线和第二轮廓线构成的区域，其中，所述第一轮廓线为第一椭圆的上半部分轮廓线，所述第二轮廓线为第二椭圆的上半部分轮廓线，所述第一椭圆的水平轴长为所述第二感兴趣区域的宽，所述第一椭圆的竖直轴长为所述第二感兴趣区域的高，所述第二椭圆的水平轴长为所述第二感兴趣区域的宽，所述第二椭圆的竖直轴长为所述第二感兴趣区域宽的M倍，所述第一椭圆的圆心和所述第二椭圆的圆心在同一条竖直线上；

顶部轮廓匹配单元，用于利用所述人头顶部轮廓模板在所述第二感兴趣区域内进行匹配，计算不同位置所述人头顶部轮廓模板内边缘像素点数量；

侧脸检测确认单元，用于取所述边缘像素点数量的最大值，若所述最大值达到预设的边缘像素点值，则认为该所述矩形肤色区域存在有效人头，侧脸检测成功，获取侧脸矩形框；

侧脸模型更新单元，用于根据所述侧脸矩形框调整第一感兴趣区域，更新观察模型；

人头检测跟踪单元，用于根据所述观察模型，采用跟踪算法对人头进行跟踪。

7.如权利要求6所述的装置，其特征在于：

所述正脸模型更新单元对所述第一感兴趣区域的调整过程为：

所述第一感兴趣区域的宽为所述正脸矩形框宽的X倍，所述第一感兴趣区域的高为所述正脸矩形框高的Y倍，所述第一感兴趣区域的中心和所述正脸矩形框的中心在同一条竖直线上，所述第一感兴趣区域的下边缘和所述正脸矩形框的下边缘在同一条水平线上；

所述侧脸模型更新单元对所述第一感兴趣区域的调整过程为：

所述第一感兴趣区域为所述侧脸矩形框区域。

8.如权利要求6所述的装置，其特征在于：

所述人头检测跟踪单元进一步用于在所述人头跟踪过程中，进行第二正脸检测，若所述第二正脸检测成功，则更新所述观察模型，其中，所述第二正脸检测的检测区域为以上一帧图像的跟踪区域为中心的预设区域，所述跟踪区域为基于所述观察模型跟踪到的人头所在区域。