CN102722698B - 多姿态人脸检测与跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种多姿态人脸检测与跟踪方法及系统，所述方法包括：步骤一：将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；步骤二：从预处理后的帧图片中获取人脸图片；步骤三：判断所述人脸图片是否为假脸，若不是假脸，则对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则根据所述预测的结果定位获取下一张人脸图片在下一张帧图片中的位置并重复所述步骤一至步骤三，若丢失，则选出旋转角度和清晰度最佳的五张人脸图片；若是假脸，则丢弃所述人脸图片，本发明能够克服人脸姿态的不稳定性以及环境光照变化的影响，实时分辨人脸姿态并刷筛选出最佳姿态的人脸图片。

Description

多姿态人脸检测与跟踪方法及系统

技术领域

本发明涉及一种多姿态人脸检测与跟踪方法及系统。

背景技术

多姿态的人脸检测及跟踪问题是近几年发展起来的研究课题，目前静态图片的人脸检测算法逐渐趋于成熟，然而，由于动态场景或者实时视频中的人脸可能遇到各种各样的外界环境干扰，例如光照变化、人脸姿态、部分遮挡等，这些干扰限制了人脸检测系统在实际监控中的应用。

目前，并没有一个成熟的人脸检测及跟踪方法或系统能够应用于复杂的监控环境中，如公开号为“CN1794264”（申请号为“CN200510135668.8”）发明名称为“视频序列中人脸的实时检测与持续跟踪的方法及系统”的中国专利申请，其只能够解决正面直立人脸的实时检测与跟踪，在实际的应用条件中正面直立人脸仅能达到25%左右。因此，如何正确识别多姿态即不同角度的人脸仍然是人脸检测跟踪中急需解决的问题，目前的解决方法大都分为两种，一种是利用三维建模来实现，如公开号为“CN101499128”（申请号为“CN200810057183.5”）发明名称为“基于视频流的三维人脸动作检测和跟踪方法”的中国专利申请，但是其记载的三维建模方法的核心技术运算量大，不稳定不适合应用与实时的系统中；另外一种方法是训练正面和侧面人脸分类器来实现，如公开号为“CN1924294”（申请号为“CN200610113423.X”）发明名称为“多姿态人脸检测与追踪系统及方法”中记载的正面和侧面人脸分类器，但是，这种方法只能区分出正面和侧面人脸，并不能有效的分辨出人脸偏转的角度，筛选出最佳的人脸图像。

发明内容

本发明的目的在于提供一种多姿态人脸检测与跟踪方法及系统，能够克服人脸姿态的不稳定性以及环境光照变化的影响，实时分辨人脸姿态并刷筛选出最佳姿态的人脸图片。

为解决上述问题，本发明提供一种多姿态人脸检测与跟踪方法，包括：

步骤一：将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；

步骤二：从预处理后的帧图片中获取人脸图片；

步骤三：判断所述人脸图片是否为假脸，

若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则根据所述预测的结果定位获取下一张人脸图片在下一张帧图片中的位置并重复所述步骤一至步骤三，若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片；

若是假脸，则丢弃所述人脸图片，重复所述步骤一至步骤三。

进一步的，在上述方法中，所述步骤一中通过参考最高亮度进行光照补偿。

进一步的，在上述方法中，所述步骤二中采用AdaBoost训练方法从预处理后的帧图片中获取人脸图片。

进一步的，在上述方法中，所述步骤三中利用肤色验证和特征验证相融合的方法判断所述人脸图片是否为假脸。

进一步的，在上述方法中，所述肤色验证包括：

从所述人脸图片中获取肤色区域面积与人脸区域面积的比值；

根据所述比值和第一预设阈值筛选所述人脸图片。

进一步的，在上述方法中，所述特征验证包括：

从所述人脸图片中获取唇色区域面积；

根据所述唇色区域面积和第二预设阈值筛选所述人脸图片。

进一步的，在上述方法中，所述特征验证包括：

从所述人脸图片中获取眼睛区域面积；

根据所述眼睛区域面积和第三预设阈值筛选所述人脸图片。

进一步的，在上述方法中，判断人脸的性别的步骤包括：

通过PCA结合SIFT的特征提取方法获取所述人脸图片的男性投影矩阵和女性投影矩阵；

利用K-Means聚类方法得到标准的男性聚类中心和女性聚类中心；

获取所述男性投影矩阵到所述男性聚类中心的第一距离；

获取所述女性投影矩阵到所述女性聚类中心的第二距离；

判断所述第一距离是否大于所述第二距离，若是则判断所述人脸图片为男性，若否则判断所述人脸图片为女性。

进一步的，在上述方法中，判断人脸的年龄段的步骤包括：利用PCA方法对人脸图片进行年龄特征提取；

利用K-近邻分类器方法设计少年、青年、中年、老年五种分类器；

获取所述年龄特征到所述五种分类器的欧氏距离；

根据所述欧氏距离判断所述人脸图片的年龄段。

进一步的，在上述方法中，通过Kalman滤波方法对人脸的运行轨迹进行预测。

进一步的，在上述方法中，通过Mean shift算法跟踪所述人脸。

进一步的，在上述方法中，对所述人脸图片进行最佳姿态筛选的步骤包括：

以人脸图片的人脸中心为原点建立i、j、k三坐标轴，所述i轴是垂直于竖直平面的轴，所述j轴为位于竖直平面上且与地平线平行的轴，所述k轴为位于竖直平面上且与所述j轴垂直的轴；

获取人脸图片的人脸法线与i轴的θ夹角，所述人脸法线为垂直于人脸的线；

获取摄像机与人脸图片的人脸中心的连线和人脸法线的

夹角；

获取人脸图片的双眼连线与j轴的Y夹角；

根据所述θ夹角、

夹角和Y夹角筛选最佳姿态的人脸图片。

根据本发明的另一面，提供一种多姿态人脸检测与跟踪系统，包括：

预处理模块，用于将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；

人脸检测模块，用于从预处理后的帧图片中获取人脸图片；

判断模块，用于判断所述人脸图片是否为假脸，若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则将根据所述预测的结果发送到所述人脸检测模块，若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片；若是假脸，则丢弃所述人脸图片。

进一步的，在上述系统中，所述判断模块还用于以人脸图片的人脸中心为原点建立i、j、k三坐标轴，所述i轴是垂直于竖直平面的轴，所述j轴为位于竖直平面上且与地平线平行的轴，所述k轴为位于竖直平面上且与所述j轴垂直的轴，获取人脸图片的人脸法线与i轴的θ夹角，所述人脸法线为垂直于人脸的线，获取摄像机与人脸图片的人脸中心的连线和人脸法线的

夹角，获取人脸图片的双眼连线与j轴的Y夹角，及根据所述θ夹角、

夹角和Y夹角筛选最佳姿态的人脸图片。

与现有技术相比，本发明通过步骤一：将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；步骤二：从预处理后的帧图片中获取人脸图片；步骤三：判断所述人脸图片是否为假脸，若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则根据所述预测的结果定位获取下一张人脸图片在下一张帧图片中的位置并重复所述步骤一至步骤三，若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片；若是假脸，则丢弃所述人脸图片，重复所述步骤一至步骤三，能够克服人脸姿态的不稳定性以及环境光照变化的影响，实时分辨人脸姿态并刷筛选出最佳姿态的人脸图片。

附图说明

图1是本发明一实施例的多姿态人脸检测与跟踪方法的流程图；

图2是本发明一实施例的多姿态人脸检测与跟踪方法的原理图；

图3是本发明一实施例的判断人脸的性别的求解原理图；

图4是本发明一实施例的判断人脸的性别的实现原理图；

图5是本发明一实施例的最佳姿态筛选的示意图；

图6是本发明一实施例的多姿态人脸检测与跟踪系统模块示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1和图2所示，本发明提供一种多姿态人脸检测与跟踪方法，包括：

步骤S1，将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；

优选的，所述步骤S1中由于人脸会反射外界各种光线，经过摄像机采集后的人脸图像，除了包括人脸的特定信息外，还会包括外部其他的信息，如光照变化等，所以本发明在获取人脸图片前，对采集后的图像进行预处理，这是人脸检测过程中非常重要的一个环节，本发明通过参考最高亮度进行光照补偿；

步骤S2，从预处理后的帧图片中获取人脸图片；

优选的，所述步骤S2中，获取到人脸图片即可能是正面人脸，也可能是非正面人脸，其中，非正面人脸包括：左右偏转人脸、正面倾斜人脸及上下倾斜人脸，本发明具体可利用AdaBoost训练算法的由粗到细的姿态划分策略，实现金字塔结构（Lietal提出的检测器金字塔结构，共训练7个处理不同侧面情况的检测器）的多级检测器来处理多姿态人脸检测，从预处理后的帧图片中获取人脸图片，具体来说，AdaBoost训练算法是2001年由Viola等人提出的，该算法可以满足实时的人脸检测，并且能够对学习算法返回的误差进行自适应调整，其基本原理是把很多弱分类器组合起来形成一个强分类器，AdaBoost算法的检测率很高平均可达到94%以上，是目前比较热门的人脸检测算法，但其误检率也相对较高；

步骤S3，判断所述人脸图片是否为假脸，若不是假脸，则执行步骤S31，若是假脸，则执行步骤S32，

步骤S31，根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，例如可以根据环境预测人脸的运行轨迹，建立稳定可靠的跟踪模型，若未丢失，则执行步骤S311，若丢失，则执行步骤S312，其中，跟踪所述人脸的过程可以根据检测出来的上一帧中人脸轮廓的位置，搜索当前帧图片可人脸的位置，并对这两帧加以匹配的过程，如果能够对应匹配，就表明这两帧的这个人脸图像属于同一目标，进而继续跟踪其位置；

优选的，在进行人脸检索过程中，单一地针对人脸特征进行检索会不够准确，因此，在为了提高人脸检索过程的准确率，在步骤S31中可根据人脸特征对人脸图像进行年龄段和性别的识别，如可以G代表性别，G的值为M（男性）和F（女性），以A代表年龄段，A的值为T（少年）、Y（青年）、A（中年）、S（老年）；

步骤S311，根据所述预测的结果定位获取下一张人脸图片在下一张帧图片中的位置并重复所述步骤S1至步骤S3，即若跟踪不丢失，则对实时需要检测的下一张帧图片进行获取下一张人脸图片在下一张帧图片中的位置的人脸检测加速，并继续对该人脸目标进行跟踪，因为在下一张帧图片中获取下一张人脸图片的过程中，如果仍旧在下一张帧图片的所有图像范围内进行搜索，那么在整个目标人脸跟踪过程中仍会有很大的运算量，因此，如图2所示，这里提供一种能够缩小下一帧图片搜索范围的辅助获取人脸图片加速的步骤，用以达到减少匹配搜索所需要的运算量的目的；

步骤S312，对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片并进行保存供实际应用中进行人脸检索查询时使用；

步骤S32，丢弃所述人脸图片并重复所述步骤S1至步骤S3。

优选的，由于AdaBoost算法虽然能够快速的检测人脸，但仍存在较高的误检率，所述步骤S3中可以使用多次验证的算法来降低误检率，如采用肤色验证和特征验证相融合的方法判断所述人脸图片是否为假脸，这样很多假脸都能够被排除；

一种较佳的肤色验证方法，包括：从所述人脸图片中获取肤色区域面积与人脸区域面积的比值；根据所述比值和第一预设阈值筛选所述人脸图片，如只保留肤色区域面积大于第一预设阈值的人脸图片，这样可以简单的排除非人脸颜色的假脸图像；

一种较佳的特征验证方法，包括：从所述人脸图片中获取唇色区域面积；根据所述唇色区域面积和第二预设阈值筛选所述人脸图片，如只保留唇色区域面积大于第二预设阈值的所述人脸图片，这样可以简单的排除唇色区域不符合标准的假脸图像；

另一种较佳的特征验证方法，包括：从所述人脸图片中获取眼睛区域面积，具体是在人脸图片中寻找具有一定面积和形状的两个黑洞（黑洞对）来检测眼睛的存在，符合眼睛的条件为具有一定的面积且主轴方向与人脸图片区域中心连线方向基本一致的两个黑洞；然后根据所述眼睛区域面积和第三预设阈值筛选所述人脸图片，如只保留所述眼睛区域面积大于第三预设阈值的所述人脸图片，这样可以简单的排除眼睛区域不符合标准的假脸图像。

优选的，如图3和图4所示步骤S31中判断人脸的性别的步骤包括：

通过PCA结合SIFT的特征提取方法获取所述人脸图片的男性投影矩阵和女性投影矩阵，具体来说，本发明利用一种增强型PCA-SIFT特征提取方法，即在训练阶段分别挑选人眼易识别的男、女两类图像分别构成训练集，分别采用PCA-SIFT方法计算投影矩阵，即得到男性投影矩阵和女性投影矩阵，其中，PCA算法为主成分分析算法，它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化，SIFT算法为一种基于特征的配准方法，是由David G.Lowe在2004年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法，该算法匹配能力较强，能提取稳定的特征；

利用K-Means聚类方法得到标准的男性聚类中心和女性聚类中心；

获取所述男性投影矩阵到所述男性聚类中心的第一距离；

获取所述女性投影矩阵到所述女性聚类中心的第二距离；

判断所述第一距离是否大于所述第二距离，若是则判断所述人脸图片为男性，若否则判断所述人脸图片为女性，第一距离或第二距离与某个聚类中心的距离越近即表明属于该性别的可能性越大。

优选的，步骤S31中判断人脸的年龄段的步骤包括：

利用PCA方法对人脸图片进行年龄特征提取；

利用K-近邻分类器方法设计少年、青年、中年、老年五种分类器，其中K-近邻分类器算法是一个理论上较成熟的分类算法，该方法的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别；

获取所述年龄特征到所述五种分类器的欧氏距离；

根据所述欧氏距离判断所述人脸图片的年龄段，欧氏距离与某种分类器的距离越小代表该人脸越接近这个年龄段。

优选的，步骤S31中可通过先使用Kalman滤波方法对人脸的运行轨迹进行预测，再使用Mean shift算法跟踪所述人脸，以解决传统Mean shift算法需要监控人员对出现在视频监控范围内的运动目标进行手工操作，来对监控对象加以确定的问题，实现自动跟踪，因为，当人脸图像出现遮挡时，单纯依靠Meanshift算法无法得到人脸图片在帧图片中的准确位置，其中，Kalman滤波算法是目前常用的缩小运动目标在下一帧的搜索范围的线性递归滤波器，Mean shift算法即均值漂移算法在聚类、图像平滑、图像分割和跟踪方面有比较广泛的应用，本发明增加Kalman预测值有效处理遮挡情况，以实现实时的多姿态人脸跟踪，其运算量小且实时性高；

优选的，步骤S312中可使用下述分别计算出人脸绕i、j、k三坐标轴旋转的角度的新的姿态估计算法，针对视频流可以达到实时的姿态判别，人脸姿态的判别精度可达到3°，本姿态估计算法中筛选最佳姿态人脸图像的准则是将人脸姿态和图像清晰度进行加权融合，权值通常是一个经验值，在不同的视频场景中可能需要不同的权重进行融合，具体来说，对所述人脸图片进行最佳姿态筛选的步骤包括：

如图5所示，以人脸图片的人脸中心O为原点建立i、j、k三坐标轴，所述i轴是垂直于竖直平面的轴，所述j轴为位于竖直平面上且与地平线平行的轴，所述k轴为位于竖直平面上且与所述j轴垂直的轴；

获取人脸图片的人脸法线与i轴的θ夹角，所述人脸法线为垂直于人脸的线，其中，现有的常规姿态估计算法大都基于特征点的准确定位，但是当人脸姿态发生绕k轴旋转时，特征点定位都不准确，因此此时姿态估计会出错，针对这一问题本发明采用估算θ值来代替；

获取摄像机与人脸图片的人脸中心的连线和人脸法线的

夹角，其中，当人脸绕j轴旋转时，现有技术可没有特别有效的算法进行角度估计，本发明采用估算

值来代替；

获取人脸图片的双眼连线与j轴的YY夹角，其中，当人脸绕i轴旋转时，人脸特征定位基本准确，本发明采用双眼夹角估计；

根据所述θ夹角、

夹角和Y夹角筛选最佳姿态的人脸图片。

综上，本发明能够克服人脸姿态的不稳定性以及环境光照变化的影响，实时分辨人脸姿态并刷筛选出最佳姿态的人脸图片。

如图6所示，本发明还提供另一种多姿态人脸检测与跟踪系统，包括预处理模块1、人脸检测模块2和判断模块3。

预处理模块1用于将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理。优选的，由于人脸会反射外界各种光线，经过摄像机采集后的人脸图像，除了包括人脸的特定信息外，还会包括外部其他的信息，如光照变化等，所以本发明在获取人脸图片前，对图像进行预处理，这是人脸检测过程中非常重要的一个环节，本发明通过参考最高亮度进行光照补偿。

人脸检测模块2用于从预处理后的帧图片中获取人脸图片。优选的，所述人脸检测模块2获取到人脸图片即可能是正面人脸，也可能是非正面人脸，其中，非正面人脸包括：左右偏转人脸、正面倾斜人脸及上下倾斜人脸，本发明具体可利用AdaBoost训练算法的由粗到细的姿态划分策略，实现金字塔结构（Lietal提出的检测器金字塔结构，共训练7个处理不同侧面情况的检测器）的多级检测器来处理多姿态人脸检测，从预处理后的帧图片中获取人脸图片，具体来说，AdaBoost训练算法是2001年由Viola等人提出的，该算法可以满足实时的人脸检测，并且能够对学习算法返回的误差进行自适应调整，其基本原理是把很多弱分类器组合起来形成一个强分类器，AdaBoost算法的检测率很高平均可达到94%以上，是目前比较热门的人脸检测算法，但其误检率也相对较高。

判断模块3用于判断所述人脸图片是否为假脸，若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则将根据所述预测的结果发送到所述人脸检测模块，即若跟踪不丢失，则对实时需要检测的下一张帧图片进行获取下一张人脸图片在下一张帧图片中的位置的人脸检测加速，并继续对该人脸目标进行跟踪，因为在下一张帧图片中获取下一张人脸图片的过程中，如果仍旧在下一张帧图片的所有图像范围内进行搜索，那么在整个目标人脸跟踪过程中仍会有很大的运算量，因此，这里提供一种能够缩小下一帧图片搜索范围的预测方法，用以达到减少匹配搜索所需要的运算量的目的；若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片并进行保存供实际应用中进行人脸检索查询时使用；若是假脸，则丢弃所述人脸图片，并继续对摄像机采集到的图像进行上述处理。

其中，跟踪所述人脸的过程可以根据检测出来的上一帧中人脸轮廓的位置，搜索当前帧图片可人脸的位置，并对这两帧加以匹配的过程，如果能够对应匹配，就表明这两帧的这个人脸图像属于同一目标，进而继续跟踪其位置。

优选的，在进行人脸检索过程中，单一的针对人脸特征进行检索会不够准确，因此，在为了提高人脸检索过程的准确率，可根据人脸特征对人脸图像进行年龄段和性别的识别，如可以G代表性别，G的值为M（男性）和F（女性），以A代表年龄段，A的值为T（少年）、Y（青年）、A（中年）、S（老年）。

优选的，由于AdaBoost算法虽然能够快速的检测人脸，但仍存在较高的误检率，可以使用多次验证的算法来降低误检率，如采用肤色验证和特征验证相融合的方法判断所述人脸图片是否为假脸，这样很多假脸都能够被排除；

较佳的，所述肤色验证包括：从所述人脸图片中获取肤色区域面积与人脸区域面积的比值；根据所述比值和第一预设阈值筛选所述人脸图片，如只保留肤色区域面积大于第一预设阈值的人脸图片，这样可以简单的排除非人脸颜色的假脸图像；

较佳的，所述特征验证包括：从所述人脸图片中获取唇色区域面积；根据所述唇色区域面积和第二预设阈值筛选所述人脸图片，如只保留唇色区域面积大于第二预设阈值的所述人脸图片，这样可以简单的排除唇色区域不符合标准的假脸图像；

较佳的，所述特征验证包括：从所述人脸图片中获取眼睛区域面积，具体是在人脸图片中寻找具有一定面积和形状的两个黑洞（黑洞对）来检测眼睛的存在，符合眼睛的条件为具有一定的面积且主轴方向与人脸图片区域中心连线方向基本一致的两个黑洞；然后根据所述眼睛区域面积和第三预设阈值筛选所述人脸图片，如只保留所述眼睛区域面积大于第三预设阈值的所述人脸图片，这样可以简单的排除眼睛区域不符合标准的假脸图像。

优选的，判断模块3还用于：

通过PCA结合SIFT的特征提取方法获取所述人脸图片的男性投影矩阵和女性投影矩阵，具体来说，本发明利用一种增强型PCA-SIFT特征提取方法，即在训练阶段分别挑选人眼易识别的男、女两类图像分别构成训练集，分别采用PCA-SIFT方法计算投影矩阵，即得到男性投影矩阵和女性投影矩阵，其中，PCA算法为主成分分析算法，它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化，SIFT算法为一种基于特征的配准方法，是由David G.Lowe在2004年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法，该算法匹配能力较强，能提取稳定的特征；

利用K-Means聚类方法得到标准的男性聚类中心和女性聚类中心；

获取所述男性投影矩阵到所述男性聚类中心的第一距离；

获取所述女性投影矩阵到所述女性聚类中心的第二距离；

判断所述第一距离是否大于所述第二距离，若是则判断所述人脸图片为男性，若否则判断所述人脸图片为女性，第一距离或第二距离与某个聚类中心的距离越近即表明属于该性别的可能性越大，从而准确判断人脸的性别。

优选的，判断模块3还用于：

利用PCA方法对人脸图片进行年龄特征提取；

利用K-近邻分类器方法设计少年、青年、中年、老年五种分类器，其中K-近邻分类器算法是一个理论上较成熟的分类算法，该方法的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别；

获取所述年龄特征到所述五种分类器的欧氏距离；

根据所述欧氏距离判断所述人脸图片的年龄段，欧氏距离与某种分类器的距离越小代表该人脸越接近这个年龄段，从而准确判断人脸的年龄段。

优选的，判断模块3还用于先使用Kalman滤波方法对人脸的运行轨迹进行预测，再使用Mean shift算法跟踪所述人脸，以解决传统Mean shift算法需要监控人员对出现在视频监控范围内的运动目标进行手工操作，来对监控对象加以确定的问题，实现自动跟踪，因为，当人脸图像出现遮挡时，单纯依靠Meanshift算法无法得到人脸图片在帧图片中的准确位置，其中，Kalman滤波算法是目前常用的缩小运动目标在下一帧的搜索范围的线性递归滤波器，Mean shift算法即均值漂移算法在聚类、图像平滑、图像分割和跟踪方面有比较广泛的应用，本发明增加Kalman预测值有效处理遮挡情况，以实现实时的多姿态人脸跟踪，其运算量小且实时性高，；

优选的，所述判断模块3可使用下述分别计算出人脸绕i、j、k三坐标轴旋转的角度的新的姿态估计算法，针对视频流可以达到实时的姿态判别，人脸姿态的判别精度可达到3°，本姿态估计算法中筛选最佳姿态人脸图像的准则是将人脸姿态和图像清晰度进行加权融合，权值通常是一个经验值，在不同的视频场景中可能需要不同的权重进行融合，具体来说，所述判断模块3还用于以人脸图片的人脸中心为原点建立i、j、k三坐标轴，所述i轴是垂直于竖直平面的轴，所述j轴为位于竖直平面上且与地平线平行的轴，所述k轴为位于竖直平面上且与所述j轴垂直的轴，获取人脸图片的人脸法线与i轴的θ夹角，所述人脸法线为垂直于人脸的线，获取摄像机与人脸图片的人脸中心的连线和人脸法线的

夹角，获取人脸图片的双眼连线与j轴的Y夹角，及根据所述θ夹角、

夹角和Y夹角筛选最佳姿态的人脸图片。

综上所述，本发明通过步骤一：将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；步骤二：从预处理后的帧图片中获取人脸图片；步骤三：判断所述人脸图片是否为假脸，若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则根据所述预测的结果定位获取下一张人脸图片在下一张帧图片中的位置并重复所述步骤一至步骤三，若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片；若是假脸，则丢弃所述人脸图片，重复所述步骤一至步骤三，能够克服人脸姿态的不稳定性以及环境光照变化的影响，实时分辨人脸姿态并刷筛选出最佳姿态的人脸图片。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (12)

1.一种多姿态人脸检测与跟踪方法，其特征在于，包括：

步骤一：将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；

步骤二：从预处理后的帧图片中获取人脸图片；

步骤三：判断所述人脸图片是否为假脸，

若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则根据所述预测的结果定位获取下一张人脸图片在下一张帧图片中的位置并重复所述步骤一至步骤三，若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片，其中，对所述人脸图片进行最佳姿态筛选的步骤包括：以人脸图片的人脸中心为原点建立i、j、k三坐标轴，所述i轴是垂直于竖直平面的轴，所述j轴为位于竖直平面上且与地平线平行的轴，所述k轴为位于竖直平面上且与所述j轴垂直的轴；获取人脸图片的人脸法线与i轴的θ夹角，所述人脸法线为垂直于人脸的线；获取摄像机与人脸图片的人脸中心的连线和人脸法线的

夹角；获取人脸图片的双眼连线与j轴的Y夹角；根据所述θ夹角、

夹角和Y夹角筛选最佳姿态的人脸图片；

若是假脸，则丢弃所述人脸图片，重复所述步骤一至步骤三。

2.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，所述步骤一中通过参考最高亮度进行光照补偿。

3.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，所述步骤二中采用AdaBoost训练方法从预处理后的帧图片中获取人脸图片。

4.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，所述步骤三中利用肤色验证和特征验证相融合的方法判断所述人脸图片是否为假脸。

5.如权利要求4所述的多姿态人脸检测与跟踪方法，其特征在于，所述肤色验证包括：

从所述人脸图片中获取肤色区域面积与人脸区域面积的比值；

根据所述比值和第一预设阈值筛选所述人脸图片。

6.如权利要求4所述的多姿态人脸检测与跟踪方法，其特征在于，所述特征验证包括：

从所述人脸图片中获取唇色区域面积；

根据所述唇色区域面积和第二预设阈值筛选所述人脸图片。

7.如权利要求4所述的多姿态人脸检测与跟踪方法，其特征在于，所述特征验证包括：

从所述人脸图片中获取眼睛区域面积；

根据所述眼睛区域面积和第三预设阈值筛选所述人脸图片。

8.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，判断人脸的性别的步骤包括：

通过PCA结合SIFT的特征提取方法获取所述人脸图片的男性投影矩阵和女性投影矩阵；

利用K-Means聚类方法得到标准的男性聚类中心和女性聚类中心；

获取所述男性投影矩阵到所述男性聚类中心的第一距离；

获取所述女性投影矩阵到所述女性聚类中心的第二距离；

判断所述第一距离是否大于所述第二距离，若是则判断所述人脸图片为男性，若否则判断所述人脸图片为女性。

9.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，判断人脸的年龄段的步骤包括：利用PCA方法对人脸图片进行年龄特征提取；

利用K-近邻分类器方法设计少年、青年、中年、老年五种分类器；

获取所述年龄特征到所述五种分类器的欧氏距离；

根据所述欧氏距离判断所述人脸图片的年龄段。

10.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，通过Kalman滤波方法对人脸的运行轨迹进行预测。

11.如权利要求1所述的多姿态人脸检测与跟踪方法，其特征在于，通过Mean shift算法跟踪所述人脸。

12.一种多姿态人脸检测与跟踪系统，其特征在于，包括：

预处理模块，用于将摄像机采集到的图像进行解码后还原成帧图片，对所述帧图片进行光照补偿的预处理；

人脸检测模块，用于从预处理后的帧图片中获取人脸图片；

判断模块，用于判断所述人脸图片是否为假脸，若不是假脸，则根据所述人脸图片中的人脸特征判断人脸的年龄段及性别，对人脸的运行轨迹进行预测，并根据所述预测的结果跟踪所述人脸并判断跟踪是否丢失，若未丢失，则将根据所述预测的结果发送到所述人脸检测模块，若丢失，则对所述人脸图片进行最佳姿态筛选，选出旋转角度和清晰度最佳的五张人脸图片；若是假脸，则丢弃所述人脸图片，其中，所述判断模块还用于以人脸图片的人脸中心为原点建立i、j、k三坐标轴，所述i轴是垂直于竖直平面的轴，所述j轴为位于竖直平面上且与地平线平行的轴，所述k轴为位于竖直平面上且与所述j轴垂直的轴，获取人脸图片的人脸法线与i轴的θ夹角，所述人脸法线为垂直于人脸的线，获取摄像机与人脸图片的人脸中心的连线和人脸法线的

夹角，获取人脸图片的双眼连线与j轴的Y夹角，及根据所述θ夹角、

夹角和Y夹角筛选最佳姿态的人脸图片。

Images