CN103902960A - 一种实时人脸识别系统及其方法 - Google Patents

Abstract

本发明公开了一种实时人脸识别系统及其方法，其中该系统包括：预处理子模块，用于获取视频图像，并对该视频图像进行预处理，以增强视频图像的对比度；人脸定位子模块，用于从预处理后的所述视频图像中获取正面人脸图像；人脸识别子模块，用于提取正面人脸图像中的特征，并将该特征与目标人脸库中的人脸特征进行比较，获取相似度。为了提高人脸定位子模块中人脸检测与人脸跟踪的性能和速度，本发明对人脸识别文件的训练过程和人脸跟踪过程均作了优化改进，可满足大多数情况下人脸识别的实时性要求。

Description

一种实时人脸识别系统及其方法

技术领域

本发明涉及计算机视觉应用领域，具体是涉及一种实时人脸识别系统及其方法。

背景技术

随着计算机科学和人工智能等学科的发展，计算机视觉的研究在最近十年取得了巨大的进步，并且在视频监控、多媒体会议、人机接口等领域得到了广泛的应用。

人脸识别问题是计算机视觉领域中的一个关键问题，其涉及计算机视觉中的多个关键技术，包括：人脸检测、人脸跟踪、器官定位与人脸大小归一化、人脸判定等。

人脸检测，是指从输入图像中判断是否有人脸，若有，则确定人脸的大小和位置。人脸检测是自动化人脸识别系统中所有核心算法的第一步，是实现自动化人脸识别系统的关键。目前已有的人脸检测方法包括特征脸、神经网络、支持向量机、Haar分类器等。基于Haar分类器的方法检出率较高、检测速度快，是目前主流的人脸检测方法。

人脸跟踪，是指从连续的视频图像中跟踪人脸的运动轨迹。对于连续拍摄的视频图像，在已知人脸初始位置的前提下人脸跟踪可以比人脸检测更加快速的获得人脸的新位置。人脸跟踪本质上是一类特定的运动跟踪问题，目前已有的人脸跟踪方法包括：角点检测、运动预测、自适应均值漂移（Cam-Shift）算法、卡尔曼滤波器与粒子滤波器等。基于人脸运动的特点——低速、非线性，Cam-Shift算法在人脸跟踪中得到了广泛的应用。

器官定位与人脸大小归一化，是指从输入的人脸图像中确定眼睛、鼻子等重要面部器官的位置，根据器官的位置对输入图像进行适当裁剪和大小变换。器官定位与人脸大小归一化的目的是尽量消除其他部位对识别过程的影响。器官定位主要依靠结合先验知识和边缘检测的方法，人脸大小归一化可以使用线性插值法来实现。

人脸判定，是指将输入图像与数据库中的目标人脸图像的某种特征进行比较，从而确定输入图像和数据库中的目标图像的相似度。由于原始光学图像易受光照、人物表情等可变因素的影响，很难直接使用原始图像进行比较。大多数人脸判定的方法都是通过提取图像的特征，然后比对目标和输入的特征，从而确定他们的相似度。在人脸判定过程中常用的人脸特征包括人脸的几何特征、像素点的统计特征以及边缘轮廓特征等。特征相似度的度量函数包括几何距离、马氏距离、相关系数等。

目前已有的人脸识别系统包括FaceIt、TrueFace Watch、FaceKey、FaceVACS，FaceFinder等，这些人脸识别系统可广泛使用于视频监控、门控系统、图像检索等多个应用领域。由于人脸识别问题涉及数字图像处理、机器学习等多方面的知识，上述的人脸识别系统都有一个共同点——都是在通用平台上实现的。通用平台的优点在于可以借用很多已有的函数库、开发速度快，缺点是应用场合受限。而嵌入式软硬件技术的进步使得实现嵌入式人脸识别模块成为可能。

发明内容

本发明的目的在于提出一种实时人脸识别系统及其方法，用于解决现有技术中存在的适应性和实时性不强的缺陷。

为了实现上述目的，本发明提出了一种实时人脸识别系统，其特征在于，包括：

预处理子模块，用于获取视频图像，并对该视频图像进行预处理，以增强视频图像的对比度；

人脸定位子模块，用于从预处理后的所述视频图像中获取正面人脸图像；

人脸识别子模块，用于提取正面人脸图像中的特征，并将该特征与目标人脸库中的人脸特征进行比较，获取相似度。

所述的实时人脸识别系统，其中，所述人脸定位子模块包括：

人脸检测模块，用于加载人脸Haar分类器文件，从所述视频图像中检测人脸，获得人脸的初始位置；

人脸跟踪模块，用于根据人脸的初始位置，利用肤色模型建立肤色直方图，并利用Cam-Shift算法进行人脸跟踪。

所述的实时人脸识别系统，其中，所述人脸检测模块对人脸Haar分类器文件使用非对称决策树代替原有的决策树构造弱分类器的方式提高分类器中每个弱分类器的性能。

所述的实时人脸识别系统，其中，所述人脸检测模块对人脸Haar分类器文件通过如下方式改进分类器的结构：

使用AdaBoost算法组合多个弱分类器构成强分类器后，以强分类器所使用的特征向量为依据，利用K均值对正样本样本点进行聚类，并对聚类出的子类分别构造子类分类器，将子类分类器加入层级分类器，以子类分类器为兄弟节点，构成最终的树形层级分类器。

所述的实时人脸识别系统，其中，所述人脸跟踪模块以如下方式改进人脸跟踪算法：

利用卡尔曼滤波器预测人脸图像在整个图像中的下一位置，并以预测的位置作为自适应均值漂移算法搜索的初始位置。

所述的实时人脸识别系统，其中，所述实时人脸识别系统通过SOC芯片实现。

为了实现上述目的，本发明还提出了一种实时人脸识别方法，其特征在于，包括：

步骤1，获取视频图像，并对该视频图像进行预处理，以增强视频图像的对比度；

步骤2，从预处理后的所述视频图像中获取正面人脸图像；

步骤3，提取正面人脸图像中的特征，并将该特征与目标人脸库中的人脸特征进行比较，获取相似度。

所述的实时人脸识别方法，其中，所述步骤2中，包括：

步骤21，加载人脸Haar分类器文件，从所述视频图像中检测人脸，获得人脸的初始位置；

步骤22，根据人脸的初始位置，利用肤色模型建立肤色直方图，并利用Cam-Shift算法进行人脸跟踪。

所述的实时人脸识别方法，其中，所述步骤21中，包括：

对人脸Haar分类器文件使用非对称决策树代替原有的决策树构造弱分类器的方式提高分类器中每个弱分类器的性能。

所述的实时人脸识别方法，其中，所述步骤21中，包括：对人脸Haar分类器文件通过如下方式改进层级分类器的结构：

使用AdaBoost算法组合多个弱分类器构成强分类器后，以强分类器所使用的特征向量为依据，利用K均值对正样本样本点进行聚类，并对聚类出的子类分别构造子类分类器，将子类分类器加入层级分类器，以子类分类器为兄弟节点，构成最终的树形层级分类器。

所述的实时人脸识别方法，其中，所述步骤22中，包括：

利用卡尔曼滤波器预测人脸图像在整个图像中的下一位置，并以预测的位置作为自适应均值漂移算法搜索的初始位置的方式改进人脸跟踪算法。

与现有技术相比，本发明的有益技术效果在于：

（1）实时性高：独立的硬件模块、并行化的框架设计、优化的算法可满足大多数情况下人脸识别的实时性要求；

（2）易于与其他设备对接：本系统对外的接口只需要一个标准的视频输入口和一个通信口，只要在使用前将其与其他平台连接起来即可使用；

（3）可广泛使用于不同场合：本系统是一个自洽的“计算机”子系统，具有独立的存储器和CPU。上电以后系统可独立运行，一旦从视频输入口获取到完整的视频帧以后就可进行人脸识别。

附图说明

图1是本发明的人脸识别系统的总体结构框图；

图2是本发明的人脸识别系统的总体算法流程图；

图3是Haar分类器文件训练算法流程图；

图4是本发明的非对称决策树对不纯度曲线的影响示意图；

图5是本发明的使用K均值改进后的树形Haar分类器结构图；

图6是本发明的改进人脸跟踪算法前后效果对比图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明的人脸识别系统的总体结构框图。该图给出了实时人脸识别系统100的硬件模块和连接方式，软件模块的划分及其关系。

硬件上，实时人脸识别系统100的中心是一块SOC芯片。SOC芯片通过相应的引脚连接外部RAM和FLASH，FLASH中保存有相关的程序和数据。SOC芯片与通信口相连，可通过通信口获取视频数据、配置参数等，并通过该通信口输出人脸识别的结果。传输视频数据需要通信口具有较宽的带宽和较大的缓冲区，为了满足这一需求需要SOC芯片支持DMA传输方式，并通过通信口驱动将通信口与RAM之间建立DMA连接。特别地，在图1中省略了电源模块和相应的时钟电路，在实际设计中可根据需要自行添加。

在本实施例中，SOC芯片选择海思公司的hisi3520芯片，除ARM CortexA9内核以外，该芯片内部还集成有图像和视频处理单元、视频输入和通信接口，并且其内部通过固件技术实现了智能引擎，智能模块可加速人脸识别过程的处理。为了保存程序数据，在SOC芯片外扩展一个FLASH芯片和RAM芯片，FLASH芯片选择S25GL256，RAM芯片采用NAND512W32B2A6E。为了方便和其他设备对接，外扩一个USB接口，通过USB接口从其他设备获取视频数据和配置参数，并通过USB接口将识别结果返回给其他设备。

软件上，其设计任务主要包括：系统搭建以及人脸识别算法及其实现，相应的程序通过C编程实现。

在系统环境方面，为了降低整个软件设计的难度，采用uboot引导程序、嵌入式linux系统加busybox文件系统构成应用程序的运行环境。这些程序都可以通过从相应的官网或海思公司的网站上下载源码，然后根据所选用的芯片进行相应配置并编译成可执行文件，通过J-Link或串口等工具将其下载到目标系统中运行。由于本实施例中使用USB接口作为人脸识别模块和其他设备通信的接口，在配置linux内核时注意一定要启用USB驱动与管理模块。

在算法方面，人脸识别系统100包括三个子模块：预处理子模块10、人脸定位子模块20、人脸识别子模块30。预处理子模块10，用于从通信口获取视频数据，通过锐化、去噪等操作增强图像的对比度，改善图像质量；人脸定位子模块20，主要负责快速的从输入视频中获取大小合适的正面人脸图像，又包括人脸检测模块21、人脸跟踪模块22；人脸识别子模块30，用于进行器官定位与人脸大小归一化和人脸判定，主要负责提取人脸图像的特征并和目标人脸库中的人脸特征进行比较以获得其相似度。

人脸检测模块21，用于加载人脸Haar分类器文件，从视频图像中检测人脸，获得人脸的初始位置。

进一步地，对于人脸检测模块21，为了提高算法性能加快人脸检测速度，对人脸Haar分类器文件使用非对称决策树代替原有的决策树构造弱分类器的方式提高分类器中每个弱分类器的性能。

进一步地，对于人脸检测模块21，为了提高算法性能加快检测速度，对人脸Haar分类器文件通过如下方式改进分类器的结构：使用AdaBoost算法组合多个弱分类器构成强分类器后，以强分类器所使用的特征向量为依据，利用K均值对正样本样本点进行聚类，并对聚类出的子类分别构造子类分类器，以子类分类器为兄弟节点，构成最终的树形层级分类器。

人脸跟踪模块22，用于根据人脸的初始位置，利用肤色模型建立肤色直方图，并利用Cam-Shift算法进行人脸跟踪。

进一步地，为了提高人脸跟踪的效果，人脸跟踪模块22以如下方式改进人脸跟踪算法：利用卡尔曼滤波器预测人脸图像在整个图像中的下一位置，并以预测的位置作为自适应均值漂移算法搜索的初始位置。

如图2所示，是本发明的人脸识别系统的总体算法流程图，其过程描述如下所示：

步骤201，获取视频数据，通过去噪，锐化等图像处理增强图像的对比度进行视频预处理，改善图像质量，将视频帧输出到缓冲区，并继续获取视频帧。步骤201对应图1中的预处理子模块10。

步骤202，主要包含人脸检测与人脸跟踪。人脸检测过程首先加载人脸Haar分类器文件，然后从共享存储区读取一帧图像，并进行人脸正面检测，判断是否检测到了正面人脸，如检测到，则进行人脸跟踪，否则继续从共享存储器中读取图像；在进行人脸跟踪的过程中，判断是否达到指定帧数或跟踪失败。若是，输出帧编号及人脸位置，否则继续从共享存储区中读取图像。步骤202对应图1中的人脸定位子模块20。

步骤203，进行器官定位与人脸大小归一化和人脸判定。定位到人脸的位置后，先进行器官定位与人脸大小归一化，然后进行特征提取，并将提取的特征输入人脸判定过程进行人脸特征比对，获得输入人脸与数据库中人脸的相似度向量。步骤203与图1中的人脸识别子模块30对应。

在人脸识别的整个算法中，人脸检测与人脸跟踪是非常关键的两步。对于人脸检测过程，其检测性能和速度主要决定于分类器文件，分类器文件是通过对大量的正负样本运行训练程序得到的（若要获得好的效果，每一次强分类器训练需要大约5000个正样本和5000个负样本）。

目前，人脸检测中常用的Haar分类器方法训练人脸分类器文件的流程图如图3所示。其主要步骤是：

步骤301，训练开始，创建Haar特征；

步骤302，载入正样本和负样本，判断虚警率是否达到指标，若达到，则执行步骤304；若未达到，则执行步骤303；

步骤303，判断是否达到了最大层次，若是，则计算Haar特征值，训练一个强分类器，保存强分类器信息到临时文件，并返回到步骤302；

步骤304，保存级联分类器信息到XML文件，测试最终分类器性能，训练结束。

本发明对人脸检测的改进，是针对分类器的训练过程的，主要目标是在维持较高检测性能的条件下提高使用其进行人脸检测的速度，其主要思想是提高分类器中每个弱分类器的性能，从而减少使用的弱分类器数量，提高人脸检测的速度；另一方面是改进层级分类器的结构，从而提高人脸检测的精确性。

提高分类器中每个弱分类器的性能的方式，是对人脸Haar分类器文件使用非对称决策树代替原有的决策树构造弱分类器；改进层级分类器的结构的方式，是使用AdaBoost算法组合多个弱分类器构成强分类器后，以强分类器所使用的特征向量为依据，利用K均值对正样本样本点进行聚类，并对聚类出的子类分别构造子类分类器，以子类分类器为兄弟节点，构成最终的树形层级分类器。具体而言：

1、在构造Haar分类器的弱分类器计算不纯度时，增大正样本的权重，从而增加正样本被错分时的不纯度。如图4所示，假设正负样本的特征值都满足正态分布，对称决策树（计算不纯度时正负样本的权重相同）的不纯度在正态分布密度曲线值相同时对应的不纯度最小。增大计算不纯度时正样本的权重后，在原来阈值的左侧正样本被错误识别的概率很小，所以增加正样本的权重对不纯度曲线的影响较小，但在原来阈值的右侧，由于正样本被错分的概率增大，不纯度曲线的变化率更大，最终使不纯度曲线的最小值出现在比原来更偏左的位置，也就是正样本被错分为负样本的概率更小。这种正负样本具有不同权重的决策树称为非对称决策树，相比传统的决策树，非对称决策树在相同的检出率条件下其虚警率更小。Haar分类器对层级分类器的要求即是在相同的检出率条件下尽量降低虚警率，因此使用非对称决策树能够提高Haar分类器训练出的人脸分类器文件的检测性能。另外，在同等性能的条件下，基于非对称决策树的Haar分类器使用的Haar特征更少，因此其检测速度更快。

利用非对称决策树构造弱分类器的流程是：

（1）给定由正负样本及其标签构成的训练集(x₁,y₁),...,(x_i,y_i),..,(x_N,y_N)，N表示样本个数，为了获得较好的检测效果避免过拟合现象，N的值应不小于10000，正负样本各5000个；x_i∈R^k，表示第i个样本的k个Haar特征值构成的特征向量，R为实数，y_i∈-1,1}，表示第i个样本的类别，-1表示第i个样本是负样本，1表示第i个样本是正样本；

（2）通过遍历Haar特征找到能使不纯度最小的特征feature_j及其阈值θ_old，判断左右节点的类别（若子节点中正样本的加权和大于负样本的加权和则当成候选正样本节点）；

（3）增大被分错的正样本的权重重新寻找阈值θ_new，作为该特征划分子节点的阈值。调整权重的方式是：令

其中maxflasealarm表示训练程序命令行中指定的每一层强分类器所允许的最大虚警率，minhitrate表示训练程序命令行中指定的每一层强分类器所允许的最小检出率，p即是分错正样本的权重因子；

（4）重复步骤(2)(3)以找出足够的弱分类器，使利用AdaBoost算法组合出来的强分类器其虚警率和检出率都达到指标。

2、对于传统的Haar分类器，其结构是由若干通过AdaBoost训练出来的强分类器级联而成的，在检测时只有被上层分类器判定为人脸的图像区域才能进入下一层分类器进行检测。以某一层分类器使用的特征构成坐标轴，以每一个样本的特征值向量作为其样本点，观察正样本样本点的分布可以发现其很多时候都会呈现区域聚集性，而负样本的样本点则在整个向量空间呈现均匀分布。利用正样本样本点的这种区域聚集特性可以改进层级分类器的性能，提高其检测率。具体做法是：首先通过传统的AdaBoost算法训练出检出率以及误检率符合要求的强分类器，然后以该强分类器所使用的特征向量为坐标轴，运用传统的K均值算法对正样本样本点进行聚类；对聚类出来的子类分别构造子类分类器；若这些子类分类器使用的Haar特征数之和比传统AdaBoost算法训练出来的分类器使用的Haar特征要少，则将这些子类分类器加入到最后的层级分类器中，这些子类分类器彼此之间互为兄弟节点。通过这种改进以后，原来是串联结构的分类器变成了树形结构。由于同样的性能条件下改进后的分类器使用的Haar特征数更少，因此其检测速度更快。

在图5中，每一个节点都是通过改进的AdaBoost算法训练出来的强分类器节点，所有的节点构成一个树形结构的分类器树。其中节点1是第1层分类器唯一的节点；节点2、3是节点1的子节点，节点2、3之间互为兄弟节点，节点2、3构成第二层分类器的节点；节点4是节点2的子节点，节点5、6、7是节点3的子节点，节点5、6、7之间互为兄弟节点，节点4、5、6、7是第三层分类器的节点。在检测时，只要某个待检区域通过了某一个节点的测试就可以进入其子节点进行检测，而被本节点拒绝的待检区域则进入本节点的下一兄弟节点进行检测，若某一待检区域被所有的兄弟节点拒绝，则该区域就不再进行检测，而被标记为非人脸区域，而只有通过了最后一层的节点检测的待检区域才被最终标记为人脸区域。

在改进Haar分类器的AdaBoost算法时候，需要对正样本点进行聚类分析，K均值算法是一种经典的聚类算法。利用K均值改进AdaBoost算法的具体流程是：

（1）通过Adaboost方法构造出满足要求的强分类器；

（2）获得强分类器所使用的特征集合，去掉重复的特征以后计算每个正样本对应的特征向量；

（3）所有正样本的特征向量构成一个向量集合，根据特征向量的分布利用K均值将正样本集划分成k个子集合。为了缩短训练的时间，正样本点被划分的最大类别数是5，即k=5，K均值算法会在选择一种划分使各样本点到中心点距离之和最小的划分数）；

（4）若每个子集合中的特征向量个数达到了要求的最小样本数，则利用这几个子集合的正样本和所有的负样本构成样本集重新利用经典的Adaboost算法训练强分类器；

（5）若通过子集合训练的强分类器其综合性能比由完整的正样本集合训练出来的强分类器性能要高，则将其加入层叠分类器中；否则将开始的强分类器加入到层叠分类器中。

对于人脸跟踪过程，虽然已有的Cam-Shift算法相比其他算法在进行人脸跟踪时效果要好，但对于快速运动的人脸其效果仍不理想。经过分析发现主要是因为Cam-Shift算法本质上是一种邻域极值搜索算法，若人脸运动较快，则下一帧时人脸的实际位置极有可能超出了Cam-Shift算法搜索的范围。而Kalman滤波器是一种在导航与制导等目标跟踪领域广泛使用的算法，其特点是对线性运动或近似线性运动的物体跟踪效果较好。虽然在大的时间范围内人脸的运动不是线性运动（不可以直接由之前人脸的运动状态推算出现阶段的人脸运动状态），但在较短的时间内人脸运动仍然可以用线性方程组建模。基于这一原理，可以引入Kalman滤波器对Cam-Shift人脸跟踪算法进行改进。具体来说就是在计算人脸的初始位置时，利用卡尔曼滤波器对搜索的初始位置进行预测（而不是以上一帧中人脸的位置为初始位置），从预测的位置开始搜索。通过这种改进，可以提高人脸快速运动情况下的跟踪性能。改进后算法的跟踪效果图如图6所示，从图中可以看出在A1到A2点处，仅使用Cam-Shift算法目标已经丢失，但使用改进后的人脸跟踪算法在这段区间内目标却没有丢失。

基于Kalman滤波器改进的Cam-Shift人脸跟踪算法其算法流程是：

（1）通过人脸检测确定人脸的初始位置（x0,y0），其中x0表示人脸中心在图像中的横坐标，y0表示人脸中心位置在图像中的纵坐标；

（2）初始化Kalman滤波器，其人脸初始位置为(x0,y0)，人脸运动的初始速度为（0，0）；

（3）使用建立的Kalman滤波器预测人脸下一时刻的状态(xk,yk,v_xk,v_yk)，其中（xk，yk）表示预测的下一时刻人脸的位置，（v_xk,v_yk）表示预测的人脸下一时刻的速度，时间间隔为视频中两帧之间的时间间隔，当帧率是25fbps是，时间间隔为0.04s；

（4）以预测的状态值中的（xk,yk）作为起始位置，判断该起始位置是否超出图像边缘，若超出则返回（1）重新进行人脸检测，若未超出，则运行Cam-Shift算法获得人脸位置的测量值（xk_0,yk_0）;

（5）通过当前的测量位置和上一帧的测量位置更新人脸运动的速度向量（v0_xk,y0_yk）,运行Kalman滤波器获得修正后的状态值

（6）返回步骤（3），重复以上跟踪过程。

在程序设计方面，预处理子模块10、人脸定位子模块20、人脸识别子模块30三个任务彼此之间以并行方式运行，实现这种任务级并行的方法包括多线程或多进程模型。多线程模型各任务之间通信方便，但任务之间的同步问题则比较复杂；多进程模型各任务之间同步问题相对简单，但需要采用特殊的方法来实现进程间的通信。考虑到人脸识别算法各任务之间通信比较频繁，在本实施例中采用多线程模型。另外，使用海思公司提供的多媒体处理套件MPP来辅助软件开发，MPP套件可以充分利用海思SOC芯片的硬件资源，提高软件开发的效率。

整个人脸识别被划分为主控线程、视频输入与预处理子线程、人脸定位子线程，人脸识别子线程。各个线程的功能和实现方式如下所示：

主控线程，是整个程序的入口点，其主要完成的任务包括：设置程序的运行环境、加载设备驱动，创建任务缓冲区，安装信号处理器，最后通过系统接口pthread_create()创建三个子线程。

视频输入与预处理子线程，负责从USB口获取视频流，获取视频流的过程是一个阻塞操作。根据视频流的不同格式选择是否需要解码和格式转换。对于获取的视频数据，对其每一帧图像都执行以下预处理操作：色彩空间转换，图像大小归一化，直方图修正，图像滤波，图像锐化。预处理后将视频数据存放在视频缓冲区中。

人脸定位子线程，包括人脸检测和人脸跟踪，其主要任务是从视频流中尽可能快地获取满足要求的正面人脸图像。主要流程包括：获取人脸检测与跟踪的参数（包括人脸检测的扫描步长、扫描窗尺度变换系数、最小扫描尺寸、分类器文件路径、候选区合并规则，人脸跟踪的失效时间与采用的失败标识策略）；使用分类器文件初始化人脸检测器对象detector，分类器文件是使用改进后的训练算法对5000个人脸样本训练出来的；从视频缓冲区读取一帧视频数据并调用人脸检测方法detector.facedetect()进行检测；使用detector.facedetect()检测出来的位置初始化卡尔曼滤波器对象kalman_filter，人脸的初始运动速度为0；利用卡尔曼滤波器对象估计人脸图像在下一帧中的位置；读取下一帧视频数据，并以卡尔曼滤波器预测的位置为起始位置运行自适应均值滤波算法facetrack(kalman_filter,(Rect*)position,(Image*)image)获得人脸的测量位置并更新卡尔曼滤波器的状态，函数中pisition是人脸待检区域变量的指针，image是待检图像在内存中存储位置的指针；判断跟踪到的人脸大小是否达到指标，若达到，则将其人脸图像复制到待检人脸图像缓冲区中，程序流程返回到人脸检测的过程，若未达到，则判断跟踪的帧数是否达到上限或者跟踪失败标志被设置，若满足条件则结束跟踪过程重新进行人脸检测，否则继续读取视频数据并运行人脸跟踪算法。算法中判定人脸的大小是为了滤除掉比较小的人脸图像，因为人脸图像太小，则包含的个性化信息较少，在人脸判定过程中容易出现误判。

人脸识别子线程，主要包括两个任务：器官定位与人脸大小归一化、人脸判定。在本实施例中，器官定位主要定位的是眼睛、嘴巴、鼻子、脸部轮廓线和发迹线，根据这些特征的位置将其他边缘区域去除，以避免背景信息对人脸判定过程的干扰，这一过程称为人脸分割。在本实施例中，人脸大小归一化主要通过线性插值法来实现。人脸判定的过程利用人脸的局部器官特征和总体灰度分布特征构造特征向量，并通过传统的Fisher准则将其投影到易分类的向量空间，然后用马氏距离度量其和目标特征库中人脸特征的相似度，最终输出相似度矩阵。

本发明提出了实时人脸识别模块的硬件组成、算法框架以及人脸识别中涉及的一些关键技术环节的改进。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (11)

1.一种实时人脸识别系统，其特征在于，包括：

预处理子模块，用于获取视频图像，并对该视频图像进行预处理，以增强视频图像的对比度；

人脸定位子模块，用于从预处理后的所述视频图像中获取正面人脸图像；

人脸识别子模块，用于提取正面人脸图像中的特征，并将该特征与目标人脸库中的人脸特征进行比较，获取相似度。

2.根据权利要求1所述的实时人脸识别系统，其特征在于，所述人脸定位子模块包括：

人脸检测模块，用于加载人脸Haar分类器文件，从所述视频图像中检测人脸，获得人脸的初始位置；

人脸跟踪模块，用于根据人脸的初始位置，利用肤色模型建立肤色直方图，并利用Cam-Shift算法进行人脸跟踪。

3.根据权利要求2所述的实时人脸识别系统，其特征在于，所述人脸检测模块对人脸Haar分类器文件使用非对称决策树代替原有的决策树构造弱分类器的方式提高分类器中每个弱分类器的性能。

4.根据权利要求2所述的实时人脸识别系统，其特征在于，所述人脸检测模块对人脸Haar分类器文件通过如下方式改进分类器的结构：

使用AdaBoost算法组合多个弱分类器构成强分类器后，以强分类器所使用的特征向量为依据，利用K均值对正样本样本点进行聚类，并对聚类出的子类分别构造子类分类器，将子类分类器加入层级分类器，以子类分类器为兄弟节点，构成最终的树形层级分类器。

5.根据权利要求2、3或4所述的实时人脸识别系统，其特征在于，所述人脸跟踪模块以如下方式改进人脸跟踪算法：

利用卡尔曼滤波器预测人脸图像在整个图像中的下一位置，并以预测的位置作为自适应均值漂移算法搜索的初始位置。

6.根据权利要求1、2、3或4所述的实时人脸识别系统，其特征在于，所述实时人脸识别系统通过SOC芯片实现。

7.一种实时人脸识别方法，其特征在于，包括：

步骤1，获取视频图像，并对该视频图像进行预处理，以增强视频图像的对比度；

步骤2，从预处理后的所述视频图像中获取正面人脸图像；

步骤3，提取正面人脸图像中的特征，并将该特征与目标人脸库中的人脸特征进行比较，获取相似度。

8.根据权利要求7所述的实时人脸识别方法，其特征在于，所述步骤2中，包括：

步骤21，加载人脸Haar分类器文件，从所述视频图像中检测人脸，获得人脸的初始位置；

步骤22，根据人脸的初始位置，利用肤色模型建立肤色直方图，并利用Cam-Shift算法进行人脸跟踪。

9.根据权利要求8所述的实时人脸识别方法，其特征在于，所述步骤21中，包括：

对人脸Haar分类器文件使用非对称决策树代替原有的决策树构造弱分类器的方式提高分类器中每个弱分类器的性能。

10.根据权利要求8或9所述的实时人脸识别方法，其特征在于，所述步骤21中，包括：对人脸Haar分类器文件通过如下方式改进层级分类器的结构：

使用AdaBoost算法组合多个弱分类器构成强分类器后，以强分类器所使用的特征向量为依据，利用K均值对正样本样本点进行聚类，并对聚类出的子类分别构造子类分类器，将子类分类器加入层级分类器，以子类分类器为兄弟节点，构成最终的树形层级分类器。

11.根据权利要求8或9所述的实时人脸识别方法，其特征在于，所述步骤22中，包括：

利用卡尔曼滤波器预测人脸图像在整个图像中的下一位置，并以预测的位置作为自适应均值漂移算法搜索的初始位置的方式改进人脸跟踪算法。

Images