CN108509825A - 一种基于视频流的人脸跟踪识别方法 - Google Patents

Abstract

本发明涉及模式识别技术领域，尤其涉及一种基于视频流的人脸跟踪识别方法，通过获取视频样本，对视频中连续的帧图像，进行预处理；通过人脸检测模块定位经预处理后的帧图像中的人脸位置并将其作为人脸跟踪的初始跟踪窗口；跟踪算法在camshift算法的基础上，结合Adaboost算法，采用了形态学方法、目标状态预测以及帧间差分法，解决了传统camshift算法的初始跟踪窗口需手动选取，无法适应目标高速运动、复杂背景、遮挡等复杂情况。最后通过一种加权平均脸和二维主成分分析特征空间相结合的改进人脸识别算法，减少了类内人脸特征的差异性，提高了人脸识别的准确性。

Description

一种基于视频流的人脸跟踪识别方法

技术领域

本发明涉及模式识别技术领域，尤其涉及一种基于视频流的人脸跟踪识别方法。

背景技术

人脸包含着许多复杂的细节信息，通过观测人脸，可以直观地了解很多对象信息。伴随着生物识别技术的蓬勃发展，人脸跟踪识别逐渐成为了一种有效的、安全的生物身份认证手段。目前已被广泛应用于国家公共安全、司法领域、人机交互、广电行业等方面，有着广阔的应用前景。

目前大部分主流的识别系统多数采用静态图像作为识别的输入元素，对于视频流中动态的人脸识别依然是一项重要的研究课题。然而，在实际中，人脸所处于的不同场景、不同光照等不确定事件都会影响到人脸的检测，从而影响人脸识别。此外，在视频流中人脸的快速移动和目标遮挡、干扰的处理也为人脸跟踪识别技术带来一定的挑战。因此，一方面，需要提高或者是预处理图像的效果；另一方面，改进相应的跟踪识别算法。

现有的人脸跟踪识别技术主要采用Adaboost人脸检测算法理论与基于肤色信息进行运动跟踪的camshift算法。而camshift算法存在需要手动选取初始跟踪窗口，无法适应视频流中目标高速运动、目标 遮挡和复杂背景下的跟踪。

发明内容

为了克服上述现有技术中存在的缺陷，本发明要解决的技术问题是提供一种基于视频流的人脸跟踪识别方法，从而提高现有视频流中人脸跟踪识别技术的识别率与速度，减少因帧图像预处理不完善或其它外界干扰导致的误识率。

为解决上述技术问题，本发明的一种基于视频流的人脸跟踪识别方法，包括如下步骤：

步骤a：获取视频样本，对于视频中连续的帧图像进行预处理；

步骤b：通过人脸检测模块定位经预处理的帧图像中的人脸位置，并将人脸位置作为人脸跟踪的初始跟踪窗口；

步骤c：人脸跟踪模块通过人脸跟踪的初始跟踪窗口，由跟踪算法进行人脸跟踪，获取人脸头像；

步骤d：识别模块对步骤c中获取的人脸头像进行识别，然后进行特征提取并录入人脸特征数据库；

步骤e：识别模块将步骤d中提取的特征与人脸特征数据库中的特征进行匹配，从而识别人脸。

作为本发明的进一步改进，在步骤a中，采用归一化的直方图均衡法完成帧图像的预处理，所述归一化的直方图均衡法包括如下步骤：

步骤1：分割直方图，将输入的直方图分割成多个互不重叠 的子直方图；

步骤2：扩展狭窄的子直方图，将狭窄的子直方图在均衡前进行全强度范围的扩展；

步骤3：将狭窄的子直方图均衡到全范围，宽度子直方图保持不变；

步骤4：将均衡后的多个子直方图结合产生输出图像，并对输出图像的强度级别进行归一化。

作为本发明的进一步改进，使用Adaboost检测算法，对预处理后的帧图像进行人脸位置的检测，包括如下步骤：

步骤A：对输入的人脸正例样本集和负例样本集，通过计算样本积分图得到矩形特征值，由矩形特征值获得矩形特征值集；

步骤B：由矩形特征值集生成弱分类器集；

步骤C：筛选弱分类器集，加权组合成强分类器集；

步骤D：通过对强分类器集的级联，组成训练分类器，将级联过称中筛选出的负例样本补充到人脸负例样本集中，靠近训练分类器尾部的分类器输出低误识率的正例样本，用于检测人脸。

作为本发明的进一步改进，在步骤c中，跟踪算法为改进的camshift算法，所述改进的camshift算法包括：

采用形态学方法对直方图和色彩概率分布图进行处理，增强肤色信息；

采用目标状态预测实现目标移动过快的跟踪；

采用基于运动信息跟踪的帧间差分法处理同色干扰。

作为本发明的进一步改进，步骤d人脸特征数据库为ORL人脸数据库，ORL人脸数据库共包含40人，每人10幅图像，通过预处理将图像分辨率归一化到90*90，以每人的前五幅图像作为训练样本，构成一个5*40幅的训练集，剩下的5*40幅作为测试集。

作为本发明的进一步改进，识别模块对步骤d中获取的人脸头像进行识别的算法为一种加权平均脸和二维主成分分析特征空间相结合的改进人脸识别算法，识别步骤如下：

1)计算所述训练集中图像类间平均脸和类内平均脸；

2)选定加权系数，以类内平均脸对训练集规范化并计算类间散布矩阵；

3)求取类间散布矩阵的特征子空间；

4)利用类间平均脸和类内平均脸对训练集中人脸图像和待识别人脸图像进行处理；

5)分别将训练集中的人脸图像和待识别的人脸图像向特征子空间进行投影，获得两个不同的特征子空间投影，并采用最近邻分类器计算得到识别结果。

本发明具有积极的效果：本发明通过对从视频中获取的帧图像采用归一化的直方图均衡方法，增强了图像对比度，减小了光照的影响，提高了人脸可检测性；在人脸检测方面，采用 级联分类器有效地提高了检测识别率；在跟踪识别方面，利用形态学处理技术、camshift算法和Adoboost相结合的算法、目标状态预测法和帧间差分法很好地对原camshift算法在受干扰肤色信息影响、需要手动指定区域初始化跟踪窗口、在目标被部分遮挡时跟踪失败、对于高速运动目标和同色干扰严重，跟踪效果变差等方面做出了改善，使跟踪识别更加实时、高效和精确。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明人脸跟踪识别的技术实施例的实现流程图；

图2是是原始灰度直方图；

图3是经归一化均衡化直方图法处理后的灰度直方图；

图4是人脸检测的实施流程图；

图5是级联分类器的示例图；

图6是遮挡情况下的camshift算法改进的过程流程图。

具体实施方式

如图1-6所示，本发明公开了一种基于视频流的人脸跟踪识别方法，包括如下步骤：

步骤a：获取视频样本，对于视频中连续的帧图像进行预处理；

步骤b：通过人脸检测模块定位经预处理的帧图像中的人脸位置，并将人脸位置作为人脸跟踪的初始跟踪窗口；

步骤c：人脸跟踪模块通过人脸跟踪的初始跟踪窗口，由跟踪算法进行人脸跟踪，获取人脸头像；

步骤d：识别模块对步骤c中获取的人脸头像进行识别，然后进行特征提取并录入人脸特征数据库；

步骤e：识别模块将步骤d中提取的特征与人脸特征数据库中的特征进行匹配，从而识别人脸。

其中，在步骤a中，采用归一化的直方图均衡法完成帧图像的预处理，归一化的直方图均衡法包括如下步骤：

步骤1：分割直方图，将输入的直方图分割成多个互不重叠的子直方图；其公式可以表示为：

其中，H[k_l,k_u]表示输入灰度图像I(i,j)的直方图，k_l表示最低强度级别，k_u表示最高强度级别，H_r表示直方图H的第r个子直方图，和表示第r个直方图的上下边界强度级别值。

步骤2：扩展狭窄的子直方图，将狭窄的子直方图在均衡前进行全强度范围的扩展；

其中，狭窄子直方图的选取取决于因子f(r)。如果f(r)＜1，分割的子直方图被分类为狭窄子直方图，否则分类为宽度直方 图。f(r)被定义为：

其中r＝1,2...n,且n为子直方图的总数。此外，

步骤3：将狭窄的子直方图均衡到全范围，宽度子直方图保持不变；本步骤3主要是均衡化子直方图，对第r个子直方图中的第k个强度等级的转换函数为：

其中对于狭窄子直方图：对于宽度子直方图：和的值为原始边界值，c(k)为第k个直方图原始强度。

步骤4：将均衡后的多个子直方图结合产生输出图像，并对输出图像的强度级别进行归一化，本步骤4主要是直方图强度的归一化，公式如下：

其中k为输入图形的强度值，k′为第k个归一化后的强度级别，T_c(k)为各个均衡后的子直方图结合后的强度值，为非负权重值。

经归一化的直方图均衡化法的灰度直方图对比如图2和3所示。

如图4所示，使用Adaboost检测算法，对预处理后的帧图像进行人脸位置的检测，包括如下步骤：

步骤A：对输入的人脸正例样本集和负例样本集，通过计算样本积分图得到矩形特征值，由矩形特征值获得矩形特征值集，其中，积分图法提供了一种特征值的计算方法，将特征值的计算归结为区域端点的积分图，从而避免了通过对输入图像逐点扫描计算特征矩形的特征值，带来的人脸检测的实时性问题；

步骤B：由矩形特征值集生成弱分类器集，在步骤A中的矩形特征值集中，选取一个最佳的特征值，使得样本的加权错误率最低，即为一个弱分类器，由弱分类器获得弱分类器集；

步骤C：筛选弱分类器集，加权组合成强分类器集；其中，对于一组训练样本(x₁,y₁),...,(x_n,y_n)，其中x_i∈R^k，x_i是单个样本描述，它是一个由k个元素构成的多维矢量；y_i∈(0,1)，其中0，1分别表示非人脸和人脸样本。具体的训练过程如下：

初始化样本权重概率值：分别对应于y_i＝0,1样本的权重值，其中l和m分别为正、负样本的数量。

重复以下过程共T次，t＝1,...,T：

1)归一化权重概率值：

2)对于每一个特征j，训练一个弱分类器h_j，使用一个单个特征进行限制分类，每一个弱分类器分类的过程中可能会有错误分类，定义ε_j为错误样本权重概率值的和，其中：

式中，p_j为样本分类变动的指示标记，f_j(x)是样本中的第j个特征，θ_j是对第j个特征进行对错判决的阀值。

3)选择弱分类器h_j使得样本分类错误权重和ε_j最小。

4)更新样本权重概率值：如果样本被正确划分时e_i＝0，否则e_i＝1，且ε_t表示拥有最小错误率的错误样本权重概率值的和。

5)最后的到强分类器：

步骤D：通过对强分类器集的级联，组成级联分类器，将级联过称中筛选出的负例样本补充到人脸负例样本集中，靠近级联分类器尾部的分类器输出低误识率的正例样本，用于检测人脸。通过不停的迭代。补充负例样本，当达到某个预定的足够小的错误率或达到最大迭代次数，完成人脸检测。

在步骤c中，跟踪算法为改进的camshift算法，改进的camshift算法包括：

采用形态学方法对直方图和色彩概率分布图进行处理，增强肤色信息；即通过形态学处理中的腐蚀、中值滤波和膨胀方法对传统camshift算法在计算HSV中H分量的色彩概率分布图进行处理，减少噪声，使面部区域更明显；

采用目标状态预测实现目标移动过快的跟踪；

采用基于运动信息跟踪的帧间差分法处理同色干扰。

针对目标被遮挡和丢失，跟踪失败的问题。通过获取第n帧跟踪窗口尺寸为S(n)，设定跟丢阈值为s，当S(n)＜s则判定目标丢失。此时重新启动人脸检测模块对全屏幕检测。跟踪过程如图6所示。

还包括：

目标状态预测，用于解决原算法在前一帧图像的跟踪窗口与下一帧图像的人脸没有重叠区域，造成自适应调整跟踪窗口失败，目标丢失的情况。具体步骤包括：

(1)由前两帧跟踪窗口中心计算下一帧跟踪窗口预测中心。假设第i-1帧到第i帧跟踪窗口中心点在水平和垂直方向上位移分别为l_xi和l_yi，第i帧迭代的跟踪窗口中心为(x_i,y_i)，跟踪窗口的宽度和高度分别为w和h，则得到第i+1帧跟踪窗口的预测中心为：

x_i+1＝x_i+l_xi,y_i+1＝y_i+l_yi 公式5

(2)根据目标的移动速度按比例的调整预测跟踪窗口的宽度和高度：

(3)在第i+1帧中将预测窗口作为跟踪窗口代入下一步继续跟踪。

还包括：采用基于运动信息跟踪的帧间差分法来解决同色 干扰。具体地：

1)对帧序列中的连续两帧灰度图像进行差分，得到第k帧的差分图像D_k(x,y)，公式如下：

D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)| 公式7

其中，f_k(x,y)与f_k-1(x,y)表示连续两帧的灰度值。

2)设定阈值，标示出目标的运动区域，公式如下：

其中，R_k(x,y)为二值化后的差分图像。

3)由2)中获得的运动区域初始化跟踪窗口，从而使跟踪窗口始终与人脸区域对应。

人脸特征数据库为ORL人脸数据库，ORL人脸数据库共包含40人，每人10幅图像，通过预处理将图像分辨率归一化到90*90，以每人的前五幅图像作为训练样本，构成一个5*40幅的训练集，剩下的5*40幅作为测试集。

识别模块对步骤c中获取的人脸头像进行识别的算法为一种加权平均脸和二维主成分分析特征空间相结合的改进人脸识别算法，识别步骤如下：

1)计算训练集中图像类间平均脸和类内平均脸；

其中，训练集人脸样本共有C类，每类样本个数为N_c(c＝1,2,3…C)，A_ci为其中的第C类第i个样本。

2)选定加权系数δ，以类内平均脸对训练集规范化并计算类间散布矩阵；

其中，E表示协方差运算符，

3)求取类间散布矩阵G_t的特征子空间；

X＝[X₁,X₂,...,X_d] 公式11

4)利用类间平均脸和类内平均脸对训练集中人脸图像和待识别人脸图像进行处理；

利用和对训练集中人脸图像A_ci和待识别人脸图像A_d进行加权平均脸处理，处理后的训练集中人脸图像和待识别人脸图像记为A'_ci和A'_d：

5)分别将加权平均脸处理训练集中的人脸图像A_ci′和待识别的人脸图像A_d′向特征子空间进行投影，获得两个不同的特征子空间投影，并采用最近邻分类器计算得到识别结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明 的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视频流的人脸跟踪识别方法，其特征在于：包括如下步骤：

步骤a：获取视频样本，对于视频中连续的帧图像进行预处理；

步骤b：通过人脸检测模块定位经预处理的帧图像中的人脸位置，并将人脸位置作为人脸跟踪的初始跟踪窗口；

步骤c：人脸跟踪模块通过人脸跟踪的初始跟踪窗口，由跟踪算法进行人脸跟踪，获取人脸头像；

步骤d：识别模块对步骤c中获取的人脸头像进行识别，然后进行特征提取并录入人脸特征数据库；

步骤e：识别模块将步骤d中提取的特征与人脸特征数据库中的特征进行匹配，从而识别人脸。

2.根据权利要求1所述的一种基于视频流的人脸跟踪识别方法，其特征在于：在步骤a中，采用归一化的直方图均衡法完成帧图像的预处理，所述归一化的直方图均衡法包括如下步骤：

步骤1：分割直方图，将输入的直方图分割成多个互不重叠的子直方图；

步骤2：扩展狭窄的子直方图，将狭窄的子直方图在均衡前进行全强度范围的扩展；

步骤3：将狭窄的子直方图均衡到全范围，宽度子直方图保持不变；

步骤4：将均衡后的多个子直方图结合产生输出图像，并对输出图像的强度级别进行归一化。

3.根据权利要求2所述的一种基于视频流的人脸跟踪识别方法，其特征在于：使用Adaboost检测算法，对预处理后的帧图像进行人脸位置的检测，包括如下步骤：

步骤A：对输入的人脸正例样本集和负例样本集，通过计算样本积分图得到矩形特征值，由矩形特征值获得矩形特征值集；

步骤B：由矩形特征值集生成弱分类器集；

步骤C：筛选弱分类器集，加权组合成强分类器集；

步骤D：通过对强分类器集的级联，组成训练分类器，将级联过称中筛选出的负例样本补充到人脸负例样本集中，靠近训练分类器尾部的分类器输出低误识率的正例样本，用于检测人脸。

4.根据权利要求3所述的一种基于视频流的人脸跟踪识别方法，其特征在于：在步骤c中，跟踪算法为改进的camshift算法，所述改进的camshift算法包括：

采用形态学方法对直方图和色彩概率分布图进行处理，增强肤色信息；

采用目标状态预测实现目标移动过快的跟踪；

采用基于运动信息跟踪的帧间差分法处理同色干扰。

5.根据权利要求4所述的一种基于视频流的人脸跟踪识别方法，其特征在于：步骤d所述的人脸特征数据库为ORL人脸数据库，ORL人脸数据库共包含40人，每人10幅图像，通过预处理将图像分辨率归一化到90*90，以每人的前五幅图像作为训练样本，构成一个5*40幅的训练集，剩下的5*40幅作为测试集。

6.根据权利要求5所述的一种基于视频流的人脸跟踪识别方法，其特征在于：识别模块对步骤d中获取的人脸头像进行识别的算法为一种加权平均脸和二维主成分分析特征空间相结合的改进人脸识别算法，识别步骤如下：

1)计算所述训练集中图像类间平均脸和类内平均脸；

2)选定加权系数，以类内平均脸对训练集规范化并计算类间散布矩阵；

3)求取类间散布矩阵的特征子空间；

4)利用类间平均脸和类内平均脸对训练集中人脸图像和待识别人脸图像进行处理；

5)分别将训练集中的人脸图像和待识别的人脸图像向特征子空间进行投影，获得两个不同的特征子空间投影，并采用最近邻分类器计算得到识别结果。