CN104008370B - 一种视频人脸识别方法 - Google Patents

Abstract

本发明公开了一种视频人脸识别方法，包括以下步骤：S1：对视频进行人脸检测和跟踪得到人脸序列；S2：对所述人脸序列进行筛选，得到人脸典型帧集合；S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证。与现有的视频人脸识别方法相比，本发明通过使用增强的人脸典型帧集合，过滤和补偿了视频人脸姿态和分辨率的变化，从而提高了视频人脸识别的鲁棒性。

Description

一种视频人脸识别方法

技术领域

本发明涉及视频监控技术领域，特别涉及一种视频人脸识别方法。

背景技术

随着视频监控系统的普及和逐渐增加的发展需求，基于视频的人脸识别已经取得了长足的发展，并对智能交通、门禁、信息安全以及安保、安防等安全领域具有十分重要的作用。

现有的视频人脸识别方法的一种主要应用模式为视频对静态图像识别，所述视频对静态图像识别采用人脸视频作为输入，通过和静态图像人脸数据库进行比对来实现识别或验证。

视频对静态图像识别的一类方法是对每一帧人脸图像采用静态人脸识别方法来识别，最后按照概率打分、距离判决(最近距离，平均距离)或多数投票来融合所有帧的识别结果；

另一类方法是利用视频序列生成人脸模型(如3D人脸建模)或者基于运动时序信息生成人脸模型(如HMM建模)的方法；

这两类方法的共同缺点是没有有效地过滤和补偿视频里的各种人脸变化，因而视频人脸识别的鲁棒性有待提高。

还有一类方法是学习静态图像和视频数据之间的映射关系，以期同时解决视频人脸相比于静态人脸的不同变化以及两者图像质量不同的问题，比如将视频帧的低分辨率空间映射到静态图像的高分辨率空间，或者将异质数据空间映射到一个公共空间上以保持两者的对应关系。

现有的映射学习方法是典型相关分析(CCA)和鉴别偏最小二乘方法(PLS)。

假设静态图像集和视频帧集合分别是和而且静态图像和视频帧对分别来自c个人脸类别，则CCA是要求解投影矩阵U和V，将集合X和Y分别投影到一个公共空间，使得它们的相关性在这个空间上最大化：

其中cov(·,·)是协方差算子；

CCA存在的问题是忽略了不同类人脸样本在公共空间里的可分性；

PLS的目标是要使得集合X和Y投影到公共空间后的协方差最大：

s.t.||U||＝||V||＝1

PLS存在的问题是PLS为非监督，没有充分利用c类人脸样本的鉴别信息。

现有的映射学习方法存在的问题是：在视频人脸的姿态、分辨率等复合变化下学习到的映射矩阵不准确，并且没有充分引入人脸类别的鉴别信息，因而人脸识别器的鉴别性能不够强。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是现有的视频人脸识别方法的鲁棒性以及基于映射学习方法的视频人脸识别方法的鉴别性能有待提高。

(二)技术方案

本发明提供一种视频人脸识别方法，包括以下步骤：

S1：对视频进行人脸检测和跟踪得到人脸序列；

S2：对所述人脸序列进行筛选，得到人脸典型帧集合；

S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；

S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证。

优选地，所述步骤S2包括：根据人眼检测置信度、姿态估计和图像模糊评价指标，对所述人脸序列进行筛选，得到人脸典型帧集合，所述姿态估计包括人脸二维姿态估计。

优选地，步骤S4具体包括：

S41：对所述增强的人脸典型帧集合及预设的静态人脸图像匹配库进行光照预处理后，提取人脸典型帧的Gabor特征及静态人脸图像的Gabor特征；

S42：对预设的视频库进行所述步骤S1至S3，得到预设的人脸典型帧集合；提取所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征；对所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征进行鉴别映射学习，得到人脸典型帧映射矩阵及静态人脸图像映射矩阵；

S43：通过步骤S42中两个映射矩阵，将步骤S41中人脸典型帧的Gabor特征及静态人脸图像的Gabor特征投影到公共空间，采用所述增强的人脸典型帧集合及预设的静态人脸图像匹配库的最近距离进行人脸识别。

优选地，步骤S2具体包括：

S21：选取所述人脸序列中人眼检测置信度大于预设阈值一的视频帧；

S22：判断选取的视频帧少于5张是否成立，若成立，则选取的视频帧构成人脸典型帧集合，否则，执行S23；

S23：估计S21中选取的视频帧的人脸二维姿态；

S24：估计S21中选取的视频帧的图像模糊评价指标；

S25：根据S23中估计的视频帧的人脸二维姿态和S24中估计的视频帧的图像模糊评价指标，将S21中选取的视频帧按照人脸二维姿态和图像模糊评价指标由小到大的顺序排列，选择排列中前5帧构成人脸典型帧合集。

优选地，在S23中，采用嵌入LDA的自适应随机森林算法分别对人脸的左右旋转角度和俯仰旋转角度进行回归估计。

优选地，所述S24包括：

S241：将所述选取的视频帧通过预设的低通滤波器，得到所述选取的视频帧的模糊图像，计算所述模糊图像的邻域梯度变化；

S242：通过比较所述选取的视频帧和所述模糊图像的邻域梯度变化，得到选取的视频帧的图像模糊评价指标，所述指标是0到1范围内的实数。

优选地，步骤S3具体包括：

S31：采用正面人脸生成技术矫正所述人脸典型帧集合中人脸姿态大于预定阈值二的典型帧；

S32：采用图像超分辨率技术增强所述人脸典型帧集合中人脸眼距小于60像素的典型帧的分辨率。

优选地，在步骤S32中，所述图像超分辨率技术中图像超分辨放大倍数由典型帧的人脸眼距和60像素的倍数关系确定，超分辨率重建是利用人脸典型帧集合中每一帧的前后两帧进行相似性正则。

优选地，步骤S41具体包括：

S411：采用按点除以邻域算术均值PDAM的光照预处理方法对所述增强的人脸典型帧集合中的典型帧及预设的静态人脸图像匹配库中的静态人脸图像进行光照归一化；

S412：提取人脸典型帧的Gabor幅值特征及静态人脸图像的Gabor幅值特征。

优选地，在步骤S42中采用鉴别偏最小二乘方法DPLS学习映射矩阵。

(三)有益效果

本发明提供的视频人脸识别方法通过使用增强的人脸典型帧集合，过滤和补偿了视频人脸姿态和分辨率的变化，从而提高了视频人脸识别的鲁棒性，并且通过采用鉴别偏最小二乘方法DPLS学习映射矩阵，充分利用了人脸的标签信息，从而提高了视频人脸识别性能。

附图说明

图1是本发明实施例的视频人脸识别方法的流程图；

图2是本发明实施例的基于嵌入LDA的自适应随机森林的姿态估计方法的示意图；

图3是本发明实施例的图像超分辨率方法的流程图；

图4是本发明实施例的鉴别偏最小二乘方法(DPLS)的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例提供一种视频人脸识别方法，如图1所示，具体包括以下步骤：

S1：对视频进行人脸检测和跟踪得到人脸序列；本实施例中人脸检测使用的是改进的Adaboost分类器，收集多个视角的人脸样本来训练，并使用编码形状不同的LBP特征来描述人脸。采用马尔科夫随机场模型使得分类器的输出结果为一个包含不同人脸部件的后验概率的矩阵，从而融合为最后的多姿态人脸检测器。人脸跟踪是通过级联的GentleAdaBoost方法训练得到强分类器，再嵌入到自适应粒子滤波过程中来实现稳定跟踪。

S2：对所述人脸序列进行筛选，得到人脸典型帧集合；本实施例中，所述步骤S2包括：根据人眼检测置信度、姿态估计和图像模糊评价指标，对所述人脸序列进行筛选，得到人脸典型帧集合，所述姿态估计包括人脸二维姿态估计。

本实施例中，步骤S2具体包括：

S21：选取所述人脸序列中人眼检测置信度大于预设阈值一的视频帧，这些视频帧初步判定为可靠的人脸典型帧；

S22：判断选取的视频帧少于5张是否成立，若成立，则选取的视频帧构成人脸典型帧集合，否则，执行S23；

S23：估计S21中选取的视频帧的人脸二维姿态；本实施例中，姿态估计的目的是为了挑选出姿态值较小、接近正面的人脸参与识别，没有考虑人脸的平面内旋转角是因为可以简单根据检测的眼睛位置来消除该旋转角。

在本实施例中，采用嵌入LDA的自适应随机森林算法分别对人脸的左右旋转角度和俯仰旋转角度进行回归估计，具体过程如下：

分别收集有左右旋转和俯仰旋转变化的人脸样本，测试时分别估计两个角度。特征提取的过程是：将人脸检测区域归一化为48×48像素的灰度图，然后使用高斯滤波算子(3×3，标准差为2)以去噪，最后提取(3×3)Sobel边缘特征。嵌入LDA的自适应随机森林算法主要在两个方面对随机森林算法进行了改进，如图2所示：一是每棵多叉随机树的节点判决采用LDA判决来提高姿态鉴别力，二是采用可变叉节点分裂策略自适应地对分类效果不佳的姿态类进行鉴别分类，以进一步提高姿态鉴别力。测试时在叶子节点对不同姿态类进行回归，并融合多棵随机树的结果。该姿态估计方法准确实时，能在10ms以内同时估计左右旋转角和俯仰旋转角。

S24：估计S21中选取的视频帧的图像模糊评价指标；本实施例中，步骤S24包括：

S241：将所述选取的视频帧通过预设的低通滤波器，得到所述选取的视频帧的模糊图像，计算所述模糊图像的邻域梯度变化；

S242：通过比较所述选取的视频帧和所述模糊图像的邻域梯度变化，得到选取的视频帧的图像模糊评价指标，所述指标是0到1范围内的实数。

在本实施中，估计图像模糊程度基于以下事实：清晰图像的纹理锐利，图像邻域变化显著；模糊图像的邻域变化较小。因此首先计算输入图像的高斯模糊图像，再分别计算输入图像和其模糊图像的水平和垂直方向的平均一阶差分，来衡量图像的邻域梯度大小。最后比较两者的邻域梯度变化，并归一化为0到1范围内的实数作为图像模糊指标，该指标越接近1图像越模糊。该图像模糊估计方法快速有效，估计时间不超过4ms。

S25：根据S23中估计的视频帧的人脸二维姿态和S24中估计的视频帧的图像模糊评价指标，将S21中选取的视频帧按照人脸二维姿态和图像模糊评价指标由小到大的顺序排列，选择排列中前5帧构成人脸典型帧合集。

本实施例中，关于人脸姿态正面程度M_p和图像模糊程度M_b的联合指标简单设为两者的乘积M_p·M_b。其中M_b直接由S24计算得到，M_p由S23估计的左右旋转角θ_x和俯仰旋转角θ_y转换得到:

S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；

本实施例中，步骤S3具体包括：

S31：采用正面人脸生成技术矫正所述人脸典型帧集合中人脸姿态大于预定阈值二的典型帧；

在本实施例中，正面人脸生成技术如下：首先采用步骤S23中的嵌入LDA的自适应随机森林算法得到2D人脸图像的姿态，并将3D人脸和当前姿态对齐；然后获取2D图像和3D人脸的关键点对，并进行三维人脸重建，被遮挡的人脸区域需要利用对称区域的纹理来补全；最后将带纹理的3D重建人脸的姿态转为正面，并渲染到2D正面图像。该正面人脸生成方法快速有效，能在2s以内完成整个过程。

S32：采用图像超分辨率技术增强所述人脸典型帧集合中人脸眼距小于60像素的典型帧的分辨率；本实施例中，所述图像超分辨率技术中图像超分辨放大倍数由典型帧的人脸眼距和60像素的倍数关系确定，超分辨的目标是将低分辨率视频帧y复原成高分辨率图像x，具体流程如图3所示：

首先对输入的低分辨率图像进行双三次插值得到初始高分辨率图像，然后将初始高分辨率图像划分为相互重叠的5×5图像块i＝1,...,N，并为每个图像块在相邻两张视频帧的非局部范围内匹配得到相似图像块x_ij，利用这些相似图像块对超分辨率的重建方程进行图像的自相似正则，得：

其中即重建方程，D和H分别是下采样矩阵和模糊矩阵，I是单位矩阵，W是图像块x_i关于相似图像块x_ij的表达系数w_ij的矩阵，其中对角矩阵R＝diag[R₁,...,R_N]表示每一组相似图像块的冗余度，控制图像自相似正则的权重：

最后对非局部相似图像块进行PCA得到在线字典B₁，和同样基于PCA的离线字典B₀融合得到融合字典B＝[B₀,B₁]。这样每个图像块x_i就可以在字典B上线性表达为重建高分辨率图像块x_i和整张高分辨率图像就转化成了下式：

其中α是由所有图像块的表达系数α_i连接起来的，о是所有块表达的运算符，式(6)还约束了表达系数α的稀疏性，η是稀疏正则项的系数，式(6)可用迭代压缩算法高效地求解，直至收敛。图像超分辨方法能复原出视频人脸图像的真实细节，有利于提高视频人脸识别率。

S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证。

优选地，步骤S4具体包括：

S41：对所述增强的人脸典型帧集合及预设的静态人脸图像匹配库进行光照预处理后，提取人脸典型帧的Gabor特征及静态人脸图像的Gabor特征；本实施例中，步骤S41具体包括：

S411：采用按点除以邻域算术均值(Point Divid Arithmetic Mean，PDAM)PDAM的光照预处理方法对所述增强的人脸典型帧集合中的典型帧及预设的静态人脸图像匹配库中的静态人脸图像进行光照归一化；

本实施例中，PDAM算法是将每个像素除以以该像素为中心的小领域的算数均值，从而消除光照的影响。

S412：提取人脸典型帧的Gabor幅值特征及静态人脸图像的Gabor幅值特征，得到4602维列向量作为人脸特征。

S42：对预设的视频库进行所述步骤S1至S3，得到预设的人脸典型帧集合；提取所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征；对所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征进行鉴别映射学习，得到人脸典型帧映射矩阵及静态人脸图像映射矩阵。

本实施例中，采用鉴别偏最小二乘方法(Discriminative Partial LeastSquares，DPLS)学习映射矩阵，具体过程如下：

式(2)所示的PLS目标方程，可以具体写成：

s.t.||U||＝||V||＝1

可以看到，其相关性的最大化是对所有c类人脸样本对进行的，即事实上这有损于投影后数据的鉴别性。而DPLS算法仅最大化类内异质数据的相关性，而最小化类间异质数据的相关性。也就是说此时引入了类别标签信息，可以表达如下：

s.t.||U||＝||V||＝1

其中U^TC_wV和U^TC_bV分别表示类内和类间的相似性，λ是一个权重参数。如果重新把静态图像集合和视频帧集合和组织成：

(9)

其中和分别代表属于第i类的第j个静态图像和视频帧，而n_i表示第i类的样本数。可以再定义：

这样C_w就可以表示成：

其中W是一个分块对角矩阵：

这样式(11)就用矩阵的形式表示了C_w里的类内相似性。图4描述了这种类内相似性的概念，而表示类间相似性的C_b为：

当数据X和Y是中心化的(即去均值)，那么式(13)第一项就为0，从而有C_b＝-XWY^T。所以把C_b和C_w代入式(8)得：

s.t.||U||＝||V||＝1

这样式(14)的优化已经和λ无关了。该式提高了数据的鉴别性又能同时消除异质数据的差异。

S43：通过步骤S42中两个映射矩阵，将步骤S41中人脸典型帧的Gabor特征及静态人脸图像的Gabor特征投影到公共空间，采用集合的最近距离进行人脸识别。

综上，本发明实施例通过使用增强的人脸典型帧集合，过滤和补偿了视频人脸姿态和分辨率的变化，从而提高了视频人脸识别的鲁棒性，并且通过采用鉴别偏最小二乘方法DPLS学习映射矩阵，充分利用了人脸的标签信息，从而提高了视频人脸识别性能。

需要说明的是，在本文中，预设阈值一和预设阈值二仅用来区分预设阈值，而不一定要求或暗示不同预设阈值之间存在关系或者顺序。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种视频人脸识别方法，其特征在于，包括以下步骤：

S1：对视频进行人脸检测和跟踪得到人脸序列；

S2：对所述人脸序列进行筛选，得到人脸典型帧集合；

S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；

S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证；

步骤S2具体包括：

S21：选取所述人脸序列中人眼检测置信度大于预设阈值一的视频帧；

S22：判断选取的视频帧少于5张是否成立，若成立，则选取的视频帧构成人脸典型帧集合，否则，执行步骤S23；

S23：估计步骤S21中选取的视频帧的人脸二维姿态；

S24：估计步骤S21中选取的视频帧的图像模糊评价指标；

S25：根据步骤S23中估计的视频帧的人脸二维姿态和步骤S24中估计的视频帧的图像模糊评价指标，将步骤S21中选取的视频帧按照人脸二维姿态和图像模糊评价指标由小到大的顺序排列，选择排列中前5帧构成人脸典型帧合集。

2.如权利要求1所述的方法，其特征在于，所述步骤S4包括：

S41：对所述增强的人脸典型帧集合及预设的静态人脸图像匹配库进行光照预处理后，提取人脸典型帧的Gabor特征及静态人脸图像的Gabor特征；

S42：对预设的视频库进行所述步骤S1至S3，得到预设的人脸典型帧集合；提取所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征；对所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征进行鉴别映射学习，得到人脸典型帧映射矩阵及静态人脸图像映射矩阵；

S43：通过步骤S42中两个映射矩阵，将步骤S41中人脸典型帧的Gabor特征及静态人脸图像的Gabor特征投影到公共空间，采用所述增强的人脸典型帧集合及预设的静态人脸图像匹配库的最近距离进行人脸识别。

3.如权利要求1所述的方法，其特征在于，在步骤S23中，采用嵌入线性鉴别分析LDA的自适应随机森林算法分别对人脸的左右旋转角度和俯仰旋转角度进行回归估计。

4.如权利要求1所述的方法，其特征在于，所述S24包括：

S241：将所述选取的视频帧通过预设的低通滤波器，得到所述选取的视频帧的模糊图像，计算所述模糊图像的邻域梯度变化；

S242：通过比较所述选取的视频帧和所述模糊图像的邻域梯度变化，得到选取的视频帧的图像模糊评价指标，所述指标是0到1范围内的实数。

5.如权利要求1所述的方法，其特征在于，步骤S3具体包括：

S31：采用正面人脸生成技术矫正所述人脸典型帧集合中人脸姿态大于预定阈值二的典型帧；

S32：采用图像超分辨率技术增强所述人脸典型帧集合中人脸眼距小于60像素的典型帧的分辨率。

6.如权利要求5所述的方法，其特征在于，在步骤S32中，所述图像超分辨率技术中图像超分辨放大倍数由典型帧的人脸眼距和60像素的倍数关系确定，超分辨率重建是利用人脸典型帧集合中每一帧的前后两帧进行相似性正则。

7.如权利要求2所述的方法，其特征在于，步骤S41具体包括：

S411：采用按点除以邻域算术均值PDAM的光照预处理方法对所述增强的人脸典型帧集合中的典型帧及预设的静态人脸图像匹配库中的静态人脸图像进行光照归一化；

S412：提取人脸典型帧的Gabor幅值特征及静态人脸图像的Gabor幅值特征。