CN110188718A - 一种基于关键帧和联合稀疏表示的无约束人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于关键帧和联合稀疏表示的无约束人脸识别方法，包括如下步骤：首先对输入的监控视频目标人脸进行检测和跟踪，从而获取完整人脸序列信息；然后利用人脸关键点的位置估计序列中每个人脸的旋转角度，并对旋转角度进行聚类得到基于人脸姿态的关键帧；最后，通过公开的人脸数据集构建用于训练的字典集，同时采用迭代优化的方式求解最优联合稀疏系数矩阵，并根据测试集和最优联合稀疏系数矩阵计算字典集中每个类别对应的重构误差，取最小重构误差的类别作为人脸身份。

Description

一种基于关键帧和联合稀疏表示的无约束人脸识别方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于关键帧和联合稀疏表示的无约 束人脸识别方法。

背景技术

近年来，公共安全组织越来越多的采用人脸识别技术来检测感兴趣的个体，以增强 公共安全性和情景感知能力。在用于视频监控的决策系统中，用户可以依靠人脸识别来检测和识别通过监视摄像机网络捕获的目标个体，可以解决社会上的许多安全问题。和 静态图像人脸识别的场景相比，监控环境捕获的人脸序列图像是不受约束的，通常受到 光照和姿态变化等因素的影响，同时人脸序列中的大量冗余信息也对识别的精度和效率 产生影响。如何从视频人脸序列中在减少冗余信息的情况下获取最丰富的人脸信息是监 控环境下无约束视频人脸识别的挑战。

事实上，学术界已提出一些无约束视频人脸识别方法，其中基于分类器融合的无约 束视频人脸识别方法是直接用分类器对人脸序列中的每帧进行分类，然后将每帧的分类 结果在得分层次上融合得到最终的决策结果，如文献1：M.Ali Akber Dewan,E.Granger, R.Sabourin Adaptive appearance model tracking for still-to-videoface recognition[J]. Pattern Recognition,2016,49:129-151.通过在识别过程中增加自适应跟踪模块，可以使用 分类器融合的策略同时对视频中的多个目标进行识别。文献2：S.Bashbaghi,E.Granger, R.Sabourin,et al.Dynamic ensembles of exemplar-SVMsfor still-to-video face recognition[J].Pattern Recognition,2017,69:61-81.则是首先对每帧人脸图像进行分块处 理得到人脸各个区域块，然后对这些块进行分类，最后进行决策融合。这些虽然在一定 程度增强了无约束环境人脸识别的鲁棒性。然而基于分类器融合的方法需要对人脸序列 的每帧进行处理，过多视频冗余信息会给识别带来干扰，同时也会增加时间和网络负担， 难以满足监控场景使用的需求。

为了解决无约束视频中冗余信息对识别精度和效率的影响，一些研究者提出了基于 视频帧质量评估的无约束视频人脸识别方法。即通过从人脸序列中获取关键的人脸视频 帧用于视频人脸识别中。如文献3：T.I.Dhamecha,G.Goswami,R.Singh,et al.On FrameSelection for Video Face Recognition.In Avances in Face Detection and FacialImage Analysis,Springer,2016,pp.279-297.提出一种基于信息熵的人脸评价模型，通过计算人脸 帧的信息熵来选择出人脸序列的关键帧。文献4：Q.Xuan,C.Liu,andS.Schuckers,“CNN Based key Frame Extraction for Face in Video Recognition”IEEE International Conference on Identity,Security,and Behavior Analysis,pp.1–8,2018做法的关键思想是设计了一种 人脸质量评价网络，通过大量监控环境下捕捉的人脸静态图像数据集对人脸质量评价网 络进行训练，在使用过程根据评价网络对人脸帧打分来选择关键帧。这些方法将通过关 键帧选择方式将视频人脸识别问题转化为静态人脸识别问题，虽然可以提高监控环境人 脸识别的时间效率，但是仍然没有利用人脸视频帧内容之间的相关性，对于受姿态和光 照变化比较明显的无约束人脸来说，其识别效果不是很理想。如何在减少视频冗余信息 的基础上充分利用帧间的互补信息是需要解决的问题。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提出一种基于关键 帧选择和联合稀疏表示的无约束人脸识别方法，用于识别监控环境中人脸身份。

为了解决上述问题，本发明公开了一种基于关键帧和联合稀疏表示的无约束人脸识 别方法，包括以下步骤：

步骤1，输入监控视频，通过检测与跟踪的方式获取人脸序列；

步骤2，通过人脸姿态聚类来获取人脸序列的关键帧；

步骤3，通过联合稀疏表示对关键帧进行分类，得到最终识别结果。

本发明中，步骤1包括以下步骤：

步骤1-1，使用Viola Jones人脸检测器来检测输入视频的人脸，得到人脸包围框(参 考文献：P.Viola，M.J.Jones.Robust real-time face detection.Internationaljournal of computer vision(IJCV),57(2):137–154,2004)；

步骤1-2，进行人脸跟踪：使用SORT算法对首次检测到的人脸进行运动估计得到运动信息x，并通过用卡尔曼滤波器来估算输入视频后续帧的运动信息(参考文献：A.Bewley,Z.Ge,L.Ott,F.Ramos,and B.Upcroft.Simple online and realtimetracking.IEEE International Conference on Image Processing(ICIP),pp.3464-3468,2016)；

步骤1-3，将卡尔曼滤波器估算的结果和实际人脸检测器检测结果通过联合交叉距 离(IOU,Intersection Over Union)来判断跟踪是否结束，如果IOU值大于阈值T₀时，则说明人脸目标已经消失，将结束步骤1-2的人脸跟踪，否则继续跟踪，其中T₀∈(0.8,1.2)；一般取值为T₀＝1；

步骤1-4，通过跟踪的结果获取最终的目标人脸序列图像P。

步骤1-2中，使用如下公式表示x：

x＝[u,v,s,r],

其中，x表示目标人脸的运动信息，主要包括人脸关键点的位置及人脸的区域面积， 如，u和v分别表示跟踪目标中心像素的水平坐标和垂直坐标，s和r分别表示人脸包 围框的面积和长宽比。

步骤1-3中，使用如下公式表示联合交叉距离IOU：

其中，A表示步骤1-1实际检测的人脸包围框的区域，B表示卡尔曼滤波器预测 的人脸包围框的区域。

步骤1-4中，使用如下公式表示目标人脸序列图像P：

P＝{p₁,p₂,…p_n},

其中，p_i表示第i帧人脸图像，n表示输入视频帧的数量，i取值为1～n。

本发明中，步骤2包括以下步骤：

步骤2-1，使用人脸关键点检测的方法估计目标人脸序列图像中每帧的旋转角度，r_i表示目标人脸序列图像中第i帧的旋转角度，从而得到人脸姿态序列矩阵R(参考 文献：Y.Sun，X.Wang，X.Tang.Deep Convolutional Network Cascade for Facial PointDetection.Computer Vision and Pattern Recognition.IEEE,2013:3476-3483)；

步骤2-2，采用自适应稠密聚类算法对人脸姿态序列矩阵R进行聚类，得到K个不同人脸姿态类别(参考文献：A.Rodriguez,A.Laio.Clustering by fast search and findof density peaks.Science,2014,344(6191):1492-1496.)；

步骤2-3，选择每个类别的聚类中心作为人脸的关键姿态，将关键姿态对应人脸帧作为最终的人脸关键帧并用矩阵F表示。

步骤2-1中，使用如下公式表示矩阵人脸姿态序列R:

R＝{r₁,r₂,…r_n},

其中，r_n表示目标人脸序列图像中第n帧的旋转角度。

步骤2-2中，使用如下公式表示自适应稠密聚类算法对人脸姿态序列矩阵R进行聚类的过程：

其中，分别表示k点的局部密度和n点的局部密度，表示k点和n点 之间的距离，表示r_k和任何其它密度较高点之间的最小距离，k取值为1～n，d_c表 示r_k和任何其它密度较高点之间的最大距离，为分段函数，如果小于d_c， 否则为0。

步骤2-3中，使用如下公式表示人脸关键帧矩阵：

F＝{A₁,A₂,…A_K},

其中，A_K∈P，K表示人脸关键帧的个数，A_K表示第K个人脸关键帧。

步骤3包括以下步骤：

步骤3-1，构建稀疏表示的字典集B和测试集Y；

步骤3-2，使用迭代优化的方式求出联合稀疏系数矩阵X；

步骤3-3，利用联合稀疏系数和人脸关键帧测试集计算每个字典集中每个类别对应 的重构误差S。

步骤3-4，选择最小的重构误差，并与预设的阈值T比较，如果小于T时输出对应 人脸类别ID，如果大于T则输出陌生人，这里的陌生人指的是字典集中没有的类别， T∈(0.15,0.3)，一般取值为T＝0.2。

步骤3-1中，使用如下公式表示训练字典和测试集：

B＝|b₁,b₂,…b_l|,

Y＝|F₁,F₂,…F_N|,

其中，b_i表示第i类的训练图像，F_i表示第i个人脸测试图像，l和N分别表示训练 图像的类别数和测试图像的类别数。

步骤3-2中，使用如下公式表示联合稀疏系数矩阵：

其中，表示迭代优化过程X的最优结果，μ为常量，Xⁱ表示X矩阵的第i行，n 为总的行数。

步骤3-3中，使用如下公式表示重构误差：

其中，S_i表示人脸测试图像与字典集中第i个类别的重构误差，表示第i个类别对应的最优联合稀疏系数。

有益效果：本发明通过将视频关键帧选择和联合稀疏表示同时应用在无约束人脸识 别中，克服了无约束人脸识别中过多的冗余信息对识别干扰的影响，同时也减少计算的负担。另外，通过联合稀疏表示可以在内容上将不同人脸帧结合起来，克服了已有方法 只在每帧的分类决策上进行融合的缺陷，从而可以提高无约束人脸识别的鲁棒性，进而 使得本发明有着较高得应用价值。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其 他方面的优点将会变得更加清楚。

图1是本发明的处理流程示意图。

图2a是第一个目标个体关键帧选择结果图。

图2b是第二个目标个体关键帧选择结果图。

图2c是第三个目标个体关键帧选择结果图。

图2d是第四个目标个体关键帧选择结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开了一种基于关键帧和联合稀疏表示的无约束人脸识别方法， 具体包括以下步骤：

步骤1，输入监控视频，通过检测与跟踪的方式获取人脸序列。

步骤1.1，使用文献5：P.Viola，M.J.Jones.Robust real-time face detection.International journal of computer vision(IJCV),57(2):137–154,2004，中的人脸检测器来检 测监控视频中人脸。

步骤1.2，使用文献6：A.Bewley,Z.Ge,L.Ott,F.Ramos,and B.Upcroft.Simpleonline and realtime tracking.IEEE International Conference on ImageProcessing(ICIP),pp. 3464-3468,2016，SORT算法对首次检测到的人脸进行运动估计得到运动信息x，并通 过用卡尔曼滤波器来估算输入视频后续帧的运动信息，实现使用如下公式表示x：

x＝[u,v,s,r],

其中，x表示目标人脸的运动信息，主要包括人脸关键点的位置及人脸的区域面积， 如，u和v分别表示跟踪目标中心像素的水平坐标和垂直坐标，s和r分别表示人脸包 围框的面积和长宽比。

步骤1.3，将卡尔曼滤波器预测的结果和实际人脸检测器检测结果通过联合交叉距 离(IOU,Intersection Over Union)来判断跟踪是否结束，如果IOU值大于阈值T₀时，则说明目标人脸已经消失将结束人脸跟踪。其中T₀＝1，实现使用如下公式表示IOU:

其中，A表示实际检测包围框的区域，B表示卡尔曼滤波器预测包围框的区域。

步骤2，通过人脸姿态聚类来获取序列的关键帧。

步骤2.1，使用文献7：Y.Sun，X.Wang，X.Tang.Deep Convolutional NetworkCascade for Facial Point Detection.Computer Vision and PatternRecognition.IEEE,2013:3476-3483. 中的方法，使用人脸关键点检测的方法估计人脸序列中每帧的旋转角度r_i，从而得到人 脸姿态序列矩阵R，实现使用如下公式表示R：

R＝{r₁,r₂,…r_n}，

其中，r_n表示人脸序列中第n帧的旋转角度。

步骤2.2，使用文献8：A.Rodriguez,A.Laio.Clustering by fast search andfind of density peaks.Science,2014,344(6191):1492-1496.中的自适应稠密聚类算法对人脸姿态 序列矩阵R进行聚类，得到K个不同人脸姿态类别，实现使用如下公式计算姿态自适 应稠密聚类的过程：

其中，分别表示k点的局部密度和n点的局部密度，表示k点和n点 之间的距离，表示r_k和任何其它密度较高点之间的最小距离，k取值为1～n，d_c表 示r_k和任何其它密度较高点之间的最大距离，为分段函数，如果小于d_c， 否则为0。

步骤2.3，选择每个类别的聚类中心作为人脸的关键姿态，最终得到人脸关键帧矩阵F，如图2a、图2b、图2c及图2d分别表示四个不同目标个体的人脸关键帧，实现 使用如下公式表示F：

F＝{A₁,A₂,…A_K},

其中，A_K∈P，K表示关键帧的个数。

步骤3，通过联合稀疏表示对人脸关键帧进行分类，得到最终识别结果。

步骤3.1，采用文献9:H.Zhiwu,S.Shiguang,W.Ruiping,Z.Haihong,L.Shihong,A.Kuerban,C.Xilin,“A Benchmark and Comparative Study of Video-based FaceRecognition on COX Face Database,”IEEE Transactions on Image Processing,vol.24,no.12,pp. 5967-5981,Dec.2015.提供的COX face数据集作为训练的字典集，实现使用如下公式表 示训练字典B和测试集Y：

B＝|b₁,b₂,…b_l|,

Y＝|F₁,F₂,…F_N|,

其中，b_i表示第i类的训练图像，F_i表示第i个人脸测试图像，l和N分别表示训练 图像和测试图像的类别数。

步骤3.2，使用文献10：L.Liu,L.Zhang,H.Liu,et al.Toward Large-PopulationFace Identification in Unconstrained Videos[J].IEEE Transactions on Circuitsand Systems for Video Technology,2014,24(11):1874-1884.的迭代优化的方法求出联合稀疏系数矩阵X， 实现使用如下公式表示最优联合稀疏系数矩阵

其中，表示迭代优化过程X的最优结果，μ为常量，Xⁱ表示X矩阵的第i行，n 为总的行数。

步骤3.3，利用联合稀疏系数和人脸关键帧测试集计算每个字典集中每个类别对应 的重构误差S，实现使用如下公式计算重构误差：

其中，S_i表示人脸测试图像与字典集中第i个类别的重构误差，第i个类别对应的最优联合稀疏系数。

步骤3.4，选择最小的重构误差，并与预设的阈值T比较，如果小于T时输出对应 人脸类别ID，如果大于T则输出陌生人，T＝0.2。

表1表示在不同类别和不同分辨率下发明结果的识别率，表2表示在识别之前对视频的压缩率，从实验结果上可以看出本发明结果在减少视频冗余的基础上取得了不错的识别率，进一步说了本项发明的优点。

表1

人脸类别数\数据集	最小人脸辨别率32×48	最小人脸分辨64×96
			200	71.35	79.12
400	62.22	73.54

表2

视频平均总帧数	平均关键帧数	压缩率
			82	5	5/82

本发明提供了一种基于关键帧和联合稀疏表示的无约束人脸识别方法，具体实现该 技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和 润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均 可用现有技术加以实现。

Claims (10)

1.一种基于关键帧和联合稀疏表示的无约束人脸识别方法，其特征在于，包括以下步骤：

步骤1，输入监控视频，通过检测与跟踪的方式获取人脸序列；

步骤2，通过人脸姿态聚类来获取人脸序列的关键帧；

步骤3，通过联合稀疏表示对关键帧进行分类，得到最终识别结果。

2.根据权利要求1中的方法，其特征在于，步骤1包括以下步骤：

步骤1-1，使用Viola Jones人脸检测器来检测输入视频的人脸，得到人脸包围框；

步骤1-2，进行人脸跟踪：使用SORT算法对首次检测到的人脸进行运动估计得到运动信息x，并通过用卡尔曼滤波器来估算输入视频后续帧的运动信息；

步骤1-3，将卡尔曼滤波器估算的结果和实际人脸检测器检测结果通过联合交叉距离来判断跟踪是否结束，如果联合交叉距离大于阈值T₀时，则说明人脸目标已经消失，将结束步骤1-2的人脸跟踪，否则继续跟踪，其中T₀∈(0.8,1.2)；

步骤1-4，通过跟踪的结果获取最终的目标人脸序列图像P。

3.根据权利要求2中的方法，其特征在于，步骤1-2中，使用如下公式表示x：

x＝[u,v,s,r],

其中，x表示人脸目标的运动信息，u和v分别表示跟踪目标中心像素的水平坐标和垂直坐标，s和r分别表示人脸包围框的面积和长宽比。

4.根据权利要求3中的方法，其特征在于，步骤1-3中，使用如下公式表示联合交叉距离IOU：

其中，A表示步骤1-1实际检测的人脸包围框的区域，B表示卡尔曼滤波器预测的人脸包围框的区域。

5.根据权利要求4中的方法，其特征在于，步骤1-4中，使用如下公式表示目标人脸序列图像P：

P＝{p₁,p₂,…p_n},

其中，p_i表示第i帧人脸图像，n表示输入视频帧的数量，i取值为1～n。

6.根据权利要求5中的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，使用人脸关键点检测的方法估计目标人脸序列图像中每帧的旋转角度，r_i表示目标人脸序列图像中第i帧的旋转角度，从而得到人脸姿态序列矩阵R；

步骤2-2，采用自适应稠密聚类算法对人脸姿态序列矩阵R进行聚类，得到K个不同人脸姿态类别；

步骤2-3，选择每个类别的聚类中心作为人脸的关键姿态，将关键姿态对应人脸帧作为最终的人脸关键帧并用矩阵F表示。

7.根据权利要求6中的方法，其特征在于，步骤2-1中，使用如下公式表示人脸姿态序列矩阵R：

R＝{r₁,r₂,…r_n},

其中，r_n表示目标人脸序列图像中第n帧的旋转角度。

8.根据权利要求7中的方法，其特征在于，步骤2-2中，使用如下公式表示自适应稠密聚类算法对人脸姿态序列矩阵R进行聚类的过程：

其中，分别表示k点的局部密度和n点的局部密度，表示k点和n点之间的距离，表示r_k和任何其它密度较高点之间的最小距离，k取值为1～n，d_c表示r_k和任何其它密度较高点之间的最大距离，为分段函数，如果小于d_c，否则为0。

9.根据权利要求8中的方法，其特征在于，步骤2-3中，使用如下公式表示人脸关键帧矩阵：

F＝{A₁,A₂,…A_K},

其中，A_K∈P，K表示人脸关键帧的个数，A_K表示第K个人脸关键帧。

10.根据权利要求9中的方法，其特征在于，步骤3包括以下步骤：

步骤3-1，构建稀疏表示的字典集B和测试集Y；

步骤3-2，使用迭代优化的方式求出联合稀疏系数矩阵X；

步骤3-3，计算每个字典集中每个类别对应的重构误差S；

步骤3-4，选择最小的重构误差，并与预设的阈值T比较，如果小于阈值T时输出对应人脸类别ID，如果大于等于T则输出陌生人，T∈(0.15,0.3)；

步骤3-1中，使用如下公式表示字典集B和测试集Y：

B＝|b₁,b₂,…b_l|,

Y＝|F₁,F₂,…F_N|,

其中，b_i表示第i类的训练图像，F_i表示第i个人脸测试图像，l和N分别表示训练图像的类别数和测试图像的类别数；

步骤3-2中，使用如下公式表示联合稀疏系数矩阵X：

其中，表示迭代优化过程X的最优结果，μ为常量，Xⁱ表示矩阵X的第i行，n为总的行数；

步骤3-3中，使用如下公式表示重构误差：

其中，S_i表示人脸测试图像与字典集中第i个类别的重构误差，表示第i个类别对应的最优联合稀疏系数。