CN109190561A - 一种视频播放中的人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种视频播放中的人脸识别方法，包括步骤：A.构建基于时域连续变换的多样性人脸库；B.改进深度学习人脸特征提取网络，训练基于时域多变的深度学习模型；C.结合特征提取与模型分类进行人脸确认。本发明的视频播放中的人脸识别方法通过构建时序连续变化多样性样本库，加入GDConv深度神经网络学习单元降低了人脸角度偏转、表情、光照等对提取人脸图像特征的影响，最后通过联合特征匹配以及模型分类方式进一步确认身份信息，可有效提升视频人脸识别准确率。

Description

一种视频播放中的人脸识别方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种视频播放中的人脸识别方 法及系统。

背景技术

基于视频的人脸识别已成为人脸识别领域最为活跃的研究方向之一，如何 充分利用视频中人脸的时间和空间信息克服视频中人脸分辨率低，尺度变化范 围大，光照，角度，姿态，表情变化剧烈以及时常发生遮挡等困难是研究的重 点。当前主流的算法都结合了视频序列的空域信息以及时域信息，在相邻帧中 采用投票的方式进行身份确认，可显著提升识别率，但这种方式不适用于在线 视频识别。

在视频序列中，人脸目标的变换具有帧间连续性，比如角度，表情，光照， 尺寸等的改变具有连续性。当这些改变造成类内人脸样本的差异增大时，且这 些样本没有出现在我们的训练样本中，模型就学习不到这些变化的信息，进而 导致识别失败。

现有的大多数人脸识别方法都专注于如何提高人脸识别算法的性能，缺乏 一种对数据源本身的分析机制。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种视频播放中的人脸识 别方法及系统，通过构建基于时域连续变化的多样性人脸特征库，并在深度人 脸模型中采用可对不同人脸区域学习权重的GDConv全局池化层，可有效解决GAP 层提取人脸特征效果差，全连接层参数量巨大的问题，同时用一个深度学习模 型进行特征提取进而采用特征比对进行分类联合模型分类的方式进行视频中人 脸身份确认，可进一步提升识别率。

为了达到上述的技术效果，本发明采取以下技术方案：

一种视频播放中的人脸识别方法，其特征在于，包括以下步骤：

A.构建基于时域连续变换的多样性人脸库；

B.改进深度学习人脸特征提取网络，训练基于时域多变的深度学习模型；

C.结合特征提取与模型分类进行人脸确认。

在本发明的视频播放中的人脸识别方法中，通过采用深度学习模型进行帧 间连续的人脸相似性判断，摒弃类内样本相似度高的样本，保留具有时域连续 变换且有一定差异的样本作为训练样本，具体为，给定一个基础的深度人脸识 别模型用于特征提取并分析连续视频帧的人脸的特征变换，通过迭代更新的方 式，判断当前帧人脸是否剔除，得到具有连续时域信息且样本差距足够大的类 内视频样本库，并在在深度人脸识别模型中对不同人脸区域进行不同权重加持 的人脸模型特征提取，进一步提升了识别率，同时降低了模型复杂度，可应用 于嵌入式设备中。

进一步地，所述步骤A具体包括：

A1.首先准备N类的视频样本，每类视频样本的数量不少于1个，并提前训 练好一个人脸基础模型；

A2.对每个视频每帧图像，首先进行人脸检测与关键点定位，当检测到第一 帧人脸图像，确认为当前目标的人脸，对齐人脸图像，并利用人脸基础模型进 行特征提取；

A3.保存当前人脸对齐图像与特征到当前目标人脸库中；

A4.进行下一帧人脸图像检测与关键点定位，与目标人脸库中的特征进行相 似度比较，得出相似度值；

A5.若得到的相似度值超出预设的相似度阈值范围，则丢弃，否则，则将检 测到的当前帧人脸存入人脸库中；

A6.重复步骤A3至A5，不断更新当前人的人脸库，直到当前目标人的视频 播放完毕；

A7.将人脸库中存放的当前人的人脸样本组合起来，成为当前人的按时域连 续变换的多角度多表情特征库即所述基于时域连续变换的多样性人脸库。

进一步地，所述步骤B具体包括：

B1.将步骤A得到的基于时域连续变换的多样性人脸库中的人脸图像加入 网络中进行finetune微调训练；

B2.改进深度学习模型，将提取特征的全连接层修改为全局池化层，从而 对人脸不同区域进行权重学习。

进一步地，所述步骤C具体包括：

C1.采用大样本数据库训练好一个网络，保持特征提取层以及前面的层参 数不变，在同一个网络完成人脸特征提取及分类并训练N类别的人脸基础模型；

C2.将提取待确认视频中的当前帧人脸特征与人脸库中人脸特征进行相似 性比对，进行人脸特征识别；

C3.将当前帧人脸进行分类确认，并得出预测身份和预测值；

C4.结合特征比对结果与分类结果，确认当前人脸身份。

进一步地，所述步骤C3中进行分类时具体采用softmax分类。

同时，本发明还公开了一种视频播放中的人脸识别系统，包括人脸检测模 块、样本库构建模块、CNN训练模块、人脸识别联合分类模块；

其中，所述人脸检测模块用于对输入的视频进行基于深度学习的人脸检测 并提取人脸特征，且人脸检测模块与样本库构建模块相连，所述样本库构建模 块用于根据人脸检测模块提取的人脸特征构建基于时域连续变换的多样性人脸 库，样本库构建模块分别与CNN训练模块、人脸识别联合分类模块相连；CNN训 练模块用于利用基于时域连续变换的多样性人脸库对人脸基础模型进行网络训 练，且CNN训练模块与人脸识别联合分类模块相连；人脸识别联合分类模块用 于提取视频中的人脸特征并将提取的特征与人脸库的特征进行比对及进行模型 分类从而进行人脸确认。

本发明与现有技术相比，具有以下的有益效果：

本发明的视频播放中的人脸识别方法使用深度学习算法进行视频人脸识 别，探究了深度学习算法中最重要的两大因素：数据和模型，挖掘出视频人脸 中具有时序连续变化的多样性，包括不同角度，多表情等因素，提出了一种构 建时序连续变化的多样性人脸样本库方法，这样的多样性使得类内样本距离拉 开，提升特征的泛化能力；

同时，将GDConv深度学习单元应用到视频人脸识别模型中，可在降低参数 量的同时，保证特征的鲁棒性；

本发明的视频播放中的人脸识别方法通过构建时序连续变化多样性样本 库，加入GDConv深度神经网络学习单元降低了人脸角度偏转、表情、光照等对 提取人脸图像特征的影响，最后通过联合特征匹配以及模型分类方式进一步确 认身份信息，可有效提升视频人脸识别准确率。

附图说明

图1是本发明的视频播放中的人脸识别系统及其工作流程示意图。

图2是本发明的方法中构建基于时域连续变换的多样性人脸库的流程示意 图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

一种视频播放中的人脸识别方法，具体包括以下步骤：

S001：构建时序连续多样性的人脸库与特征库，如图2所示，具体包括以 下步骤：

S001_1:首先准备N类的视频样本，例如N＝1000，且每类样本视频数量不 少于1个，每个视频中包含有不同角度，不同表情的人脸，并提前训练好一个 人脸基础模型；

S001_2：对每个视频每帧图像，首先进行人脸检测与关键点定位，当检测 到第一帧人脸图像，确认为当前目标的人脸，对齐人脸图像，并利用人脸基础 模型进行特征提取；

S001_3：保存当前人脸对齐图像与特征到当前目标人脸库中；

S001_4：进行下一帧人脸图像检测与关键点定位，与目标人脸库中特征进 行相似度比较，得出相似度值；

S001_5：阈值判断，如果相似度值在阈值范围内，则保存当前人脸对齐图 像与特征到人脸库中，否则，丢弃当前人脸；其中，阈值判断标准可参考：0.3-0.9 范围，如果相似度值小于0.3则认为识别到的人脸不是当前目标人脸，如果相似 度值大于0.9，则识别到的人脸与人脸库中人脸太相近，这种两种情况都不利于 训练深度学习模型故都应该丢弃识别到的人脸图像；

S001_6：循环S001_4至S001_5，直到当前目标人视频播放完成；

S002：改进深度学习人脸特征提取网络，训练深度学习模型，包括以下步 骤；

S002_1：改进深度学习模型，将特征提取层修改为GDConv层，将GDConv 层学习率调高，以加速训练；

本实施例中采取将提取特征的全连接层修改为GDConv(global depthwiseconvolution)全局池化层层，可有效学习不同区域的人脸特征，并降低模型复杂 度，具体理由如下：

在全连接层中，假设特征提取层的输入为F：大小为W×H×M，其中W为 特征图宽度，H为特征图的高度，M为特征图通道数，假设全连接层有F个 节点，则参数量为：W×H×M×F；

若将全连接层转化为GAP(global average pooling)层，GAP层相比全连接 层减少了大量参数的数量，它对输入特征图的每个通道求平均值，得到维的向 量。在GAP层中是认为输入的特征图所有区域都同等重要，但事实上，输入特 征图对于眼睛，鼻子，嘴巴等关键区域提取到的信息远远比背景等区域具有更 重要的信息，他们是使得特征更具可分性的关键信息，然而GAP层并没有对这 些信息进行权重的加持，因此，GAP得到的特征不够鲁棒，区分性不够好；

而本实施例中的GDConv层是指能自动学习不同区域权重的通道可分离的 全局池化层，其参数量为：W×H×M，若GDConv层的输入为F，则输入大小 为W×H×M，卷积核表示为K，其大小为W×H×M，输出设为G，其大小为 1×1×M，则第m通道的元素为G_m＝∑_i,jK_i,j,m·F_i,j,m；

故GDConv层对于眼睛等局部区域，能加强学习，得到的权重相较其他背 景等边缘区域更大，因此，特征更加鲁棒，且相较全连接层，GDConv层的参数 更少，因此GDConv层兼具了GAP层以及全连接层的优点，故在本实施例中将 提取特征的全连接层修改为GDConv全局池化层层。

S002_2：将S001得到的时序连续变化多样性样本库加入网络中，进行 finetune微调训练；

S003:结合特征提取与模型分类进行人脸确认，具体步骤如下：

S003_1:特征提取与分类属同一个网络，即用一个网络完成特征提取于分 类，采用大样本数据库训练好一个网络，保持特征提取层以及前面的层参数不 变，加入softmax分类器，训练N类别的模型；

S003_2:将当前帧人脸特征与特征库中人脸进行相似性比对，并进行人脸特 征识别；

S003_3:将当前帧人脸进行分类确认，根据网络进行端到端的分类，采用 softmax得到预测身份和预测值；

S003_4:结合特征比对结果与分类结果，确认当前人脸身份，如分类的top1 与特征比对的结果一致，且预测值与特征相似度最高比值大于一定阈值，则确 认当前帧人脸身份。

实施例二

如图1所示，一种视频播放中的人脸识别系统，在该系统中具体包括：人 脸检测模块、样本库构建模块、CNN训练模块、人脸识别联合分类模块，人脸 检测模块与样本库构建模块相连，样本库构建模块分别与CNN训练模块、人脸 识别联合分类模块相连，CNN训练模块与人脸识别联合分类模块相连。

人脸检测模块用于对输入的视频进行基于深度学习的人脸检测并提取人脸 特征，样本库构建模块主要用于构建基于时域连续变换的多样性人脸库，构建 时其具体构建过程如下：

步骤一：构建N个人的短视频库，每人至少包含一个短视频，且短视频中 包含有不同角度，不同表情的人脸，在每个短视频中，人脸检测模块检测人脸；

步骤二：确认当前人的第一帧人脸，在视频中检测到当前人的第一帧人脸， 保存于样本库中；

步骤三：人脸检测模块继续检测下一帧人脸，并将检测到的第二帧人脸与 库中的人脸进行特征比对，如果超出阈值范围，则丢弃，反之，则将当前帧人 脸存入库中，形成新的人脸库；

步骤四：重复步骤三，不断更新当前人的人脸库，直到视频播放完；

步骤五：将库中存放的当前人的特征库组合起来即成为当前人的按时域连 续变换的多角度多表情特征库。

CNN训练模块主要用于改进深度学习人脸特征提取网络，训练基于时域多 变的深度学习模型，其具体步骤如下：

步骤一：输入为时域连续变换的连续帧人脸对齐图像；

步骤二：改进深度学习模型，将提取特征的全连接层修改为GDConv层， 可有效学习不同区域的人脸特征，并降低模型复杂度。

人脸识别联合分类模块主要用于结合特征提取与分类进行人脸确认，具体 包括以下步骤：

步骤一：用一个网络完成特征提取于分类，特征提取用于特征比对，并给 出特征比对的结果，分类层采用softmax分类；

步骤二：根据构建时序连续变化多样性的人脸库，构建时序连续变化多样 性人脸特征库；

步骤三：将当前帧人脸特征与特征库中人脸进行相似性比对，进行人脸特 征识别；

步骤四：将当前帧人脸进行分类确认，根据网络进行端到端的分类，采用 softmax得到预测身份和预测值；

步骤五：结合特征比对结果与分类结果，确认当前人脸身份。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例 性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言， 在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型 和改进也视为本发明的保护范围。

Claims (6)

1.一种视频播放中的人脸识别方法，其特征在于，包括以下步骤：

A.构建基于时域连续变换的多样性人脸库；

B.改进深度学习人脸特征提取网络，训练基于时域多变的深度学习模型；

C.结合特征提取与模型分类进行人脸确认。

2.根据权利要求1所述的一种视频播放中的人脸识别方法，其特征在于，所述步骤A具体包括：

A1.首先准备N类的视频样本，每类视频样本的数量不少于1个，并提前训练好一个人脸基础模型；

A2.对每个视频每帧图像，首先进行人脸检测与关键点定位，当检测到第一帧人脸图像，确认为当前目标的人脸，对齐人脸图像，并利用人脸基础模型进行特征提取；

A3.保存当前人脸对齐图像与特征到当前目标人脸库中；

A4.进行下一帧人脸图像检测与关键点定位，与目标人脸库中的特征进行相似度比较，得出相似度值；

A5.若得到的相似度值超出预设的相似度阈值范围，则丢弃，否则，则将检测到的当前帧人脸存入人脸库中；

A6.重复步骤A3至A5，不断更新当前人的人脸库，直到当前目标人的视频播放完毕；

A7.将人脸库中存放的当前人的人脸样本组合起来，成为当前人的按时域连续变换的多角度多表情特征库即所述基于时域连续变换的多样性人脸库。

3.根据权利要求2所述的一种视频播放中的人脸识别方法，其特征在于，所述步骤B具体包括：

B1.将步骤A得到的基于时域连续变换的多样性人脸库中的人脸图像加入网络中进行finetune微调训练；

B2.改进深度学习模型，将提取特征的全连接层修改为全局池化层，从而对人脸不同区域进行权重学习。

4.根据权利要求3所述的一种视频播放中的人脸识别方法，其特征在于，所述步骤C具体包括：

C1.采用大样本数据库训练好一个网络，保持特征提取层以及前面的层参数不变，在同一个网络完成人脸特征提取及分类并训练N类别的人脸基础模型；

C2.将提取待确认视频中的当前帧人脸特征与人脸库中人脸特征进行相似性比对，进行人脸特征识别；

C3.将当前帧人脸进行分类确认，并得出预测身份和预测值；

C4.结合特征比对结果与分类结果，确认当前人脸身份。

5.根据权利要求4所述的一种视频播放中的人脸识别方法，其特征在于，所述步骤C3中进行分类时具体采用softmax分类。

6.一种视频播放中的人脸识别系统，其特征在于，包括人脸检测模块、样本库构建模块、CNN训练模块、人脸识别联合分类模块；

其中，所述人脸检测模块用于对输入的视频进行基于深度学习的人脸检测并提取人脸特征，且人脸检测模块与样本库构建模块相连，所述样本库构建模块用于根据人脸检测模块提取的人脸特征构建基于时域连续变换的多样性人脸库，样本库构建模块分别与CNN训练模块、人脸识别联合分类模块相连；CNN训练模块用于利用基于时域连续变换的多样性人脸库对人脸基础模型进行网络训练，且CNN训练模块与人脸识别联合分类模块相连；人脸识别联合分类模块用于提取视频中的人脸特征并将提取的特征与人脸库的特征进行比对及进行模型分类从而进行人脸确认。