CN105740758A

CN105740758A - 基于深度学习的互联网视频人脸识别方法

Info

Publication number: CN105740758A
Application number: CN201511033733.6A
Authority: CN
Inventors: 陈东泽; 金明; 张奕; 王勇军
Original assignee: Shanghai Jilian Network Technology Co Ltd
Current assignee: Shanghai Jilian Network Technology Co Ltd
Priority date: 2015-12-31
Filing date: 2015-12-31
Publication date: 2016-07-06

Abstract

本发明公开了一种基于深度学习的互联网视频人脸识别方法，包括以下步骤，a、标注人脸数据，从互联网中获取带有人脸的图片，并标出人脸位置框以及该人物的人名，进而建立人脸图像库；步骤b、利用上述步骤a中已标注的人脸数据训练卷积神经网络，该卷积神经网络的输入设定为人脸位置框，其输出设定为人名标签以及该人名标签的置信度，有益效果：人脸轨迹分析首先对轨迹上各人脸图像进行质量评价以丢弃低质量的人脸图像，仅保留高质量人脸图像，保证识别的可靠性，随后统计轨迹上各单帧帧人脸识别结果的标签，人脸图像质量过滤和以标签的统计参数决定整体轨迹的人脸标签的方法能有效避免视频质量对识别准确率的影响。

Description

基于深度学习的互联网视频人脸识别方法

技术领域

本发明涉及人脸识别技术领域，尤其是涉及一种基于深度学习的互联网视频人脸识别系统。

背景技术

人脸识别是在给定的图像或视频中检测定位人脸并识别其身份的技术。人脸识别技术按数据源的不同可以分为基于图像和视频两大类。由于视频采集设备和图像采集设备特性的存在一定的区别，尤其采集的图像的质量通常要高于视频的质量，图像拥有较高的分辨率及清晰度、较低的噪声等，大多数的人脸识别方法是基于图像识别，而无法直接用于较低质量的视频人脸识别中。

随着网络和大数据的发展，互联网视频成为了更大的视频数据源，因此基于互联网视频的人脸识别成为了新的重要应用。然而相比传统监控视频，互联网视频存在来源、格式、制作手段、质量多样等特点，这些特点都会极大地影响人脸识别准确率，对人脸识别技术提出了新的挑战。

将现有人脸识别技术直接应用到互联网视频中，无法达到满意的识别准确率，由于互联网视频庞大的数据量，对人脸识别算法的速度也提出了更高的要求，很多现有识别方法无法适应新的实时处理应用要求。

发明内容

本发明的目的在于提供一种结构科学合理的基于深度学习的互联网视频人脸识别方法。

为实现上述目的，本发明提供如下技术方案：

基于深度学习的互联网视频人脸识别方法，包括以下步骤：

步骤a、标注人脸数据，从互联网中获取带有人脸的图片，并标出人脸位置框以及该人物的人名，进而建立人脸图像库；

步骤b、利用上述步骤a中已标注的人脸数据训练卷积神经网络，该卷积神经网络的输入设定为人脸位置框，其输出设定为人名标签以及该人名标签的置信度，其中该置信度表示上述人脸位置框为该人名标签的概率；

步骤c、在互联网视频中利用检测跟踪算法提取人脸轨迹，进而获得互联网视频每帧中人脸出现的位置；

步骤d、从上述步骤c中所获得的每帧互联网视频中截取人脸位置框，并将该人脸位置框输入到训练好的卷积神经网络中，且识别出对应的人名及置信度，进而获得人脸轨迹上各帧识别结果集；

步骤e、分析上述步骤d中所获得的人脸轨迹上各帧识别结果集并组成相应序列，进而确定该人脸轨迹的人名标签。

作为优选的技术方案，所述步骤e中人脸轨迹上各帧识别还包括以下分步骤：

分步骤e1：对轨迹中各帧人脸进行质量评价，过滤低质量的帧，仅保留高质量的帧，将这些帧的识别结果用于整体轨迹的识别；

分步骤e2：统计经质量评价后保留的各帧的识别结果标签和置信度，在置信度大于阈值Treg的标签中，对同一标签出现的次数进行排序，选出出现次数最多的标签作为整个人脸轨迹的识别结果。

作为优选的技术方案，所述质量评价包括人脸框图像清晰度指标、亮度指标、人脸姿态指标、以及人脸表情指标。

作为优选的技术方案，所述清晰度指标是指将原人脸图像与3*3模板高斯平滑后的图像求差，并按像素平均，清晰度大于阈值Tclear的图像被保留；

所述亮度指标是指人脸图像各像素点的灰度平均值，亮度指标落在区间[Til,Tiu]的图像被保留；

所述人脸姿态指标用人脸双眼连线与水平线的夹角来表示，夹角小于阈值Trotate的图像被保留；

所述人脸表情指标用双眼和嘴巴的长宽比来表示，双眼和嘴巴的长宽比小于阈值Tlhratio的图像被保留。

作为优选的技术方案，经质量过滤后被保留的帧及其人脸标签和标签置信度被用于统计分析，统计轨迹上保留帧中置信度大于阈值Treg的人脸标签，不同标签按出现次数由多到少排序，将排序靠前的标签作为整个人脸轨迹的识别候选结果返回显示。

有益效果：针对互联网视频形式、质量多样的特点，本发明结合了基于深度学习的单帧人脸识别和时间序列人脸轨迹分析的框架方法，提高互联网视频中的人脸识别的准确率和速度。深度学习采用深层的卷积神经网络，能够有效地提取人脸特征，提高单帧图像中人脸的识别准确率，同时其采用端到端的识别算法，从输入帧中直接输出人脸类别，减少了传统方法先提取特征再比对特征多步走的计算耗时，这一结构更加适合并行计算，有利于提高识别速度。

附图说明

图1是本发明实施例1的整体结构立体示意图；

图2是本发明实施例1的整体结构平面示意图；

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示的一种基于深度学习的互联网视频人脸识别方法，包括以下步骤：

步骤b、利用上述步骤a中已标注的人脸数据训练卷积神经网络，该卷积神经网络的输入设定为人脸位置框，其输出设定为人名标签以及该人名标签的置信度，其中该置信度表示上述人脸位置框为该人名标签的概率，图2所示深层卷积神经网络包括输入层、五组卷积-池化层(每组卷积-池化层包含相连的2个卷积层和1个池化层)、dropout层、全连接层、softmax层。训练结果得到各层最优化的参数，作为卷积神经网络模型用于后续人脸识别。

假设给定一些训练样本x及其回归值y：{(x₁，y₁)，(x₂，y₂₎，...，(x_i，y_i)，...}，其训练的最终目标是找到一个函数f(z)＝w^Tz使得如下残差函数最小：

这里的残差越小代表跟待跟踪目标越接近。如上式，我们需要求解系数W。

这里的λ是为了保证W的稀疏性(意义同SVM中的λ)，防止Overfitting上式有一个闭解：

W＝(X^TX+λI)^-1X^Ty

W＝(X^HX+λI)^-1X^Hy为其复数形式。其中X^H＝(X^*)^T，即为X的共轭转置。

我们在频域可以对上式求解：代表w在频域的代表，只需一个IFFT就可以求得W。以下的公式中戴尖尖帽子的都是代表频域的形式。的*表示共轭的意思。⊙的意思是按元素乘。

事实上，我们采取另一种求解方法：将要求解的系数W可以表示为以下形式：

这样我们最终要求解的参数就由w变为Alpha：

为从低维度空间向高维度空间映射的函数。

因为我们很难求得高维空间的我们可以利用SVM中核函数的思想，只需要找到一个核函数它等于我们高维空间的点积即可：

于是我们求得系数Alpha在频域空间的公式：

{\hat{α}}^{*} = \frac{\hat{y}}{{\hat{k}}^{x x} + λ}

其中：

得到了系数alpha后，通过下面公式可以获得响应：

这里的参数λ＝0.0001，我们取这个参数的目的是为了防止分母出现较小的值导致结构溢出并且保证W的稀疏性以防止过拟合。

每当一帧跟踪完毕后，我们保存了一个模板供下次使用，其中模板的更新率为0.015。

对于Scale变化的支持，我们采用了如下的参数[0.98,0.99,0.995,1,1.005,1.01,1.02]，言下之意是每一帧最多的size变化率支持2％左右。

我们将搜索窗的范围设置成原窗口大小的2.5倍大小，并且为了加速该算法，我们目前会将待跟踪目标窗口ScaleDown到64x64尺寸左右。

其中，所述步骤e中人脸轨迹上各帧识别还包括以下分步骤：

上述的所述质量评价包括人脸框图像清晰度指标、亮度指标、人脸姿态指标、以及人脸表情指标。所述清晰度指标是指将原人脸图像与3*3模板高斯平滑后的图像求差，并按像素平均，清晰度大于阈值Tclear的图像被保留；

所述亮度指标是指人脸图像各像素点的灰度平均值，亮度指标落在区间[Til,Tiu]的图像被保留；所述人脸姿态指标用人脸双眼连线与水平线的夹角来表示，夹角小于阈值Trotate的图像被保留；所述人脸表情指标用双眼和嘴巴的长宽比来表示，双眼和嘴巴的长宽比小于阈值Tlhratio的图像被保留。

经质量过滤后被保留的帧及其人脸标签和标签置信度被用于统计分析，统计轨迹上保留帧中置信度大于阈值Treg的人脸标签，不同标签按出现次数由多到少排序，将排序靠前的标签作为整个人脸轨迹的识别候选结果返回显示。

本发明人脸轨迹分析首先对轨迹上各人脸图像进行质量评价以丢弃低质量的人脸图像，仅保留高质量人脸图像，保证识别的可靠性，随后统计轨迹上各单帧帧人脸识别结果的标签。人脸图像质量过滤和以标签的统计参数决定整体轨迹的人脸标签的方法能有效避免视频质量对识别准确率的影响。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.基于深度学习的互联网视频人脸识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度学习的互联网视频人脸识别方法，其特征在于，所述步骤e中人脸轨迹上各帧识别还包括以下分步骤：

3.根据权利要求2所述的基于深度学习的互联网视频人脸识别方法，其特征在于，所述质量评价包括人脸框图像清晰度指标、亮度指标、人脸姿态指标、以及人脸表情指标。

4.根据权利要求3所述的基于深度学习的互联网视频人脸识别方法，其特征在于，所述清晰度指标是指将原人脸图像与3*3模板高斯平滑后的图像求差，并按像素平均，清晰度大于阈值Tclear的图像被保留；

5.根据权利要求2所述的基于深度学习的互联网视频人脸识别方法，其特征在于，经质量过滤后被保留的帧及其人脸标签和标签置信度被用于统计分析，统计轨迹上保留帧中置信度大于阈值Treg的人脸标签，不同标签按出现次数由多到少排序，将排序靠前的标签作为整个人脸轨迹的识别候选结果返回显示。