CN110503078A - 一种基于深度学习的远距离人脸识别方法和系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的远距离人脸识别方法和系统，包括以下步骤，图像重构算法模块构建人脸重构模型；训练模块训练人脸识别模型；使用采集模块采集初始人脸图像，并输入所述人脸重构模型生成重构人脸图像；所述重构人脸图像输入所述人脸识别模型生成识别人脸图像。本发明的有益效果：本发明通过构建人脸重构模型和训练人脸识别模型，对于采集到的不够清晰的远距离初始人脸图像，先通过人脸重构模型进行重建，得到较为清晰的重构人脸图像，再放入人脸识别模型中进行识别，提高了识别的精度。

Description

一种基于深度学习的远距离人脸识别方法和系统

技术领域

本发明涉及人脸识别的技术领域，特别是，涉及一种基于深度学习的远距离人脸识别方法和系统。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。

目前在人工智能技术落地的应用中，人脸识别占了很大的比重。各种终端设备的摄像头获取用户的人脸图像，通过终端设备嵌入的算法来检测人脸，并且计算出检测到的人脸的特征，和已有的数据库中的人脸特征进行比对，从而达到人脸识别的目的。近年来，基于深度学习的人脸识别方法的效果已经远远超出传统的人脸识别方法，并且在公开人脸数据集LFW的表现超越了人工识别的精度。例如，Face++在LFW数据集上达到了0.995的准确率；Deep face在LFW数据集上达到了0.9735的准确率等等。然而，基于深度卷积神经网络的这些方法识别的人脸都是在近距离下获取的质量较好的人脸图像，远距离地检测到人脸并且识别人脸效果大打折扣。

在现阶段近距离人脸识别已经发展相对成熟，许多理论方法和实际系统设备都日趋完善的基础上，对于远距离采集到的人脸图像的识别，仍然面临较大的挑战，还有很大改进空间。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述和/或现有存在的问题，提出了本发明。

因此，本发明其中一个目的是提供一种基于深度学习的远距离人脸识别方法，以提高远距离人脸识别的精度。

为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的远距离人脸识别方法，其特征在于：包括以下步骤，图像重构算法模块构建人脸重构模型；训练模块训练人脸识别模型；使用第一采集模块采集初始人脸图像，并输入所述人脸重构模型生成重构人脸图像；所述重构人脸图像输入所述人脸识别模型生成识别人脸图像。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述构建人脸重构模型包括以下步骤，采集人脸数据集，并从中提取一组样本图像；对样本中的远距离人脸图像进行重建，形成重构人脸图像；检测重建效果并调整参数，多次重建后，输出人脸重构模型。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述采集人脸数据集包括，通过第二采集模块拍摄一张近距离人脸图像和一张远距离人脸图像，两者为一组样本图像，通过图像数据增强和大量采集的方式，获得多组样本图像共同构成人脸数据集。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述人脸图像重建基于深度学习架构，能够将所述远距离人脸图像重建为所述重构人脸图像，所述重构人脸图像与所述近距离人脸图像的分辨率相同。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述重建效果进行检测判断，判断计算公式如下：

其中，该等式的单位是db，等式计算的数值越大表示失真越小，即重建效果越好，n为每像素的比特数，右侧括号下方公式为原图像与参考图像之间均方误差，且其计算公式为：

其中，H、W分别是图像的高度和宽度，X、Y分别是原图像和参考图象。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述训练人脸识别模型包括以下步骤，构建人脸数据集，并将人脸数据集输入到人脸识别模型中进行训练；根据在训练过程中给出的网络误差调整参数，重复训练的过程直至网络误差不再减小；输出符合要求的人脸识别模型。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述人脸数据集包括，所述第二采集模块采集的人脸数据集和公开人脸数据集。

作为本发明所述基于深度学习的远距离人脸识别方法的一种优选方案，其中：所述网络误差为损失函数，其公式如下：

L＝max(d(a,p)-d(a,n)+margin,0)

其中a表示一张人脸图像，p表示属于同一个人的人脸图像，n表示其他人的人脸图像。d(a,p)表示a和p的距离，d(a,n)表示a和n的距离，margin为阈值。

本发明解决的另一个技术问题是提供一种远距离人脸识别系统，将基于深度学习的远距离人脸识别方法的应用于采集到的远距离人脸图像。

为解决上述技术问题，本发明提供如下技术方案：一种远距离人脸识别系统，其特征在于：包括，图像重构算法模块，所述图像重构算法模块用于构建人脸重构模型，所述人脸重构模型能够将初始人脸图像重构成重构人脸图像；训练模块，所述训练模块用于训练人脸识别模型，所述人脸识别模型能够对重构人脸图像进行识别，生成识别人脸图像。

作为本发明所述远距离人脸识别系统的一种优选方案，其中：还包括，采集模块，所述第一采集模块用于采集所述初始人脸图像；计算机，所述第一采集模块与所述计算机相连，所述图像重构算法模块和所述训练模块能够在所述计算机上运行。

本发明的有益效果：本发明基于深度学习，通过大量数据进行模型训练，并使用模型对采集到的远距离人脸进行重构后，再将其用于识别，这样能够提高远距离人脸的识别精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明提供的第一种实施例中所述基于深度学习的远距离人脸识别方法的整体示意图；

图2为本发明提供的第一种实施例中所述构建人脸重构模型的示意图；

图3为本发明提供的第一种实施例中所述采集人脸数据集并重构人脸的示意图；

图4为本发明提供的第一种实施例中所述训练人脸识别模型的示意图；

图5为本发明提供的第二种实施例中所述远距离人脸识别系统的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

实施例1

目前，人脸识别技术是计算机视觉和深度学习领域中相对成熟的技术，并且已经得到了广泛的应用。根据现有的人脸识别技术，在理想条件下的人脸识别精确度已经达到或者超越人类的表现。理想条件下对采集到的人脸图像本身的质量要求较高，但是在实际应用中，由于光线，角度，表情，年龄等多种因素，导致采集到的人脸往往不够清晰或不符合能够准确识别的条件，从而使得人脸识别技术无法在现实生活中广泛应用。未来研究中，不管哪种思路，均是以提高模型对现场复杂环境的适应能力为目标，旨在在复杂环境中，也能达到准确识别人脸的效果，本实施例中提供的方法主要针对远距离采集的人脸不清晰时导致的识别困难，能够提高识别的准确度。

参照图1～4，本发明第一种实施例提供了一种基于深度学习的远距离人脸识别方法，将该方法应用于远距离的人脸识别，能够在一定程度上解决远距离人脸获取质量不高、以及导致的识别精度不高的问题，重构的人脸有利于提高模型的识别精度，从而提高远距离人脸识别的准确度。具体的，参见图2，包括以下步骤，

步骤1：图像重构算法模块100构建人脸重构模型。该步骤中，图像重构算法模块100为基于深度学习的软件模块，一般需要在计算机内运行工作。该模块对于人脸图像的重建是采用基于学习的图像重建方法,现阶段，对于单张人脸图像重建的最优方法是基于图像样本学习的算法。这种算法主要利用同一个人的人脸图像内部的相似性,或利用外部样本学习映射函数，若是基于外部样本，那么通常需要提供大量、丰富的样本数据作为参考。具体的，构建人脸重构模型包括以下步骤，

步骤1-1：采集人脸数据集，并从中提取一组样本图像。其中，参见图3，采集人脸数据集包括通过第二采集模块400拍摄一张近距离人脸图像401和一张远距离人脸图像402，一张近距离人脸图像401和一张远距离人脸图像402共同构成一组样本图像，通过图像数据增强和大量采集的方式，获得多组样本图像，多组样本图像共同构成人脸数据集。为了使构建的人脸重构模型更加可靠，人脸数据集内的样本数量应尽可能多，为增加样本数量，主要有两种方式，一是通过第二采集模块400多获取样本图像；二是对已有的样本图像做微小的调整，比如翻转、平移或旋转等，即可生成新的图像，扩充样本图像的数量。

具体的，从人脸数据集中取出的一组样本图像包括一张近距离人脸图像401和一张远距离人脸图像402。

优选的，第二采集模块400可以为摄像头，其具有静态图像捕捉的基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成计算机所能识别的数字信号，然后输入到计算机中由软件模块进行图像还原。

步骤1-2：对样本中的远距离人脸图像402进行重建，形成重构人脸图像403。具体的，对人脸图像的重建是利用基于深度学习架构，首先是基于卷积神经网络对图像进行特征提取，在本实施例中，将卷积层和激活函数层反复交替排列，将卷积核尺寸、步幅和内边距填充依次设为4,2,1，激活函数层采用线性单元激活函数，令远距离人脸图像402依次通过交替排列的卷积层和激活函数层，得到特征向量；然后采用反卷积的方式对图像进行重建，反卷积是对卷积的反向操作，反卷积就是一个能输出高分辨率图像的卷积函数，特征向量经过一系列的向上卷积层卷积、池化、激活处理得到重构人脸图像403，且重构人脸图像403的分辨率与近距离人脸图像401的分辨率相同。

步骤1-3：检测重建效果并调整参数，多次重建后，输出人脸重构模型。对重建效果进行检测判断，判断的计算公式如下：

其中，该等式的单位为db，等式计算的数值越大表示重建图像的失真越少，即重建效果越好，n为每像素的比特数，右侧括号下方公式为原图像与重建图像之间均方误差，即近距离人脸图像401与重构人脸图像403之间的均方误差，且其计算公式为：

其中，H、W分别是图像的高度和宽度，X、Y分别是原图像和重建图像，即近距离人脸图像401与重构人脸图像403。

通过调整网络参数，多次对人脸图像进行重建，能够优化图像的重建效果，选择重建效果较好的模型输出为最终得到的人脸重构模型。具体的，由于卷积神经网络的训练过程耗时、需要配置的参数多，通过人为手动调整参数的方式比较费时费力，一般采用网络自动调整参数进行反复重建的方式，搜索最优超参数的常用方法包括网格搜索和随机搜索，其中，网格搜索是通过穷举法列出不同的参数组合，确定性能最优的结构。随机搜索是从具有特定分布的参数空间中抽取出一定数量的候选组合。

通过以上步骤得到构建好的人脸重构模型，能够投入使用，通过该模型能够将不清晰的远距离人脸图像重构成较为清晰的人脸图像。

步骤2：训练模块300训练人脸识别模型。训练模块300为基于深度学习的软件模块，一般需要在计算机内运行工作。该模块对于人脸的识别是采用基于神经网络进行人脸识别的算法，人脸识别需要通过采集到的大量人脸图像相关的数据，用来验证算法，反复训练人脸识别模型，不断提高识别准确性，直至符合模型要求。具体的，参见图4，训练人脸识别模型包括以下步骤，步骤2-1：构建人脸数据集，并将人脸数据集输入到深度学习框架中进行训练。具体的，人脸数据集包括，第二采集模块400采集的人脸数据集和公开人脸数据集，其中，第二采集模块400采集人脸数据集的方法为，通过第二采集模块400拍摄一张近距离人脸图像401和一张远距离人脸图像402，一张近距离人脸图像401和一张远距离人脸图像402共同构成一组样本图像，通过图像数据增强和大量采集的方式，获得多组样本图像，多组样本图像共同构成人脸数据集。为了使构建的人脸重构模型更加可靠，人脸数据集内的样本数量应尽可能多，为增加样本数量，主要有两种方式，一是通过第二第二采集模块400多获取样本图像；二是对已有的样本图像做微小的调整，比如翻转、平移或旋转等，即可生成新的图像，扩充样本图像的数量。公开人脸数据集为已经公开的、在互联网上能够直接获取到的已有人脸数据集，这些数据集的内容均为预先采集好的人脸图像，供开发者使用，能够减少其工作内容，加快开发进度，能够使用的公开人脸数据集包括LFW人脸数据集、WebFace人脸数据集、Multi-PIE人脸数据集和MALF数据集等。具体的，LFW数据集是为了研究非限制环境下的人脸识别问题而建立的，这个数据集包含超过13000张人脸图像，均采集于网络上，每个人脸均被标准了一个人名，这之中大约1680个人包含两个以上的人脸，被广泛应用于评价人脸识别算法的性能；WebFace人脸数据集是从IMBb网站上搜集来的，含1万个人的50万张图片，同时做了相似度聚类来去掉一部分噪声；Multi-PIE人脸数据集是在CMU-PIE人脸数据集的基础上发展起来的，包含337位志愿者的75000多张多姿态，光照和表情的面部图像，其中的姿态和光照变化图像也是在严格控制的条件下采集的，目前已经逐渐成为人脸识别领域的一个重要的测试集合；而MALF是主要针对评估野外环境中人脸检测模型而设计的数据集，数据主要来源于互联网，内含5250个图像，11931个人脸，每幅图像包含正方形边界框，头部姿态的俯仰程度，包括小中大三个等级的标注，同时该数据集还提供了人脸对应人的性别、人脸是否遮挡等辅助信息。

获取人脸数据集后，需要将人脸数据集输入到人脸识别模型中进行训练，人脸识别模型基于深度卷积神经网络，这是一种多层神经网络，尤其擅长处理图像的相关机器学习问题，卷积神经网络主要由卷积层、池化层和全连接层组成，这些层是卷积神经网络模型中的最重要的操作层，也是每个卷积神经网络必存在的层。本实施例中的改进是增加并结合了其他层，通过训练部分把训练数据集放入神经网络框架中，通过卷积、池化以及全连接等操作得到特征的分类并反向印证，学习到模型，使得图像通过模型后能得到更准确的分类，这是一个自学习的过程。

步骤2-2：根据在训练过程中给出的网络误差调整参数，重复训练的过程直至网络误差不再减小。网络误差可以通过损失函数来体现，其作用是衡量实际输出与预计输出之间的差异。本实施例中，所述网络误差为损失函数，其计算公式如下：

L＝max(d(a,p)-d(a,n)+margin,0)

其中a表示一张人脸图像，p表示属于同一个人的人脸图像，n表示其他人的人脸图像。d(a,p)表示a和p的距离，d(a,n)表示a和n的距离，margin为阈值。网络误差过大时，说明该人脸识别模型存在较大误差，不能被正常投入使用，因此需要调整网络参数，再次进行训练，一般采用网络自动调整参数进行反复重建的方式，反复训练并计算网络误差，当误差较小或误差不再减小时，结束训练过程。

步骤2-3：输出符合要求的人脸识别模型，该模型能够对输入模型中的人脸图像进行识别。

步骤3：使用第一采集模块200采集初始人脸图像201，并输入所述人脸重构模型中进行重建，生成重构人脸图像202。由于初始人脸图像201的采集聚集较远，因此会比较模糊，而经过人脸重构模型后生成的重构人脸图像202则比较清晰。

具体的，第一采集模块200可以为摄像头，其具有静态图像捕捉的基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成计算机所能识别的数字信号，然后输入到计算机中由软件模块进行图像还原。

步骤4：所述重构人脸图像202输入所述人脸识别模型生成识别人脸图像301，通过识别人脸图像301判断采集的初始人脸图像201属于哪一个人，完成人脸识别的全部过程。

对于本发明提供的基于深度学习的远距离人脸识别方法，分别构建并训练人脸重构模型和人脸识别模型，在实际使用时，通过第一采集模块200采集待识别的远距离人脸图像，首先通过人脸重构模型对采集到的图像进行重构，再将重构后的图像输入人脸识别模型进行识别，从而提升对远距离人脸图像识别的准确率。

为了测试本发明提供的方法在实际场景中的人脸识别效果，利用摄像头在采集不同距离的人脸图像，分别基于本发明提供的基于深度学习的远距离人脸识别方法、以及常规的Face++、Deep face的方法对不同距离的人脸图像进行识别，并对比识别的准确率。采集的图像距离摄像头的分别为5m、10m、15m和20m，且每种距离的人脸图像需要采集50张用于测试，以避免结果的偶然性。测试时，取平均值作为最终的准确率数据以提升测试的可靠性。具体的测试结果如下：

表1：不同识别方法下对不同距离的人脸图像的检测准确率

	5m	10m	15m	20m
					本发明	95％	94％	91％	85％
Face++	96％	92％	88％	80％
					Deep face	96％	90％	85％	79％

可以看出对于远距离图像识别时，本发明提供的基于深度学习的远距离人脸识别方法的识别效果要优于传统的Face++或Deep face的人脸识别方法，在采集图像的距离为5m时，本发明方法的识别精度与传统方法相比并无太大差异，但随着距离的增大，当距离超过10m时，本文提出的方法识别效果明显好于传统方法，距离越大差异越明显。

实施例2

参照图5的示意，为本实施例提出的一种基于深度学习的远距离人脸识别系统，上述实施例1中的基于深度学习的远距离人脸识别方法能够应用于该远距离人脸识别系统中。具体的，该系统的可分为软件部分和硬件部分，其中软件部分包括图像重构算法模块100和训练模块300，其中图像重构算法模块100用于构建人脸重构模型，人脸重构模型能够将初始人脸图像201重构成重构人脸图像202；训练模块300用于训练人脸识别模型，人脸识别模型能够对重构人脸图像202进行识别，生成识别人脸图像301。

该系统的硬件部分包括还包括，第一采集模块200和计算机500，其中，第一采集模块200用于采集所述初始人脸图像201，具体的，第一采集模块200在本实施例中为为摄像头，其具有静态图像捕捉的基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成计算机所能识别的数字信号，然后输入到计算机中由软件模块进行图像还原。

计算机500，第一采集模块200与计算机500相连，图像重构算法模块100和训练模块300能够在计算机500上运行。计算机500俗称电脑，是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备，软件模块能够在电脑上运行，因此图像重构算法模块100和训练模块300能够在计算机500上运行工作。可以理解的是，第一采集模块200与计算机500相连，能够将采集到的初始人脸图像201输入至计算机500内，初始人脸图像201通过人脸重构模型重构成重构人脸图像202，重构人脸图像202通过人脸识别模型进行识别，并生成识别人脸图像301。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于深度学习的远距离人脸识别方法，其特征在于：包括以下步骤，

图像重构算法模块(100)构建人脸重构模型；

训练模块(300)训练人脸识别模型；

使用第一采集模块(200)采集初始人脸图像(201)，并输入所述人脸重构模型生成重构人脸图像(202)；

所述重构人脸图像(202)输入所述人脸识别模型生成识别人脸图像(301)。

2.如权利要求1所述的基于深度学习的远距离人脸识别方法，其特征在于：所述构建人脸重构模型包括以下步骤，

采集人脸数据集，并从中提取一组样本图像；

对样本中的远距离人脸图像(402)进行重建，形成重构人脸图像(403)；

检测重建效果并调整参数，多次重建后，输出人脸重构模型。

3.如权利要求2所述的基于深度学习的远距离人脸识别方法，其特征在于：所述采集人脸数据集包括，

通过第二采集模块(400)拍摄一张近距离人脸图像(401)和一张远距离人脸图像(402)，两者为一组样本图像，通过图像数据增强和大量采集的方式，获得多组样本图像共同构成人脸数据集。

4.如权利要求3所述的基于深度学习的远距离人脸识别方法，其特征在于：所述人脸图像重建基于深度学习架构，能够将所述远距离人脸图像(402)重建为所述重构人脸图像(403)，所述重构人脸图像(403)与所述近距离人脸图像(401)的分辨率相同。

5.如权利要求4所述的基于深度学习的远距离人脸识别方法，其特征在于：所述重建效果进行检测判断，判断计算公式如下：

其中，该等式的单位是db，等式计算的数值越大表示失真越小，即重建效果越好，n为每像素的比特数，右侧括号下方公式为原图像与参考图像之间均方误差，且其计算公式为：

其中，H、W分别是图像的高度和宽度，X、Y分别是原图像和参考图象。

6.如权利要求2～5所述的基于深度学习的远距离人脸识别方法，其特征在于：所述训练人脸识别模型包括以下步骤，

构建人脸数据集，并将人脸数据集输入到人脸识别模型中进行训练；

根据在训练过程中给出的网络误差调整参数，重复训练的过程直至网络误差不再减小；

输出符合要求的人脸识别模型。

7.如权利要求6所述的基于深度学习的远距离人脸识别方法，其特征在于：所述人脸数据集包括，所述第二采集模块(400)采集的人脸数据集和公开人脸数据集。

8.如权利要求7所述的基于深度学习的远距离人脸识别方法，其特征在于：所述网络误差为损失函数，其公式如下：

L＝max(d(a,p)-d(a,n)+margin,0)

其中a表示一张人脸图像，p表示属于同一个人的人脸图像，n表示其他人的人脸图像。d(a,p)表示a和p的距离，d(a,n)表示a和n的距离，margin为阈值。

9.一种远距离人脸识别系统，其特征在于：包括，

图像重构算法模块(100)，所述图像重构算法模块(100)用于构建人脸重构模型，所述人脸重构模型能够将初始人脸图像(201)重构成重构人脸图像(202)；

训练模块(300)，所述训练模块(300)用于训练人脸识别模型，所述人脸识别模型能够对重构人脸图像(202)进行识别，生成识别人脸图像(301)。

10.如权利要求9所述的远距离人脸识别系统，其特征在于：还包括，

第一采集模块(200)，所述第一采集模块(200)用于采集所述初始人脸图像(201)；

计算机(500)，所述第一采集模块(200)与所述计算机(500)相连，所述图像重构算法模块(100)和所述训练模块(300)能够在所述计算机(500)上运行。