CN106709418A - 基于现场照和证件照的人脸识别方法及识别装置 - Google Patents

Abstract

本发明公开了一种基于现场照和证件照的人脸识别方法及识别装置，该方法包括：建立训练数据；训练数据预处理；采用DCNN对第一数据集对应的预处理后的数据进行收敛训练得到第一网络参数模型；对第一网络参数模型的参数利用第二数据集对应的预处理后的数据进行收敛训练得到第二网络参数模型；采用第二网络参数模型对第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数进行训练，得到第三网络参数模型；第三网络参数模型中输入现场照、证件照对应的预处理后的数据得到第一、二特征向量，根据二者距离判断证件照与现场照的相似度。

Description

基于现场照和证件照的人脸识别方法及识别装置

技术领域

本发明涉及生物识别领域，特别地，涉及一种基于现场照和证件照的人脸识别方法及识别装置。

背景技术

由于人脸的方便性，人脸识别技术在监控，安防，金融，社保等领域成为热点。借助于近年来深度学习的特征学习，人脸识别技术得到了很大的进展，现在很多因素例如不同的光照，姿态，表情已经相对鲁棒。但是身份证芯片照跟现场照片比对还存在很多问题。由于身份证芯片照压缩比大，分辨率低，图像大小一般仅102宽*126高，瞳距只有不到30个像素。同时身份证芯片照因为年龄跨度的问题跟现场照很可能差别比较大。以上问题导致以身份证芯片照为模板的人脸识别性能不好。然而在人证统一验证领域，为了提升机器识别及智能判定的可靠性和识别效率，亟需设计一种能够改善的基于现场照和证据照的人脸识别方法及识别装置。

发明内容

本发明提供了一种基于现场照和证件照的人脸识别方法及识别装置，以解决现有的以证件照为模板的人脸识别由于证据照的压缩比大、分辨率低、且与现场照的差异较大导致其识别性能有待改善的技术问题。

本发明采用的技术方案如下：

根据本发明一个方面，提供一种基于现场照和证件照的人脸识别方法，本发明方法包括：

建立训练数据，训练数据包括第一数据集及第二数据集，其中，第一数据集及第二数据集均包括多人的图像数据，每人对应多个图像数据，第二数据集中每人对应至少一张证件照图像数据及多张现场照图像；

训练数据预处理，对训练数据中的图像数据进行人脸检测和关键点定位以提取多个人脸区域patch，并将多个patch归一化，得到预处理后的数据；

生成第一网络参数模型，采用深度卷积神经网络DCNN对第一数据集对应的预处理后的数据进行收敛训练得到第一网络参数模型；

生成第二网络参数模型，对第一网络参数模型的参数利用第二数据集对应的预处理后的数据进行收敛训练得到第二网络参数模型；

生成第三网络参数模型，采用第二网络参数模型对第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数进行训练，使得本人的证件照图像跟本人的现场照图像的距离缩短，本人的证件照图像跟他人的现场照图像的距离拉长，得到第三网络参数模型；

人脸识别验证，在第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算第一特征向量与第二特征向量间的距离以判断证件照与现场照的相似度。

进一步地，预处理包括根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch及将各patch的像素尺寸归一化处理。

进一步地，根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch包括：

采用人脸检测算法获取人脸区域；

在人脸区域内检测关键点，以瞳距为固定值，且分别以左眼、右眼、左嘴角、右嘴角、鼻子、两眼中心点为中心提取人脸图像生成六个patch。

进一步地，第一数据集为用于增强网络底层特征鲁棒性的网上人像数据库；

第二数据集中的证件照图像数据来自证件芯片内存储的图像照片或者第三方机构存储的证件图像照。

进一步地，生成第三网络参数模型中，训练组对时，以证件照图像作为目标样本，以同一人的现场照图像作为正样本，随机选择不同人的现场照作为负样本。

进一步地，计算第一特征向量与第二特征向量间的距离采用公式如下：

其中，f₁为第一特征向量，f₂为第二特征向量，上述公式中的分子表示两个特征向量的内积，分母两个特征向量长度的乘积。

根据本发明的另一方面，还提供一种基于现场照和证件照的人脸识别装置，本发明装置包括：

训练数据准备单元，用于建立训练数据，训练数据包括第一数据集及第二数据集，其中，第一数据集及第二数据集均包括多人的图像数据，每人对应多个图像数据，第二数据集中每人对应至少一张证件照图像数据及多张现场照图像；

训练数据预处理单元，用于对训练数据中的图像数据进行人脸检测和关键点定位以提取多个人脸区域patch，并将多个patch归一化，得到预处理后的数据；

第一网络参数模型生成单元，用于采用深度卷积神经网络DCNN对第一数据集对应的预处理后的数据进行收敛训练得到第一网络参数模型；

第二网络参数模型生成单元，用于对第一网络参数模型的参数利用第二数据集对应的预处理后的数据进行收敛训练得到第二网络参数模型；

第三网络参数模型生成单元，用于采用第二网络参数模型对第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数进行训练，使得本人的证件照图像跟本人的现场照图像的距离缩短，本人的证件照图像跟他人的现场照图像的距离拉长，得到第三网络参数模型；

人脸识别验证单元，用于在第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算第一特征向量与第二特征向量间的距离以判断证件照与现场照的相似度。

进一步地，训练数据预处理单元包括：

区域提取模块，用于根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch；

归一化处理模块，用于将各patch的像素尺寸进行归一化处理。

进一步地，区域提取模块包括：

人脸定位子模块，用于采用人脸检测算法获取人脸区域；

区域生成子模块，用于在人脸区域内检测关键点，以瞳距为固定值，且分别以左眼、右眼、左嘴角、右嘴角、鼻子、两眼中心点为中心提取人脸图像生成六个patch。

进一步地，第一数据集为用于增强网络底层特征鲁棒性的网上人像数据库；

第二数据集中的证件照图像数据来自证件芯片内存储的图像照片或者第三方机构存储的证件图像照。

本发明具有以下有益效果：

本发明基于现场照和证件照的人脸识别方法及识别装置，通过建立训练数据，对预处理后的训练数据依次训练得到第一、第二及第三网络参数模型，并在第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算所述第一特征向量与所述第二特征向量间的距离以判断证件照与现场照的相似度，本发明方法的识别率高，且鲁棒性好，适于证件照与现场照的人脸识别，为后续的人证合一的机器认证提供了技术基础。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例基于现场照和证件照的人脸识别方法的步骤流程示意图；

图2是本发明优选实施例中对图像数据预处理生成六个人脸图像区域的示意图；

图3是本发明优选实施例中生成第一网络参数模型对应的第一步分类训练的训练过程示意图；

图4是本发明优选实施例中生成第三网络参数模型对应的第三步分类训练的训练过程示意图；

图5是本发明优选实施例中第三步分类训练训练前后的效果比对示意图；

图6是本发明优选实施例中测试时提取一种图片的特征向量的流程示意图；

图7是本发明优选实施例基于现场照和证件照的人脸识别装置的原理方框示意图。

附图标记说明：

10、训练数据准备单元；

20、训练数据预处理单元；

30、第一网络参数模型生成单元；

40、第二网络参数模型生成单元；

50、第三网络参数模型生成单元；

60、人脸识别验证单元；

21、区域提取模块；

22、归一化处理模块。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明的优选实施例提供了一种基于现场照和证件照的人脸识别方法，其在人脸检测和人脸特征点检测相结合的人脸区域，基于一种深度学习的鲁棒的针对证件照和现场照的人脸特征提取，实现准确度和速度都满足要求的人脸识别方法。参照图1，本实施例人脸识别方法包括：

步骤S100，建立训练数据，训练数据包括第一数据集及第二数据集，其中，第一数据集及第二数据集均包括多人的图像数据，每人对应多个图像数据，第二数据集中每人对应至少一张证件照图像数据及多张现场照图像；

本实施例中，第一数据集优选为网上爬的图像数据，如名人数据，其可以包含不同国家、不同种族的人脸图像，以增加数据的复杂度；也可以采用公开的数据库例如CASIA。图像数据要求每个人的不同姿态，光照等因素的图片在20张以上。第二数据集是本国人的人脸数据，每个人的图片要20张以上，其中必须包括证据照片，如通过读卡器读取的身份证芯片照片或者第三方机构存储的证件图像照，如公安系统存储或者经公安机关等授权机构授权存储的数据库中存储的证件照片，本实施例以身份证芯片照片为例进行说明。

步骤S200，训练数据预处理，对训练数据中的图像数据进行人脸检测和关键点定位以提取多个人脸区域patch，并将多个patch归一化，得到预处理后的数据；

本实施例中，第一数据集及第二数据集中的各图像数据均需经预处理后作为输入数据输出给深度卷积神经网络DCNN进行训练。

优选地，本实施例根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch包括：

采用人脸检测算法获取人脸区域；

在人脸区域内检测关键点，以瞳距为固定值，且分别以左眼，右眼，左嘴角，右嘴角，鼻子，两眼中心点为中心扣取人脸图像生成六个patch(分别对应图2中左上、右上、左中、右中、左下、右下)。本实施例以六个patch为例，但本领域技术人员可以理解，此处的patch数目仅为举例，并非构成本发明保护的限制。

优选地，所有的patch都resize到160像素宽和160像素高。本实施例通过将各图像数据基于人脸检测及关键点定位检测提取多个区域图像，经多patch的融合方式可以有效得提高后续训练及识别的可靠性。

步骤S300，生成第一网络参数模型，采用深度卷积神经网络DCNN对第一数据集对应的预处理后的数据进行收敛训练得到第一网络参数模型；

生成第一网络参数模型对应的第一步分类训练的训练过程如图3所示，本实施例中，先使用第一数据集中图像对应的patch作为训练输入对象，进行DCNN训练。其中，loss函数采用softmax，softmax用于将实数输出normalize成多类的概率，参见公式(1)如下：

其中，y_i′＝Σx_i*w_ij+b_j

公式中n表示类别数也就是人数。y_i′表示利用网络最后的全连接层作为输入和softmax层的权重(w_ij)以及偏移量(b_j)做的线性变换。exp表示以自然底数为底的指数函数。因为考虑到后期的特征提取速度，本实施例网络只采用7层卷积。最后Learning rate从0.01开始训练，收敛之后调整为0.001，再收敛之后调整为0.0001至收敛生成第一网络参数模型model_1。本实施例中，model_1是在非常复杂第一数据集上训练得出，底层的特征比较鲁棒，可以有效得防止后面训练的时候出现过拟合overfitting的现象。

步骤S400，生成第二网络参数模型，对第一网络参数模型的参数利用第二数据集对应的预处理后的数据进行收敛训练得到第二网络参数模型；

步骤S400中的网络跟上一步的架构的区别是softmax的分类数要改成总人数。在上一步最后收敛的模型(model_1)上进行fine tune(此处fine tune的原意是指微调，这里具体指网络接着model_1的参数利用第二数据集的数据继续进行训练)。这一步开始的时候Learning rate在softmax之前的层都使用0.001，在softmax层使用0.01。训练收敛后把softmax层的Learningrate改为0.001继续训练。再收敛后把全局的learning rate修改为0.0001继续训练至收敛生成第二网络参数模型model_2。该步训练过程也可参考图3。

步骤S500，生成第三网络参数模型，采用第二网络参数模型对第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数Triplet Loss进行训练，使得本人的证件照图像跟本人的现场照图像的距离缩短，本人的证件照图像跟他人的现场照图像的距离拉长，得到第三网络参数模型；

将图像数据都用步骤S400最后生成的第二网络参数模型model_2提取特征。本实施例中，参照图4，每一个图像都有了6个patch的特征数据(即多区域特征值)。本实施例中，使用的单个区域输出的是128维的向量，所以把6个patch的特征数据连在一起以后得到768维的特征向量。在这一步使用这个768维度的向量作为输入。网络使用2层全连接层(fc)，最后输出是256维的特征向量。Loss函数采用基于欧拉距离的triplet loss，具体参见如下所示的公式(2)：

其中，f(x_i)表示的是输出的128维度的特征向量。表示本人身份证芯片照的特征向量(anchor)，表示本人现场照的特征向量(positive)，表示他人现场照的特征向量(negative)。||x||₂表示L2距离。在这里，组对的时候一定要把身份证芯片照作为anchorsample，同一个人的现场照照片作为positive sample，随机选择不同人的现场照(不要使用身份证芯片照)作为negtive sample。这种组对方式以及online的triplet loss可以有效的提高识别率。Learning rate从0.01开始调整至0.00001至收敛生成第三网络参数模型model_3。通过这一步很关键的训练，可以使得本人的身份证芯片照照片跟本人的现场照的距离缩短，本人的身份证芯片照照片跟他人的现场照的距离拉长(参见见图5)，从而大大提高识别率。

步骤S600，人脸识别验证，在第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算第一特征向量与第二特征向量间的距离以判断证件照与现场照的相似度。

在步骤S500生成的第三网络参数模型输入证件照及现场照进行人脸识别判断，具体地，参见图6，经过人脸检测和关键点定位后获得6个人脸区域，使用第三网络参数模型可以输出一个256维度的人脸特征。计算第一特征向量与第二特征向量间的距离采用cos公式如下：

其中，f₁为第一特征向量，f₂为第二特征向量，上述公式中的分子表示两个特征向量的内积，分母两个特征向量长度的乘积。

根据本发明的另一方面，还提供一种基于现场照和证件照的人脸识别装置，与上述方法实施例对应一致，参照图7，本发明装置包括：

训练数据准备单元10，用于建立训练数据，训练数据包括第一数据集及第二数据集，其中，第一数据集及第二数据集均包括多人的图像数据，每人对应多个图像数据，第二数据集中每人对应至少一张证件照图像数据及多张现场照图像；

训练数据预处理单元20，用于对训练数据中的图像数据进行人脸检测和关键点定位以提取多个人脸区域patch，并将多个patch归一化，得到预处理后的数据；

第一网络参数模型生成单元30，用于采用深度卷积神经网络DCNN对第一数据集对应的预处理后的数据进行收敛训练得到第一网络参数模型；

第二网络参数模型生成单元40，用于对第一网络参数模型的参数利用第二数据集对应的预处理后的数据进行收敛训练得到第二网络参数模型；

第三网络参数模型生成单元50，用于采用第二网络参数模型对第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数Triplet Loss进行训练，使得本人的证件照图像跟本人的现场照图像的距离缩短，本人的证件照图像跟他人的现场照图像的距离拉长，得到第三网络参数模型；

人脸识别验证单元60，用于在第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算第一特征向量与第二特征向量间的距离以判断证件照与现场照的相似度。

优选地，本实施例训练数据预处理单元20包括：

区域提取模块21，用于根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch；

归一化处理模块22，用于将各patch的像素尺寸进行归一化处理。

更优选地，本实施例区域提取模块21包括：

人脸定位子模块，用于采用人脸检测算法获取人脸区域；

区域生成子模块，用于在人脸区域内检测关键点，以瞳距为固定值，且分别以左眼，右眼，左嘴角，右嘴角，鼻子，两眼中心点为中心扣取人脸图像生成六个patch。

本实施例中，第一数据集为用于增强网络底层特征鲁棒性的网上人像数据库；第二数据集中的证件照图像数据来自证件芯片内存储的图像照片或者第三方机构存储的证件图像照。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于现场照和证件照的人脸识别方法，其特征在于，包括：

建立训练数据，所述训练数据包括第一数据集及第二数据集，其中，所述第一数据集及所述第二数据集均包括多人的图像数据，每人对应多个图像数据，所述第二数据集中每人对应至少一张证件照图像数据及多张现场照图像；

训练数据预处理，对所述训练数据中的图像数据进行人脸检测和关键点定位以提取多个人脸区域patch，并将所述多个patch归一化，得到预处理后的数据；

生成第一网络参数模型，采用深度卷积神经网络DCNN对所述第一数据集对应的预处理后的数据进行收敛训练得到所述第一网络参数模型；

生成第二网络参数模型，对所述第一网络参数模型的参数利用所述第二数据集对应的预处理后的数据进行收敛训练得到所述第二网络参数模型；

生成第三网络参数模型，采用所述第二网络参数模型对所述第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数进行训练，使得本人的证件照图像跟本人的现场照图像的距离缩短，本人的证件照图像跟他人的现场照图像的距离拉长，得到所述第三网络参数模型；

人脸识别验证，在所述第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算所述第一特征向量与所述第二特征向量间的距离以判断所述证件照与所述现场照的相似度。

2.根据权利要求1所述的基于现场照和证件照的人脸识别方法，其特征在于，

所述预处理包括根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch及将各patch的像素尺寸归一化处理。

3.根据权利要求2所述的基于现场照和证件照的人脸识别方法，其特征在于，

所述根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch包括：

采用人脸检测算法获取人脸区域；

在所述人脸区域内检测关键点，以瞳距为固定值，且分别以左眼、右眼、左嘴角、右嘴角、鼻子、两眼中心点为中心提取人脸图像生成六个patch。

4.根据权利要求1所述的基于现场照和证件照的人脸识别方法，其特征在于，

所述第一数据集为用于增强网络底层特征鲁棒性的网上人像数据库；

所述第二数据集中的所述证件照图像数据来自证件芯片内存储的图像照片或者第三方机构存储的证件图像照。

5.根据权利要求1所述的基于现场照和证件照的人脸识别方法，其特征在于，

生成所述第三网络参数模型中，训练组对时，以证件照图像作为目标样本，以同一人的现场照图像作为正样本，随机选择不同人的现场照作为负样本。

6.根据权利要求1至5任一所述的基于现场照和证件照的人脸识别方法，其特征在于，

计算所述第一特征向量与所述第二特征向量间的距离采用公式如下：

$dist=\frac{\stackrel{\→}{f_1}\·\stackrel{\→}{f_2}}{\left|\right|f_1\left|\right|\·\left|\right|f_1\left|\right|}$

其中，f₁为第一特征向量，f₂为第二特征向量，上述公式中的分子表示两个特征向量的内积，分母两个特征向量长度的乘积。

7.一种基于现场照和证件照的人脸识别装置，其特征在于，包括：

训练数据准备单元，用于建立训练数据，所述训练数据包括第一数据集及第二数据集，其中，所述第一数据集及所述第二数据集均包括多人的图像数据，每人对应多个图像数据，所述第二数据集中每人对应至少一张证件照图像数据及多张现场照图像；

训练数据预处理单元，用于对所述训练数据中的图像数据进行人脸检测和关键点定位以提取多个人脸区域patch，并将所述多个patch归一化，得到预处理后的数据；

第一网络参数模型生成单元，用于采用深度卷积神经网络DCNN对所述第一数据集对应的预处理后的数据进行收敛训练得到所述第一网络参数模型；

第二网络参数模型生成单元，用于对所述第一网络参数模型的参数利用所述第二数据集对应的预处理后的数据进行收敛训练得到所述第二网络参数模型；

第三网络参数模型生成单元，用于采用所述第二网络参数模型对所述第二数据集对应的预处理后的数据提取特征，同一图像数据对应的多个patch的特征连在一起作为输入，输出预设维数的特征向量，并以基于度量学习的误差函数进行训练，使得本人的证件照图像跟本人的现场照图像的距离缩短，本人的证件照图像跟他人的现场照图像的距离拉长，得到所述第三网络参数模型；

人脸识别验证单元，用于在所述第三网络参数模型中输入现场照对应的预处理后的数据得到第一特征向量，并输入证件照对应的预处理后的数据得到第二特征向量，计算所述第一特征向量与所述第二特征向量间的距离以判断所述证件照与所述现场照的相似度。

8.根据权利要求7所述的基于现场照和证件照的人脸识别装置，其特征在于，

所述训练数据预处理单元包括：

区域提取模块，用于根据人脸检测及人脸特征点检测将照片图像数据转换为多个patch；

归一化处理模块，用于将各patch的像素尺寸进行归一化处理。

9.根据权利要求7所述的基于现场照和证件照的人脸识别装置，其特征在于，

所述区域提取模块包括：

人脸定位子模块，用于采用人脸检测算法获取人脸区域；

区域生成子模块，用于在所述人脸区域内检测关键点，以瞳距为固定值，且分别以左眼、右眼、左嘴角、右嘴角、鼻子、两眼中心点为中心提取人脸图像生成六个patch。

10.根据权利要求7所述的基于现场照和证件照的人脸识别装置，其特征在于，

所述第一数据集为用于增强网络底层特征鲁棒性的网上人像数据库；

所述第二数据集中的所述证件照图像数据来自证件芯片内存储的图像照片或者第三方机构存储的证件图像照。