CN106780906B - 一种基于深度卷积神经网络的人证合一识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的人证合一识别方法及系统，通过构建人脸卷积神经网络模型，利用最难区分三元组和迭代优化的方式对人脸卷积神经网络模型进行训练，获得深度卷积神经网络模型，利用该模型计算证件图像与人脸图像的特征值，并依据特征值计算欧式距离，进而判断证件图像与人脸图像是否一致。与现有技术相比，该方法和系统对背景、光照以及姿态等变化具有较好的鲁棒性，其可利用深度学习不断迭代训练，提升人脸识别的性能与及提取特征的准确度，有效地增强系统的性能。

Description

一种基于深度卷积神经网络的人证合一识别方法及系统

技术领域

本发明涉及的是模式识别中的生物特征识别领域，尤其涉及的是一种基于深度卷积神经网络的人证合一识别方法及系统。

背景技术

人脸识别主要用于身份识别，特别是近年来随着计算机技术、图像处理技术、模式识别技术等快速进步，而出现的一种崭新的生物特征识别技术。由于可广泛应用于安全验证、视频监控、出入口控制等诸多领域，识别速度快、识别率高，因此已经成为身份识别技术研究领域主要的发展方向

如今二代身份证件中内置了非接触式IC智能芯片，其中存储了持有人的人脸图像信息，以及身份信息；人证合一系统，是利用身份证件芯片内存储的人脸图像与证件持有人现场采集的人脸图像比对来进行身份验证；

目前主流的人脸识别在需要配合的基础上获取人脸图像，应用分类算法进行人脸识别。主要有以下几类方法：(1)基于几何特征的方法：检测脸部器官如眼睛、眉毛、鼻子、嘴巴和下巴等，利用各个器官的位置、大小及相互之间的空间分布关系来识别人脸；(2)基于子空间的方法：将人脸图像经过投影变换投射至子空间中，由于投影变换具有非正交、非线性的特性，因此子空间中的人脸表示更具分辨力；(3)、基于局部特征的方法：利用各类局部算子计算出相应的人脸图像，通过统计其直方图，利用直方图信息进行识别。

这些方式在实际监控时，容易受到光线变化、背景、姿态等诸多因素的干扰，使得提取的特征在以上外界因素发生变化时，导致原始图像出现结构丢失、特征描述不全面和不确定等问题，这些缺陷导致人脸识别率低，可靠性差，无法进行大面积推广等。因此在实际监控恶劣的环境下实现准确快速的人脸识别技术成为当前具有挑战性的问题。

卷积神经网络(CNNs)是深度学习的另一分支，具有层级化的结构，在各种环境下的人脸识别都获得了优异的性能。加之GPU等硬件的大幅加速，使得大规模的图像处理变得简单可行，获取的模型也更好，基于此模型而设计的人证合一系统提高了身份验证的准确度。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种基于深度卷积神经网络的人证合一识别方法及系统，以解决在光线、背景、姿态等诸多因素的干扰下，人证合一的识别率低、可靠性差等技术问题。

本发明是通过以下技术方案实现的：

本发明提供了一种基于深度卷积神经网络的人证合一识别方法，包括以下步骤：

步骤S1：利用人脸图像采集模块采集人脸样本图像，或者直接使用标准人脸图像数据库中的图像作为人脸样本图像，将样本图像随机划分预测集和训练集；将样本图像输入图像预处理模块，采用基于Haar特征的Adaboost算法得到样本图像中的人脸区域，将样本图像中的人脸区域进行定比例扩展，然后截取部分人脸区域的图像进行缩放后，再通过灰度处理，获得预测集和训练集样本的灰度图像；

步骤S2：利用模型训练模块构建初步的人脸卷积神经网络模型，将预测集样本的灰度图像输入人脸卷积神经网络进行训练，得到全连接层的人脸高层次特征值，根据该特征值与其理想值的差距，调整模型的权值矩阵，获得训练后的人脸识别卷积神经网络模型；

步骤S3：对特征值进行L2范数归一化，获得人脸图像的特征表示；

步骤S4：从预测集样本中随机选择某个人的灰度图像作为锚点，选择该人其它图像生成的特征值与锚点之间的距离最大的一张灰度图像作为正样本，选择其他人图像生成的特征值与锚点之间的距离最小的一张灰度图像作为负样本，构建获得由锚点、正样本和负样本组成的三元组；利用目标函数进行筛选，选择不满足目标函数的三元组为最难区分三元组；

步骤S5：精调卷积神经网络模型：将选取的最难区分三元组输入人脸识别卷积神经网络模型进行训练、精调，再次获得相应的特征值，重复步骤S3-S4，利用上一轮训练好的人脸识别卷积神经网络模型，进行下一轮最难三元组选择和训练，通过最后生成的特征值，利用图像对比模块计算与训练集样本之间的欧式距离，将欧式距离与设定阈值比较，判断是否为同一人，从而获取人脸识别的正确率和误识率，所述判断的标准为，若欧式距离小于设定值，则为同一人；

步骤S6：多次迭代优化直到人脸识别卷积神经网络模型收敛，直至迭代收敛，即人脸识别的正确率的评价标准达到最高值，获得最终用于识别的人脸识别深度卷积神经网络模型，训练结束；

步骤S7：利用证件图像采集模块采集证件图像，利用人脸图像采集模块采集待识别人脸图像，利用图像预处理模块，采用基于Haar特征的Adaboost算法得到证件图像和人脸图像中的人脸区域，然后截取部分人脸区域的图像，缩放后通过灰度处理获得证件图像和人脸图像的灰度图像；将证件图像和人脸图像的灰度图像输入步骤S6的深度卷积神经网络模型中，利用图像对比模块计算证件图像和人脸图像的全连接层的人脸高层次特征值；利用特征值计算证件图像与人脸图像之间的欧式距离，若欧式距离小于识别阈值，则人证统一，反之，则人证不统一。

进一步地，所述步骤S2的步骤包括：

步骤S201：构建共有22层的深度卷积神经网络，每层的各个神经元的初始权值、参数全部通过随机函数生成，大小为正负1之间，每层采用的卷积核分别为1、3、5，卷积步长为1，卷积间隔为0、1、2，同时网络中每层数据使用3×3的矩阵池化，完成初步构建；

步骤S202：前向传播：将预测集样本的灰度图像输入到深度卷积神经网络里面，通过整个网络一步步收敛，使维度一层层降低，最后输出128维的人脸高层次特征值O_p；

步骤S203：反向传播：计算O_p与相应的理想输出值Yp的差，按极小化误差的方法调整权值矩阵，获得训练后的人脸识别卷积神经网络模型。

进一步地，所述步骤S4中，目标函数的公式为：

式中，表示锚点的特征表示，表示正样本的特征表示，表示负样本的特征表示，α代表两者距离之间的最小间隔，L代表三元组损失，三元组选择即选择损失大于零的情况。

本发明还提供了一种基于深度卷积神经网络的人证合一识别方法的人证合一识别系统，包括：

人脸图像采集模块：用于采集人脸图像；

证件图像采集模块：用于采集证件图像；

图像预处理模块：用于获得图像的人脸区域，并将人脸区域进行定比例扩展，然后截取部分人脸区域的图像进行缩放后，再通过灰度处理，获得灰度图像；

模型训练模块：用于构建人脸卷积神经网络模型，并对模型进行训练，获得图像特征值；

图像对比模块：用于计算人脸图像之间的欧式距离，并与设定阈值进行比较，输出结果；

用户登录模块：用于输入登录名和密码，并启动识别系统。

本发明相比现有技术具有以下优点：本发明提供了一种基于深度卷积神经网络的人证合一识别方法及系统，该方法对背景、光照以及姿态等变化具有较好的鲁棒性，其可利用深度学习不断迭代训练，提升人脸识别的性能与及提取特征的准确度，有效地增强系统的性能。

附图说明

图1为基于深度卷积神经网络的人证合一识别方法的步骤流程图；

图2为深度卷积神经网络的基本框架图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例提供了一种基于深度卷积神经网络的二维人脸识别模型的训练方法，如图1所示，包括以下步骤：

步骤S1：利用人脸图像采集模块采集人脸样本图像：在采集人脸样本时，人脸和摄像头的距离为30-60厘米，目光直视摄像头，保持表情自然，并慢慢的前后左右移动，过程中可以流露出多种表情，姿态。每隔2秒获取一张人脸图像，每人截取10张。所述样本图像也可直接用标准人脸图像数据库中的图像代替。

将样本图像输入图像预处理模块，应用人脸检测算法Haar特征与Adaboost对图像进行检测，检测结果显示包含人脸图像的作为可用样本。将样本图像中的人脸区域进行定比例扩展，然后截取部分人脸区域的图像，再通过缩放将截取部分的图像变换到224×224像素大小，最后通过灰度处理，获得预测集和训练集样本的灰度图像。

步骤S2：利用模型训练模块构建初步的人脸卷积神经网络模型，将预测集样本的灰度图像输入人脸卷积神经网络进行训练，得到全连接层的人脸高层次特征值，根据该特征值与其理想值的差距，调整模型的权值矩阵，获得训练后的人脸识别卷积神经网络模型，具体为：

步骤S201：构建共有22层的深度卷积神经网络，每层的各个神经元的初始权值、参数全部通过随机函数生成，大小为正负1之间，每层采用的卷积核分别为1、3、5，卷积步长为1，卷积间隔为0、1、2，同时网络中每层数据使用3×3的矩阵池化，完成初步构建，本实施例中使用的网络的最基本框架如图2所示；采用不同大小的卷积核是为了最后拼接时不同尺度特征的融合，之所以卷积核大小采用1、3和5，主要是为了方便对齐。设定卷积步长为1之后，只要分别设定间隔为0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起了；同时结构里面也嵌入了最大池，可以将计算并行化，加快训练速度。

步骤S202：前向传播：将灰度图像输入到深度卷积神经网络里面，通过整个网络一步步收敛，使维度一层层降低，最后输出128维的人脸高层次特征值O_p，具体步骤包括：

a)由采集到的人脸样本，根据不同的表情、姿态将样本共分为6类训练样本，从各类样本集中取一个样本X，将X输入网络；

b)输入的样本经过逐级的变换，传送到输出层，在此过程中，通过如下方式计算出实际输出Op：即每一层的卷积核覆盖在输入样本X上，对应位置求卷积再求和，得到一个值并赋值给输出对应的位置，每次卷积核在X上移动一个位置，从上到下、从左到右交叠覆盖一遍后得到输出矩阵，此输出矩阵进行降采样操作，然后将结果再作为下一层的输入，通过这种逐级变换，最终求得实际输出。

步骤S203：反向传播：计算O_p与相应的理想输出值Yp的差，按极小化误差的方法调整权值矩阵，获得训练后的人脸识别卷积神经网络模型，具体步骤包括：

I)通过公式E＝1/2∑_k(o_k-t_k)²，计算训练样本X在输出层的误差，k表示该层第k个神经元。

Ⅱ)根据I)中列举的公式，计算E关于n、n+1层第i个神经元的偏导数。

Ⅲ)计算误差E关于n+1层第i个神经元的增益系数的偏导数、偏置的偏导数，并根据计算结果，调整增益系数与偏置。

Ⅳ)计算误差E关于卷积核权值的偏导数和偏置的偏导数，并根据结果调整模型的权值和偏置，获得训练后模型。

步骤S3：对这些特征值进行L2归一化，这样，所有预测集样本图像的特征都会被映射到一个超球面上，要使特征值归一化到单位L²范数，即建立一个从x到x’的映射，使得x’的L²范数为1，满足公式所以x’＝xf(i)。

步骤S4：从预测集样本中随机选择某个人的灰度图像作为锚点，选择该人其它图像生成的特征值与锚点之间的距离最大的一张灰度图像作为正样本，选择其他人图像生成的特征值与锚点之间的距离最小的一张灰度图像作为负样本，构建获得由锚点、正样本和负样本组成的三元组；利用目标函数进行筛选，选择不满足目标函数的三元组为最难区分三元组，所述目标函数为；

式中，表示锚点的特征表示，表示正样本的特征表示，表示负样本的特征表示，α代表两者距离之间的最小间隔，L代表三元组损失，三元组选择即选择损失大于零的情况。

步骤S5：精调卷积神经网络模型：将选取的最难区分三元组输入人脸识别卷积神经网络模型进行训练、精调，再次获得相应的特征值，重复步骤S3-S4，利用上一轮训练好的人脸识别卷积神经网络模型，进行下一轮最难三元组选择和训练，利用图像对比模块计算与训练集样本之间的欧式距离，将欧式距离与设定阈值比较，判断是否为同一人，从而获取人脸识别的正确率和误识率，本实施例中，设定阈值为1。

步骤S6：多次迭代优化直到人脸识别卷积神经网络模型收敛，直至迭代收敛，即人脸识别的正确率的评价标准达到最高值，获得最终用于识别的人脸识别深度卷积神经网络模型，训练结束。

步骤S7：用户在系统登录界面输入用户名与密码进行登录，登陆后识别系统自动开启。

登陆后，用户首先利用证件图像采集模块刷一下身份证，系统获取身份证的图像，然后，用户面对人脸图像采集模块的摄像头进行人脸图像采集，采集时应尽量保持表情姿态与身份证表面的图像一致，听到系统提示完毕后，则表示已经采集完成图像。

系统采集到的图像有16张，包括身份证的一张证件图像和15张人脸图像，利用图像预处理模块，采用基于Haar特征的Adaboost算法得到证件图像和人脸图像中的人脸区域，然后截取部分人脸区域的图像，缩放后通过灰度处理获得证件图像和人脸图像的灰度图像。

将这些灰度图像输入到步骤S6的深度卷积神经网络模型中，利用图像对比模块计算证件图像和人脸图像的全连接层的人脸高层次特征值，计算结果同步骤S2；利用特征值计算证件图像与人脸图像之间的欧式距离，若欧式距离小于步骤S5的设定阈值，则人证统一，反之，则人证不统一。

本实施例还提供了上述基于深度卷积神经网络的人证合一识别方法的系统，包括：

人脸图像采集模块：用于采集人脸图像；

证件图像采集模块：用于采集证件图像；

图像预处理模块：用于获得图像的人脸区域，并将人脸区域进行定比例扩展，然后截取部分人脸区域的图像进行缩放后，再通过灰度处理，获得灰度图像；

模型训练模块：用于构建人脸卷积神经网络模型，并对模型进行训练，获得图像特征值；

图像对比模块：用于计算人脸图像之间的欧式距离，并与设定阈值进行比较，输出结果；

用户登录模块：用于输入登录名和密码，并启动识别系统。

以上为本发明一种详细的实施方式和具体的操作过程，是以本发明技术方案为前提下进行实施，但本发明的保护范围不限于上述的实施例。

Claims (3)

1.一种基于深度卷积神经网络的人证合一识别方法，其特征在于，包括以下步骤：

步骤S1：利用人脸图像采集模块采集人脸样本图像，或者直接使用标准人脸图像数据库中的图像作为人脸样本图像，将样本图像随机划分预测集和训练集；将样本图像输入图像预处理模块，采用基于Haar特征的Adaboost算法得到样本图像中的人脸区域，将样本图像中的人脸区域进行定比例扩展，然后截取部分人脸区域的图像进行缩放后，再通过灰度处理，获得预测集和训练集样本的灰度图像；

步骤S2：利用模型训练模块构建初步的人脸卷积神经网络模型，将预测集样本的灰度图像输入人脸卷积神经网络进行训练，得到全连接层的人脸高层次特征值，根据该特征值与其理想值的差距，调整模型的权值矩阵，获得训练后的人脸识别卷积神经网络模型；

步骤S3：对特征值进行L2范数归一化，获得人脸图像的特征表示；

步骤S4：从预测集样本中随机选择某个人的灰度图像作为锚点，选择该人其它图像生成的特征值与锚点之间的距离最大的一张灰度图像作为正样本，选择其他人图像生成的特征值与锚点之间的距离最小的一张灰度图像作为负样本，构建获得由锚点、正样本和负样本组成的三元组；利用目标函数进行筛选，选择不满足目标函数的三元组为最难区分三元组；

步骤S5：精调卷积神经网络模型：将选取的最难区分三元组输入人脸识别卷积神经网络模型进行训练、精调，再次获得相应的特征值，重复步骤S3-S4，利用上一轮训练好的人脸识别卷积神经网络模型，进行下一轮最难三元组选择和训练，通过最后生成的特征值，利用图像对比模块计算与训练集样本之间的欧式距离，将欧式距离与设定阈值比较，判断是否为同一人，从而获取人脸识别的正确率和误识率，所述判断的标准为，若欧式距离小于设定值，则为同一人；

步骤S6：多次迭代优化直到人脸识别卷积神经网络模型收敛，直至迭代收敛，即人脸识别的正确率的评价标准达到最高值，获得最终用于识别的人脸识别深度卷积神经网络模型，训练结束；

步骤S7：利用证件图像采集模块采集证件图像，利用人脸图像采集模块采集待识别人脸图像，利用图像预处理模块，采用基于Haar特征的Adaboost算法得到证件图像和人脸图像中的人脸区域，然后截取部分人脸区域的图像，缩放后通过灰度处理获得证件图像和人脸图像的灰度图像；将证件图像和人脸图像的灰度图像输入步骤S6的深度卷积神经网络模型中，利用图像对比模块计算证件图像和人脸图像的全连接层的人脸高层次特征值；利用特征值计算证件图像与人脸图像之间的欧式距离，若欧式距离小于识别阈值，则人证统一，反之，则人证不统一；

所述步骤S2的步骤包括：

步骤S201：构建共有22层的深度卷积神经网络，每层的各个神经元的初始权值、参数全部通过随机函数生成，大小为正负1之间，每层采用的卷积核分别为1、3、5，卷积步长为1，卷积间隔为0、1、2，同时网络中每层数据使用3×3的矩阵池化，完成初步构建；

步骤S202：前向传播：将预测集样本的灰度图像输入到深度卷积神经网络里面，通过整个网络一步步收敛，使维度一层层降低，最后输出128维的人脸高层次特征值O_p；

步骤S203：反向传播：计算O_p与相应的理想输出值Yp的差，按极小化误差的方法调整权值矩阵，获得训练后的人脸识别卷积神经网络模型。

2.根据权利要求1所述的一种基于深度卷积神经网络的人证合一识别方法，其特征在于，所述步骤S4中，目标函数的公式为：

式中，表示锚点的特征表示，表示正样本的特征表示，表示负样本的特征表示，α代表两者距离之间的最小间隔，L代表三元组损失，三元组选择即选择损失大于零的情况。

3.一种基于权利要求1或2所述的深度卷积神经网络的人证合一识别方法的人证合一识别系统，其特征在于，所述识别系统包括：

人脸图像采集模块：用于采集人脸图像；

证件图像采集模块：用于采集证件图像；

图像预处理模块：用于获得图像的人脸区域，并将人脸区域进行定比例扩展，然后截取部分人脸区域的图像进行缩放后，再通过灰度处理，获得灰度图像；

模型训练模块：用于构建人脸卷积神经网络模型，并对模型进行训练，获得图像特征值；

图像对比模块：用于计算人脸图像之间的欧式距离，并与设定阈值进行比较，输出结果；

用户登录模块：用于输入登录名和密码，并启动识别系统。