CN104751143A - 一种基于深度学习的人证核验系统及方法 - Google Patents

Abstract

本发明涉及一种人证核验系统及方法，尤其是一种基于深度学习的人证核验系统及方法，属于安防领域，所述基于深度学习的人证核验系统包括训练子系统和人证核验子系统，所述基于深度学习的人证核验方法包括训练过程和人证核验过程，所述训练过程利用若干已知身份的现场人脸图像和证件照片对训练子系统进行训练，所述人证核验过程利用训练过程最终获得的模块参数，对通行人员的多张现场采集照片与证件阅读模块采集的信息对应的证件照片进行比对，自动输出人员和证件是否相符的验证结果，本发明能有效将证件照片与现场视频监控设备采集的多张人脸照片进行比对，对人脸角度、现场环境、光照等因素适应能力强，人证核验准确率高、通行速度快。

Description

一种基于深度学习的人证核验系统及方法

技术领域

本发明涉及一种人证核验系统及方法，尤其是一种基于深度学习的人证核验系统及方法，属于安防领域。

背景技术

在火车站、汽车站、公安检查站、大型会展等场所，由于安全保卫或其它业务需要，往往需要现场对通行人员的证件进行核查。目前，此类核查工作还主要通过工作人员人工完成，无法杜绝犯罪分子利用他人身份证件蒙混过关的行为，存在安全隐患。

在这种形势下，出现了基于人脸识别技术的核查方法，如申请号为201310099064.7的专利文件公开了一种基于人脸识别第二代居民身份证的认证系统和认证方法，包括用于读出身份证内的信息的第二代身份证读卡器，用于采集真实人脸图像的摄像设备，身份资料信息库，人脸识别器，根据第二代身份证读卡器读出的身份证内的信息导出身份资料信息库中存储提供的相应信息，并与第二代身份证读卡器读出的身份证内的信息进行比对。通过比较持有人身份证的信息和资料信息库是否相符合来辨别身份证的真伪，如果资料相符合，则再通过现场采集真实的人脸照片与资料信息中照片用人脸识别技术自动比对，可以自动识别身份证的真伪。这类方法和系统存在以下缺点：它通常只对采集的一张照片与证件照进行比对，不能有效利用人员通行时采集的多张不同角度的人脸照片信息，有时还需要人员停下来配合拍照，降低了通行速度；并且这种系统对环境光照、人脸角度等因素适应能力低，在实际应用中准确率不高；此外，这种方法不能针对证件照数据库进行专门优化，在使用过程中将现场监控照片与证件照比对相似度较低；现有的人脸识别系统往往依赖对人脸轮廓特征点进行精确定位，而在实际应用中面部遮挡、光照变化等原因会导致特征点定位不准，或生成的面部网络不精确，导致后续识别准确率下降。

发明内容

本发明的目的是针对现有技术中的不足，提供一种能有效将证件照片与现场视频监控设备采集的多张人脸照片进行比对，具有高准确率和强适应性的基于深度学习的人证核验系统及方法。

本发明解决问题的技术方案是：提供一种基于深度学习的人证核验系统，包括训练子系统和人证核验子系统，所述训练子系统和人证核验子系统均包括：

第一多层卷积模块，用于对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；

第二多层卷积模块，用于对证件照片进行特征分析，输出证件人脸特征；

联合贝叶斯分解模块，用于对第一多层卷积模块输出的现场人脸特征与第二多层卷积模块输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

非线性激励模块，用于将联合贝叶斯分解模块输出的属于同一身份的多个证件人脸相关特征融合成单一特征。

所述训练子系统还包括：

身份辨认模块，用于对非线性激励模块输出的融合后的单一特征和人员身份信息进行比较，输出身份辨认误差；

身份验证模块，用于将非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；

误差加权模块，用于对身份辨认模块输出的身份辨认误差、身份验证模块输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数。

所述人证核验子系统还包括：

人脸跟踪模块，用于对现场图像序列进行检测和跟踪，输出通行人员的多张不同姿态的现场人脸图像；

证件阅读模块，用于自动读取通行人员的证件信息，从证件信息中直接提取证件照片，或从证件照片库中调出对应的证件照片；

人证一致性判定模块，用于对非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征进行比较和判断，输出人证一致性判定结果。

进一步地，所述训练子系统中，所述第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、身份辨认模块、误差加权模块依次连接，所述第二多层卷积模块、身份验证模块、误差加权模块依次连接，所述第二多层卷积模块还与联合贝叶斯分解模块相连，所述非线性激励模块还与身份验证模块相连。

进一步地，所述人证核验子系统中，所述人脸跟踪模块、第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、人证一致性判定模块依次相连，所述证件阅读模块与第二多层卷积模块相连，所述第二多层卷积模块分别与联合贝叶斯分解模块、人证一致性判定模块相连。

进一步地，所述身份辨认模块根据输入的人脸特征确定对应的未知人身份。

进一步地，所述身份验证模块检测来自不同输入的人脸特征属于同一身份的验证误差。

进一步地，所述证件阅读模块包括二代身份证阅读器、RFID(Radio FrequencyIdentification，射频识别)阅读器。

进一步地，所述证件照片为正面人脸照片，包括二代身份证照片、护照照片。

一种基于深度学习的人证核验方法，包括训练过程和人证核验过程，所述训练过程利用若干已知身份的现场人脸图像和证件照片对训练子系统进行训练，所述人证核验过程利用训练过程最终获得的模块参数，对通行人员的多张现场采集照片与证件阅读模块采集的信息对应的证件照片进行比对，自动输出人员和证件是否相符的验证结果。

进一步地，所述训练过程包括：

步骤1：使用第一多层卷积模块对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；

步骤2：使用第二多层卷积模块对证件照片进行特征分析，输出证件人脸特征；

步骤3：通过联合贝叶斯分解模块对步骤1输出的现场人脸特征与步骤2输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

步骤4：通过非线性激励模块将步骤3输出的属于同一身份的多个证件人脸相关特征融合成单一特征；

步骤5：通过身份辨认模块，利用Softmax回归从步骤4输出的融合后的单一特征中获得身份分布概率，将所述身份分布概率和人员身份信息进行比较，判定人员身份正确的概率，输出身份辨认误差；

步骤6：通过身份验证模块将步骤4输出的融合后的单一特征、步骤2输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；

步骤7：通过误差加权模块对步骤5输出的身份辨认误差、步骤6输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数。

进一步地，所述训练过程采用不同人的现场人脸图像序列和证件照片，不断重复步骤1–7，直至骤7得到的加权误差小于设定的加权误差阈值。

进一步地，所述加权误差阈值≤初始值的1/10000，所述初始值为第一次执行完训练过程步骤1-7时步骤7得到的加权误差。

进一步地，所述人证核验过程包括：

步骤1：使用人脸跟踪模块对现场图像序列进行检测和跟踪，输出通行人员的多张不同姿态的现场人脸图像；

步骤2：使用第一多层卷积模块对步骤1输出的不同姿态的现场人脸图像进行特征分析，输出多个不同姿态的现场人脸特征；

步骤3：通过证件阅读模块自动读取通行人员的证件信息，从证件信息中直接提取证件照片，或从证件照片库中调出对应的证件照片；

步骤4：通过第二多层卷积模块对步骤3输出的证件照片进行特征分析，输出证件人脸特征；

步骤5：通过联合贝叶斯分解模块对步骤2输出的现场人脸特征与步骤4输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

步骤6：通过非线性激励模块将步骤5输出的属于同一身份的多个证件人脸相关特征融合成单一特征；

步骤7：通过人证一致性判定模块对步骤6输出的融合后的单一特征、步骤4输出的证件人脸特征进行比较和判断，输出人证一致性判定结果。

进一步地，所述人证核验过程中的第一多层卷积模块、第二多层卷积模块、联合贝叶斯分解模块和非线性激励模块，分别采用训练过程中最终获得的同名模块的参数。

进一步地，所述非线性激励模块将输出的属于同一身份的多个证件人脸相关特征经过激励函数处理，再进行非线性融合，形成包含不同角度人脸信息的单一特征。

进一步地，所述激励函数为Sigmoid函数和RELU函数中的任一种；以sigmoid函数为例，对于属于同一身份的多个证件人脸相关特征x1,x2…xn，输出融合后的单一特征y＝fx(sigmoid(x1),sigmoid(x2)…sigmoid(xn))，fx为非线性函数。

本发明的有益效果为：本发明基于训练子系统的深度学习的能力，能有效将证件照片与现场视频监控设备采集的多张人脸照片进行比对，对人脸角度、现场环境、光照等因素适应能力强，人证核验准确率高、通行速度快。

附图说明

图1是本发明所述基于深度学习的人证核验方法的流程图；

图2是本发明所述基于深度学习的人证核验系统的训练子系统框图，基于深度学习的人证核验方法的训练过程示意图；

图3是本发明所述基于深度学习的人证核验系统的人证核验子系统框图，基于深度学习的人证核验方法的人证核验过程示意图。

具体实施方式

下面结合附图对本发明所述基于深度学习的人证核验系统及方法做进一步的说明。

如图2、图3所示，一种基于深度学习的人证核验系统，包括训练子系统和人证核验子系统，图2中示出了训练子系统，图3示出了人证核验子系统，所述训练子系统和人证核验子系统均包括：

第一多层卷积模块，用于对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；

第二多层卷积模块，用于对证件照片进行特征分析，输出证件人脸特征；

联合贝叶斯分解模块，用于对第一多层卷积模块输出的现场人脸特征与第二多层卷积模块输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

非线性激励模块，用于将联合贝叶斯分解模块输出的属于同一身份的多个证件人脸相关特征融合成单一特征。

所述训练子系统还包括：

身份辨认模块，用于对非线性激励模块输出的融合后的单一特征和人员身份信息进行比较，输出身份辨认误差；

身份验证模块，用于将非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；

误差加权模块，用于对身份辨认模块输出的身份辨认误差、身份验证模块输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数。

所述人证核验子系统还包括：

人脸跟踪模块，用于对现场图像序列进行检测和跟踪，输出通行人员的多张不同姿态的现场人脸图像；

证件阅读模块，用于自动读取通行人员的证件信息，从证件信息中直接提取证件照片，或从证件照片库中调出对应的证件照片；

人证一致性判定模块，用于对非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征进行比较和判断，输出人证一致性判定结果。

所述训练子系统中，所述第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、身份辨认模块、误差加权模块依次连接，所述第二多层卷积模块、身份验证模块、误差加权模块依次连接，所述第二多层卷积模块还与联合贝叶斯分解模块相连，所述非线性激励模块还与身份验证模块相连。

所述人证核验子系统中，所述人脸跟踪模块、第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、人证一致性判定模块依次相连，所述证件阅读模块与第二多层卷积模块相连，所述第二多层卷积模块分别与联合贝叶斯分解模块、人证一致性判定模块相连。

所述身份辨认模块根据输入的人脸特征确定对应的未知人身份。

所述身份验证模块检测来自不同输入的人脸特征属于同一身份的验证误差。

所述证件阅读模块包括二代身份证阅读器、RFID阅读器。

所述证件照片为正面人脸照片，包括二代身份证照片、护照照片。

如图1所示，一种基于深度学习的人证核验方法，步骤如下：

准备训练样本：收集一万人以上的人脸图像数据。每个人包括1-2张证件照，64张以上现场人脸照片。现场人脸照片涵盖不同光照、不同角度等因素。把以上收集的照片按人员身份进行分文件夹存储；

训练过程：每次选取一张证件照片，选取该证件照片相同身份的现场人脸照片64张，对所述训练子系统进行训练，如图2所示，对所有训练样本循环训练约90次，得到训练后的第一多层卷积模块、第二多层卷积模块、联合贝叶斯分解模块和非线性激励模块的参数；

人证核验过程：如图3所示，利用训练过程最终获得的模块参数，对通行人员的现场采集照片与证件阅读模块采集信息对应的证件照片进行比对，自动输出人员和证件是否相符的验证结果。

输出人证一致性判定结果。

本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域技术人员可以想到的任何变形、改进、替换均落入本发明的保护范围。

Claims (9)

1.一种基于深度学习的人证核验系统，其特征在于，所述人证核验系统包括训练子系统和人证核验子系统，所述训练子系统和人证核验子系统均包括：

第一多层卷积模块，用于对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；

第二多层卷积模块，用于对证件照片进行特征分析，输出证件人脸特征；

联合贝叶斯分解模块，用于对第一多层卷积模块输出的现场人脸特征与第二多层卷积模块输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

非线性激励模块，用于将联合贝叶斯分解模块输出的属于同一身份的多个证件人脸相关特征融合成单一特征；

所述训练子系统还包括：

身份辨认模块，用于对非线性激励模块输出的融合后的单一特征和人员身份信息进行比较，输出身份辨认误差；

身份验证模块，用于将非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；

误差加权模块，用于对身份辨认模块输出的身份辨认误差、身份验证模块输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数；

所述人证核验子系统还包括：

人脸跟踪模块，用于对现场图像序列进行检测和跟踪，输出通行人员的多张不同姿态的现场人脸图像；

证件阅读模块，用于自动读取通行人员的证件信息，从证件信息中直接提取证件照片，或从证件照片库中调出对应的证件照片；

人证一致性判定模块，用于对非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征进行比较和判断，输出人证一致性判定结果；

所述训练子系统中，所述第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、身份辨认模块、误差加权模块依次连接，所述第二多层卷积模块、身份验证模块、误差加权模块依次连接，所述第二多层卷积模块还与联合贝叶斯分解模块相连，所述非线性激励模块还与身份验证模块相连；

所述人证核验子系统中，所述人脸跟踪模块、第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、人证一致性判定模块依次相连，所述证件阅读模块与第二多层卷积模块相连，所述第二多层卷积模块分别与联合贝叶斯分解模块、人证一致性判定模块相连。

2.根据权利要求1所述的基于深度学习的人证核验系统，其特征在于，所述证件阅读模块包括二代身份证阅读器、RFID阅读器。

3.一种基于深度学习的人证核验方法，其特征在于，所述人证核验方法包括训练过程和人证核验过程，所述训练过程利用若干已知身份的现场人脸图像和证件照片对训练子系统进行训练，所述人证核验过程利用训练过程最终获得的模块参数，对通行人员的多张现场采集照片与证件阅读模块采集的信息对应的证件照片进行比对，自动输出人员和证件是否相符的验证结果。

4.根据权利要求3所述的基于深度学习的人证核验方法，其特征在于，所述训练过程包括：

步骤1：使用第一多层卷积模块对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；

步骤2：使用第二多层卷积模块对证件照片进行特征分析，输出证件人脸特征；

步骤3：通过联合贝叶斯分解模块对步骤1输出的现场人脸特征与步骤2输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

步骤4：通过非线性激励模块将步骤3输出的属于同一身份的多个证件人脸相关特征融合成单一特征；

步骤5：通过身份辨认模块，利用Softmax回归从步骤4输出的融合后的单一特征中获得身份分布概率，将所述身份分布概率和人员身份信息进行比较，判定人员身份正确的概率，输出身份辨认误差；

步骤6：通过身份验证模块将步骤4输出的融合后的单一特征、步骤2输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；

步骤7：通过误差加权模块对步骤5输出的身份辨认误差、步骤6输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数；

所述训练过程采用不同人的现场人脸图像序列和证件照片，不断重复步骤1–7，直至步骤7得到的加权误差小于设定的加权误差阈值。

5.根据权利要求4所述的基于深度学习的人证核验方法，其特征在于，所述加权误差阈值≤初始值的1/10000，所述初始值为第一次执行完训练过程步骤1-7时步骤7得到的加权误差。

6.根据权利要求3所述的基于深度学习的人证核验方法，其特征在于，所述人证核验过程包括：

步骤1：使用人脸跟踪模块对现场图像序列进行检测和跟踪，输出通行人员的多张不同姿态的现场人脸图像；

步骤2：使用第一多层卷积模块对步骤1输出的不同姿态的现场人脸图像进行特征分析，输出多个不同姿态的现场人脸特征；

步骤3：通过证件阅读模块自动读取通行人员的证件信息，从证件信息中直接提取证件照片，或从证件照片库中调出对应的证件照片；

步骤4：通过第二多层卷积模块对步骤3输出的证件照片进行特征分析，输出证件人脸特征；

步骤5：通过联合贝叶斯分解模块对步骤2输出的现场人脸特征与步骤4输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；

步骤6：通过非线性激励模块将步骤5输出的属于同一身份的多个证件人脸相关特征融合成单一特征；

步骤7：通过人证一致性判定模块对步骤6输出的融合后的单一特征、步骤4输出的证件人脸特征进行比较和判断，输出人证一致性判定结果。

7.根据权利要求6所述的基于深度学习的人证核验方法，其特征在于，所述人证核验过程中的第一多层卷积模块、第二多层卷积模块、联合贝叶斯分解模块和非线性激励模块，分别采用训练过程中最终获得的同名模块的参数。

8.根据权利要求4或6任一项所述的基于深度学习的人证核验方法，其特征在于，所述非线性激励模块将输出的属于同一身份的多个证件人脸相关特征经过激励函数处理，再进行非线性融合，形成包含不同角度人脸信息的单一特征。

9.根据权利要求8所述的基于深度学习的人证核验方法，其特征在于，所述激励函数为Sigmoid函数和RELU函数中的任一种。