CN103914686B - 一种基于证件照与采集照的人脸比对认证方法及系统 - Google Patents

Abstract

本发明公开了一种基于证件照与采集照的人脸比对认证方法及系统，方法包括：采集真实人脸图像，并输入待验证证件照；训练代表人脸显著特征的网状结构模型；采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化；将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；根据得到的匹配相似度值判断人证是否一致。本发明的识别结果不受眼镜、眉毛和头发等外部遮挡物的影响，稳定性较好且识别精度高，可广泛应用于生物特征识别领域。

Description

一种基于证件照与采集照的人脸比对认证方法及系统

技术领域

本发明涉及生物特征识别领域，尤其是一种基于证件照与采集照的人脸比对认证方法及系统。

背景技术

由于与其他生物特征识别技术相比具有很大的优越性，人脸识别技术是近年来的一个研究热点，其应用领域也非常广泛。然而如何基于图像，尤其是对于低分辨率图像，提取人脸的有效特征进行人脸比对，是研究的一个难点，也是限制其应用的一个主要方面。基于证件照与现场采集的人脸照比对认证系统是一个能有效解决该问题的主要应用方向。

但是，如何将现有人脸识别方法应用于基于二代身份证等证件的人证验证领域，是一个技术难题。

首先，基于传统特征脸（Eigenface）和局部二值模式（Local Binary Patterns,LBP）的人脸识别方法要求待识别图像具有较高的分辨率，而由于二代身份证等证件存储芯片空间的限制，身份证等证件中RFID卡存储的证件照分辨率较低，因此无法将证件中存储的高度压缩照片与现场视频采集的人脸照片直接进行比对。

其次，现场采集的人脸图像很容易受眼镜、头发和眉毛等外部遮挡物的影响，稳定性不够，识别精度较低。

随着各类自助设备的发展和证件阅读器在市场上的广泛推广与应用，基于证件图像与现场采集照的认证系统具有广泛的应用前景，业内亟需一种能解决低分辨率人脸图像特征点定位问题和降低遮挡物影响的，稳定性较好和识别精度较高的人脸比对认证方法及系统。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种能解决低分辨率人脸图像特征点定位问题和降低外部遮挡物影响的，稳定性较好和识别精度较高的人脸比对认证方法。

本发明的另一目的是：提供一种能解决低分辨率人脸图像特征点定位问题和降低外部遮挡物影响的，稳定性较好和识别精度较高的人脸比对认证系统。

本发明解决其技术问题所采用的技术方案是：一种基于证件照与采集照的人脸比对认证方法，包括：

A、采集真实人脸图像，并输入待验证的证件照；

B、训练代表人脸显著特征的网状结构模型；

C、根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；

D、根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化，从而得到证件照与真实人脸图像的标准化特征；

E、将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；

F、根据得到的匹配相似度值判断人证是否一致。

进一步，所述步骤A，其具体为：

在识读设备的前端，从采集的人脸图像中截取并保存满足预设条件的图像作为真实人脸图像；在识读设备的后端，直接录入证件芯片内包含人脸的图像作为待验证的证件照。

进一步，所述步骤C，其包括：

C1、采用基于Haar特征的Adaboost方法对证件照与真实人脸图像进行检测，从而得到人脸定位区域；

C2、在得到的人脸定位区域中，采用ASM方法或AAM方法对证件照与真实人脸图像的人脸进行精确拟合，从而得到人脸轮廓特征点和易受遮挡的关键特征点；

C3、从人脸轮廓特征点和易受遮挡的关键特征点中选取不易受外部影响的特征点作为比对特征点。

进一步，所述步骤E，其包括：

E1、将证件照的标准化特征与当前多张真实人脸图像的标准化特征进行一一比对，从而得到当前每张真实人脸图像与证件照的人脸匹配相似度值；

E2、将得到的人脸匹配相似度值按从大到小的顺序进行排序，并选取人脸匹配相似度值的最大值作为当前持证人与证件照的匹配相似度值。

进一步，所述步骤F，其具体为：

判断得到的当前持证人与证件照的匹配相似度值是否大于预设的匹配阈值，若是，则表示验证成功，该证件的合法持有人与当前持有人一致；反之，则表示验证失败，该证件的合法持有人与当前持有人不一致。

进一步，所述待验证的证件照为身份证照、工作证照、门禁采集照和普通人脸照片中的任意一种。

本发明解决其技术问题所采用的另一技术方案是：一种基于证件照与采集照的人脸比对认证系统，包括：

采集与输入模块，用于采集真实人脸图像，并输入待验证的证件照；

模型训练模块，用于训练代表人脸显著特征的网状结构模型；

特征点精确定位模块，用于根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；

标准化模块，用于根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化，从而得到证件照与真实人脸图像的标准化特征；

比对模块，用于将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；

判断模块，用于根据得到的匹配相似度值判断人证是否一致；

所述采集与输入模块的输出端依次通过模型训练模块、特征点精确定位模块和比对模块进而与判断模块的输入端连接。

进一步，所述特征点精确定位模块，其包括：

检测单元，用于采用基于Haar特征的Adaboost方法对证件照与真实人脸图像进行检测，从而得到人脸定位区域；

拟合单元，用于在得到的人脸定位区域中，采用ASM方法或AAM方法对证件照与真实人脸图像的人脸进行精确拟合，从而得到人脸轮廓特征点和易受遮挡的关键特征点；

比对特征点选取单元，用于从人脸轮廓特征点和易受遮挡的关键特征点中选取不易受外部影响的特征点作为比对特征点；

所述检测单元的输入端与训练模块的输出端连接，所述检测单元的输出端通过拟合单元进而与比对特征点选取单元的输入端连接，所述比对特征点选取单元的输出端与标准化模块的输入端连接。

进一步，所述比对模块，其包括：

比对单元，用于将证件照的标准化特征与当前多张真实人脸图像的标准化特征进行一一比对，从而得到当前每张真实人脸图像与证件照的人脸匹配相似度值；

排序与选取单元，用于将得到的人脸匹配相似度值按从大到小的顺序进行排序，并选取人脸匹配相似度值的最大值作为当前持证人与证件照的匹配相似度值；

所述比对单元的输入端与标准化模块的输出端连接，所述比对单元的输出端和排序与选取单元的输入端连接，所述排序与选取单元的输出端与判断模块的输入端连接。

本发明的方法有益效果是：本发明的步骤C根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的人脸轮廓特征点和易受遮挡的关键特征点进行精确定位，解决了低分辨率人脸图像特征点精确定位的问题；选取不易受外部影响的关键特征点作为比对特征点，人脸比对特征具有相对稳定性，识别结果不受眼镜、眉毛和头发等外部遮挡物的影响，稳定性较好且识别精度高。进一步，识读设备的前端采集真实人脸图像，后端直接录入证件照，以提供前端/后端比对支持，尤其适合于自助设备及监控系统的人脸验证。

本发明的系统有益效果是：本发明的特征点精确定位模块根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的人脸轮廓特征点和易受遮挡的关键特征点进行精确定位，解决了低分辨率人脸图像特征点精确定位的问题；选取不易受外部影响的关键特征点作为比对特征点，人脸比对特征具有相对稳定性，识别结果不受眼镜、眉毛和头发等外部遮挡物的影响，稳定性较好且识别精度高。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明一种基于证件照与采集照的人脸比对认证方法的步骤流程图；

图2为本发明步骤C的流程图；

图3为本发明步骤E的流程图；

图4为本发明一种基于证件照与采集照的人脸比对认证系统的功能模块框图；

图5为本发明特征点精确定位模块的结构框图；

图6为本发明比对模块的结构框图。

具体实施方式

参照图1，一种基于证件照与采集照的人脸比对认证方法，包括：

A、采集真实人脸图像，并输入待验证的证件照；

B、训练代表人脸显著特征的网状结构模型；

C、根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；

D、根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化，从而得到证件照与真实人脸图像的标准化特征；

E、将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；

F、根据得到的匹配相似度值判断人证是否一致。

其中，真实人脸图像，可由摄像头在线或离线采集，且可以包括多张采集的人脸图像。

对证件照与真实人脸图像进行标准化，是为了将人脸图像的特征点标准化为统一尺度。

进一步作为优选的实施方式，所述步骤A，其具体为：

在识读设备的前端，从采集的人脸图像中截取并保存满足预设条件的图像作为真实人脸图像；在识读设备的后端，直接录入证件芯片内包含人脸的图像作为待验证的证件照。

其中，满足预设条件的图像中的预设条件，可根据实际情况而预先设定。

参照图2，进一步作为优选的实施方式，所述步骤C，其包括：

C1、采用基于Haar特征的Adaboost方法对证件照与真实人脸图像进行检测，从而得到人脸定位区域；

C2、在得到的人脸定位区域中，采用ASM方法或AAM方法对证件照与真实人脸图像的人脸进行精确拟合，从而得到人脸轮廓特征点和易受遮挡的关键特征点；

C3、从人脸轮廓特征点和易受遮挡的关键特征点中选取不易受外部影响的特征点作为比对特征点。

其中，采用基于Haar特征的Adaboost方法，是为了检测图像中是否存在人脸。

参照图3，进一步作为优选的实施方式，所述步骤E，其包括：

E1、将证件照的标准化特征与当前多张真实人脸图像的标准化特征进行一一比对，从而得到当前每张真实人脸图像与证件照的人脸匹配相似度值；

E2、将得到的人脸匹配相似度值按从大到小的顺序进行排序，并选取人脸匹配相似度值的最大值作为当前持证人与证件照的匹配相似度值。

进一步作为优选的实施方式，所述步骤F，其具体为：

判断得到的当前持证人与证件照的匹配相似度值是否大于预设的匹配阈值，若是，则表示验证成功，该证件的合法持有人与当前持有人一致；反之，则表示验证失败，该证件的合法持有人与当前持有人不一致。

本发明根据匹配相似度值即比对的结果，判断证件拥有人是否为该证件的合法持有人，从而避免违法分子冒用他人证件自助办理相关业务，减少给合法证件持有人所带来的损失，更加安全。

进一步作为优选的实施方式，所述待验证的证件照为身份证照、工作证照、门禁采集照和普通人脸照片中的任意一种。

参照图4，一种基于证件照与采集照的人脸比对认证系统，包括：

采集与输入模块，用于采集真实人脸图像，并输入待验证的证件照；

模型训练模块，用于训练代表人脸显著特征的网状结构模型；

特征点精确定位模块，用于根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；

标准化模块，用于根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化，从而得到证件照与真实人脸图像的标准化特征；

比对模块，用于将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；

判断模块，用于根据得到的匹配相似度值判断人证是否一致；

所述采集与输入模块的输出端依次通过模型训练模块、特征点精确定位模块和比对模块进而与判断模块的输入端连接。

参照图5，进一步作为优选的实施方式，所述特征点精确定位模块，其包括：

检测单元，用于采用基于Haar特征的Adaboost方法对证件照与真实人脸图像进行检测，从而得到人脸定位区域；

拟合单元，用于在得到的人脸定位区域中，采用ASM方法或AAM方法对证件照与真实人脸图像的人脸进行精确拟合，从而得到人脸轮廓特征点和易受遮挡的关键特征点；

比对特征点选取单元，用于从人脸轮廓特征点和易受遮挡的关键特征点中选取不易受外部影响的特征点作为比对特征点；

所述检测单元的输入端与训练模块的输出端连接，所述检测单元的输出端通过拟合单元进而与比对特征点选取单元的输入端连接，所述比对特征点选取单元的输出端与标准化模块的输入端连接。

参照图6，进一步作为优选的实施方式，所述比对模块，其包括：

比对单元，用于将证件照的标准化特征与当前多张真实人脸图像的标准化特征进行一一比对，从而得到当前每张真实人脸图像与证件照的人脸匹配相似度值；

排序与选取单元，用于将得到的人脸匹配相似度值按从大到小的顺序进行排序，并选取人脸匹配相似度值的最大值作为当前持证人与证件照的匹配相似度值；

所述比对单元的输入端与标准化模块的输出端连接，所述比对单元的输出端和排序与选取单元的输入端连接，所述排序与选取单元的输出端与判断模块的输入端连接。

下面结合具体实施例对发明作进一步详细说明。

实施例一

本实施例对本发明进行人脸特征提取的过程（基于低质量证件图像）进行介绍。该过程具体包括如下步骤：

步骤1，利用读卡器读取证件芯片内部存储的低质量人脸照；

步骤2，训练代表人脸显著特征的网状结构模型；

步骤3，利用基于局部梯度特征和纹理约束形状的算法，对输入图像的人脸特征点进行精确定位。

实施例二

本实施例对本发明在有遮挡时所采用的人脸图像比对方法进行介绍。该方法具体包括：

步骤1，输入包含人脸的图像；

步骤2，根据基本模型的形状约束条件，精确定位眼珠、眼角和眉毛等易受遮挡的关键特征点，使识别结果受正常佩戴的眼镜及眉毛遮挡的影响最小化；

步骤3，根据定位的人脸特征点间的相对位置信息，将当前人脸特征标准化为统一尺度；

步骤4，计算两张人脸图像（即证件照与采集照的人脸图像）对应特征的差异度，再综合差异度，得出两张人脸图像的匹配相似度。

实施例三

本实施例对本发明在进行人脸图像比对时支持前端/后端比对的实现过程进行介绍。该过程具体包括：

步骤1，在设备前端，从摄像头采集的图像中检测人脸是否存在，截取并保存满足预设条件的对应帧的人脸图像，并提取对应的人脸特征；在设备后端，直接录入包含人脸的图像，然后定位人脸区域并提取人脸特征；

步骤2，输入证件照人脸图像，接着检测人脸区域并提取人脸特征；

步骤3，根据采集照与证件照的人脸特征点的相对特征，将同一人的多张采集照图像与证件照进行比对，采用“一对一”模式得出采集照与证件照的人脸匹配相似度值；

步骤4，将最高人脸匹配相似度值作为人证是否一致的判断依据，输出是否匹配的判断值，其中，判断值为0代表不匹配，判断值为1代表匹配。

实施例四

本实施例以第二代身份证的认证系统为例对人脸比对认证过程进行介绍。其中，认证系统包括身份证读卡器（包含身份资料信息及内置的证件照）、影像采集设备和人脸识别终端，而认证方法则具体包括以下几个步骤：

步骤1，采用身份证件读卡器读取身份信息及内置的证件照；

本步骤通过以串口方式读取存储于二代身份证中的证件照，并临时保存于识别终端设备上。

步骤2，将身份证件照片作为输入读入人脸识别终端，并提取脸部特征；

该步骤将证件照片读入识别终端后，利用基于Haar特征的adaboost方法检测图像中人脸是否存在，然后在人脸定位区域，采用ASM/AAM方法精确拟合人脸，得到人脸轮廓特征及眼、鼻、嘴等的关键特征，最后选择不易受外部影响的关键特征作为比对特征并进行标准化。

步骤3，利用影像采集设备采集当前的真实人脸图像，截取并保存检测到的人脸图像；

该步骤采用摄像头作为视频流输入设备，从视频流中读取图像，然后检测图像中是否有人脸，定位人脸区域，并自动截取人脸区域；最后，将截取的人脸区域图像另存为人脸图像保存于识别终端设备上。采集的真实人脸图像张数可通过设置的最大采集数或影像采集时间来限制。

步骤4，将保存的真实人脸图像作为人脸识别终端的另一输入，并提取脸部特征；

本步骤依次读入真实人脸图像，每张真实人脸图像的具体处理方式与步骤2相同。

步骤5，将证件照的标准化特征与当前真实人脸图像的标准化特征进行“1-1”比对，得到匹配相似度值；

该步骤将步骤2与步骤4的标准化结果进行一一比对，得出匹配相似度（由于真实人脸图像不止一张，因此匹配相似度的结果也有两个或两个以上），接着将相似度值按从大到小的顺序排序，取似度值按最大值为当前持证人与证件照的匹配相似度值。

步骤6，判断得到的若相似度值是否大于设定阈值，若是，则验证成功，表示人证一致；否则验证失败，表示该证件的当前持有人非其合法持有人。

该步骤将步骤5中得到的相似度值与阈值比较，如果大于设定阈值，则表示验证成功，该证件的合法持有人与当前持证人一致；否则表示验证不成功，该证件的合法持有人与当前持证人一致，不予办理该业务。

本发明主要解决了人脸验证中低分辨率人脸图像特征点精确定位、稳定识别特征选取的关键问题，所选取的特征具有相对稳定性，识别结果基本不受眼镜、眉毛等遮挡物的影响，尤其适用于自助设备的人脸验证，也可用于门禁系统的人脸验证，还可应用于飞机场或火车站的监控系统。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (3)

1.一种基于证件照与采集照的人脸比对认证方法，其特征在于：包括：

A、采集真实人脸图像，并输入待验证的证件照；

B、训练代表人脸显著特征的网状结构模型；

C、根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；

D、根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化，从而得到证件照与真实人脸图像的标准化特征；

E、将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；

F、根据得到的匹配相似度值判断人证是否一致；

所述步骤A，其具体为：

在识读设备的前端，从采集的人脸图像中截取并保存满足预设条件的图像作为真实人脸图像；在识读设备的后端，直接录入证件芯片内包含人脸的图像作为待验证的证件照；

所述步骤C，其包括：

C1、采用基于Haar特征的Adaboost方法对证件照与真实人脸图像进行检测，从而得到人脸定位区域；

C2、在得到的人脸定位区域中，采用ASM方法或AAM方法对证件照与真实人脸图像的人脸进行精确拟合，从而得到人脸轮廓特征点和易受遮挡的关键特征点；

C3、从人脸轮廓特征点和易受遮挡的关键特征点中选取不易受外部影响的特征点作为比对特征点；

所述步骤E，其包括：

E1、将证件照的标准化特征与当前多张真实人脸图像的标准化特征进行一一比对，从而得到当前每张真实人脸图像与证件照的人脸匹配相似度值；

E2、将得到的人脸匹配相似度值按从大到小的顺序进行排序，并选取人脸匹配相似度值的最大值作为当前持证人与证件照的匹配相似度值；

所述步骤F，其具体为：

判断得到的当前持证人与证件照的匹配相似度值是否大于预设的匹配阈值，若是，则表示验证成功，该证件的合法持有人与当前持有人一致；反之，则表示验证失败，该证件的合法持有人与当前持有人不一致。

2.根据权利要求1所述的一种基于证件照与采集照的人脸比对认证方法，其特征在于：所述待验证的证件照为身份证照、工作证照、门禁采集照和普通人脸照片中的任意一种。

3.一种基于证件照与采集照的人脸比对认证系统，其特征在于包括：

采集与输入模块，用于采集真实人脸图像，并输入待验证的证件照；

模型训练模块，用于训练代表人脸显著特征的网状结构模型；

特征点精确定位模块，用于根据训练的网状结构模型，采用基于局部梯度特征和纹理约束形状的算法，对证件照与真实人脸图像的关键特征点进行精确定位，并选取不易受外部影响的关键特征点作为比对特征点；

标准化模块，用于根据比对特征点的相对位置信息，对证件照与真实人脸图像进行标准化，从而得到证件照与真实人脸图像的标准化特征；

比对模块，用于将证件照的标准化特征与真实人脸图像的标准化特征进行一一比对，从而得到当前持证人与证件照的匹配相似度值；

判断模块，用于根据得到的匹配相似度值判断人证是否一致；

所述采集与输入模块的输出端依次通过模型训练模块、特征点精确定位模块和比对模块进而与判断模块的输入端连接；

所述特征点精确定位模块，其包括：

检测单元，用于采用基于Haar特征的Adaboost方法对证件照与真实人脸图像进行检测，从而得到人脸定位区域；

拟合单元，用于在得到的人脸定位区域中，采用ASM方法或AAM方法对证件照与真实人脸图像的人脸进行精确拟合，从而得到人脸轮廓特征点和易受遮挡的关键特征点；

比对特征点选取单元，用于从人脸轮廓特征点和易受遮挡的关键特征点中选取不易受外部影响的特征点作为比对特征点；

所述检测单元的输入端与训练模块的输出端连接，所述检测单元的输出端通过拟合单元进而与比对特征点选取单元的输入端连接，所述比对特征点选取单元的输出端与标准化模块的输入端连接；

所述比对模块，其包括：

比对单元，用于将证件照的标准化特征与当前多张真实人脸图像的标准化特征进行一一比对，从而得到当前每张真实人脸图像与证件照的人脸匹配相似度值；排序与选取单元，用于将得到的人脸匹配相似度值按从大到小的顺序进行排序，并选取人脸匹配相似度值的最大值作为当前持证人与证件照的匹配相似度值；所述比对单元的输入端与标准化模块的输出端连接，所述比对单元的输出端和排序与选取单元的输入端连接，所述排序与选取单元的输出端与判断模块的输入端连接；

所述判断模块，其具体用于：

判断得到的当前持证人与证件照的匹配相似度值是否大于预设的匹配阈值，若是，则表示验证成功，该证件的合法持有人与当前持有人一致；反之，则表示验证失败，该证件的合法持有人与当前持有人不一致。