CN114241588B - 一种自适应人脸比对方法及系统 - Google Patents

Abstract

本发明公开了一种自适应人脸比对方法及系统，包括：搜索当前人脸照与人脸特征值库中所有证照人脸特征值欧式距离最短的第一用户以及所有活体照人脸特征值欧式距离最短的第二用户；获取第一用户或第二用户的证照和活体照与当前人脸照的第一时间距离或第二时间距离，并计算第一时间权重或第二时间权重；计算当前人脸照与该用户证件照和活体照的第一时间权重欧式距离或第二时间权重欧式距离，并选择小于阈值中最小的权重欧式距离所对应的第一用户或第二用户作为当前人脸照的搜索结果。本发明采用时间距离作为权重计算人脸特征值欧式距离，提高了比对准确性；采用两轮搜索进行人脸特征值欧式距离比对，保障搜索结果一致性。

Description

一种自适应人脸比对方法及系统

技术领域

本发明涉及人脸识别技术领域，具体涉及一种自适应人脸比对方法及系统。

背景技术

当前，人脸识别技术普遍采用神经网络Facenet模型提取512维的人脸特征，在最后一层用传统机器学习的KNN（k-近邻算法）模型比对人脸特征，从而实现人脸识别。Facenet是Google提出的一个用于人脸识别的深度卷积神经网络，其具体模型其实是一个类似于Inception Net的CNN模型，只是其最后一层不是通过传统的Softmax layer来训练，而是通过提取512维的人脸特征用Triplet Loss来训练。

利用上述人脸特征提取算法，可进一步进行人脸比对。人脸比对算法的输入是两个人脸特征（注：人脸特征由上述的人脸特征提取算法获得），输出是两个特征之间的相似度；人脸验证、人脸识别、人脸检索都是在人脸比对的基础上加一些策略来实现。

在人脸比对中，通常采用欧氏距离和余弦距离来衡量人脸特征的差异来表征人脸相似度，当差异小于阈值，判别为同一个人；当前，该技术已普遍应用于智能楼宇门禁系统，并在银行用户开户业务进行试点。

现有人脸相似度比对算法，在应用于银行用户远程开户场景中，通过证件（如身份证）采集、活体检测，实现人证核验，完成开户；同时，银行将保存证件照和活体照的人脸特征值至人脸特征值库。但，在后续银行开展业务时将面临如下场景：

1.当用户下次使用另一个不同的证照（如护照），则需要搜索上述人脸特征值库，查询该用户是否曾经已成功开过户；

2.当用户用手机银行进行支付、转账等业务使用人脸校验，则需要比对该用户当前人脸采集特征值与开户时存储的特征值。

针对以上应用场景，现有的方法是将当前采集的人脸特征值与已存储的证照人脸或活体检测人脸特征值做比对；但是由于证件照与活体检测拍照的时间间隔较长，存在另一个证件中的人脸照片与哪一个相似度更接近的问题；

如果将当前采集的人脸特征值分别与已存储的证照人脸和活体检测人脸特征值做比对，则存在结果不一致问题，即第一轮搜索证件照，得到距离最接近的人脸，与第二轮搜索活体照得到的人脸，不能确保是同一人。

以上两种比对方法，都不适合于银行业务中人脸支付和转账交易场景。

发明内容

针对现有技术中存在的上述问题，本发明提供一种自适应人脸比对方法及系统，可有效消除证件照和活体照差异造成的搜索结果一致性的缺陷。

本发明公开了一种自适应人脸比对方法，包括：

采集证件或活体照片的当前人脸照，并获取当前人脸照特征值；

搜索当前人脸照与人脸特征值库中所有证照人脸特征值欧式距离最短的第一用户；

获取所述第一用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第一时间距离；

基于所述第一时间距离，计算第一时间权重；

基于当前人脸照特征值、第一用户证照人脸特征值、活体照人脸特征值和第一时间权重，计算当前人脸照与该用户证件照和活体照的第一时间权重欧式距离；

搜索当前人脸照与人脸特征值库中所有活体照人脸特征值欧式距离最短的第二用户；

若第二用户与第一用户不为同一用户，则获取所述第二用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第二时间距离；

基于所述第二时间距离，计算第二时间权重；

基于当前人脸照特征值、第二用户证照人脸特征值、活体照人脸特征值和第二时间权重，计算当前人脸照与该用户证件照和活体照的第二时间权重欧式距离；

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离小于预设阈值，则将该欧式距离对应的第一用户或第二用户作为当前人脸照的搜索结果。

作为本发明的进一步改进，还包括：

若第二用户与第一用户为同一用户，则直接判断第一时间权重欧式距离是否小于预设阈值；

若小于预设阈值，则将第一用户作为当前人脸照的搜索结果。

作为本发明的进一步改进，还包括：

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离不小于预设阈值，则输出无匹配结果。

作为本发明的进一步改进，

所述第一时间距离

的计算公式为：

式中，

为当前人脸照采集时间，

为第一用户的证照发布日期，

为第一用户的活体照采集日期；

所述第二时间距离

的计算公式为：

式中，

为第二用户的证照发布日期，

为第二用户的活体照采集日期。

作为本发明的进一步改进，

所述第一时间权重的计算公式为：

所述第二时间权重的计算公式为：

式中，

为第一时间权重，

为第二时间权重。

作为本发明的进一步改进，

所述第一时间权重欧式距离

的计算公式为：

式中，

为当前人脸照的特征值，

为第一用户证照人脸特征值，

为第一用户活体照人脸特征值，n为特征数，

为当前人脸照与第一用户证件照的欧式距离，

为当前人脸照与第一用户活体照的欧式距离；

所述第二时间权重欧式距离

的计算公式为：

式中，

为第二用户证照人脸特征值，

为第二用户活体照人脸特征值，n为特征数，

为当前人脸照与第二用户证件照的欧式距离，

为当前人脸照与第二用户活体照的欧式距离。

作为本发明的进一步改进，所述阈值为1.4。

本发明公开了一种自适应人脸比对系统，包括：

采集模块，用于：

采集证件或活体照片的当前人脸照，并获取当前人脸照特征值；

搜索模块，用于：

搜索当前人脸照与人脸特征值库中所有证照人脸特征值欧式距离最短的第一用户；

搜索当前人脸照与人脸特征值库中所有活体照人脸特征值欧式距离最短的第二用户；

时间距离计算模块，用于：

获取所述第一用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第一时间距离；

若第二用户与第一用户不为同一用户，则获取所述第二用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第二时间距离；

时间权重计算模块，用于：

基于所述第一时间距离，计算第一时间权重；

基于所述第二时间距离，计算第二时间权重；

欧式距离计算模块，用于：

基于当前人脸照特征值、第一用户证照人脸特征值、活体照人脸特征值和第一时间权重，计算当前人脸照与该用户证件照和活体照的第一时间权重欧式距离；

基于当前人脸照特征值、第二用户证照人脸特征值、活体照人脸特征值和第二时间权重，计算当前人脸照与该用户证件照和活体照的第二时间权重欧式距离；

判断模块，用于：

判断第二用户与第一用户是否同一用户；

比较第一时间权重欧式距离、第二时间权重欧式距离与阈值；

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离小于预设阈值，则将该欧式距离对应的第一用户或第二用户作为当前人脸照的搜索结果。

作为本发明的进一步改进，所述判断模块，还用于：

若第二用户与第一用户为同一用户，则直接判断第一时间权重欧式距离是否小于预设阈值；若小于预设阈值，则将第一用户作为当前人脸照的搜索结果。

作为本发明的进一步改进，所述判断模块，还用于：

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离不小于预设阈值，则输出无匹配结果。

与现有技术相比，本发明的有益效果为：

本发明采用时间距离作为权重计算人脸特征值欧式距离，自适应时间间隔对比对结果的影响，提高了比对准确性；

本发明采用两轮搜索进行人脸特征值欧式距离比对，保障搜索结果一致性。

附图说明

图1为本发明一种实施例公开的自适应人脸比对方法的流程图；

图2为本发明一种实施例公开的自适应人脸比对系统的框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1所示，本发明提供一种自适应人脸比对方法，包括：

步骤1、采集证件或活体照片的当前人脸照，并获取当前人脸照特征值。

步骤2、搜索当前人脸照与人脸特征值库中所有证照人脸特征值欧式距离最短的第一用户；其中，

人脸特征值库中存储有多组证照、活体照以及各自的人脸特征值；

采用向量数据对人脸特征进行存储，使用Navigable-Small-World-Graph（ NSW）搜索算法，实现第一用户的搜索。

步骤3、获取第一用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第一时间距离；其中，

第一时间距离

的计算公式为：

式中，

为当前人脸照采集时间，

为第一用户的证照发布日期，

为第一用户的活体照采集日期。

步骤4、基于第一时间距离，计算第一时间权重；其中，

第一时间权重

的计算公式为：

步骤5、基于当前人脸照特征值、第一用户证照人脸特征值、活体照人脸特征值和第一时间权重，计算当前人脸照与第一用户证件照和活体照的第一时间权重欧式距离；其中，

第一时间权重欧式距离

的计算公式为：

式中，

为当前人脸照的特征值，

为第一用户证照人脸特征值，

为第一用户活体照人脸特征值，n为特征数，

为当前人脸照与第一用户证件照的欧式距离，

为当前人脸照与第一用户活体照的欧式距离；

步骤6、采用与步骤2相同的方法，搜索当前人脸照与人脸特征值库中所有活体照人脸特征值欧式距离最短的第二用户；

步骤7、判断第二用户与第一用户是否为同一用户；

若为同一用户，则无需采用与步骤3~步骤5相同的方法计算当前人脸照与第二用户证件照和活体照的第二时间权重欧式距离，直接跳至步骤11；

步骤8、若第二用户与第一用户不为同一用户，则获取第二用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第二时间距离；其中，

第二时间距离

的计算公式为：

式中，

为第二用户的证照发布日期，

为第二用户的活体照采集日期。

步骤9、基于第二时间距离，计算第二时间权重；其中，

第二时间权重

的计算公式为：

步骤10、基于当前人脸照特征值、第二用户证照人脸特征值、活体照人脸特征值和第二时间权重，计算当前人脸照与第二用户证件照和活体照的第二时间权重欧式距离；其中，

第二时间权重欧式距离

的计算公式为：

式中，

为第二用户证照人脸特征值，

为第二用户活体照人脸特征值，n为特征数，

为当前人脸照与第二用户证件照的欧式距离，

为当前人脸照与第二用户活体照的欧式距离。

步骤11、比较第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离是否小于预设阈值，优选预设阈值取1.4：

若第一时间权重欧式距离为最小的欧式距离且小于阈值，则将第一用户作为当前人脸照的搜索结果；

若第二时间权重欧式距离为最小的欧式距离且小于阈值，则将第二用户作为当前人脸照的搜索结果；

若最小的欧式距离不小于阈值，则输出无匹配结果；

若第二用户与第一用户为同一用户，则当该用户的时间权重欧式距离小于阈值时，输出该用户作为当前人脸照的搜索结果；当该用户的时间权重欧式距离不小于阈值时，则输出无匹配结果；

具体判断过程为：

式中，

为确定加权距离最小的用户为相似度最高的用户，

为两轮时间权重欧式距离最小值，

分别为第一用户、第二用户。

如图2所示，本发明提供一种自适应人脸比对系统，包括：

采集模块，用于实现上述步骤1；

搜索模块，用于实现上述步骤2、6；

时间距离计算模块，用于实现上述步骤3、8；

时间权重计算模块，用于实现上述步骤4、9；

欧式距离计算模块，用于实现上述步骤5、10；

判断模块，用于实现上述步骤7、11。

实施例：

采集8560人的人脸和身份证照片库，每个人对应一个身份证和活体照片；用三个人进行拍照后进行搜索验证，其中两人已在库中存在身份证和活体照片，另一人未采集过相应照片；按以上方法，得到的匹配结果如表1：

表1

结论：

如果采用单一比对（只比对身份证）搜索，用户1能够匹配到正确的人脸用户信息，但用户2搜索到的人脸信息是错误的，用户3搜索比对距离超出阈值，匹配不到用户；

如果采用单一比对（只比对活体照）搜索，用户2能够匹配到正确的人脸用户信息，但用户1搜索到的人脸信息是错误的，用户3搜索到错误的匹配人脸用户。

利用该时间间隔加权比对搜索后，验证客户1和2分别搜索到了正确的人脸信息，验证客户3搜索后加权距离超出阈值

，无匹配人脸。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自适应人脸比对方法，其特征在于，包括：

采集证件或活体照片的当前人脸照，并获取当前人脸照特征值；

搜索当前人脸照与人脸特征值库中所有证照人脸特征值欧式距离最短的第一用户；

获取所述第一用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第一时间距离；

基于所述第一时间距离，计算第一时间权重；

基于当前人脸照特征值、第一用户证照人脸特征值、活体照人脸特征值和第一时间权重，计算当前人脸照与用户证件照和活体照的第一时间权重欧式距离；

搜索当前人脸照与人脸特征值库中所有活体照人脸特征值欧式距离最短的第二用户；

若第二用户与第一用户不为同一用户，则获取所述第二用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第二时间距离；

基于所述第二时间距离，计算第二时间权重；

基于当前人脸照特征值、第二用户证照人脸特征值、活体照人脸特征值和第二时间权重，计算当前人脸照与用户证件照和活体照的第二时间权重欧式距离；

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离小于预设阈值，则将该欧式距离对应的第一用户或第二用户作为当前人脸照的搜索结果。

2.如权利要求1所述的自适应人脸比对方法，其特征在于，还包括：

若第二用户与第一用户为同一用户，则直接判断第一时间权重欧式距离是否小于预设阈值；

若小于预设阈值，则将第一用户作为当前人脸照的搜索结果。

3.如权利要求1或2所述的自适应人脸比对方法，其特征在于，还包括：

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离不小于预设阈值，则输出无匹配结果。

4.如权利要求1所述的自适应人脸比对方法，其特征在于，

所述第一时间距离

的计算公式为：

式中，

为当前人脸照采集时间，

为第一用户的证照发布日期，

为第一用户的活体照采集日期；

所述第二时间距离

的计算公式为：

式中，

为第二用户的证照发布日期，

为第二用户的活体照采集日期。

5.如权利要求4所述的自适应人脸比对方法，其特征在于，

所述第一时间权重的计算公式为：

所述第二时间权重的计算公式为：

式中，

为第一时间权重，

为第二时间权重。

6.如权利要求5所述的自适应人脸比对方法，其特征在于，

所述第一时间权重欧式距离

的计算公式为：

式中，

为当前人脸照的特征值，

为第一用户证照人脸特征值，

为第一用户活体照人脸特征值，n为特征数，

为当前人脸照与第一用户证件照的欧式距离，

为当前人脸照与第一用户活体照的欧式距离；

所述第二时间权重欧式距离

的计算公式为：

式中，

为第二用户证照人脸特征值，

为第二用户活体照人脸特征值，n为特征数，

为当前人脸照与第二用户证件照的欧式距离，

为当前人脸照与第二用户活体照的欧式距离。

7.如权利要求1所述的自适应人脸比对方法，其特征在于，所述阈值为1.4。

8.一种自适应人脸比对系统，用于实现如权利要求1~7中任一项所述的自适应人脸比对方法，其特征在于，包括：

采集模块，用于：

采集证件或活体照片的当前人脸照，并获取当前人脸照特征值；

搜索模块，用于：

搜索当前人脸照与人脸特征值库中所有证照人脸特征值欧式距离最短的第一用户；

搜索当前人脸照与人脸特征值库中所有活体照人脸特征值欧式距离最短的第二用户；

时间距离计算模块，用于：

获取所述第一用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第一时间距离；

若第二用户与第一用户不为同一用户，则获取所述第二用户的证照发布日期和活体照采集日期，并分别计算证照和活体照与当前人脸照的第二时间距离；

时间权重计算模块，用于：

基于所述第一时间距离，计算第一时间权重；

基于所述第二时间距离，计算第二时间权重；

欧式距离计算模块，用于：

基于当前人脸照特征值、第一用户证照人脸特征值、活体照人脸特征值和第一时间权重，计算当前人脸照与用户证件照和活体照的第一时间权重欧式距离；

基于当前人脸照特征值、第二用户证照人脸特征值、活体照人脸特征值和第二时间权重，计算当前人脸照与用户证件照和活体照的第二时间权重欧式距离；

判断模块，用于：

判断第二用户与第一用户是否同一用户；

比较第一时间权重欧式距离、第二时间权重欧式距离与阈值；

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离小于预设阈值，则将该欧式距离对应的第一用户或第二用户作为当前人脸照的搜索结果。

9.如权利要求8所述的自适应人脸比对系统，其特征在于，所述判断模块，还用于：

若第二用户与第一用户为同一用户，则直接判断第一时间权重欧式距离是否小于预设阈值；若小于预设阈值，则将第一用户作为当前人脸照的搜索结果。

10.如权利要求8或9所述的自适应人脸比对系统，其特征在于，所述判断模块，还用于：

若第一时间权重欧式距离与第二时间权重欧式距离中最小的欧式距离不小于预设阈值，则输出无匹配结果。

Images