CN111985360A - 一种人脸识别的方法、装置、设备和介质 - Google Patents

Abstract

本申请公开了一种人脸识别的方法、装置、设备和介质，属于人工智能技术领域，该方法包括，基于接收的针对待识别图像的人脸识别请求，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；判断最大相似度是否不低于第一预设阈值，若是，则根据最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；若有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为待识别图像的匹配图像，根据匹配图像对应设置的用户身份信息，获得人脸识别结果。这样，提高了戴口罩人脸图像的人脸识别准确度。

Description

一种人脸识别的方法、装置、设备和介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种人脸识别的方法、装置、设备和介质。

背景技术

现有技术下，通常采用人脸匹配的方式，确定用户的身份。如，用户支付时可以通过刷脸的方式，进行人脸识别以及支付。

但是，随着人们安全防护意识的增强，人们通常需要在特殊的场合或特殊时期佩戴口罩，导致人脸面部被部分遮挡，这使得人脸识别的精确度较低。

由此，需要一种人脸识别的技术方案，在对人脸面部被部分遮挡的用户进行人脸识别时，提高人脸识别的精确度。

发明内容

本申请实施例提供一种人脸识别的方法、装置、设备和介质，用以在对人脸面部被部分遮挡的用户进行人脸识别时，提高人脸识别的精确度。

一方面，提供一种人脸识别的方法，包括：

基于接收的针对待识别图像的人脸识别请求，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；

判断最大相似度是否不低于第一预设阈值，若是，则根据最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；

若有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为待识别图像的匹配图像，其中，第二预设阈值高于第一预设阈值；

根据匹配图像对应设置的用户身份信息，获得人脸识别结果。

较佳的，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度，包括：

提取待识别图像的人脸特征向量，并获取无口罩图像集合中的多个无口罩图像子集合中心向量；

确定待识别图像的人脸特征向量分别与每一无口罩图像子集合中心向量之间的第一相似度；

将各第一相似度中的最大相似度对应的无口罩图像子集合中心向量，作为待识别图像对应的第一匹配特征向量；

获取第一匹配特征向量对应设置的无口罩图像子集合，无口罩图像子集合中是将无口罩图像集合中的各人脸图像样本聚类划分后获得的，无口罩图像子集合中心向量是根据无口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的无口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第二相似度；

将各第二相似度中的最大相似度，确定为待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

较佳的，确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度，包括：

提取待识别图像的人脸特征向量，并获取有口罩图像集合中的多个有口罩图像子集合中心向量；

确定待识别图像的人脸特征向量，分别与每一有口罩图像子集合中心向量之间的第三相似度；

将各第三相似度中的最大相似度对应的有口罩图像子集合中心向量，作为待识别图像的第二匹配特征向量；

获取第二匹配特征向量对应设置的有口罩图像子集合，有口罩图像子集合是将有口罩图像集合中的各人脸图像样本划分后获得的，有口罩图像子集合中心向量是根据有口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的有口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第四相似度；

将各第四相似度中的最大相似度，确定为待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度。

较佳的，进一步包括：

当待识别图像与匹配图像之间的相似度高于第三预设阈值时，将待识别图像添加到匹配图像对应的有口罩图像子集合中；

根据更新后的有口罩图像子集合，对相应的有口罩图像子集合中心向量进行更新。

较佳的，提取待识别图像的人脸特征向量，包括：

对待识别图像进行人脸检测；

当确定人脸检测通过时，提取待识别图像的人脸关键点信息和人脸位置信息；

将人脸关键点信息和人脸位置信息，输入至预设的人脸识别模型，获得待识别图像的人脸特征向量。

较佳的，根据匹配图像对应设置的用户身份信息，获得人脸识别结果，包括：

若匹配图像为多个，则从无口罩图像集合中，分别获取每一匹配图像对应的人脸图像样本，其中，无口罩图像集合中的人脸图像样本和有口罩图像集合中的人脸图像样本之间的对应关系是根据人脸图像样本对应设置的用户身份信息确定的；

确定待识别图像与各匹配图像对应的人脸图像样本之间的最大相似度；

根据确定出的最大相似度对应的人脸图像样本，获得人脸识别结果。

一方面，提供一种人脸识别的装置，包括：

确定单元，用于基于接收的针对待识别图像的人脸识别请求，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；

判断单元，用于判断最大相似度是否不低于第一预设阈值，若是，则根据最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；

匹配单元，用于若有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为待识别图像的匹配图像，其中，第二预设阈值高于第一预设阈值；

获得单元，用于根据匹配图像对应设置的用户身份信息，获得人脸识别结果。

较佳的，确定单元用于：

提取待识别图像的人脸特征向量，并获取无口罩图像集合中的多个无口罩图像子集合中心向量；

确定待识别图像的人脸特征向量分别与每一无口罩图像子集合中心向量之间的第一相似度；

将各第一相似度中的最大相似度对应的无口罩图像子集合中心向量，作为待识别图像对应的第一匹配特征向量；

获取第一匹配特征向量对应设置的无口罩图像子集合，无口罩图像子集合中是将无口罩图像集合中的各人脸图像样本聚类划分后获得的，无口罩图像子集合中心向量是根据无口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的无口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第二相似度；

将各第二相似度中的最大相似度，确定为待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

较佳的，判断单元用于：

提取待识别图像的人脸特征向量，并获取有口罩图像集合中的多个有口罩图像子集合中心向量；

确定待识别图像的人脸特征向量，分别与每一有口罩图像子集合中心向量之间的第三相似度；

将各第三相似度中的最大相似度对应的有口罩图像子集合中心向量，作为待识别图像的第二匹配特征向量；

获取第二匹配特征向量对应设置的有口罩图像子集合，有口罩图像子集合是将有口罩图像集合中的各人脸图像样本划分后获得的，有口罩图像子集合中心向量是根据有口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的有口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第四相似度；

将各第四相似度中的最大相似度，确定为待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度。

较佳的，获得单元还用于：

当待识别图像与匹配图像之间的相似度高于第三预设阈值时，将待识别图像添加到匹配图像对应的有口罩图像子集合中；

根据更新后的有口罩图像子集合，对相应的有口罩图像子集合中心向量进行更新。

较佳的，确定单元用于：

对待识别图像进行人脸检测；

当确定人脸检测通过时，提取待识别图像的人脸关键点信息和人脸位置信息；

将人脸关键点信息和人脸位置信息，输入至预设的人脸识别模型，获得待识别图像的人脸特征向量。

较佳的，获得单元用于：

若匹配图像为多个，则从无口罩图像集合中，分别获取每一匹配图像对应的人脸图像样本，其中，无口罩图像集合中的人脸图像样本和有口罩图像集合中的人脸图像样本之间的对应关系是根据人脸图像样本对应设置的用户身份信息确定的；

确定待识别图像与各匹配图像对应的人脸图像样本之间的最大相似度；

根据确定出的最大相似度对应的人脸图像样本，获得人脸识别结果。

一方面，提供一种控制设备，包括：

至少一个存储器，用于存储程序指令；

至少一个处理器，用于调用存储器中存储的程序指令，按照获得的程序指令执行上述任一种人脸识别的方法的步骤。

一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种人脸识别的方法的步骤。

本申请实施例提供的一种人脸识别的方法、装置、设备和介质中，基于接收的针对待识别图像的人脸识别请求，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；判断最大相似度是否不低于第一预设阈值，若是，则根据最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；若有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为待识别图像的匹配图像，其中，第二预设阈值高于第一预设阈值；根据匹配图像对应设置的用户身份信息，获得人脸识别结果。这样，将无口罩图像集合和有口罩图像集合相结合，从而可以在对人脸面部被部分遮挡的用户进行人脸识别时，也能获得准确的人脸识别结果。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例方式中一种人脸识别的方法的实施流程图；

图2为本申请实施例方式中一种待识别图像的示例图；

图3为本申请实施例方式中一种图像匹配流程的示意图；

图4为本申请实施例方式中一种人脸识别的装置的结构示意图；

图5为本申请实施例方式中一种控制设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。

终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。

服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。

在对面部被部分遮挡的用户进行人脸识别时，提高人脸识别的精确度，本申请实施例提供了一种人脸识别的方法、装置、设备和介质。

本申请实施例中，执行主体可以为控制设备，主要应用于戴口罩用户的人脸识别，应用场景可以为手机人脸识别、刷脸支付识别以及门禁人脸识别等。

参阅图1所示，为本申请提供的一种人脸识别的方法的实施流程图。该方法的具体实施流程如下：

步骤100：控制设备接收针对待识别图像的人脸识别请求。

具体的，待识别图像可以是控制设备从其它设备接收的，也可以是控制设备本地存储的，还可以是控制设备实时拍摄获得的。待识别图像可以是单独的一张图像，也可以是从视频中提取的视频帧。

人脸识别请求可以是其他设备发送至控制设备的，也可以是用户通过控制设备呈现的应用交互页面下发的，还可以是确定检测到人脸时触发的。

一种实施方式中，控制设备对拍摄的图像进行人脸检测，确定存在人脸时，触发针对当前拍摄的图像的人脸识别请求。

例如，用户通过支付设备进行刷脸支付时，用户靠近支付设备中的图像采集装置。支付设备对实时采集的图像进行人脸检测，当确定在采集的图像中检测到人脸时，触发针对该图像的人脸识别请求。

一种实施方式中，控制设备分别对视频中的每一视频帧进行人脸检测，并根据人脸检测结果，触发针对检测到人脸的视频帧的人脸识别请求。

进一步地，也可以将采集的所有图像均作为待识别图像，从而在后续的步骤中，再进行人脸检测，在此不做限制。

可选的，控制设备可以为终端设备，也可以为服务器。

这样，就可以获取需要人脸识别的待识别图像。

步骤101：控制设备提取待识别图像的人脸特征向量。

具体的，执行步骤101时，可以采用以下步骤：

S1011：控制设备对待识别图像进行人脸检测；

一种实施方式中，控制设备对待识别图像进行人脸检测，获得表征是否检测到人脸的检测结果。

需要说明的是，由于待识别图像中可能仅包含一个人像，也可能包含多个人像，因此，从待识别图像中可能检测到一个人脸，也可能检测到多个人脸。

例如，参阅图2所示，为一种待识别图像的示例图。控制设备对图2进行人脸检测，获得包含人脸的检测结果。

这样，就可以初步判断待识别图像中是否存在人脸，以便在后续步骤中提取人脸图像特征。

S1012：当检测结果表示待识别图像中包含人脸时，控制设备对待识别图像中包含人脸进行特征提取，获得人脸特征向量。

具体的，当检测结果表示待识别图像中包含人脸时，确定各指定关键点的坐标，并根据各指定关键点的坐标，获得人脸轮廓范围，以及针对人脸轮廓范围内的局部图像，通过预设的人脸特征提取模型，提取人脸特征向量。

其中，执行S1012之前，控制设备预先设置指定关键点，如，额头，耳朵，下巴等，实际应用中，指定关键点可以根据实际应用场景进行设置，在此不再赘述。

需要说明的是，若待识别图像中的人脸被口罩部分遮挡，则提取包含口罩的人脸特征向量。

可选的，人脸特征向量提取时，可以采用以下表达式：

f＝REC(P)；

其中，f为人脸特征向量，P为图像。REC为人脸特征提取模型。

一种实施方式中，控制设备通过多任务卷积神经网络(Multi-taskconvolutional neural network，MTCNN)模型进行人脸检测和关键点定位，并使用人脸网络(FaceNet)模型(即人脸特征提取模型)提取人脸特征向量。

这样，就可以提取待识别图像中的人脸特征向量。

步骤102：控制设备根据待识别图像的人脸特征向量，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

具体的，执行步骤102时，可以采用以下步骤：

S1021：控制设备获取无口罩图像集合中的多个无口罩图像子集合中心向量。

具体的，执行S1021之前，控制设备预先将无口罩图像集合中的各人脸图像样本聚类划分，获得无口罩图像子集合，并根据无口罩图像子集合中的各人脸图像样本确定无口罩图像子集合中心向量。

其中，确定无口罩图像子集合时，可以采用以下步骤：

分别提取每一人脸图像样本的人脸特征向量，并分别确定每两个人脸特征向量之间的相似度，以及根据各相似度，将各人脸图像样本进行聚类划分，获得多个无口罩图像子集合。

其中，相似度通常是根据向量距离或者余弦相似度确定的。

可选的，相似度算法可以为：皮尔逊相关系数，欧几里德距离，曼哈顿距离，马氏距离以及兰氏距离等。实际应用中，相似度算法还可以根据实际应用场景进行设置，在此不作限制。

一种实施方式中，确定相似度时，可以采用以下表达式：

其中，score(f1，f2)为相似度，阈值为[0，1]，f1为待识别图像的人脸特征向量，f2为人脸图像样本的人脸样本向量，θ为向量角度。

其中，相似度越接近1，说明两者的人脸特征越相似。

这样，就可以确定待识别图像分别与每一图像样本之间的相似度。

其中，确定无口罩图像子集合中心向量时，分别针对每一无口罩图像子集合，执行以下步骤：

针对无口罩图像子集合中的各人脸图像样本对应的人脸特征向量，对各人脸特征向量进行均值处理，获得处理后的无口罩图像子集合向量。

其中，均值处理，可以采用平均值，方差以及标准差等方式，在此不作限制。

也就是说，分别针对各向量中的每一元素位置，执行以下步骤：计算各向量中的同一元素位置的元素的平均值，均差或者方差。

这样，就可以根据每一元素位置对应的计算结果，组成音频中心向量。

例如，假设一个无口罩图像子集合中包含向量1和向量2，向量1为{1，9，3}，向量2为{9，1，7}，则采用平均值的方式，获得无口罩图像子集合中心向量为{5，5，5}。

这样，就可以将无口罩图像集合中的各人脸图像样本进行聚类划分，从而将相似的人脸图像样本聚在一起，将不相似的人脸图像样本分开，以及分别对应每一无口罩图像子集合，设置相应的无口罩图像子集合中心向量。

进一步地，无口罩图像集合还可以为各人脸图像样本的人脸特征向量的集合，或者，将人脸图像样本和相应的人脸特征向量关联存储后，构成无口罩图像集合。

也就是说，无口罩图像集合可以为人脸图像样本的集合，也可以为人脸特征向量的集合，还可以为上述两者的集合。

S1022：控制设备确定待识别图像的人脸特征向量分别与每一无口罩图像子集合中心向量之间的第一相似度。

具体的，确定第一相似度时，详细步骤可以参见S1021。

S1023：控制设备将各第一相似度中的最大相似度对应的无口罩图像子集合中心向量，作为待识别图像对应的第一匹配特征向量。

具体的，控制设备确定各第一相似度中的最大相似度，并将最大相似度对应的无口罩图像子集合中心向量，确定为与待识别图像匹配的向量。

进一步地，若最大相似度低于预设相似度阈值，则判定不存在匹配的向量，输出表征人脸识别失败的人脸识别结果。

其中，预设相似度阈值取值范围为[0,1]，实际应用中，预设相似度阈值可以根据实际应用场景进行设置，在此不作限制。

S1024：控制设备获第一匹配特征向量对应设置的无口罩图像子集合。

S1025：控制设备确定待识别图像的人脸特征向量，分别与确定出的无口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第二相似度。

具体的，控制设备在确定出的无口罩图像子集合中，确定待识别图像的人脸特征向量，分别与每一人脸图像样本的人脸特征向量之间的第二相似度。

S1026：控制设备将各第二相似度中的最大相似度，确定为待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

具体的，控制设备确定各第二相似度中的最大相似度，并将该最大相似度确定为待识别图像与无口罩图像集合之间的最大相似度。

参阅图3所示，为一种图像匹配流程的示意图。待识别图像通过无口罩图像子集合中心向量，确定匹配的无口罩图像子集合，进而在确定出的无口罩图像子集合中确定匹配的人脸图像样本。

这样，就可以通过各无口罩图像子集合中心向量，筛选出待识别图像匹配的无口罩图像子集合，从而初步筛选出与待识别图像匹配的人脸图像样本，进而只需要在无口罩图像子集合中进行图像匹配即可，而不需要与所有人脸图像样本中进行匹配的繁琐步骤，提高了图像匹配效率。

步骤103：控制设备判断最大相似度是否不低于第一预设阈值，若是，则执行步骤104，否则，执行步骤105。

具体的，第一预设阈值的取值范围为[0,1]，可以根据实际应用场景进行设置，如，0.8，在此不作限制。

步骤104：控制设备根据最大相似度对应的人脸图像样本，确定人脸识别结果。

具体的，当最大相似度不低于第一预设阈值时，控制设备将最大相似度对应的人脸图像样本，确定为待识别图像的匹配图像，并将该匹配图像对应设置的用户身份信息，获得人脸识别结果。

这样，当无口罩图像集合中，存在匹配的人脸图像样本时，就可以根据无口罩图像集合，识别出用户身份。

步骤105：控制设备确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度。

具体的，执行步骤105时，可以采用以下步骤：

S1051：控制设备提取待识别图像的人脸特征向量，并获取有口罩图像集合中的多个有口罩图像子集合中心向量。

需要说明的是，控制设备预先创建不同图像类型的图像集合。图像集合的数量为多个，不同的图像集合对应的图像类型不同。图像集合中包含可以包含人脸图像样本和/或人脸图像样本的人脸特征向量，还可以包含用户身份信息。

图像类型可以包括：戴口罩人脸图像，无口罩人脸图像。

其中，无口罩图像集合中的人脸图像样本的图像类型为无口罩人脸图像，即针对未戴口罩的用户采集的图像。有口罩图像集合中的人脸图像样本的图像类型为有口罩图像，即针对戴口罩的用户采集的图像。

进一步地，还可以根据图像采集时间，将无口罩图像集合划分为注册图像集合和近照图像集合。注册图像集合中的人脸图像为用户注册时采集的图像，近照图像集合为用户在最近指定时间段内采集的图像。每一次根据无口罩图像集合进行人脸识别后，若人脸识别成功，则将该次识别时采集的待识别图像添加到近照图像集合中，或者将该待识别图像替换近照图像集合中对应的人脸图像样本。

实际应用中，指定时间段可以根据实际应用场景进行设置，如，可以为1周，在此不作限制。

一种实施方式中，先根据近照图像集合，进行人脸识别，若识别失败，再根据注册图像集合进行人脸识别。

由于近照图像集合是近期采集且使用频率较高的图像的集合，因此，可以提高人脸识别效率。

S1052：控制设备确定待识别图像的人脸特征向量，分别与每一有口罩图像子集合中心向量之间的第三相似度。

S1053：控制设备将各第三相似度中的最大相似度对应的有口罩图像子集合中心向量，作为待识别图像的第二匹配特征向量。

S1054：控制设备获取第二匹配特征向量对应设置的有口罩图像子集合。

其中，有口罩图像子集合是将所述有口罩图像集合中的各人脸图像样本划分后获得的。有口罩图像子集合中心向量是根据有口罩图像子集合中的各人脸图像样本确定的。

S1054：控制设备确定待识别图像的人脸特征向量，分别与确定出的有口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第四相似度。

S1055：将各第四相似度中的最大相似度，确定为待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度。

具体的，执行S1051-S1055时，详细步骤参见上述S1021-S1026。

这样，就可以通过各有口罩图像子集合中心向量，筛选出待识别图像匹配的有口罩图像子集合，从而初步筛选出与待识别图像匹配的人脸图像样本，进而只需要在有口罩图像子集合中进行图像匹配即可，而不需要与所有人脸图像样本中进行匹配的繁琐步骤，提高了图像匹配效率。

需要说明的是，有口罩图像子集合中心向量和无口罩图像子集合中心向量均存储与内存中，有口罩图像子集合和无口罩图像子集合均存储于外存中，这样，控制设备就可以通过内存中的有口罩图像子集合中心向量和无口罩图像子集合中心向量，迅速的检索到匹配的中心向量，以及在外存中，获取上述中心向量对应设置的口罩图像子集合或无口罩图像子集合，进而确定匹配图像，节省了耗费的内存的存储资源，还保证了图像匹配效率。

步骤106：若有口罩图像集合对应的最大相似度高于第二预设阈值，则控制设备将相应的人脸图像样本，确定为待识别图像的匹配图像。

具体的，第二预设阈值高于所述第一预设阈值。第二预设阈值的取值范围为[0,1]，实际应用中，第二预设阈值可以根据实际应用场景进行设置，在此不作限制。

由于待识别图像为采集的用户戴着口罩的图像，用户的人脸有一部分是被口罩遮挡的，因此，通过设置更高的第二预设阈值，提高对相似度的要求，从而保证人脸识别的准确度。

进一步地，若最大相似度不高于第二预设阈值，则输出表征人脸识别失败的人脸识别结果。

步骤107：控制设备根据匹配图像对应设置的用户身份信息，获得人脸识别结果。

具体的，控制设备确定匹配图像的数量，若匹配图像仅为一个，则控制设备将该匹配图像对应的用户身份信息，确定为用户的人脸识别结果。若匹配图像为多个，则控制设备根据多个匹配图像以及匹配图像在无口罩图像集合中相应的人脸图像样本，确定人脸识别结果。

其中，根据多个匹配图像以及匹配图像在无口罩图像集合中相应的人脸图像样本，确定人脸识别结果时，可以采用以下步骤：

S1071：控制设备从无口罩图像集合中，分别获取每一匹配图像对应的人脸图像样本。

具体的，无口罩图像集合中的人脸图像样本和有口罩图像集合中的人脸图像样本之间的对应关系是根据人脸图像样本对应设置的用户身份信息确定的。

执行S1071之前，控制设备分别确定每一用户对应的人脸图像样本，并建立各用户和各人脸图像样本之间的对应关系，一个用户可能对应一个人脸图像样本，也可能对应多个人脸图像样本。当用户对应多个人脸图像样本时，还建立每一用户对应的多个人脸图像样本之间的对应关系。人脸图像样本包括无口罩图像集合中的人脸图像样本，也包括有口罩图像集合中的人脸图像样本。

这样，控制设备就可以根据上述对应关系，确定匹配图像在无口罩图像集合中对应的人脸图像样本。

S1072：控制设备确定待识别图像与各匹配图像对应的人脸图像样本之间的最大相似度。

具体的，控制设备确定待识别图像，分别与每一匹配图像对应的人脸图像样本之间的相似度，并确定各相似度中的最大相似度。

S1073：控制设备根据确定出的最大相似度对应的人脸图像样本，获得人脸识别结果。

具体的，控制设备获取最大相似度对应的人脸图像样本，并将该人脸图像样本对应的用户身份信息，确定为人脸识别结果。

这样，当存在多个匹配图像时，就可以通过无口罩图像集合中的图像相似度，对匹配图像对应的用户身份信息进行筛选，从而确定人脸识别结果，提高了人脸识别的准确度。

进一步地，控制设备还可以根据确定出的待识别图像，对无口罩图像集合或有口罩图像集合进行更新。

一种实施方式中，若待识别图像的匹配图像为有口罩图像集合中的人脸图像样本，且待识别图像与匹配图像之间的相似度高于第三预设阈值，则将待识别图像添加到匹配图像对应的有口罩图像子集合中，并根据更新后的有口罩图像子集合，对相应的有口罩图像子集合中心向量进行更新。

一种实施方式中，若待识别图像的匹配图像为无口罩图像集合中的人脸图像样本，且待识别图像与匹配图像之间的相似度高于第四预设阈值，则将待识别图像添加到匹配图像对应的无口罩图像子集合中，并根据更新后的无口罩图像子集合，对相应的无口罩图像子集合中心向量进行更新。

其中，第三预设阈值和第四预设阈值的取值范围为[0,1]。实际应用中，第三预设阈值和第四预设阈值可以根据实际应用场景进行设置，在此不作限制。第三预设阈值高于第二预设阈值，第四预设阈值高于第一预设阈值。这样，只有被识别出的待识别图像与匹配图像的相似度非常高时，才将该待识别图像添加到相应的图像集合中，从而提高了后续人脸识别的准确的。

本申请实施例中，将无口罩图像集合和有口罩图像集合相结合，使得待识别图像无论是有口罩人脸图像还是无口罩人脸图像，均可以检索到匹配图像，进而识别出用户身份，以及将无口罩图像集合和有口罩图像集合聚类划分，提高了图像匹配效率，还减少了耗费的内存资源，提高了人脸识别的精确度。

基于同一发明构思，本申请实施例中还提供了一种人脸识别的装置，由于上述装置及设备解决问题的原理与一种人脸识别的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图4示，其为本申请实施例提供的一种人脸识别的装置的结构示意图。一种人脸识别的装置包括：

确定单元401，用于基于接收的针对待识别图像的人脸识别请求，确定待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；

判断单元402，用于判断最大相似度是否不低于第一预设阈值，若是，则根据最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；

匹配单元403，用于若有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为待识别图像的匹配图像，其中，第二预设阈值高于第一预设阈值；

获得单元404，用于根据匹配图像对应设置的用户身份信息，获得人脸识别结果。

较佳的，确定单元401用于：

提取待识别图像的人脸特征向量，并获取无口罩图像集合中的多个无口罩图像子集合中心向量；

确定待识别图像的人脸特征向量分别与每一无口罩图像子集合中心向量之间的第一相似度；

将各第一相似度中的最大相似度对应的无口罩图像子集合中心向量，作为待识别图像对应的第一匹配特征向量；

获取第一匹配特征向量对应设置的无口罩图像子集合，无口罩图像子集合中是将无口罩图像集合中的各人脸图像样本聚类划分后获得的，无口罩图像子集合中心向量是根据无口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的无口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第二相似度；

将各第二相似度中的最大相似度，确定为待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

较佳的，判断单元402用于：

提取待识别图像的人脸特征向量，并获取有口罩图像集合中的多个有口罩图像子集合中心向量；

确定待识别图像的人脸特征向量，分别与每一有口罩图像子集合中心向量之间的第三相似度；

将各第三相似度中的最大相似度对应的有口罩图像子集合中心向量，作为待识别图像的第二匹配特征向量；

获取第二匹配特征向量对应设置的有口罩图像子集合，有口罩图像子集合是将有口罩图像集合中的各人脸图像样本划分后获得的，有口罩图像子集合中心向量是根据有口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的有口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第四相似度；

将各第四相似度中的最大相似度，确定为待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度。

较佳的，获得单元404还用于：

当待识别图像与匹配图像之间的相似度高于第三预设阈值时，将待识别图像添加到匹配图像对应的有口罩图像子集合中；

根据更新后的有口罩图像子集合，对相应的有口罩图像子集合中心向量进行更新。

较佳的，确定单元401用于：

对待识别图像进行人脸检测；

当确定人脸检测通过时，提取待识别图像的人脸关键点信息和人脸位置信息；

将人脸关键点信息和人脸位置信息，输入至预设的人脸识别模型，获得待识别图像的人脸特征向量。

较佳的，获得单元404用于：

若匹配图像为多个，则从无口罩图像集合中，分别获取每一匹配图像对应的人脸图像样本，其中，无口罩图像集合中的人脸图像样本和有口罩图像集合中的人脸图像样本之间的对应关系是根据人脸图像样本对应设置的用户身份信息确定的；

确定待识别图像与各匹配图像对应的人脸图像样本之间的最大相似度；

根据确定出的最大相似度对应的人脸图像样本，获得人脸识别结果。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

基于上述实施例，参阅图5所示，本申请实施例中，一种控制设备的结构示意图。

本申请实施例提供了一种控制设备，该控制设备可以包括处理器510(CenterProcessing Unit，CPU)、存储器520，还可以包括输入设备530和输出设备540等，输入设备530可以包括键盘、鼠标、触摸屏等，输出设备540可以包括显示设备，如液晶显示器(LiquidCrystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器520可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器510提供存储器520中存储的程序指令和数据。在本申请实施例中，存储器520可以用于存储本申请实施例中人脸识别的程序。

处理器510通过调用存储器520存储的程序指令，处理器510用于执行图1所示的实施例提供的一种人脸识别的方法。

本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的人脸识别的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸识别的方法，其特征在于，包括：

基于接收的针对待识别图像的人脸识别请求，确定所述待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；

判断所述最大相似度是否不低于第一预设阈值，若是，则根据所述最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定所述待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；

若所述有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为所述待识别图像的匹配图像，其中，所述第二预设阈值高于所述第一预设阈值；

根据所述匹配图像对应设置的用户身份信息，获得人脸识别结果。

2.如权利要求1所述的方法，其特征在于，确定所述待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度，包括：

提取所述待识别图像的人脸特征向量，并获取所述无口罩图像集合中的多个无口罩图像子集合中心向量；

确定所述待识别图像的人脸特征向量分别与每一无口罩图像子集合中心向量之间的第一相似度；

将各第一相似度中的最大相似度对应的无口罩图像子集合中心向量，作为所述待识别图像对应的第一匹配特征向量；

获取所述第一匹配特征向量对应设置的无口罩图像子集合，所述无口罩图像子集合中是将所述无口罩图像集合中的各人脸图像样本聚类划分后获得的，所述无口罩图像子集合中心向量是根据无口罩图像子集合中的各人脸图像样本确定的；

确定所述待识别图像的人脸特征向量，分别与确定出的无口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第二相似度；

将各第二相似度中的最大相似度，确定为所述待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

3.如权利要求1所述的方法，其特征在于，确定所述待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度，包括：

提取所述待识别图像的人脸特征向量，并获取有口罩图像集合中的多个有口罩图像子集合中心向量；

确定所述待识别图像的人脸特征向量，分别与每一有口罩图像子集合中心向量之间的第三相似度；

将各第三相似度中的最大相似度对应的有口罩图像子集合中心向量，作为所述待识别图像的第二匹配特征向量；

获取所述第二匹配特征向量对应设置的有口罩图像子集合，所述有口罩图像子集合是将所述有口罩图像集合中的各人脸图像样本划分后获得的，所述有口罩图像子集合中心向量是根据有口罩图像子集合中的各人脸图像样本确定的；

确定待识别图像的人脸特征向量，分别与确定出的有口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第四相似度；

将各第四相似度中的最大相似度，确定为所述待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度。

4.如权利要求3所述的方法，其特征在于，进一步包括：

当所述待识别图像与所述匹配图像之间的相似度高于第三预设阈值时，将所述待识别图像添加到所述匹配图像对应的有口罩图像子集合中；

根据更新后的有口罩图像子集合，对相应的有口罩图像子集合中心向量进行更新。

5.如权利要求2-4任一项所述的方法，其特征在于，提取所述待识别图像的人脸特征向量，包括：

对所述待识别图像进行人脸检测；

当确定人脸检测通过时，提取所述待识别图像的人脸关键点信息和人脸位置信息；

将所述人脸关键点信息和所述人脸位置信息，输入至预设的人脸识别模型，获得所述待识别图像的人脸特征向量。

6.如权利要求2-4任一项所述的方法，其特征在于，根据所述匹配图像对应设置的用户身份信息，获得人脸识别结果，包括：

若所述匹配图像为多个，则从所述无口罩图像集合中，分别获取每一匹配图像对应的人脸图像样本，其中，无口罩图像集合中的人脸图像样本和有口罩图像集合中的人脸图像样本之间的对应关系是根据人脸图像样本对应设置的用户身份信息确定的；

确定所述待识别图像与各匹配图像对应的人脸图像样本之间的最大相似度；

根据确定出的最大相似度对应的人脸图像样本，获得人脸识别结果。

7.一种人脸识别的装置，其特征在于，包括：

确定单元，用于基于接收的针对待识别图像的人脸识别请求，确定所述待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度；

判断单元，用于判断所述最大相似度是否不低于第一预设阈值，若是，则根据所述最大相似度对应的人脸图像样本，确定人脸识别结果，否则，确定所述待识别图像与获取的有口罩图像集合中的各人脸图像样本之间的最大相似度；

匹配单元，用于若所述有口罩图像集合对应的最大相似度高于第二预设阈值，则将相应的人脸图像样本，确定为所述待识别图像的匹配图像，其中，所述第二预设阈值高于所述第一预设阈值；

获得单元，用于根据所述匹配图像对应设置的用户身份信息，获得人脸识别结果。

8.如权利要求7所述的装置，其特征在于，所述确定单元用于：

提取所述待识别图像的人脸特征向量，并获取所述无口罩图像集合中的多个无口罩图像子集合中心向量；

确定所述待识别图像的人脸特征向量分别与每一无口罩图像子集合中心向量之间的第一相似度；

将各第一相似度中的最大相似度对应的无口罩图像子集合中心向量，作为所述待识别图像对应的第一匹配特征向量；

获取所述第一匹配特征向量对应设置的无口罩图像子集合，所述无口罩图像子集合中是将所述无口罩图像集合中的各人脸图像样本聚类划分后获得的，所述无口罩图像子集合中心向量是根据无口罩图像子集合中的各人脸图像样本确定的；

确定所述待识别图像的人脸特征向量，分别与确定出的无口罩图像子集合中的每一人脸图像样本的人脸特征向量之间的第二相似度；

将各第二相似度中的最大相似度，确定为所述待识别图像与获取的无口罩图像集合中的各人脸图像样本之间的最大相似度。

9.一种控制设备，其特征在于，包括：

至少一个存储器，用于存储程序指令；

至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述权利要求1-6任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一所述方法的步骤。

Images