CN113837006A - 一种人脸识别方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种人脸识别方法、装置、存储介质及电子设备，所述方法包括采集包含人脸的面部图像并提取面部图像对应的人脸特征；在预存的若干人脸特征组中查找与人脸特征相匹配的目标人脸特征；当查找到目标人脸特征时获取面部图像的采集次数；若采集次数大于或等于预设次数阈值，则基于人脸特征确定补录人脸特征，并将补录人脸特征录入目标人脸特征对应的人脸特征组内。本实施例通过将需要通过多次对比才能识别成功的用户的识别成功的人脸特征作为补录人脸特征录入人脸特征组内，使得人脸特征组内存储有需要多次比对的外部环境下的人脸特征，这样可以增加用户在该外部环境下的识别通过率，从而可以减少外部环境对人脸识别的影响。

Description

一种人脸识别方法、装置、存储介质及电子设备

技术领域

本申请涉及人脸识别技术领域，特别涉及一种人脸识别方法、装置、存储介质及电子设备。

背景技术

人脸识别(Facial Recognition)技术被广泛应用于各个领域，例如，安防系统，门禁系统，支付系统，自主服务系统等。人脸识别技术是通过视频采集设备采集包含人脸的面部图像，并提取面部图像携带的人脸特征(例如，五官位置、脸型等)，然后再与人脸特征数据库进行比对以识别用户身份。然而，由于人脸识别技术容易受外部环境(例如，光照、姿态以及遮挡等)影响，从而人脸识别技术的实际应用过程中容易出现因外部环境改变而导致的识别失败的问题。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种人脸识别方法、装置、存储介质及电子设备。

为了解决上述技术问题，本申请实施例第一方面提供了一种人脸识别方法，所述方法包括：

获取包含人脸的面部图像，并提取所述面部图像对应的人脸特征；

基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征；其中，若干所述人脸特征组中的每组人脸特征组均包括注册人脸特征；或者包括所述注册人脸特征和补录人脸特征，所述注册人脸特征与所述补录人脸特征的录入时间不同；

当查找到目标人脸特征时，获取所述面部图像的采集次数；

若所述采集次数大于或者等于预设次数阈值，则将所述人脸特征作为补录人脸特征,并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

所述人脸识别方法，其中，所述预设匹配条件包括相似度大于预设相似度阈值和/或差异度小于预设差异度阈值。

所述人脸识别方法，其中，所述补录人脸特征包括困难人脸特征和/或融合人脸特征，其中，所述困难人脸特征为提取到的人脸特征；所述融合人脸特征为基于所述注册人脸特征以及所述困难人脸特征融合得到的。

所述人脸识别方法，其中，所述融合人脸特征为所述注册人脸特征和所述困难人脸特征加权得到，其中，所述注册人脸特征的加权系数与所述困难人脸特征的加权系数的和为1。

所述人脸识别方法，其中，所述补录人脸特征包括困难人脸特征和融合人脸特征；所述若所述采集次数大于或者等于预设次数阈值，则基于所述人脸特征确定所述人脸特征对应的补录人脸特征，并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内具体包括：

若所述采集次数大于或者等于预设次数阈值，将所述人脸特征作为困难人脸特征，并基于所述困难人脸特征和所述目标人脸特征所对应的人脸特征组内的注册人脸特征确定融合人脸特征；

将所述困难人脸特征和所述融合人脸特征作为补录人脸特征，并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

所述人脸识别方法，其中，所述将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内具体包括：

检测所述目标人脸特征对应的人脸特征组中是否包含补录人脸特征；

当未包含补录人脸特征时，将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内；

当包含补录人脸特征时，采用所述补录人脸特征替换所述目标人脸特征对应的人脸特征组内的补录人脸特征。

所述人脸识别方法，其中，所述方法还包括：

当未查找到目标人脸特征时，记录所述面部图像的采集次数，并重新执行所述采集包含人脸的面部图像的步骤。

本申请实施例第二方面提供了一种人脸识别装置，所述的人脸识别装置包括：

提取单元，用于获取包含人脸的面部图像，并提取所述面部图像对应的人脸特征；

查找单元，用于基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征；其中，若干所述人脸特征组中的每组人脸特征组均包括注册人脸特征；或者包括所述注册人脸特征和补录人脸特征，所述注册人脸特征与所述补录人脸特征的录入时间不同；

获取单元，用于当查找到目标人脸特征时，获取所述面部图像的采集次数；

录入单元，用于当所述采集次数大于或者等于预设次数阈值时，将所述人脸特征作为补录人脸特征,并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的人脸识别方法中的步骤。

本申请实施例第四方面提供了一种电子设备，其包括：采集装置、存储器及及分别与所述采集装置、所述存储器连接的处理器；其中：

所述采集装置，用于采集包含人脸的面部图像；

存储器，用于存储所述面部图像及可被所述处理器执行的计算机可读程序；

所述处理器，用于执行所述计算机可读程序时实现如上任一所述的人脸识别方法中的步骤。

有益效果：与现有技术相比，本申请提供了一种人脸识别方法、装置、存储介质及电子设备，所述方法包括采集包含人脸的面部图像并提取面部图像对应的人脸特征；在预存的若干人脸特征组中查找与人脸特征相匹配的目标人脸特征；当查找到目标人脸特征时获取面部图像的采集次数；若采集次数大于或等于预设次数阈值，则基于人脸特征确定补录人脸特征，并将补录人脸特征录入目标人脸特征对应的人脸特征组内。本实施例通过将需要通过多次对比才能识别成功的用户的识别成功的人脸特征作为补录人脸特征录入人脸特征组内，使得人脸特征组内存储有需要多次比对的外部环境下的人脸特征，这样可以增加用户在该外部环境下的识别通过率，从而可以减少外部环境对人脸识别的影响。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的人脸识别方法的流程图。

图2为本申请提供的人脸识别方法中向目标人脸特征组中录入补录人脸特征和融合人脸特征的一个例子的流程示意图。

图3为本申请提供的人脸识别装置的结构原理图。

图4为本申请提供的电子设备的结构原理图。

具体实施方式

本申请提供一种人脸识别方法、装置、存储介质及电子设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

发明人经过研究发现，人脸识别(Facial Recognition)技术被广泛应用于各个领域，例如，安防系统，门禁系统，支付系统，自主服务系统等。人脸识别技术是通过视频采集设备采集包含人脸的面部图像，并提取面部图像携带的人脸特征(例如，五官位置、脸型等)，然后再与人脸特征数据库进行比对以识别用户身份。然而，由于人脸识别技术容易受外部环境(例如，光照、姿态以及遮挡等)影响，从而人脸识别技术的实际应用过程中容易出现因外部环境改变而导致的识别失败的问题。例如，人脸特征数据库中的人脸特征在室内环境下录入的，用户的面部图像在室外环境下采集的，由于室内环境中的光照与室外环境中的光照不同，从而在将基于该面部图像获取到人脸特征与人脸特征数据库进行比对时容易出现识别失败的问题。

为了解决上述问题，在本申请实施例中，采集包含人脸的面部图像并提取面部图像对应的人脸特征；在预存的若干人脸特征组中查找与人脸特征相匹配的目标人脸特征；当查找到目标人脸特征时，判定人脸识别成功并获取面部图像的采集次数；若采集次数大于或等于预设次数阈值，则基于人脸特征确定补录人脸特征，并将补录人脸特征录入目标人脸特征对应的人脸特征组内。本实施例通过将需要通过多次对比才能识别成功的用户的识别成功的人脸特征作为补录人脸特征录入人脸特征组内，使得人脸特征组内存储有需要多次比对的外部环境下的人脸特征，这样可以增加用户在该外部环境下的识别通过率，从而可以减少外部环境对人脸识别的影响。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了一种人脸识别方法，本实施例提供的人脸识别方法可以装配有人脸识别功能的电子设备上，电子设备配置有图像采集装置以便通过图像采集装置来采集包含人脸的面部图像。其中，所述电子设备可以包括但不限于诸如具有图像采集装置(例如，前置摄像头和/或后置摄像头)的移动电话，膝上形计算机或平板计算机，以及智能门锁等。

如图1所述，本实施例提供的人脸识别方法具体可以包括：

S10、获取包含人脸的面部图像，并提取所述面部图像对应的人脸特征。

具体地，面部图像为携带有人脸的面部器官的图像，也就是说，面部图像携带有用户的眼睛、鼻子、嘴部以及耳朵等面部器官。其中，所述面部图像可以通过运行有本实施例提供的人脸识别方法的电子设备采集得到的，也可以是通过外部设备采集并发送给运行有本实施例提供的人脸识别方法的电子设备的，还可以是通过云端或者后台服务器获取得到的。在一个实现方式中，所述面板图像通过运行有本实施例提供的人脸识别方法的电子设备采集得到的，其中，该电子设备连接有图像采集设备(例如，摄像头等)，该图像采集设备可以装置于电子设备上，也可以是通过有线或者无线于该电子设备相连接等。

在本实施例的一个实现方式中，人脸特征可以包括人脸关键部位的特征点，以及特征点之间的相对位置以及相对距离等，例如，人脸特征包括人脸上眼睛、鼻子、嘴以及下巴等关键部位的特征点，以及各特征点之间的相对位置和相对距离；或者是，人脸特征可以包括人脸的68点人脸特征点的位置信息等。其中，人脸特征可以采用传统人脸识别算法提取到的，例如，基于图像分割的人脸特征提取算法等，或者是，人脸特征可以通过基于深度学习的神经网络模型获取提到的，例如，经过训练的卷积神经网络、循环神经网络模型以及双向循环神经网络模型等。

S20、基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征。

具体地，所述预设匹配条件为预先设置的，用于确定人脸特征对应的目标人脸特征的依据，其中，预设匹配条件包括相似度大于预设相似度阈值和/或差异度小于预设差异度阈值。所述差异度用于反映人脸特征与目标人脸特征之间的差异程度，所述相似度用于反映人脸特征与目标人脸特征之间的相似程度，其中，所述相似度均可以为通过计算人脸特征中的特征点与目标人脸特征中的特征点的欧式距离得到，或者是，通过统计人脸特征中的特征点与目标人脸特征中的特征点的匹配数量得到的，或者是通过经过训练的神经网络模型确定得到等。所述差异度可以通过计算人脸特征中的特征点与目标人脸特征中的特征点的位置差得到，或者是，通过统计人脸特征中的特征点与目标人脸特征中的特征点的不匹配数量得到的，或者是，通过经过训练的神经网络模型确定得到等。

所述若干人脸特征组中的每组人脸特征组均包括注册人脸特征，或者包括注册人脸特征和补录人脸特征，其中，若干人脸特征组中的各人脸特征组各自包括的注册人脸特征互不相同，各人脸特征组中包括的注册人脸特征和补录人脸特征为同一用户不同录入时间录入的人脸特征。可以理解的是，若干人脸特征组中的每组人脸特征组对应一个人脸，各人脸特征组各自对应的人脸互不相同，并且当人脸特征组包括注册人脸特征和补录人脸特征时，注册人脸特征和补录人脸特征均为该人脸特征组所属人脸的人脸特征，并且注册人脸特征的录入时间与补录人脸特征的录入时间不相同。

举例说明：假设若干人脸特征组包括人脸特征组A和人脸特征组B，人脸特征组A包括注册人脸特征，人脸特征组B包括注册人脸特征和补录人脸特征，那么人脸特征组A对应的人脸a与人脸特征组B对应人脸b不相同。人脸特征组B中的注册人脸特征和补录人脸特征均为人脸b的人脸特征，并且注册人脸特征和补录人脸特征的录入时间不同。

在本实施例的一个实现方式中，注册人脸特征的录入时间早于补录人脸特征的录入时间，例如，注册人脸特征的录入时间为用户第一次注册时录入的人脸特征，补录人脸特征为在基于注册人脸特征对应人脸进行人脸验证的过程中录入的人脸特征。此外，注册人脸特征的录入场景可以与补录人脸特征的录入场景不同，例如，注册人脸特征的录入场景为室内场景，补录人脸特征的录入场景为室外场景，或者是，注册人脸特征的录入场景为亮光场景，补录人脸特征的录入场景为暗光场景等。这样人脸特征组中携带有不同录入场景下的人脸特征，从而可以减少录入场景中的外部因素对人脸识别的影响，进而可以提高识别成功率。

在本实施例的一个实现方式中，所述补录人脸特征可以为困难人脸特征和/或融合人脸特征，其中，所述困难人脸特征为根据人脸识别成功时采集到的面部图像提取到的人脸特征；所述融合人脸特征为基于所述注册人脸特征以及所述困难人脸特征融合得到的。可以理解的是，所述补录人脸特征可以仅包括通过对采集到的面部图像识别得到的困难人脸特征，也可以仅包括是基于注册人脸特征以及困难人脸特征融合得到的融合人脸特征，还可以同时包括困难人脸特征和融合人脸特征。在一个典型实施例中，所述补录人脸特征困难人脸特征和融合人脸特征。

在本实施例的一个实现方式中，所述融合人脸特征可以注册人脸特征和困难人脸特征加权得到。其中，所述加权过程具体可以为在获取到困难人脸特征后将注册人脸特征和困难人脸特征做加权融合求得两个特征的特征中心，并将求得的特征中心作为融合人脸特征录入人脸特征组中，这样可以提高人脸识别的可识别范围，如角度，光照等，比仅存储注册人脸特征的人脸特征组的识别效果好。在一个典型实施例中，在将注册人脸特征和困难人脸特征做加权融合时，注册人脸特征的加权系数与困难人脸特征的加权系数的和为1。相应的，融合人脸特征的计算公式可以为：

embd_mixed＝α·embd_reg+(1-α)·embd_rec

其中，embd_mixed表示融合人脸特征，α表示注册人脸特征的加权系数，其取值范围为0-1，1-α表示补录人脸特征的加权系数，embd_reg表示注册人脸特征，embd_rec表示补录人脸特征。在一典型实现方式中，α＝0.5。

在本实施例的一个实现方式中，由于若干人脸特征组中可以存在包括注册人脸特征以及补录人脸特征的人脸特征组，补录人脸特征可以包括困难人脸特征和/或融合人脸特征，从而基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征时，对于每组人脸特征组，将人脸特征与该人脸特征组中的所有人脸特征进行比对，其中，所有人脸特征可以包括注册人脸特征，或者包括注册人脸特征和补录人脸特征；当人脸特征组中至少存在一个候选人脸特征，候选人脸特征与所述人脸特征满足预设匹配条件时，将该候选人脸特征作为与所述人脸特征相匹配的目标人脸特，则表示人脸识别成功。可以理解的是，若人脸特征组中包含注册人脸特征、困难人脸特征以及融合人脸特征时，在进行人脸识别时，可以同时将人脸特征与人脸特征组中的该三个人脸特征进行比较，如果有人脸特征组中的任意一个人脸特征与识别到的人脸特征满足预设匹配条件，则认为人脸识别成功。

例如，若干人脸特征组中包括人脸特征组A和人脸特征组B，人脸特征组A包括注册人脸特征a，人脸特征组B包括注册人脸特征b，困难人脸特征c以及融合人脸特征d，那么基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征时，可以分别将所述人脸特征分别与注册人脸特征a、注册人脸特征b，困难人脸特征c以及融合人脸特征d进行比较，如果所述人脸特征与注册人脸特征a满足预设匹配条件，则注册人脸特征a为与所述人脸特征相匹配的目标人脸特征，并判定人脸识别成功；如果所述人脸特征与注册人脸特征b和/或困难人脸特征c和/或融合人脸特征d满足预设匹配条件，则注册人脸特征b和/或困难人脸特征c和/或融合人脸特征d为与所述人脸特征相匹配的目标人脸特征，并判定人脸识别成功。

S30、当查找到目标人脸特征组时，获取采集包含人脸的面部图像的采集次数。

具体地，采集次数为采集到所述面部图像的次数，可以理解的是，采集次数等于该人脸进行人脸识别时人脸识别装置采集到的包含该人脸的面部图像的图像数量。所述采集次数用于反映用户在该识别场景中执行人脸识别的难易程度，其中，采集次数越多，说明该识别场景中执行人脸识别的难度越大，反之，采集次数越少，说明该识别场景中执行人脸识别的难度越小。由此，可以基于所述采集次数来确定是需要为该识别场景补录人脸特征，以增大该识别场景下人脸识别的识别通过率。此外，所述采集次数可以是在对进行人脸识别的过程中记录，也可以是基对人脸识别的过程中存储的所述面部图像的图像数量确定等。

在本实施例的一个实现方式中，在基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征时，还可以存在未查找到目标人脸特征的情况，在未查找到目标人脸特征时，可能因面部图像的采集场景与目标人脸特征对应的人脸特征组中的各人脸特征的采集场景不同，而导致识别失败，也可能是因是人脸特征数据集中未存储该用户对应的目标人脸特征组。基于此，所述方法还包括：当未查找到目标人脸特征时，记录所述面部图像的采集次数，并重新执行所述采集包含人脸的面部图像的步骤，以便于在查找到目标人脸特征时，可以获取到面部图像的采集次数。

S40、若所述采集次数大于或者等于预设次数阈值，则将所述人脸特征作为补录人脸特征,并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

具体地，当采集次数大于或者等于预设次数阈值时，说明该人脸识别场景为人脸识别的困难场景，此时可以基于当前成功识别时根据采集到的面部图像所提取的人脸特征确定补录人脸特征，并将补录人脸特征作为该困难场景的补入人脸特征，这样在该困难场景下，可以通过补录的补录人脸特征来提高该困难场景的识别通过率，从而可以提高人脸识别的识别通过率。此外，本实施例是在查找到所述人脸特征对应的目标人脸特征时，才会为确定补录人脸特征，这样可以保证该面部图像为注册用户的面部图像，进而可以人脸特征组中的各人脸特征均为该注册用户的人脸特征，避免将错误的人脸特征录入到该注册用户的人脸特征组内。此外，当采集次数小于预设次数阈值时，说明该人脸识别场景不为人脸识别的困难场景，此时无需为该人脸识别场景录入特征，从而可以保持人脸特征组不变并进行下一帧识别。

在一个实施例中，由于补录人脸特征可以是通过面部图像提取的困难人脸特征，和/或基于困难人脸特征与注册人脸特征的融合人脸特征。从而，在将补录人脸特征录入人脸特征组后人脸特征组可能包括以下情况，一、仅包括注册人脸特征、困难人脸特征；二、仅包括注册人脸特征、融合人脸特征、三同时包括人脸特征、困难人脸特征、融合人脸特征。

在一个实施例中，所述补录人脸特征包括困难人脸特征和融合人脸特征；所述若所述采集次数大于或者等于预设次数阈值，则基于所述人脸特征确定所述人脸特征对应的补录人脸特征，并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内具体包括：

将所述人脸特征作为困难人脸特征，并基于所述困难人脸特征和所述目标人脸特征所对应的人脸特征组内的注册人脸特征确定融合人脸特征；

将所述困难人脸特征和所述融合人脸特征作为补录人脸特征，并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

具体地，当所述采集次数大于或者预设次数阈值时，说明所述人脸特征为困难场景下采集的人脸特征，从而可以将该人脸特征作为困难人脸特征，然后在基于困难人脸特征以及目标人脸特征所对应的人脸特征组内的注册人脸特征确定融合人脸特征，以得到补录人脸特征。其中，特征融合的方式以及过程可以采用上述的特征融合的方式以及过程，这里就不再赘述

在一个实施例中，所述将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内具体包括：

检测所述目标人脸特征对应的人脸特征组中是否包含补录人脸特征；

当未包含补录人脸特征时，将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内；

当包含补录人脸特征时，采用所述补录人脸特征替换所述目标人脸特征对应的人脸特征组内的补录人脸特征。

具体地，所述目标人脸特征对应的人脸特征组内可以仅包括注册人脸特征，也可以包括注册人脸特征和补录人脸特征，从而在目标人脸特征对应的人脸特征组中录入补录人脸特征时，可以检测目标人脸特征对应的人脸特征组中是否存在补录人脸特征，如果未存在补录人脸特征则可以直接将补录人脸特征录入目标人脸特征对应的人脸特征组，如果存在补录人脸特征则可以将已存储的补录人脸特征删除，并将基于人脸特征确定的补录人类特征录入目标人脸特征对应的人脸特征组。

例如，在查找到目标人脸特征且采集次数大于或者等于预设次数阈值时确定得到补录人脸特征a，若目标人脸特征对应的人脸特征组ID1中存放注册人脸特征(即原始注册特征)，注册人脸特征为室内场景录入的人脸特征，可以直接将补录人脸特征(即该困难场景对应的困难人脸特征和/或融合人脸特征)录入人脸特征组ID1内；若目标人脸特征对应的人脸特征组ID1中存放注册人脸特征(即原始注册特征)和补录人脸特征b，那么将补录人脸特征b从人脸特征组ID1中删除，并将补录人脸特征a存储于人脸特征组ID1，以更新人脸特征组ID1中的补录人脸特征，以使得人脸特征组ID1中的补录人脸特征更好的满足当前人脸识别设备的使用场景。

在一个实施例中，为了确保补录人脸特征的有效性，在对人脸识别成功时采集到的包含人脸的面部图像进行特征提取得到困难人脸特征，并将困难人脸特征与注册人脸特征进行融合得到融合特征后，还需要将融合人脸特征与注册人脸特征进行相似度比较，只有当融合人脸特征与注册人脸特征的相似度大于或等于预设相似度阈值时，前述的困难人脸特征和/或融合人脸特征才会作为有效特征补录进对应的目标人脸的人脸特征组内，或者，若该目标人脸的人脸特征组内已存有注册人脸特征、困难人脸特征和融合人脸特征，则对其中的困难人脸特征和融合人脸特征进行更新，注册人脸特征始终保持不变，否则，即使人脸识别成功，但对该人脸识别成功时采集的面部图像进行提取的困难人脸特征并据其得到的融合人脸特征也不会被被采用，即不会作为有效的补录人脸特征。

举例说明：如图2所示，假设用户ID为1的用户在注册时配置有人脸特征组ID1，人脸特征组ID1中设置有三个人脸特征存储位，第一预设匹配条件为相似度大于预设第一相似度阈值；当第一次注册时，将识别到的人脸特征作为注册人脸特征embd_reg录入人脸特征组ID1，当后续人脸识别过程中，当采集用户1的面部图像的采集次数大于预设次数阈值(例如，20次等)后识别成功时，将识别成功的人脸特征作为困难人脸特征，并将注册人脸特征和识别成功的人脸特征进行融合以得到融合人脸特征embd_mixed，然后检测融合人脸特征与注册人脸特征embd_reg相似度是否大于预设相似度阈值，若大于预设相似度阈值，则将困难人脸特征embd_difficult和融合人脸特征embd_mixed作为补录人脸特征录入人脸特征组ID1，以使得人脸特征组ID1中存储有注册人脸特征、困难人脸特征以及融合人脸特征，若小于获取等于预设相似度阈值，则丢弃困难人脸特征和融合人脸特征，即保持人脸特征组ID1不变。

综上所述，本实施例提供了一种人脸识别方法，所述方法包括采集包含人脸的面部图像并提取面部图像对应的人脸特征；在预存的若干人脸特征组中查找与人脸特征相匹配的目标人脸特征；当查找到目标人脸特征时获取面部图像的采集次数；若采集次数大于或等于预设次数阈值，则基于人脸特征确定补录人脸特征，并将补录人脸特征录入目标人脸特征对应的人脸特征组内。本实施例通过将需要通过多次对比才能识别成功的用户的识别成功的人脸特征作为补录人脸特征录入人脸特征组内，使得人脸特征组内存储有需要多次比对的外部环境下的人脸特征，这样可以增加用户在该外部环境下的识别通过率，从而可以减少外部环境对人脸识别的影响。

基于上述人脸识别方法，本实施例提供了一种人脸识别装置，如图3所示，所述的人脸识别装置包括：

提取单元100，用于获取包含人脸的面部图像，并提取所述面部图像对应的人脸特征；

查找单元200，用于基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征，其中，若干所述人脸特征组中的每组人脸特征组均包括注册人脸特征，或者包括所述注册人脸特征和补录人脸特征，所述注册人脸特征与所述补录人脸特征的录入时间不同；

获取单元300，用于当查找到目标人脸特征时，获取所述面部图像的采集次数；

录入单元400，用于当所述采集次数大于或者等于预设次数阈值时，

将所述人脸特征作为补录人脸特征,并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

基于上述人脸识别方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的人脸识别方法中的步骤。

基于上述人脸识别方法，本申请还提供了一种电子设备，如图4所示，其包括采集装置20、存储器21及分别与所述采集装置20、所述存储器21连接的处理器22。其中，采集装置20，用于采集包含人脸的面部图像；存储器21，用于存储采集装置20采集到的面部图像及可被处理器22执行的计算机可读程序；处理器22，可以调用存储器21中的逻辑指令以执行上述实施例中的方法。在各种实施方案中，电子设备可包括台式计算机、膝上型计算机、嵌入式设备、移动电话、平板电脑、个人数字助理等。

可以理解的是，采集装置20包括相机系统，该相机系统包括彩色相机、红外相机、深度相机中的至少一种，以用于采集包含用户人脸的彩色图像、红外图像、深度图像中的至少一种。其中，深度相机可以为基于双目测距原理的深度相机、基于结构光原理的深度相机或基于TOF原理的深度相机。

此外，上述的存储器21中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器21作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器22通过运行存储在存储器21中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器21可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

在一个实施例中，处理器22可包括一个或多个处理单元，处理器22可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器22中。在一些实施例中，处理器22和存储器21可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

在一个实施例中，处理器22也可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的人脸识别方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

此外，上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取包含人脸的面部图像，并提取所述面部图像对应的人脸特征；

基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征；其中，若干所述人脸特征组中的每组人脸特征组均包括注册人脸特征；或者包括所述注册人脸特征和补录人脸特征，所述注册人脸特征与所述补录人脸特征的录入时间不同；

当查找到目标人脸特征时，获取所述面部图像的采集次数；

若所述采集次数大于或者等于预设次数阈值，则将所述人脸特征作为补录人脸特征,并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

2.根据权利要求1所述人脸识别方法，其特征在于，所述预设匹配条件包括相似度大于预设相似度阈值和/或差异度小于预设差异度阈值。

3.根据权利要求1所述人脸识别方法，其特征在于，所述补录人脸特征包括困难人脸特征和/或融合人脸特征，其中，所述困难人脸特征为提取到的人脸特征；所述融合人脸特征为基于所述注册人脸特征以及所述困难人脸特征融合得到的。

4.根据权利要求3所述的人脸识别方法，其特征在于，所述融合人脸特征为所述注册人脸特征和所述困难人脸特征加权得到，其中，所述注册人脸特征的加权系数与所述困难人脸特征的加权系数的和为1。

5.根据权利要求3所述人脸识别方法，其特征在于，所述补录人脸特征包括困难人脸特征和融合人脸特征；所述若所述采集次数大于或者等于预设次数阈值，则基于所述人脸特征确定所述人脸特征对应的补录人脸特征，并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内具体包括：

若所述采集次数大于或者等于预设次数阈值，将所述人脸特征作为困难人脸特征，并基于所述困难人脸特征和所述目标人脸特征所对应的人脸特征组内的注册人脸特征确定融合人脸特征；

将所述困难人脸特征和所述融合人脸特征作为补录人脸特征，并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

6.根据权利要求1或5所述人脸识别方法，其特征在于，所述将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内具体包括：

检测所述目标人脸特征对应的人脸特征组中是否包含补录人脸特征；

当未包含补录人脸特征时，将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内；

当包含补录人脸特征时，采用所述补录人脸特征替换所述目标人脸特征对应的人脸特征组内的补录人脸特征。

7.根据权利要求1所述人脸识别方法，其特征在于，所述方法还包括：

当未查找到目标人脸特征时，记录所述面部图像的采集次数，并重新执行所述采集包含人脸的面部图像的步骤。

8.一种人脸识别装置，其特征在于，包括：

提取单元，用于获取包含人脸的面部图像，并提取所述面部图像对应的人脸特征；

查找单元，用于基于预设匹配条件在预存的若干人脸特征组中查找与所述人脸特征相匹配的目标人脸特征；其中，若干所述人脸特征组中的每组人脸特征组均包括注册人脸特征；或者包括所述注册人脸特征和补录人脸特征，所述注册人脸特征与所述补录人脸特征的录入时间不同；

获取单元，用于当查找到目标人脸特征时，获取所述面部图像的采集次数；

录入单元，用于当所述采集次数大于或者等于预设次数阈值时，将所述人脸特征作为补录人脸特征,并将所述补录人脸特征录入所述目标人脸特征对应的人脸特征组内。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的人脸识别方法中的步骤。

10.一种电子设备，其特征在于，包括：采集装置、存储器及分别与所述采集装置、所述存储器连接的处理器；其中：

所述采集装置，用于采集包含人脸的面部图像；

存储器，用于存储所述面部图像及可被所述处理器执行的计算机可读程序；

所述处理器，用于控制所述采集装置进行图像采集，并用于执行所述计算机可读程序时实现如权利要求1-7任意一项所述的人脸识别方法中的步骤。

Images