CN113887283A - 陌生人脸识别分数阈值确定方法、人脸识别方法和系统 - Google Patents

Abstract

本发明提供了一种陌生人脸识别分数阈值确定方法、人脸识别方法和系统，所述分数阈值确定方法包括：估计人脸识别场景中的已知人物和未知人物出现比例；构造人脸数据库，建立正样本人脸数据和负样本人脸数据，形成正负样本集合，正负样本集合中正负样本人脸数据的比例与已知人物和未知人物出现比例相一致；提取正样本人脸数据上的特征，利用人脸识别模型与人脸数据库中相对应人物身份的特征求得相似性，得到正样本打分分布；提取负样本人脸数据上的特征，并利用人脸识别模型与人脸数据库中每一个人物身份特征求得相似性，再取最大值，得到负样本打分分布；选取正、负样本打分分布频率相等时对应的分值作为区分已知人物和未知人物的分数阈值。

Description

陌生人脸识别分数阈值确定方法、人脸识别方法和系统

技术领域

本发明涉及人脸识别和图像处理技术领域，尤其涉及一种陌生人脸识别分数阈值确定方法、陌生人脸识别方法和系统。

背景技术

人脸识别目前分为开放集合的人脸识别和封闭集合的人脸识别两类，封闭集合的人脸识别面向人脸库中样本的识别，而开放集合的人脸识别面向人脸库和陌生人物样本的识别。

对于开放集合的人脸识别，从拍摄的人脸图像提取出的特征与人脸库中的特征进行相似性打分获得分数，依据分数判定人脸身份。获得分值较少的人脸图像一般认为是陌生人物的人脸图像，也即当前开放集合的人脸识别是靠分数阈值来区分陌生人物与已知人物。但是，当前并没有合适的分数阈值筛选策略，经常采用人工经验的方法，使得分数阈值的确定存在主观性而缺乏更加客观的评定标准，从而使得确定出的分数阈值有可能过高或过低，如果阈值过低容易引起识别错误，阈值过高会显著降低识别召回率，难以在实际场景中应用。

因此，如何基于新的阈值筛检策略，针对开放集合的人脸识别，实现更加准确的划分人物库人脸和陌生人脸，是一个有待解决的问题。

发明内容

针对现有技术中存在的问题，本发明提供一种陌生人脸识别分数阈值确定方法、人脸识别方法和系统，通过提供一种可操作的创新性的阈值筛选策略，可以更客观地确定用于识别人物库人脸和陌生人脸的分数阈值，从而提高人脸识别的准确度和效率。

本发明的一方面，提供了一种陌生人脸识别分数阈值确定方法，该方法包括以下步骤：

估计人脸识别场景中的已知人物和未知人物出现比例；

构造用于识别已知人物的人脸数据库，并建立正样本人脸数据和负样本人脸数据，形成正负样本集合，所述正负样本集合中正负样本人脸数据的比例与所述已知人物和未知人物出现比例相一致；

提取正样本人脸数据上的特征，并利用所述人脸识别模型与人脸数据库中相对应人物身份的特征求得相似性，得到正样本打分分布；

提取负样本人脸数据上的特征，并利用所述人脸识别模型与人脸数据库中每一个人物身份特征求得相似性，再取最大值，得到负样本打分分布；

选取正、负样本打分分布频率相等时对应的分值作为区分已知人物和未知人物的分数阈值。

在本发明一些实施例中，所述方法还包括：基于所述人脸数据库和所述正负样本集合对所述人脸识别模型进行训练。

在本发明一些实施例中，所述方法还包括：采用预先建立的人脸识别模型，对人脸数据库中的人脸图像进行特征提取，获得特征值集合。

在本发明一些实施例中，所述方法还包括：人脸识别步骤，基于所述分数阈值进行陌生人脸的识别。

根据本发明的另一方面，所述人脸识别步骤包括：获取拍摄的人脸图像，提取人脸图像的特征，将提取的人脸图像的特征与所述特征值集合中的特征求进行比对，基于比对结果获得相似度分数，基于所述分数阈值和所述相似度分数得到人脸识别结果。

在本发明一些实施例中，所述方法还包括：基于人脸识别结果对所述分数阈值进行调节。

根据本发明的另一方面，还提供了一种陌生人脸识别方法，该方法利用如前所述的陌生人脸识别分数阈值确定方法的步骤获得的分数阈值进行陌生人脸识别。

在本发明一些实施例中，该人脸识别步骤包括：获取拍摄的人脸图像，提取人脸图像的特征，将提取的人脸图像的特征与所述特征值集合中每一人物的特征求进行比对，基于比对结果获得相似度分数，基于所述分数阈值和所述相似度分数得到人脸识别结果。

根据本发明的另一方面，还提供了一种陌生人脸识别系统，所述系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时所述系统实现如前所述的方法的步骤。

在另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。

本发明提供的陌生人脸识别分数阈值确定方法、人脸识别方法和系统，通过评估人脸正负样本比例来选取合理的筛选阈值，从而可以兼顾召回率和准确率，提高人脸识别的可靠性和效率。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例中陌生人脸识别分数阈值确定方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含/具有”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

图1所示为本发明实施例中陌生人脸识别分数阈值确定方法的流程图，如图1所示，该方法包括以下步骤：

步骤S110，估计人脸识别场景中的已知人物和未知人物出现比例。

本发明实施例中的人脸识别场景例如可以是企业或其他机构安装有人脸识别系统且需要进行客户或员工人脸识别的场景，当然也可以是其他需要区分已知人脸和陌生人脸的场景。

例如，可事先通过人工观测人脸识别结果并进行标记的方式来获取已知、未知人物出现比例，该比例可记为M:N。

步骤S120，构造用于识别已知人物的人脸数据库，并建立正样本人脸数据和负样本人脸数据，形成正负样本集合，该正负样本集合中正负样本人脸数据的比例与所述已知人物和未知人物出现比例相一致。

本步骤中可以基于现有方式预先构造用于识别已知人物的人脸数据库，进一步地，可以利用已知任务的人脸图像建立相应的正样本人脸数据；可以随机挑选一部分未知人物人脸数据，建立负样本人脸数据，基于正样本人脸数据和负样本人脸数据获得正负样本集合。所述正负样本集合中，正负样本人脸数据的比例被控制为M:N。

步骤S130，采用预先建立的人脸识别模型，对人脸数据库中的人脸图像进行特征提取，获得特征值集合。

本发明实施例中，预先建立的人脸识别模型可以是预先训练好的预定人脸模型，例如可以是Facenet模型或DeepFace模型等人脸识别模型，但本发明并不限于此，也可以采用其他人脸识别模型，如DeepID模型等。

FaceNet模型是谷歌提出的网络结构，该网络结构灵活性较大，可以使用22层的Zelier&Fergus的网络，也可以使用目前在物体识别方面效果比较好的inception网络，其主要特点采用三元对之间的距离构建损失函数。FaceNet模型是一种通用于人脸识别和聚类的嵌入模型，该方法使用深度卷积神经网络(CNN)学习将人脸图像映射到欧式空间，通过计算空间距离来计算采集的人脸图像与人脸数据库中人脸图像的相似度。空间距离直接和图像之间的相似度相关：同一个人的不同图像之间的空间距离很小，不同人的图像在空间中有较大的空间距离，由此FaceNet可以用于人脸验证、识别和聚类。为了降低背景和环境等因素带来的干扰，人脸识别之前可先经过人脸检测、人脸对齐等预处理，然后将人脸图像映射到欧氏空间。

DeepFace模型在实现时采用了3D对齐技术，然后将对齐的结果送入一个9层网络进行处理。整个训练过程前两个卷积层采用了共享卷积核，后三个卷积采用不共享卷积核，倒数第二层采用全连接层提取出对应的人脸特征。最后一层是一个softmax层分类。

由于Facenet和DeepFace等模型为现有的人脸识别模型，在此不再赘述。

人脸识别过程中，首先要进行人脸图像的获取。可以利用摄像头等进行人脸设备的拍摄，从而获得待识别的人脸图像。在获取到待识别的人脸图像后，可以对人脸图像进行人脸检测和人脸对齐等预处理，然后从预处理的人脸图像中进行特征提取，将提取的特征与特征值集合中的特征进行比对，基于比对结果来获得识别结果。本步骤S120就是获得特征值集合的过程，用于后续的人脸识别过程。

在本发明另一实施例中，预先建立的人脸识别模型也可以是未经训练的Facenet模型或DeepFace模型等人脸识别模型，在此情况下，本发明还包括利用人脸数据库和正负样本集合对所述人脸识别模型进行训练的步骤。

步骤S140，提取正样本人脸数据上的特征，并利用所述人脸识别模型与人脸数据库中相对应人物身份的特征求得相似度值，基于相似度值获得打分分布。

更具体地，本发明实施例中，可利用人脸识别模型(如Facenet或DeepFace模型)将提取的正样本人脸数据的特征与特征值集合中相对应人物身份的特征相比对，求得相似度值后，可以基于现有的打分算法来根据相似度值获得正样本打分分布。

步骤S150，提取负样本人脸数据上的特征，与人脸数据库中每一个人物身份特征求得相似度值，再取相似度最大值，得到负样本打分分布。

更具体地，在本发明实施例中，可利用人脸识别模型(如Facenet或DeepFace模型)将提取的负样本人脸数据的特征与特征值集合中每一人物身份的特征相比对，求得与每一人物身份比较后的相似度值后，可以取相似度的最大值，然后基于现有的打分算法来根据相似度最大值获得打分分布。

步骤S160，选取正、负样本打分分布频率相等时对应的分值作为区分已知人物和未知人物的分数阈值。

基于正样本打分分布和负样本打分分布，可以得到正样本打分分布频率(或称为正样本人脸数据打分分布频率)和负样本打分分布频率(或称为负样本人脸数据打分分布频率)，二者相等时对应的分值可以看做是均衡考虑了正样本识别和负样本识别的分数，以此分数作为分数阈值可以充分兼顾召回率和准确率，是更为客观和合适的分数阈值。

本发明实施例中，选取正、负人脸样本数据打分分布频率相等时对应的分值作为区分已知人物和未知人物的分数阈值，可以同时兼顾召回率和准确率。

假设：总共有T个正样本、F个负样本，TT个正样本在人脸识别中被判定为正样本，FT个正样本在人脸识别中被判定为负样本，FF个负样本在人脸识别中被判定为正样本，FT个负样本在人脸识别中被判定为正样本，则准确率(判断正确的比重)和召回率(正确判断正确的比重)分别表示为：

召回率可以表示为：

准确率可以表示为：

此时，虚警率(被判为正样本的样本中负样本的比重)可表示为：

基于如上陌生人脸识别分数阈值确定方法获得的分数阈值，变可以利用该分数阈值在实际应用场合进行陌生人脸的识别。因此，本发明还提供了一种陌生人脸识别方法，该方法包括人脸识别步骤，该人脸识别步骤利用如前所述的陌生人脸识别分数阈值确定方法的步骤获得的分数阈值进行陌生人脸识别。

更具体地，该人脸识别步骤包括：获取拍摄的人脸图像，提取人脸图像的特征，将提取的人脸图像的特征与所述特征值集合中每一人物的特征求进行比对，基于比对结果获得相似度分数，基于所述分数阈值和所述相似度分数得到人脸识别结果。

此外，在本发明的一些实施例中，所述陌生人脸识别分数阈值确定方法还可包括：

基于人脸识别结果对所述分数阈值进行微调。微调的幅度可以基于经验值来确定。

在现有的人脸识别方法中，并不估计具体应用场景中已知人物和未知人物出现比例，更不会基于具体应用场景中已知人物和未知人物出现比例来构建正负样本集合，而是随机的构建正负样本集合。并且，在现有的人脸识别方法中，在提取正样本人脸数据上的特征并基于提取的特征与人脸数据库中相应人物的人脸特征进行比对获得相似度值以及在提取负样本人脸数据上的特征并基于提取的特征与人脸数据库中每一人物的人脸特征进行对比获得相似度值并打分后，并不获得正样本打分分布和负样本打分分布，而是分别对正样本数据的打分和对负样本数据的打分按照分数高低进行排序，基于排序来选取使得虚警率为预定值的分数作为分数阈值。这就使得分数阈值无法兼顾召回率和准确率，从而导致要么识别错误高，要么召回率低的问题。

本发明实施例的人脸识别方法，采用了一种创新的分数阈值帅选策略，通过基于已知人物和未知人物出现比例来构建正负样本集合，并且选取正、负人脸样本数据打分分布频率相等时对应的分值作为区分已知人物和未知人物的分数阈值，可以提高人脸识别准确率和召回率。与上述陌生人脸识别分数阈值确定方法相应地，本发明还提供了一种陌生人脸识别分数阈值确定系统，该系统可包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时实现如前所述的陌生人脸识别分数阈值确定方法的步骤。

与上述陌生人脸识别方法相应地，本发明还提供了一种陌生人脸识别方法系统，该系统可包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时实现如前所述的陌生人脸识别方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可以实现如前所述方法的步骤。

本发明的方法可直接面向具体应用场景，实现陌生人脸识别操作。根据本发明的技术方案，用户单位安装本发明的人脸识别系统后，通过分析历史数据，可获得单位员工和外来人员出入比例M:N，并可以此构造满足此比例的正负样本数据得到样本集合，通过分别求取正、负样本与人脸库中特征的相似性，可分别构造正样本和负样本相似性打分分布，从而基于打分分布频率来获得用于区分已知人物或陌生人物的分数阈值，从而可以更准备地实现人脸识别。

本发明的上述方法和系统，可应用于安防监控等场景，可以大大提高人脸识别的可靠性。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如全国电子政务网、工业专网、城域网、金融保险行业客户专用网络、局域网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种陌生人脸识别分数阈值确定方法，其特征在于，该方法包括以下步骤：

估计人脸识别场景中的已知人物和未知人物出现比例；

构造用于识别已知人物的人脸数据库，并建立正样本人脸数据和负样本人脸数据，形成正负样本集合，所述正负样本集合中正负样本人脸数据的比例与所述已知人物和未知人物出现比例相一致；

提取正样本人脸数据上的特征，并利用所述人脸识别模型与人脸数据库中相对应人物身份的特征求得相似性，得到正样本打分分布；

提取负样本人脸数据上的特征，并利用所述人脸识别模型与人脸数据库中每一个人物身份特征求得相似性，再取最大值，得到负样本打分分布；

选取正、负样本打分分布频率相等时对应的分值作为区分已知人物和未知人物的分数阈值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述人脸数据库和所述正负样本集合对所述人脸识别模型进行训练。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用预先建立的人脸识别模型，对人脸数据库中的人脸图像进行特征提取，获得特征值集合。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

人脸识别步骤，基于所述分数阈值进行陌生人脸的识别。

5.根据权利要求4所述的方法，其特征在于，所述人脸识别步骤包括：

获取拍摄的人脸图像，提取人脸图像的特征，将提取的人脸图像的特征与所述特征值集合中每一人物的特征求进行比对，基于比对结果获得相似度分数，基于所述分数阈值和所述相似度分数得到人脸识别结果。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于人脸识别结果对所述分数阈值进行调节。

7.一种陌生人脸识别方法，其特征在于，所述人脸识别方法利用如权利要求1-6中任意一项所述的陌生人脸识别分数阈值确定方法的步骤获得的分数阈值进行陌生人脸识别。

8.一种陌生人脸识别系统，所述系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时所述系统实现如权利要求1-6中任意一项所述方法的步骤。

9.一种陌生人脸识别系统，所述系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时所述系统实现如权利要求7所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任意一项所述方法的步骤。

Images