CN113792709A

CN113792709A - 快速大规模人脸识别方法及系统

Info

Publication number: CN113792709A
Application number: CN202111344502.2A
Authority: CN
Inventors: 夏东
Original assignee: Hunan Vision Miracle Intelligent Technology Co ltd
Current assignee: Hunan Vision Miracle Intelligent Technology Co ltd
Priority date: 2021-11-15
Filing date: 2021-11-15
Publication date: 2021-12-14
Anticipated expiration: 2041-11-15
Also published as: CN113792709B

Abstract

本发明公开了快速大规模人脸识别方法及系统，通过在人脸特征缓存中查找与人脸特征相匹配的样本特征，若在人脸特征缓存中未查找到与人脸特征相匹配的样本特征，则在人脸特征度量空间索引库中查找与人脸特征相匹配的样本特征：若在人脸特征度量空间索引库中查找到与人脸特征相匹配的样本特征，则输出匹配成功的样本特征的身份信息，并记录人脸特征的查找时间，判断查找时间是否大于预设的查找时间阈值，若大于查找时间阈值，则将匹配成功的样本特征加入人脸特征缓存，并采用数据存活时间受限的LRU算法更新人脸特征缓存中的样本特征。本发明能够提升人脸特征匹配的效率。

Description

快速大规模人脸识别方法及系统

技术领域

本发明涉及人脸识别领域，尤其涉及快速大规模人脸识别方法及系统。

背景技术

人脸识别技术作为一种重要的身份鉴别技术，近年来获得了快速发展，并且在社会生活中得到了大规模的推广应用，重要的应用领域包括交通、金融、电信、安防、教育等。虽然人脸识别技术进步显著，但是依然面临诸多挑战，特别是大规模人脸识别对于识别的精度要求极高，随着规模的增大识别的比对也是极其耗时的工作。如何在有限的时间内快速的实现大规模人脸识别是一个相当具有挑战的任务。

发明内容

本发明提供了快速大规模人脸识别方法及系统，用于解决现有的大规模人脸识别方法识别速度慢、查询性能不稳定的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种快速大规模人脸识别方法，包括以下步骤：

采集待识别的人脸图像，并从所述人脸图像中提取人脸特征；

在人脸特征缓存中查找与所述人脸特征相匹配的样本特征：若在人脸特征缓存中查找到与所述人脸特征相匹配的样本特征，输出匹配成功的样本特征的身份信息；若在人脸特征缓存中未查找到与所述人脸特征相匹配的样本特征，则在人脸特征度量空间索引库中查找与所述人脸特征相匹配的样本特征：

若在所述人脸特征度量空间索引库中查找到与所述人脸特征相匹配的样本特征，则输出所述匹配成功的样本特征的身份信息，并记录所述人脸特征的查找时间，判断所述查找时间是否大于预设的查找时间阈值，若大于所述查找时间阈值，则将所述匹配成功的样本特征加入人脸特征缓存，并采用数据存活时间受限的LRU算法更新所述人脸特征缓存中的样本特征。

优选的，采用数据存活时间受限的LRU算法更新所述人脸特征缓存中的样本特征，包括以下步骤：

统计所述人脸特征缓存中的各个样本特征的存活时长，判断所述人脸特征缓存中的是否存在任一样本特征A：所述样本特征A存活时长大于存活时长阈值，若所述样本特征A存活时长大于存活时长阈值，则将所述样本特征A从所述人脸特征缓存中淘汰。

统计所述人脸特征缓存中的样本特征数据总量，判断所述样本特征数据总量是否超过设定的规模限制，若所述样本特征数据总量超过设定的规模限制，则淘汰所述人脸特征缓存中最长时间未被访问的样本特征。

优选的，所述人脸特征度量空间索引库采用基于支撑点的度量空间进行索引，基于B+Tree实现索引的存储。

优选的，在人脸特征度量空间索引库中查找与所述人脸特征相匹配的样本特征，具体包括以下步骤：

S1、设所述人脸特征为查询请求数据q，确定查询请求数据q在人脸特征度量空间索引库的归属叶子节点；

S2、确定当前的查询半径r，选取所述查询请求数据q的归属叶子节点的父节点作为当前节点current_node，并找到当前节点current_node下的叶子节点l中与查询请求数据q距离最近的数据m，判断数据m与查询请求数据q之间距离是否小于当前的查询半径r，若小于当前的查询半径r，则更新当前的查询半径r为数据m与查询请求数据q之间距离；

S3、根据当前的查询半径r构建当前的剪枝条件，并根据当前的剪枝条件对当前节点current_node的子节点由上向下进行剪枝，直到叶子节点；对所述叶子节点下的数据进行遍历，并逐一计算所述叶子节点下各个数据与查询请求数据q之间的距离，找到叶子节点中与查询请求数据q距离最近的数据d；判断数据d与查询请求数据q的距离是否小于当前的查询半径r，如果小于当前的查询半径r，则将当前的查询半径更新为数据d与查询请求数据q的距离，判断所述当前的查询半径是否满足预设条件，若满足预设条件，则将数据d作为与所述人脸特征相匹配的样本特征输出。

优选的，判断所述当前的查询半径是否满足预设条件，包括以下步骤：

基于当前节点current_node向上找到其父节点p，根据当前的查询半径构建剪枝条件，判断其父节点p的子节点中是否存在除当前节点current_node之外的其他子节点符合当前的剪枝条件，若存在，对其父节点p依次执行步骤S3；若不存在，则将数据d作为与所述人脸特征相匹配的样本特征输出。

优选的，确定查询请求数据q在人脸特征索引库中归属的叶子节点，包括以下步骤：

分别计算所述人脸特征度量空间索引库中各个支撑点与所述查询请求数据q之间的距离，将支撑点按距离q的大小进行排序，得到一组支撑点序列，该支撑点序列即为q所属叶子节点在B+Tree中的访问路径，通过支撑点序列即可快速找到B+Tree中请求数据q所属的叶子节点。

优选的，根据当前的查询半径r构建当前的剪枝条件，具体为：找到叶子节点中距离q最近的特征数据，更新查询半径r为该特征数据与查询数据q时间的距离，如果当前节点中存在数据x，其中d(q,x)<r,则向下访问x关联的子节点。

一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明具有以下有益效果：

1、本发明中的快速大规模人脸识别方法及系统，通过在人脸特征缓存中查找与人脸特征相匹配的样本特征，若在人脸特征缓存中未查找到与所述人脸特征相匹配的样本特征，则在人脸特征度量空间索引库中查找与所述人脸特征相匹配的样本特征：若在所述人脸特征度量空间索引库中查找到与所述人脸特征相匹配的样本特征，则输出所述匹配成功的样本特征的身份信息，并记录所述人脸特征的查找时间，判断所述查找时间是否大于预设的查找时间阈值，若大于所述查找时间阈值，则将所述匹配成功的样本特征加入人脸特征缓存，并采用LRU算法更新所述人脸特征缓存中的样本特征。本发明能够在单机服务器实现数千万规模的人脸快速识别，加入人脸特征缓存能够提升人脸特征匹配的效率，解决大规模特征索引中部分数据访问时间过长的问题，具备索引规模大、识别精度高、查询时延低、稳定性强的优点，系统易部署，运营成本低，具备良好的可扩展性；此外，本发明在查找与所述人脸特征相匹配的样本特征时，还能通过动态更新查找半径来实现在大规模的人脸特征度量空间索引库的特征查找。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例中的大规模快速人脸识别系统的结构简图；

图2为本发明优选实施例中的大规模快速人脸识别系统人脸识别流程图；

图3为本发明优选实施例中的大规模索引快速查找算法流程图；

图4 为本发明优选实施例中的缓存数据存活时间有限的LRU算法流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一：

如图4所示，本实施中公开了一种快速大规模人脸识别方法，包括以下步骤：

若在所述人脸特征度量空间索引库中查找到与所述人脸特征相匹配的样本特征，则输出所述匹配成功的样本特征的身份信息，并记录所述人脸特征的查找时间，判断所述查找时间是否大于预设的查找时间阈值，若大于所述查找时间阈值，则将所述匹配成功的样本特征加入人脸特征缓存，并采用LRU算法更新所述人脸特征缓存中的样本特征。

优选的，采用LRU算法更新所述人脸特征缓存中的样本特征，包括以下步骤：

此外，在本实施例中，还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明中的快速大规模人脸识别方法及系统，通过在人脸特征缓存中查找与人脸特征相匹配的样本特征，若在人脸特征缓存中未查找到与所述人脸特征相匹配的样本特征，则在人脸特征度量空间索引库中查找与所述人脸特征相匹配的样本特征：若在所述人脸特征度量空间索引库中查找到与所述人脸特征相匹配的样本特征，则输出所述匹配成功的样本特征的身份信息，并记录所述人脸特征的查找时间，判断所述查找时间是否大于预设的查找时间阈值，若大于所述查找时间阈值，则将所述匹配成功的样本特征加入人脸特征缓存，并采用LRU算法更新所述人脸特征缓存中的样本特征。本发明能够在单机服务器实现数千万规模的人脸快速识别，加入人脸特征缓存能够提升人脸特征匹配的效率，解决大规模特征索引中部分数据访问时间过长的问题，具备索引规模大、识别精度高、查询时延低、稳定性强的优点，系统易部署，运营成本低，具备良好的可扩展性。

实施例二：

实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对快速大规模人脸识别系统的具体结构进行了介绍，对快速大规模人脸识别方法的具体步骤进行了细化：

如图1所示，在本实施例，公开了一种快速大规模人脸识别系统，包括：

视频采集模块，通过摄像头进行人脸视频图像的采集；

人脸检测模块，从摄像头拍摄的视频中进行人脸检测；

特征抽取模块，对人脸图像进行特征抽取，采用高精度的轻量级神经网络模型实现；

为实现人脸特征的实时抽取，本发明采用轻量级的深度神经网络架构，具备高精度和低延迟的显著特征。

人脸特征索引模块，采用基于支撑点的度量空间进行索引，基于B+Tree实现索引的存储；

人脸识别精度的提升可以通过高精度人脸识别模型实现，轻量级的模型可以提升推理性能。人脸特征是一种高维数据，通常采用128，256或者512维进行表征。所采用的人脸特征维度越高，索引库规模越大，对于人脸比对的性能挑战越大。对于大规模高维数据，基于支撑点的度量空间构建索引是一种高效的索引实现方式。利用支撑点对高维数据进行划分，通过将高维数据降维，映射到一维的空间上，从而使得数据可以采用B+Tree进行索引存储，并进一步在B+Tree上实现高效的数据查询。在1:N的人脸识别中，需要在索引中找到与查询数据相似度最大的索引数据，从而实现身份鉴别。要高效的实现大规模人脸比对，高维数据的索引与查询方法显得尤为重要。

为提升人脸比对性能，本发明在采用一种基于度量空间的索引方式构建人脸索引，并采用一种高维数据索引快速查询方法找到索引中相似度最大的索引数据。

为解决查询性能不稳定问题，针对索引查询时长超过设定的响应时间阈值的数据进行缓存，采用一种数据存活时间有限的LRU算法淘汰最近最长时间未访问的数据以及数据存活时间超过设定期限的数据。

人脸特征缓存模块，人脸识别模块中查询特征索引超过设定的数据响应超时阈值的特征数据进行缓存；

人脸识别模块，通过查找人脸特征缓存与人脸特征索引找到识别的目标对象;

其中，人脸识别的1：N比对是先在人脸数据缓存中进行查找，如果数据缓存模块未找到，再通过人脸比对模块在人脸度量空间索引库索引上进行数据查找。

此外，如图2所示，在本实施例中，公开了一种快速大规模人脸识别方法，包括以下步骤：

S1、人脸视频图像采集，通过摄像头进行人脸视频图像的拍摄，对于弱光照环境支持系统自动补光提升拍摄质量；

S2、人脸检测，利用MTCNN算法从采集的人脸视频图像中提取人脸图像，并进行人脸对齐；

S3、人脸特征抽取，利用高精度、轻量级的神经网络模型进行人脸特征抽取；

S4、人脸识别，在人脸特征缓存中进行查找，如果找到相似度大于设定阈值的对象，则返回识别目标对象。如果在人脸特征缓存没有找到，则利用基于度量空间的人脸索引在人脸特征度量空间索引库中进行人脸特征数据检索，找到与步骤S3中待识别人脸特征数据最相近的人脸为识别目标对象，返回识别结果。

如图3所示，基于度量空间的人脸索引在人脸特征索引库中进行人脸特征数据检索，包括以下步骤：

401) 输入查询请求数据q，查询半径r；

402) 计算q到支撑点序列p[0,…,n-1]的距离，得到一个q与各支撑点之间距离的序列Pd[0,…,n-1]；

403) 对Pd[0,…,n-1]按距离递增进行排序得到一个与q之间距离由小到大的支撑点序列Ps[0,…,n-1]，该序列即为与请求数据相似度较高的数据的存储路径；

404) 利用Ps[0,…,n-1]，找到B+Tree的相应叶子节点l，对应支撑点p[i]，其中0<i<n，取其父节点为当前节点current_node；并找到叶子节点l中与q距离最近的数据m，如果m与q之间距离小于r,则更新r为m与q之间的距离；

405) 将current_node节点加入已处理节点集合V，利用剪枝条件对当前节点current_node的子节点由上向下进行剪枝，直到叶子节点，子节点在集合V中的节点不再进行二次访问；

406) 对405)中的叶子节点下的数据进行遍历，并逐一计算这些高维数据与q之间的距离，找到叶子节点中与q距离最近的数据d；

407) 判断数据d与q的距离是否小于当前最小距离r，如果小于当前最小距离r，则更新最小距离索引数据m，并更新r为最小距离；

408) 基于当前节点current_node向上查找得到父节点p，对p的子节点利用剪枝条件进行剪枝，如果p的子节点中存在除current_node之外的其他子节点符合剪枝条件，也就是子节点不在集合V中的节点，依次对这些符合剪枝条件的叶子节点进行由上向下的剪枝，过程如405)、406)所述；如果不存在，对返回结果, 算法终止；

S5、判断人脸特征索引中的查找时长是否超过设定的响应时间阈值，如果超过设定的响应时间阈值，则将当前查找到的识别目标对象加入人脸特征缓存。

、人脸特征缓存采用一种数据存活时间有限的LRU算法淘汰最近最长时间未访问的数据以及数据存活时间超过设定期限的数据，以便维持人脸特征缓存在一个适度的规模，保障该缓存模块的高效访问。

如图4所示，LRU算法包括以下步骤：

601)判断是否存在数据超过存活的时间限制，如果存在，则淘汰超存活限制期的数据；

602)判断人脸缓存数据是否超过设定的规模限制，如果人脸缓存数据超过设定的规模限制，则淘汰缓存中最长时间未被访问的数据。

综上所述，本发明所述一种快速大规模人脸识别方法、系统，能够在单机服务器实现数千万规模的人脸快速识别，加入人脸特征缓存能够提升人脸特征匹配的效率，解决大规模特征索引中部分数据访问时间过长的问题，具备索引规模大、识别精度高、查询时延低、稳定性强的优点，系统易部署，运营成本低，具备良好的可扩展性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种快速大规模人脸识别方法，其特征在于，包括以下步骤：

若在所述人脸特征度量空间索引库中查找到与所述人脸特征相匹配的样本特征，则输出所述匹配成功的样本特征的身份信息，并记录所述人脸特征的查找时间，判断所述查找时间是否大于预设的查找时间阈值，若大于所述查找时间阈值，则将所述匹配成功的样本特征加入人脸特征缓存，并采用数据存活时间受限的LRU算法更新所述人脸特征缓存中的样本特征；

其中，在人脸特征度量空间索引库中查找与所述人脸特征相匹配的样本特征，具体包括以下步骤：

2.根据权利要求1所述的快速大规模人脸识别方法，其特征在于，采用数据存活时间受限的LRU算法更新所述人脸特征缓存中的样本特征，包括以下步骤：

3.根据权利要求1所述的快速大规模人脸识别方法，其特征在于，采用数据存活时间受限的LRU算法更新所述人脸特征缓存中的样本特征，包括以下步骤：

4.根据权利要求3所述的快速大规模人脸识别方法，其特征在于，所述人脸特征度量空间索引库采用基于支撑点的度量空间进行索引，基于B+Tree实现索引的存储。

5.根据权利要求4所述的快速大规模人脸识别方法，其特征在于，判断所述当前的查询半径是否满足预设条件，包括以下步骤：

基于当前节点current_node向上查找所属父节点p，根据当前的查询半径构建剪枝条件，判断其父节点p的子节点中是否存在除当前节点current_node之外的其他子节点符合当前的剪枝条件，若存在，对其父节点p依次执行步骤S3；若不存在，则将数据d作为与所述人脸特征相匹配的样本特征输出。

6.根据权利要求5所述的快速大规模人脸识别方法，其特征在于，确定查询请求数据q在人脸特征索引库中归属的叶子节点，包括以下步骤：

7.根据权利要求6所述的快速大规模人脸识别方法，其特征在于，根据当前的查询半径r构建当前的剪枝条件，具体为：找到叶子节点中距离q最近的特征数据，更新查询半径r为该特征数据与查询数据q时间的距离，如果当前节点中存在数据x，其中d(q,x)<r,则向下访问x关联的子节点。

8.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一所述方法的步骤。