CN113569626A - 一种人脸检索方法、系统、计算机设备和存储介质 - Google Patents

一种人脸检索方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN113569626A
CN113569626A CN202110656291.XA CN202110656291A CN113569626A CN 113569626 A CN113569626 A CN 113569626A CN 202110656291 A CN202110656291 A CN 202110656291A CN 113569626 A CN113569626 A CN 113569626A
Authority
CN
China
Prior art keywords
face
network
feature
floating point
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110656291.XA
Other languages
English (en)
Inventor
姚丹霖
周海涛
彭自立
刘胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Meimei Technology Development Co ltd
Original Assignee
Hunan Meimei Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Meimei Technology Development Co ltd filed Critical Hunan Meimei Technology Development Co ltd
Priority to CN202110656291.XA priority Critical patent/CN113569626A/zh
Publication of CN113569626A publication Critical patent/CN113569626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种人脸检索方法、系统、计算机设备和存储介质。该方法包括：将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；将所述已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过所述特征对比模块对所述人脸浮点特征与所述底库人脸浮点特征、所述人脸哈希特征与所述底库人脸哈希特征进行对比，获取精细对比结果，根据所述精细对比结果完成人脸的检索。本发明实施例能够实现大规模人群的人脸检索，并减少非有效人脸关键区域的干扰，提高人脸检索的准确度。

Description

一种人脸检索方法、系统、计算机设备和存储介质
技术领域
本申请涉及大数据技术领域，特别是涉及一种人脸检索方法、系统、计算机设备和存储介质。
背景技术
随着深度学习技术不断突破以及算力不断提升，计算机视觉领域取得了突破性进展。人脸检索作为计算机视觉领域的重点研究方向，广泛应用于安防、社交以及日常娱乐等领域。近些年，人脸检索的精度得到了显著的提升，其提升主要归功于两个方面：海量的人脸图像和具有鉴别力的人脸特征提取方法，其中人脸特征提取方法包括传统人脸特征提取方法和深度神经网络人脸特征提取方法。
但现有的人脸识别或者检索的技术中，很多采用空间/通道注意力机制，增强前景，降低背景信息的影响，无法解决在非配合的安防场景，特别是在人群密集路口，人脸图像中的一些局部人脸等前景的干扰问题，导致在大规模人群中进行人脸检索的精确度较低。
发明内容
基于此，有必要针对上述技术问题，提供一种人脸检索方法、系统、计算机设备和存储介质。
第一方面，本发明实施例提供了一种人脸检索方法，包括以下步骤：
将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
将所述已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；
将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过特征对比模块对所述人脸浮点特征与所述底库人脸浮点特征、所述人脸哈希特征与所述底库人脸哈希特征进行对比，获取精细对比结果，根据所述精细对比结果完成人脸的检索。
进一步的，获取所述已掩码人脸图像包括：
将经所述人脸检测和关键点检测网络处理获得的已对齐人脸图像送入编码子网络，提取特征，获得高维热点图；
将所述高维热点图送入解码子网络，获得所述已对齐人脸图像原尺寸的像素掩码，所述已对齐人脸图像，包括一个或多个前景区域、一个或多个背景区域；
计算有效目标人脸关键区域的平均像素值，将所述已对齐人脸图像中非有效目标人脸关键区域的每个像素的像素值替换为平均像素值，获得已掩码人脸图像。
进一步的，所述人脸浮点特征和所述人脸哈希特征的获取包括：
所述人脸特征提取网络包括浮点特征提取子网络和深度哈希子网络；
将所述已掩码人脸图像送入所述浮点特征提取子网络，获得所述人脸浮点特征；所述人脸浮点特征，是由一系列浮点数构成的高维特征向量；
将所述人脸浮点特征送入所述深度哈希子网络，获得所述人脸哈希特征；所述人脸哈希特征，是由一系列0和1构成的低维特征向量。
进一步的，还包括人脸检索的网络训练，所述人脸检索的网络训练包括：
将已对齐人脸图像分为训练集和验证集，为每一张已对齐人脸图像标注上人脸身份ID；
将所述训练集送入所述像素掩码网络，结合像素掩码损失更新所述像素掩码网络的参数，再利用所述验证集验证所述像素掩码网络是否收敛，获得最优的像素掩码模型；
将所述像素掩码网络处理的所述训练集送入所述浮点特征提取子网络，结合改进的带间隔的分类损失更新所述浮点特征提取子网络的参数，再利用所述验证集验证所述浮点特征提取子网络是否收敛，获得高维的人脸浮点特征提取模型；
将所述像素掩码网络处理的所述训练集送入所述人脸特征提取网络，在所述浮点特征提取子网络收敛的基础上，冻结所述浮点特征提取子网络的参数，结合改进的分类损失和二值量化损失共同更新深度哈希子网络的参数，再利用所述验证集验证所述深度哈希子网络是否收敛，获得低维的人脸哈希特征提取模型。
进一步的，获取所述精细对比结果包括：
采用包括但不限于汉明距离或哈希桶的方法，对查询人脸哈希特征与所述底库人脸哈希特征进行粗检索，获得前N个粗检索结果；
对所述前N个粗检索结果，逐一计算其所述底库人脸浮点特征与查询人脸浮点特征的相似度，获得相似度最大者，输出所述相似度最大者及其相似度。
进一步的，还包括底库人脸信息的获取，所述底库人脸信息的获取包括：
将待加入底库人脸信息库的图像及底库人脸身份ID送入所述人脸检测和关键点检测网络，获得所述图像的所述人脸浮点特征和所述人脸哈希特征；
根据所述图像的所述底库人脸身份ID、所述人脸浮点特征和所述人脸哈希特征，输出所述底库人脸信息。
进一步的，所述底库人脸信息库的构建包括对所述底库人脸信息库的四种功能操作，包括：
根据输入的所述底库人脸信息执行新增操作，根据输入的所述底库人脸信息执行修改操作，根据输入的所述人脸身份ID执行查询操作，根据输入的所述人脸身份ID执行删除操作。
另一方面，本发明实施例还提供了一种人脸检索系统，包括：
掩码人脸图像模块，用于将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
特征提取模块，用于将所述已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；
对比检索模块，用于将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过特征对比模块对所述人脸浮点特征与所述底库人脸浮点特征、所述人脸哈希特征与所述底库人脸哈希特征进行对比，获取精细对比结果，根据所述精细对比结果完成人脸的检索。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
将所述已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；
将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过所述特征对比模块对所述人脸浮点特征与所述底库人脸浮点特征、所述人脸哈希特征与所述底库人脸哈希特征进行对比，获取精细对比结果，根据所述精细对比结果完成人脸的检索。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
将所述已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；
将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过所述特征对比模块对所述人脸浮点特征与所述底库人脸浮点特征、所述人脸哈希特征与所述底库人脸哈希特征进行对比，获取精细对比结果，根据所述精细对比结果完成人脸的检索。
本申请的有益效果是：本发明实施例提出在人脸浮点特征提取网络收敛的前提下将二值量化损失作用于人脸哈希特征层，保证深度哈希网络快速收敛且与人脸浮点特征提取网络共享权重，可实现神经网络经过一次前向推理，同时获得具有鉴别力的人脸浮点特征和人脸哈希特征，用于后续的粗检索和精细比对，加速检索速度并提高检索精度。其次，提出了一种改进的浮点特征提取网络和深度哈希网络的损失函数，可循序渐进地动态调整间隔惩罚因子，在保证网络正常收敛的前提下，逐渐缩小类内间距和增大类间间距，以获得更具备鉴别力的人脸特征。最后，采用像素掩码网络获取人脸图像的像素掩码，选择像素掩码所占整个人脸图像最大比例的前景区域作为有效的人脸关键区域，将其他前景区域和背景区域用该人脸图像的平均像素进行替代，减少非有效人脸关键区域的干扰，提高人脸检索的准确度。
附图说明
图1为一个实施例中人脸检索方法的流程示意图；
图2为一个实施例获取已掩码人脸图像的流程示意图；
图3为一个实施例中人脸浮点特征和人脸哈希特征的获取的流程示意图；
图4为一个实施例中人脸检索的网络训练方法的流程示意图；
图5为一个实施例获取精细对比结果的流程示意图；
图6为一个实施例中人脸检索系统的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种人脸检索方法，包括以下步骤：
步骤101，将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
步骤102，将已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；
步骤103，将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过特征对比模块对人脸浮点特征与底库人脸浮点特征、人脸哈希特征与底库人脸哈希特征进行对比，获取精细对比结果，根据精细对比结果完成人脸的检索。
具体地，通过在人脸浮点特征提取网络收敛的前提下将二值量化损失作用于人脸哈希特征层，保证深度哈希网络快速收敛且与人脸浮点特征提取网络共享权重，可实现神经网络经过一次前向推理，同时获得具有鉴别力的人脸浮点特征和人脸哈希特征，用于后续的粗检索和精细比对，加速检索速度并提高检索精度。其次，提出了一种改进的浮点特征提取网络和深度哈希网络的损失函数，可循序渐进地动态调整间隔惩罚因子，在保证网络正常收敛的前提下，逐渐缩小类内间距和增大类间间距，以获得更具备鉴别力的人脸特征。最后，采用像素掩码网络获取人脸图像的像素掩码，选择像素掩码所占整个人脸图像最大比例的前景区域作为有效的人脸关键区域，将其他前景区域和背景区域用该人脸图像的平均像素进行替代，减少非有效人脸关键区域的干扰，提高人脸检索的准确度。
在一个实施例中，如图2所示，获取已掩码人脸图像包括以下步骤：
步骤201，将经人脸检测和关键点检测网络处理获得的已对齐人脸图像送入编码子网络提取特征，获得高维热点图；
步骤202，将高维热点图送入解码子网络，获得已对齐人脸图像原尺寸的像素掩码，已对齐人脸图像，包括一个或多个前景区域、一个或多个背景区域；
步骤203，计算有效目标人脸关键区域的平均像素值，将已对齐人脸图像中非有效目标人脸关键区域的每个像素的像素值替换为平均像素值，获得已掩码人脸图像。
优选地，人脸浮点特征和人脸哈希特征的获取包括：
步骤301，将已掩码人脸图像送入浮点特征提取子网络，获得人脸浮点特征；人脸浮点特征，由一系列浮点数构成的高维特征向量；
步骤302，将人脸浮点特征送入深度哈希子网络，获得人脸哈希特征；人脸哈希特征，由一系列0和1构成的低维特征向量。
其中，人脸检测和关键点检测网络采用包含但不限于多任务卷积神经网络，像素掩码网络的损失函数采用交叉熵损失，采用像素掩码网络可获得背景和不同前景的像素掩码，选取前景中像素掩码比例最大的区域作为有效目标人脸关键区域。
在一个实施例中，如图4所示，人脸网络训练方法包括：
步骤401，将已对齐人脸图像分为训练集和验证集，为每一张已对齐人脸图像标注上人脸身份ID；
步骤402，将训练集送入像素掩码网络，结合像素掩码损失更新像素掩码网络的参数，再利用验证集验证像素掩码网络是否收敛，获得最优的像素掩码模型；
步骤403，将像素掩码网络处理的训练集送入浮点特征提取子网络，结合改进的带间隔的分类损失更新浮点特征提取子网络的参数，再利用验证集验证浮点特征提取子网络是否收敛，获得高维的人脸浮点特征提取模型；
步骤404，将像素掩码网络处理的训练集送入人脸特征提取网络，在浮点特征提取子网络收敛的基础上，冻结浮点特征提取子网络的参数，结合改进的分类损失和二值量化损失共同更新深度哈希子网络的参数，再利用验证集验证深度哈希子网络是否收敛，获得低维的人脸哈希特征提取模型。
具体地，人脸检索方法训练步骤采用但不限于多任务卷积神经网络对含人脸的训练图像进行人脸检测和关键点检测，获得已对齐人脸图像。将已对齐人脸图像分为训练集和测试集。将训练集送入像素掩码网络，结合像素掩码损失函数更新像素掩码网络的参数，再利用验证集验证像素掩码网络是否收敛，获得最优的像素掩码模型。将像素掩码网络处理的训练集送入浮点特征提取网络，结合浮点损失函数更新浮点特征提取网络的参数，再利用验证集验证浮点特征提取网络是否收敛，获得高维的人脸浮点特征提取模型。将像素掩码网络处理的训练集送入人脸特征提取网络，在浮点特征提取网络收敛的基础上，冻结浮点特征提取网络的参数，结合哈希损失函数同更新深度哈希网络的参数，再利用验证集验证深度哈希网络是否收敛，获得低维的人脸哈希特征提取模型。综上，完成人脸检索方法的网络训练。
在一个实施例中，如图5所示，获取精细对比结果包括：：
步骤501，采用包括但不限于汉明距离或哈希桶的方法，对查询人脸哈希特征与底库人脸哈希特征进行粗检索，获得前N个粗检索结果；
步骤502，对前N个粗检索结果，逐一计算其底库人脸浮点特征与查询人脸浮点特征的相似度，获得相似度最大者，输出相似度最大者及其相似度。
优选地，底库人脸信息的构建包括：将待加入底库人脸信息库的图像及底库人脸身份ID送入人脸检测和关键点检测网络；根据底库人脸信息库的人脸浮点特征和人脸哈希特征，输出底库人脸信息。
进一步的，底库人脸信息的构建包括对底库人脸信息库的四种功能操作，四种功能操作包括：根据输入的底库人脸信息执行新增操作，根据输入的底库人脸信息执行修改操作，根据输入的人脸身份ID执行查询操作，根据输入的人脸身份ID执行删除操作。
具体地，底库人脸信息构建包括：所有底库图像送入人脸检测和人脸关键点检测网络，获取人脸关键点，经仿射变换，获得已对齐底库人脸图像。此外，所有底库图像分别对应唯一的人脸身份ID。已对齐底库人脸图像送入像素掩码网络获得不同前景和背景的像素掩码，根据先验知识，目标人脸往往在已对齐底库人脸图像中占比例最大。因此，根据像素掩码所占比例获取有效目标人脸关键区域，然后将非有效目标人脸关键区域用有效目标人脸关键区域的平均像素替代，然后获得已掩码底库人脸图像。已掩码底库人脸图像送入人脸特征提取网络，人脸特征提取网络，包括浮点特征提取网络和深度哈希网络，经两个网络，分别获得高维度底库人脸浮点特征和低维度底库人脸哈希实数型特征。低维度底库人脸哈希实数型特征经符号函数处理，得到由0和1组成的底库人脸哈希特征。将人脸身份ID、底库人脸浮点特征以及底库人脸哈希特征作为一条底库人脸信息存入磁盘中。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种人脸检索系统，包括：掩码人脸图像模块601、特征提取模块602、对比检索模块603；其中：
掩码人脸图像模块601，用于将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
特征提取模块602，用于根据人脸特征提取网络获取人脸浮点特征和人脸哈希特征；
对比检索模块603，用于将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过特征对比模块对人脸浮点特征和人脸哈希特征进行对比，获取精细对比结果，根据精细对比结果完成人脸的检索。
在一个实施例中，如图6所示，掩码人脸图像模块601包括像素掩码单元6011，像素掩码单元用于：将经人脸检测和关键点检测网络处理获得的已对齐人脸图像送入编码子网络提取特征，获得高维热点图；
将高维热点图送入解码子网络，获得已对齐人脸图像原尺寸的像素掩码，已对齐人脸图像，包括一个或多个前景区域、一个或多个背景区域；
计算有效目标人脸关键区域的平均像素值，将已对齐人脸图像中非有效目标人脸关键区域的每个像素的像素值替换为平均像素值，获得已掩码人脸图像。
在一个实施例中，如图6所示，特征提取模块602还用于：将已掩码人脸图像送入浮点特征提取子网络，获得人脸浮点特征；人脸浮点特征，由一系列浮点数构成的高维特征向量；将人脸浮点特征送入深度哈希子网络，获得人脸哈希特征；人脸哈希特征，由一系列0和1构成的低维特征向量。
在一个实施例中，人脸检索系统还包括人脸训练模块，人脸训练模块用于：
将已对齐人脸图像分为训练集和验证集，为每一张已对齐人脸图像标注上人脸身份ID；
将训练集送入像素掩码网络，结合像素掩码损失更新像素掩码网络的参数，再利用验证集验证像素掩码网络是否收敛，获得最优的像素掩码模型；
将像素掩码网络处理的训练集送入浮点特征提取子网络，结合改进的带间隔的分类损失更新浮点特征提取子网络的参数，再利用验证集验证浮点特征提取子网络是否收敛，获得高维的人脸浮点特征提取模型；
将像素掩码网络处理的训练集送入人脸特征提取网络，在浮点特征提取子网络收敛的基础上，冻结浮点特征提取子网络的参数，结合改进的分类损失和二值量化损失共同更新深度哈希子网络的参数，再利用验证集验证深度哈希子网络是否收敛，获得低维的人脸哈希特征提取模型。
在一个实施例中，对比检索模块603包括特征对比单元6031，特征对比单元6031首先用汉明距离或哈希桶的方法，对查询人脸哈希特征与底库人脸哈希特征进行粗检索，获得前N个粗检索结果；
再对前N个粗检索结果，逐一计算其底库人脸浮点特征与查询人脸浮点特征的相似度，获得相似度最大者，输出相似度最大者及其相似度。
优选地，对比检索模块603还包括底库人脸信息管理单元6032，底库人脸信息管理单元6032用于：将待加入底库人脸信息库的图像及底库人脸身份ID送入人脸检测和关键点检测网络；根据底库人脸信息库的人脸浮点特征和人脸哈希特征，输出底库人脸信息。底库人脸信息管理单元6032还用于底库人脸信息的构建，包括对底库人脸信息库的四种功能操作，四种功能操作包括：根据输入的底库人脸信息执行新增操作，根据输入的底库人脸信息执行修改操作，根据输入的人脸身份ID执行查询操作，根据输入的人脸身份ID执行删除操作。
关于人脸检索系统的具体限定可以参见上文中对于人脸检索方法的限定，在此不再赘述。上述人脸检索系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图7示出了一个实施例中计算机设备的内部结构图。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现权限异常检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行权限异常检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
根据人脸特征提取网络获取人脸浮点特征和人脸哈希特征；
将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过特征对比模块对人脸浮点特征和人脸哈希特征进行对比，获取精细对比结果，根据精细对比结果完成人脸的检索。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将经人脸检测和关键点检测网络处理获得的已对齐人脸图像送入编码子网络提取特征，获得高维热点图；
将高维热点图送入解码子网络，获得已对齐人脸图像原尺寸的像素掩码，已对齐人脸图像，包括一个或多个前景区域、一个或多个背景区域；
计算有效目标人脸关键区域的平均像素值，将已对齐人脸图像中非有效目标人脸关键区域的每个像素的像素值替换为平均像素值，获得已掩码人脸图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将已掩码人脸图像送入浮点特征提取子网络，获得人脸浮点特征；人脸浮点特征，由一系列浮点数构成的高维特征向量；
将人脸浮点特征送入深度哈希子网络，获得人脸哈希特征；人脸哈希特征，由一系列0和1构成的低维特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将已对齐人脸图像分为训练集和验证集，为每一张已对齐人脸图像标注上人脸身份ID；
将训练集送入像素掩码网络，结合像素掩码损失更新像素掩码网络的参数，再利用验证集验证像素掩码网络是否收敛，获得最优的像素掩码模型；
将像素掩码网络处理的训练集送入浮点特征提取子网络，结合改进的带间隔的分类损失更新浮点特征提取子网络的参数，再利用验证集验证浮点特征提取子网络是否收敛，获得高维的人脸浮点特征提取模型；
将像素掩码网络处理的训练集送入人脸特征提取网络，在浮点特征提取子网络收敛的基础上，冻结浮点特征提取子网络的参数，结合改进的分类损失和二值量化损失共同更新深度哈希子网络的参数，再利用验证集验证深度哈希子网络是否收敛，获得低维的人脸哈希特征提取模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用包括但不限于汉明距离或哈希桶的方法，对查询人脸哈希特征与底库人脸哈希特征进行粗检索，获得前N个粗检索结果；
对前N个粗检索结果，逐一计算其底库人脸浮点特征与查询人脸浮点特征的相似度，获得相似度最大者，输出相似度最大者及其相似度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待加入底库人脸信息库的图像及底库人脸身份I D送入人脸检测和关键点检测网络；
根据底库人脸信息库的人脸浮点特征和人脸哈希特征，输出底库人脸信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据输入的底库人脸信息执行新增操作，根据输入的底库人脸信息执行修改操作，根据输入的人脸身份ID执行查询操作，根据输入的人脸身份ID执行删除操作。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
根据人脸特征提取网络获取人脸浮点特征和人脸哈希特征；
将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过特征对比模块对人脸浮点特征和人脸哈希特征进行对比，获取精细对比结果，根据精细对比结果完成人脸的检索。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将经人脸检测和关键点检测网络处理获得的已对齐人脸图像送入编码子网络提取特征，获得高维热点图；
将高维热点图送入解码子网络，获得已对齐人脸图像原尺寸的像素掩码，已对齐人脸图像，包括一个或多个前景区域、一个或多个背景区域；
计算有效目标人脸关键区域的平均像素值，将已对齐人脸图像中非有效目标人脸关键区域的每个像素的像素值替换为平均像素值，获得已掩码人脸图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将已掩码人脸图像送入浮点特征提取子网络，获得人脸浮点特征；人脸浮点特征，由一系列浮点数构成的高维特征向量；
将人脸浮点特征送入深度哈希子网络，获得人脸哈希特征；人脸哈希特征，由一系列0和1构成的低维特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将已对齐人脸图像分为训练集和验证集，为每一张已对齐人脸图像标注上人脸身份ID；
将训练集送入像素掩码网络，结合像素掩码损失更新像素掩码网络的参数，再利用验证集验证像素掩码网络是否收敛，获得最优的像素掩码模型；
将像素掩码网络处理的训练集送入浮点特征提取子网络，结合改进的带间隔的分类损失更新浮点特征提取子网络的参数，再利用验证集验证浮点特征提取子网络是否收敛，获得高维的人脸浮点特征提取模型；
将像素掩码网络处理的训练集送入人脸特征提取网络，在浮点特征提取子网络收敛的基础上，冻结浮点特征提取子网络的参数，结合改进的分类损失和二值量化损失共同更新深度哈希子网络的参数，再利用验证集验证深度哈希子网络是否收敛，获得低维的人脸哈希特征提取模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用包括但不限于汉明距离或哈希桶的方法，对查询人脸哈希特征与底库人脸哈希特征进行粗检索，获得前N个粗检索结果；
对前N个粗检索结果，逐一计算其底库人脸浮点特征与查询人脸浮点特征的相似度，获得相似度最大者，输出相似度最大者及其相似度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待加入底库人脸信息库的图像及底库人脸身份ID送入人脸检测和关键点检测网络；
根据底库人脸信息库的人脸浮点特征和人脸哈希特征，输出底库人脸信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据输入的底库人脸信息执行新增操作，根据输入的底库人脸信息执行修改操作，根据输入的人脸身份ID执行查询操作，根据输入的人脸身份ID执行删除操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸检索方法，其特征在于，包括以下步骤：
将人脸图像导入人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
将所述已掩码人脸图像送入人脸特征提取网络，获取人脸浮点特征和人脸哈希特征；
将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过所述特征对比模块对所述人脸浮点特征与所述底库人脸浮点特征、所述人脸哈希特征与所述底库人脸哈希特征进行对比，获取精细对比结果，根据所述精细对比结果完成人脸的检索。
2.根据权利要求1的人脸检索方法，其特征在于，获取所述已掩码人脸图像包括：
将经所述人脸检测和关键点检测网络处理获得的已对齐人脸图像送入编码子网络，提取特征，获得高维热点图；
将所述高维热点图送入解码子网络，获得所述已对齐人脸图像原尺寸的像素掩码，所述已对齐人脸图像，包括一个或多个前景区域、一个或多个背景区域；
计算有效目标人脸关键区域的平均像素值，将所述已对齐人脸图像中非有效目标人脸关键区域的每个像素的像素值替换为平均像素值，获得已掩码人脸图像。
3.根据权利要求1的人脸检索方法，其特征在于，所述人脸浮点特征和所述人脸哈希特征的获取包括：
所述人脸特征提取网络包括浮点特征提取子网络和深度哈希子网络；
将所述已掩码人脸图像送入所述浮点特征提取子网络，获得所述人脸浮点特征；所述人脸浮点特征，是由一系列浮点数构成的高维特征向量；
将所述人脸浮点特征送入所述深度哈希子网络，获得所述人脸哈希特征；所述人脸哈希特征，是由一系列0和1构成的低维特征向量。
4.根据权利要求1的人脸检索方法，其特征在于，还包括人脸检索的网络训练，所述人脸检索的网络训练包括：
将已对齐人脸图像分为训练集和验证集，为每一张已对齐人脸图像标注上人脸身份ID；
将所述训练集送入所述像素掩码网络，结合像素掩码损失更新所述像素掩码网络的参数，再利用所述验证集验证所述像素掩码网络是否收敛，获得最优的像素掩码模型；
将所述像素掩码网络处理的所述训练集送入所述浮点特征提取子网络，结合改进的带间隔的分类损失更新所述浮点特征提取子网络的参数，再利用所述验证集验证所述浮点特征提取子网络是否收敛，获得高维的人脸浮点特征提取模型；
将所述像素掩码网络处理的所述训练集送入所述人脸特征提取网络，在所述浮点特征提取子网络收敛的基础上，冻结所述浮点特征提取子网络的参数，结合改进的分类损失和二值量化损失共同更新深度哈希子网络的参数，再利用所述验证集验证所述深度哈希子网络是否收敛，获得低维的人脸哈希特征提取模型。
5.根据权利要求1的人脸检索方法，其特征在于，获取所述精细对比结果包括：
采用包括但不限于汉明距离或哈希桶的方法，对查询人脸哈希特征与所述底库人脸哈希特征进行粗检索，获得前N个粗检索结果；
对所述前N个粗检索结果，逐一计算其所述底库人脸浮点特征与查询人脸浮点特征的相似度，获得相似度最大者，输出所述相似度最大者及其相似度。
6.根据权利要求1的人脸检索方法，其特征在于，还包括底库人脸信息的获取，所述底库人脸信息的获取包括：
将待加入底库人脸信息库的图像及底库人脸身份ID送入所述人脸检测和关键点检测网络，获得所述图像的所述人脸浮点特征和所述人脸哈希特征；
根据所述图像的所述底库人脸身份ID、所述人脸浮点特征和所述人脸哈希特征，输出所述底库人脸信息。
7.根据权利要求6的人脸检索方法，其特征在于，所述底库人脸信息库的构建包括对所述底库人脸信息库的四种功能操作，包括：
根据输入的所述底库人脸信息执行新增操作，根据输入的所述底库人脸信息执行修改操作，根据输入的所述人脸身份ID执行查询操作，根据输入的所述人脸身份ID执行删除操作。
8.一种人脸检索系统，其特征在于，包括：
掩码人脸图像模块，用于将人脸图像导入所述人脸图像和关键点检测网络中，通过像素掩码网络获取已掩码人脸图像；
特征提取模块，用于根据人脸特征提取网络获取人脸浮点特征和人脸哈希特征；
对比检索模块，用于将底库人脸浮点特征和底库人脸哈希特征导入特征对比模块，通过所述特征对比模块对所述底库人脸浮点特征与所述人脸浮点特征、所述底库人脸哈希特征与所述人脸哈希特征分别进行对比，获取精细对比结果，根据精细对比结果完成人脸的检索。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项方法的步骤。
10.一种计算机可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项的方法的步骤。
CN202110656291.XA 2021-06-11 2021-06-11 一种人脸检索方法、系统、计算机设备和存储介质 Pending CN113569626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656291.XA CN113569626A (zh) 2021-06-11 2021-06-11 一种人脸检索方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110656291.XA CN113569626A (zh) 2021-06-11 2021-06-11 一种人脸检索方法、系统、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113569626A true CN113569626A (zh) 2021-10-29

Family

ID=78161998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110656291.XA Pending CN113569626A (zh) 2021-06-11 2021-06-11 一种人脸检索方法、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113569626A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676279A (zh) * 2022-05-25 2022-06-28 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN117880590A (zh) * 2024-01-22 2024-04-12 镇江安健影像有限公司 图像数据播放策略智能调节系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676279A (zh) * 2022-05-25 2022-06-28 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN114676279B (zh) * 2022-05-25 2022-09-02 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN117880590A (zh) * 2024-01-22 2024-04-12 镇江安健影像有限公司 图像数据播放策略智能调节系统

Similar Documents

Publication Publication Date Title
Yang et al. Attacks on state-of-the-art face recognition using attentional adversarial attack generative network
Mai et al. On the reconstruction of face images from deep face templates
Paisitkriangkrai et al. Pedestrian detection with spatially pooled features and structured ensemble learning
Xiao et al. Deep salient object detection with dense connections and distraction diagnosis
Jin et al. Generative adversarial network technologies and applications in computer vision
Khammari Robust face anti‐spoofing using CNN with LBP and WLD
CN113569626A (zh) 一种人脸检索方法、系统、计算机设备和存储介质
CN106446867A (zh) 一种基于随机投影加密的双因子掌纹识别方法
Tang et al. CLASS: cross-level attention and supervision for salient objects detection
Xi et al. Salient object detection based on an efficient end-to-end saliency regression network
Wang et al. Make complex captchas simple: a fast text captcha solver based on a small number of samples
Zhou et al. Fast minutiae extractor using neural network
Liu et al. BioDraw: Reliable multi-factor user authentication with one single finger swipe
Xu et al. Multi‐pyramid image spatial structure based on coarse‐to‐fine pyramid and scale space
Xiao et al. Learning discriminative representation with global and fine‐grained features for cross‐view gait recognition
Zheng et al. Segmentation mask guided end-to-end person search
Rajeshwari et al. Adaboost modular tensor locality preservative projection: face detection in video using Adaboost modular‐based tensor locality preservative projections
Yang et al. Heterogeneous vision chip and LBP‐based algorithm for high‐speed tracking
Yang et al. DA2Net: Distraction-attention-driven adversarial network for robust remote sensing image scene classification
Liu et al. Model compression hardens deep neural networks: A new perspective to prevent adversarial attacks
Wang et al. Content-aware rectified activation for zero-shot fine-grained image retrieval
Said et al. Efficient and high‐performance pedestrian detector implementation for intelligent vehicles
CN116188956A (zh) 一种深度伪造人脸图像检测的方法及相关设备
Gao et al. Identity-guided collaborative learning for cloth-changing person reidentification
CN112800452B (zh) 用户身份图像处理和识别的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhou Haitao

Inventor after: Yao Danlin

Inventor after: Peng Zili

Inventor after: Liu Sheng

Inventor before: Yao Danlin

Inventor before: Zhou Haitao

Inventor before: Peng Zili

Inventor before: Liu Sheng