CN114998955A - 人脸识别方法、装置、存储介质及电子设备 - Google Patents

人脸识别方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114998955A
CN114998955A CN202210475603.1A CN202210475603A CN114998955A CN 114998955 A CN114998955 A CN 114998955A CN 202210475603 A CN202210475603 A CN 202210475603A CN 114998955 A CN114998955 A CN 114998955A
Authority
CN
China
Prior art keywords
face
image
model
recognized
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210475603.1A
Other languages
English (en)
Inventor
霍卫涛
陈奕名
王超
马丁
张清宇
阚海鹏
程章焱
沐天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinghong Software Technology Co ltd
Original Assignee
Beijing Jinghong Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinghong Software Technology Co ltd filed Critical Beijing Jinghong Software Technology Co ltd
Priority to CN202210475603.1A priority Critical patent/CN114998955A/zh
Publication of CN114998955A publication Critical patent/CN114998955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种计算机技术领域,具体涉及一种人脸识别方法、装置、存储介质及电子设备,以提高人脸识别的准确率及速度。该方法包括:获取待识别图像,所述待识别图像为高维度特征图像;将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,所述人脸检测结果包括人脸在所述待识别图像中的目标位置;将所述人脸检测结果输入人脸特征提取模型,得到所述人脸特征提取模型输出的人脸特征提取结果,所述人脸特征提取结果包括所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;在所述置信度大于置信度阈值的情况下,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果。

Description

人脸识别方法、装置、存储介质及电子设备
技术领域
本公开涉及计算机技术领域,具体地,涉及一种人脸识别方法、装置、存储介质及电子设备。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术。人脸识别主要用于身份识别,广泛应用于企业、住宅安全和管理领域,例如人脸识别门禁考勤系统、人脸识别防盗门,电子护照及身份证领域、公安、司法和刑侦领域,自助服务领域,以及信息安全领域。
但由于不同个体之间的区别不大,人脸的结构相似,且在不同观察角度,同一人脸的视觉图像相差较大等因素,相关技术中采用的人脸识别方法准确率较低,且识别速度较慢。
发明内容
为克服相关技术中存在的问题,本公开提供一种人脸识别方法、装置、存储介质及电子设备,以解决人脸识别方法准确率较低,且识别速度较慢的问题。
根据本公开实施例的第一方面,提供一种人脸识别方法,包括:
获取待识别图像,所述待识别图像为高维度特征图像;
将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,所述人脸检测结果包括人脸在所述待识别图像中的目标位置;
将所述人脸检测结果输入人脸特征提取模型,得到所述人脸特征提取模型输出的人脸特征提取结果,所述人脸特征提取结果包括所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
在所述置信度大于置信度阈值的情况下,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果。
可选地,所述在所述置信度大于置信度阈值的情况下,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果,包括:
在所述置信度小于等于所述置信度阈值的情况下,循环执行以下操作:
将所述待识别图像输入所述人脸检测模型,得到所述人脸检测模型输出的人脸检测结果;
将所述人脸检测结果输入所述人脸特征提取模型,得到所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
在所述置信度大于所述置信度阈值的情况下,将所述人脸特征提取结果输入所述人脸匹配模型。
可选地,所述人脸检测模型包括人脸检测子模型和修正模型,所述人脸检测子模型用于在输入的待识别图像上用检测框初步标注出人脸所处的粗略位置,并将标注有检测框的图像输入所述修正模型,所述修正模型用于提取标注有检测框的图像的特征信息,并根据特征信息输出所述目标位置。
可选地,所述将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,包括:
将所述待识别图像输入人脸检测子模型,得到所述人脸检测子模型输出的第一人脸检测结果;
在所述第一人脸检测结果中所述待识别图像包括检测框的情况下,根据所述检测框对所述待识别图像进行剪裁,并将得到的剪裁图像进行放大处理;
将放大后的剪裁图像输入所述修正模型,以提取得到所述剪裁图像中的高维度以及低维度特征,并根据所述高维度以及低维度特征输出人脸在所述待识别图像中的目标位置。
可选地,所述将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果,包括:
根据向量维度将所述特征向量分为多个模块;
计算每一模块的特征向量与底库中的目标图像对应的特征向量之间的特征距离;
确定特征距离大于特征距离阈值的模块个数;
若所述模块个数大于预设模块个数,则确定所述目标图像中的人脸为所述待识别图像中的人脸。
可选地,所述获取待识别图像,包括:
获取原始图像;
对所述原始图像进行缩小处理,得到缩小图像;
对所述缩小图像进行高斯模糊处理,得到所述待识别图像。
可选地,所述人脸特征提取模型为贝叶斯神经网络模型。
根据本公开实施例的第二方面,提供一种人脸识别装置,包括:
获取模块,被配置为获取待识别图像,所述待识别图像为高维度特征图像;
第一确定模块,被配置为将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,所述人脸检测结果包括人脸在所述待识别图像中的目标位置;
第二确定模块,被配置为将所述人脸检测结果输入人脸特征提取模型,得到所述人脸特征提取模型输出的人脸特征提取结果,所述人脸特征提取结果包括所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
第三确定模块,被配置为当所述置信度大于置信度阈值时,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果。
可选地,所述第三确定模块被配置为:
在所述置信度小于等于所述置信度阈值的情况下,循环执行以下操作:
将所述待识别图像输入所述人脸检测模型,得到所述人脸检测模型输出的人脸检测结果;
将所述人脸检测结果输入所述人脸特征提取模型,得到所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
在所述置信度大于所述置信度阈值的情况下,将所述人脸特征提取结果输入所述人脸匹配模型。
可选地,所述人脸检测模型包括人脸检测子模型和修正模型,所述人脸检测子模型用于在输入的待识别图像上用检测框初步标注出人脸所处的粗略位置,并将标注有检测框的图像输入所述修正模型,所述修正模型用于提取标注有检测框的图像的特征信息,并根据特征信息输出所述目标位置。
可选地,所述第一确定模块被配置为:
将所述待识别图像输入人脸检测子模型,得到所述人脸检测子模型输出的第一人脸检测结果;
在所述第一人脸检测结果中所述待识别图像包括检测框的情况下,根据所述检测框对所述待识别图像进行剪裁,并将得到的剪裁图像进行放大处理;
将放大后的剪裁图像输入所述修正模型,以提取得到所述剪裁图像中的高维度以及低维度特征,并根据所述高维度以及低维度特征输出人脸在所述待识别图像中的目标位置。
可选地,所述第三确定模块被配置为:
根据向量维度将所述特征向量分为多个模块;
计算每一模块的特征向量与底库中的目标图像对应的特征向量之间的特征距离;
确定特征距离大于特征距离阈值的模块个数;
若所述模块个数大于预设模块个数,则确定所述目标图像中的人脸为所述待识别图像中的人脸。
可选地,所述获取模块被配置为:
获取原始图像;
对所述原始图像进行缩小处理,得到缩小图像;
对所述缩小图像进行高斯模糊处理,得到所述待识别图像。
可选地,所述人脸特征提取模型为贝叶斯神经网络模型。
根据本公开实施例的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所提供的人脸识别方法的步骤。
根据本公开实施例的第四方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所提供的人脸识别方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:将只包括高维度特征的待识别图像输入人脸检测模型中,人脸检测模型先对待识别图像进行高级语义特征(高维度特征)提取,避免了模型在待识别图像不包括人脸的情况下产生的计算冗余,在人脸特征提取模型输出待识别图像中的人脸的特征向量以及特征向量的置信度后,根据置信度阈值对特征向量进行筛选,在置信度大于置信度阈值时,将人脸特征提取结果输入人脸匹配模型,提高了人脸识别的准确率,同时可以根据置信度进行误识别的纠正。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种人脸识别方法的流程图。
图2是根据一示例性实施例示出的一种贝叶斯神经网络结构的示意图。
图3是根据另一示例性实施例示出的一种人脸检测子模型的网络结构示意图。
图4是根据一示例性实施例示出的一种修正模型的网络结构示意图。
图5是根据另一示例性实施例示出的一种特征向量模块的示意图。
图6是根据另一示例性实施例示出的一种人脸识别方法的流程图。
图7是根据一示例性实施例示出的一种人脸识别装置的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
发明人研究发现,在人脸识别领域,神经网络算法模型的前半部分提取的是低级语义特征(低维度细节特征),后半部分提取的是高级语义特征(高维度整体特征)。而对于人脸识别网络来说,根据高级语义特征可以识别出两种状态,即图像中有人脸(粗略区域)和图像中无人脸,但在图像中无人脸的情况下并不需要通过计算低级语义特征来得到具体的人脸上部分精确的区域信息,在相关技术中,在图像中无人脸时仍计算图像中的低级语义特征,对整个过程造成了计算冗余,进而降低了图像中无人脸时的检测速度,从而导致了检测到人脸的时刻延后。另外,在相关技术中,进行人脸识别时均需要采集全脸图像,对于戴口罩、人脸被部分遮挡以及采集到的人脸角度有偏差的情况,人脸识别的准确率大大降低。
有鉴于此,本公开实施例提供一种人脸识别方法、装置、存储介质及电子设备,以解决上述技术问题。在一些实施例中,图1是根据一示例性实施例示出的一种人脸识别方法的流程图,如图1所示,人脸识别方法用于终端中,包括以下步骤:
在步骤S11中,获取待识别图像,待识别图像为高维度特征图像。
应当理解的是,高维度特征图像只包括只包含高维度特征,即只含有粗略的人脸位置信息,没有人脸关键点位置等细节信息。
在步骤S12中,将待识别图像输入人脸检测模型,得到人脸检测模型输出的人脸检测结果,人脸检测结果包括人脸在待识别图像中的目标位置。
在步骤S13中,将人脸检测结果输入人脸特征提取模型,得到人脸特征提取模型输出的人脸特征提取结果,人脸特征提取结果包括待识别图像中的人脸的特征向量,以及特征向量的置信度。
应当理解的是,特征向量的置信度表示人脸特征提取模型提取到的特征向量的可信度,置信度与待识别图像的噪声、模糊程度以及人脸特征提取模型的性能相关。
在步骤S14中,在置信度大于置信度阈值的情况下,将人脸特征提取结果输入人脸匹配模型,得到人脸征匹配模型输出的人脸征匹配结果。
采用上述技术方案,将只包括高维度特征的待识别图像输入人脸检测模型中,人脸检测模型先对待识别图像进行高级语义特征(高维度特征)提取,避免了模型在待识别图像不包括人脸的情况下产生的计算冗余,在人脸特征提取模型输出待识别图像中的人脸的特征向量以及特征向量的置信度后,根据置信度阈值对特征向量进行筛选,在置信度大于置信度阈值时,将人脸特征提取结果输入人脸匹配模型,提高了人脸识别的准确率,同时可以根据置信度进行误识别的纠正。
下面对本公开实施例提供的方法进行详细说明。
在一种可能的实现方式中,人脸特征提取模型为贝叶斯神经网络模型。
应当理解的是,在传统的神经网络中,反向传播网络在优化完毕后,其权重是一个固定的值,而贝叶斯神经网络把权重看成是服从均值为μ,方差为δ的高斯分布,每个权重服从不同的高斯分布,反向传播网络优化的是权重,贝叶斯神经网络优化的是权重的均值和方差,所以贝叶斯神经网络需要优化的参数是反向传播网络的两倍。在预测时,贝叶斯神经网络会从每个高斯分布中进行采样,得到权重值,此时贝叶斯神经网络就相当于一个反向传播网络。也可以进行多次采样,从而得到多次预测结果,将多次预测结果进行平均,从而得到最终的预测结果。对于同一个输入,贝叶斯神经网络进行N次前向推理,会输出N个结果,如果这个输入较确定,则计算出来的N次结果就会比较接近,反之如果输入不太确定,该N次结果就会存在比较大的差异。当然,还可以采用其他网络模型作为人脸特征提取模型,本公开实施例对此不作限定。
还应当理解的是,对于深度学习网络来说,如果网络权重为概率分布而不是确定的值的话,在训练过程中,无法实现梯度的反向传播算法,即无法正常的进行网络模型的训练,为了解决这个问题,本公开实施例采用MC dropout(Monte-Carlo dropout,蒙特卡罗dropout)方法来实现贝叶斯神经网络,这样既可以得到特征的概率分布,也可以很容易的进行模型的训练。
MC dropout方法的基本思想是在每轮迭代中,网络中的每个神经元以p的概率被丢弃。当训练完成后,尽管神经元的输出要乘以该神经元被丢弃的概率p,整体的网络架构还是会被使用。这样做抵消了没有神经元被丢弃的神经网络尺寸过大的影响,并且可以被解释为在训练时可能出现的网络上取平均。
示例地,采用MC dropout方法实现的贝叶斯神经网络结构示意图如图2所示,在模型训练时,在主干网络后添加一个Dropout分支及一个特征提取层,训练过程与传统方法一致。在模型训练完成后,将全连接层以特征层的权重拷贝n份,将其扩展为n个分支,由于每次权重的Dropout都是随机的,即输入每一分支的参数都会随机被丢弃一部分,所以每一全连接层分支的输出都具有一定的随机性,这样就引入了不确定性,进而使得每一特征层分支的输入具有随机性。当然,还可以采用其他dropout方法缓解贝叶斯神经网络过拟合的问题,本公开实施例对此不作限定。
当将图像输入到贝叶斯神经网络模型中时,贝叶斯神经网络推理一次,就会得到n个特征向量,即特征层输出n个特征向量,定义该n个特征向量的方差的倒数为置信度。
示例地,可以通过以下计算式计算置信度k:
Figure BDA0003625363620000091
其中,ti表示第i个特征向量,
Figure BDA0003625363620000092
表示该n个特征向量的均值,可以通过以下计算式计算置信度
Figure BDA0003625363620000093
Figure BDA0003625363620000094
在可能的方式中,获取待识别图像,可以是首先获取原始图像,再对原始图像进行缩小处理,得到缩小图像,然后对缩小图像进行高斯模糊处理,得到待识别图像。
应当理解的是,人脸关键点位置在训练时可以作为联合训练项来优化训练过程,但本公开实施例采用先提取高级语义特征(高维度特征),再提取低级语义特征(低维度特征)的方式,即在提取高级语义特征的过程中可以忽略人脸关键点位置。因此,可以先将原始图像做缩小操作,比如将原始图像缩小到12x12,再将其进行高斯模糊,得到待识别图像,待识别图像没有人脸关键点位置等细节信息,只包含高维度特征。当然,还可以将原始图像缩小到其他大小再进行高斯模糊,也可以采用其他方式对缩小后的图像进行模糊处理,本公开实施例对此均不作限定。
在可能的方式中,人脸检测模型包括人脸检测子模型和修正模型,人脸检测子模型用于在输入的待识别图像上用检测框初步标注出人脸所处的粗略位置,并将标注有检测框的图像输入修正模型,修正模型用于提取标注有检测框的图像的特征信息,并根据特征信息输出目标位置。
应当理解的是,由于修正模型的网络层比人脸检测子模型的网络层更多,修正模型所提取的特征就更接近待识别图像,因此可以通过人脸检测子模型先提取高级语义特征(高维度特征),即在输入的待识别图像上用检测框初步标注出人脸所处的粗略位置,然后再通过修正模型提取低级语义特征(低维度特征),即根据人脸检测子模型输出的标注有检测框的图像,提取待识别图像的更多的高维度以及低维度特征,得到包括更多的高维度以及低维度特征的人脸图像。
在可能的方式中,将待识别图像输入人脸检测模型,得到人脸检测模型输出的人脸检测结果,可以是首先将待识别图像输入人脸检测子模型,得到人脸检测子模型输出的第一人脸检测结果,在第一人脸检测结果中待识别图像包括检测框的情况下,再根据检测框对待识别图像进行剪裁,并将得到的剪裁图像进行放大处理,然后将放大后的剪裁图像输入修正模型,以提取得到剪裁图像中的高维度以及低维度特征,并根据高维度以及低维度特征输出人脸在待识别图像中的目标位置。
示例地,图3是根据另一示例性实施例示出的一种人脸检测子模型的网络结构示意图,如图3所示,在人脸检测子模型中,通过三层全卷积网络,对待识别图像进行下采样,得到只包含人脸的位置信息的图像,并用检测框标在输入的待识别图像上初步注出人脸所处的粗略位置。然后根据检测框对待识别图像进行剪裁,截取待识别图像中对应的ROI区域(region of interest,感兴趣区域),即人脸区域,并将得到的剪裁图像进行放大处理,比如放大至48x48,再将放大后的剪裁图像输入修正模型。
示例地,图4是根据一示例性实施例示出的一种修正模型的网络结构示意图,如图4所示,在修正模型中,通过四层全卷积网络,提取放大后的剪裁图像中包含的更多的高维度及低维度特征,通过全连接层输出得到高维度以及低维度特征(即精确的人脸位置信息和精确的人脸关键点信息)。
通过上述方式,在人脸检测模型中,首先提取高级语义特征(高维度特征),以判断待识别图像中是否包括人脸,通过提前提取高级语义特征(高维度特征)的方式,避免了整个检测过程的计算冗余,从而提高了无人状态时的检测速度,进而避免了在待识别图像包括人脸的情况下后续计算过程的延后。
在另一种可能的方式中,若第一人脸检测结果中待识别图像不包括检测框,则重新获取原始图像,再对原始图像进行缩小处理,得到缩小图像,然后对缩小图像进行高斯模糊处理,得到待识别图像,再将待识别图像输入人脸检测模型,得到人脸检测模型输出的人脸检测结果。
在可能的方式中,在置信度大于置信度阈值的情况下,将人脸特征提取结果输入人脸匹配模型,得到人脸征匹配模型输出的人脸征匹配结果,可以是在置信度小于等于置信度阈值的情况下,循环执行以下操作:首先将待识别图像输入人脸检测模型,得到人脸检测模型输出的人脸检测结果,然后将人脸检测结果输入人脸特征提取模型,得到待识别图像中的人脸的特征向量,以及特征向量的置信度,在置信度大于置信度阈值的情况下,再将人脸特征提取结果输入人脸匹配模型。
应当理解的是,将人脸检测结果输入到人脸特征提取模型中,特征层输出n个特征向量,将该n个特征向量的方差的倒数确定为置信度,其中,特征层为一个1024或512维度的全连接层。然后判断置信度是否大于置信度阈值,比如置信度阈值为0.5,如果k>0.5,则将人脸特征提取结果输入人脸匹配模型,否则将待识别图像重新输入人脸检测模型,进行人脸检测。
通过上述方式,贝叶斯神经网络给出特征向量对应的更为准确地置信度,通过设置置信度阈值,对人脸特征提取模型输出的人脸特征提取结果进行一次筛选,提高了人脸特征提取的准确率。
在可能的方式中,将人脸特征提取结果输入人脸匹配模型,得到人脸征匹配模型输出的人脸征匹配结果,可以是根据向量维度将特征向量分为多个模块,然后计算每一模块的特征向量与底库中的目标图像对应的特征向量之间的特征距离,再确定特征距离大于特征距离阈值的模块个数,若模块个数大于预设模块个数,则确定目标图像中的人脸为待识别图像中的人脸。
应当理解的是,底库中存有多张人脸图像,且每一张人脸图像都对应有其特征向量,用于与人脸特征提取输出的人脸特征提取结果进行匹配,确定待识别图像在底库中对应的人脸图像,从而完成人脸识别。
示例地,在戴口罩或脸部有部分遮挡的情况下,人脸特征提取输出的特征向量只有部分信息,若直接使用传统的欧氏距离或者余弦距离,将人脸特征提取输出的特征向量与底库中存有的人脸图像对应的特征向量直接进行特征距离的计算,并进行人脸匹配,匹配准确率会较低,从而导致人脸识别准确率较低。因此,在人脸征匹配模型中,可以根据向量维度将特征向量分为多个模块,然后将每一模块的特征向量与底库中的每一图像对应的向量维度的特征向量进行特征距离的计算。
比如,可以将特征向量分为5个128维度的模块,如图5所示,将前128维度向量与底库中的每一图像对应的前128维度向量进行特征距离的计算,将中前128维度向量与底库中的每一图像对应的中前128维度向量进行特征距离的计算,将中128维度向量与底库中的每一图像对应的中128维度向量进行特征距离的计算,将中后128维度向量与底库中的每一图像对应的中后128维度向量进行特征距离的计算,将后128维度向量与底库中的每一图像对应的后128维度向量进行特征距离的计算。然后针对底库中的每一图像,确定特征距离大于特征距离阈值的模块个数,再根据预设模块个数确定特征距离大于特征距离阈值的模块个数是否大于预设模块个数,比如预设模块个数为3,如果待识别图像与目标图像的特征距离大于特征距离阈值的模块个数大于等于3,则确定该目标图像中的人脸为待识别图像中的人脸。
通过上述方式,根据向量维度将特征向量分为多个模块,然后将每一模块的特征向量与底库中的每一图像对应向量维度的特征向量进行特征距离的计算,提高了匹配准确率。同时通过设置预设模块个数,对匹配结果进行一次筛选,进一步提高了人脸识别的准确率。
图6是根据另一示例性实施例示出的一种人脸识别方法的流程图。如图6所示,该人脸识别方法用于终端中,包括以下过程:图像采集、图像缩小、图像模糊、确定人脸粗略位置、图像剪裁、图像放大、确定人脸目标位置、人脸特征提取、人脸识别。其中,图像采集可以通过图像采集接口实现,该图像采集接口可以是一个物理设备,用于在需要进行人脸识别的场景中采集图像。图像缩小可以是通过图像缩放算法对采集到的原始图像进行缩小处理,得到缩小图像。图像模糊可以是通过图像模糊算法对缩小图像进行模糊处理,得到待识别图像。确定人脸粗略位置可以是将待识别图像输入人脸检测子模型,得到人脸检测子模型输出的第一人脸检测结果,第一人脸检测结果中待识别图像包括用于标注人脸粗略位置的检测框。图像剪裁可以是根据检测框对第一人脸检测结果中的图像进行剪裁,得到剪裁图像。图像放大可以是通过图像缩放算法对剪裁图像进行放大处理,得到放大图像。确定人脸目标位置可以是将放大图像输入修正模型,以提取得到剪裁图像中的高维度以及低维度特征,并根据高维度以及低维度特征输出人脸在待识别图像中的目标位置。人脸特征提取可以是将包括人脸目标位置的图像输入人脸特征提取模型中,得到人脸特征提取模型输出的包括待识别图像中人脸的特征向量,以及特征向量的置信度的人脸征匹配结果。人脸识别可以是在置信度大于置信度阈值的情况下将人脸特征提取结果输入人脸匹配模型,得到人脸征匹配模型输出的人脸征匹配结果。
上述各过程的具体实施方式已在上文进行详细举例说明,这里不再赘述。另外应当理解的是,对于上述方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受上文所描述的动作顺序的限制。其次,本领域技术人员也应该知悉,上文所描述的实施例属于优选实施例,所涉及的步骤并不一定是本公开所必须的。
通过上述技术方案,将只包括高维度特征的待识别图像输入人脸检测模型中,人脸检测模型先对待识别图像进行高级语义特征(高维度特征)提取,避免了模型在待识别图像不包括人脸的情况下产生的计算冗余,在人脸特征提取模型输出待识别图像中的人脸的特征向量以及特征向量的置信度后,根据置信度阈值对特征向量进行筛选,在置信度大于置信度阈值时,将人脸特征提取结果输入人脸匹配模型,提高了人脸识别的准确率,同时可以根据置信度进行误识别的纠正。另外,在人脸识别模型中,根据向量维度将特征向量分为多个模块,然后将每一模块的特征向量与底库中的每一图像对应向量维度的特征向量进行特征距离的计算,提高了匹配准确率。同时通过设置预设模块个数,对匹配结果进行一次筛选,进一步提高了人脸识别的准确率。
图7是根据一示例性实施例示出的一种人脸识别装置框图。参照图7,该装置120包括获取模块121,第一确定模块122,第二确定模块123和第三确定模块124。
该获取模块121被配置为获取模块,被配置为获取待识别图像,所述待识别图像为高维度特征图像;
该第一确定模块122被配置为将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,所述人脸检测结果包括人脸在所述待识别图像中的目标位置;
该第二确定模块123被配置为将所述人脸检测结果输入人脸特征提取模型,得到所述人脸特征提取模型输出的人脸特征提取结果,所述人脸特征提取结果包括所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
该第三确定模块124被配置为当所述置信度大于置信度阈值时,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果。
可选地,所述第三确定模块124被配置为:
在所述置信度小于等于所述置信度阈值的情况下,循环执行以下操作:
将所述待识别图像输入所述人脸检测模型,得到所述人脸检测模型输出的人脸检测结果;
将所述人脸检测结果输入所述人脸特征提取模型,得到所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
在所述置信度大于所述置信度阈值的情况下,将所述人脸特征提取结果输入所述人脸匹配模型。
可选地,所述人脸检测模型包括人脸检测子模型和修正模型,所述人脸检测子模型用于在输入的待识别图像上用检测框初步标注出人脸所处的粗略位置,并将标注有检测框的图像输入所述修正模型,所述修正模型用于提取标注有检测框的图像的特征信息,并根据特征信息输出所述目标位置。
可选地,所述第一确定模块122被配置为:
将所述待识别图像输入人脸检测子模型,得到所述人脸检测子模型输出的第一人脸检测结果;
在所述第一人脸检测结果中所述待识别图像包括检测框的情况下,根据所述检测框对所述待识别图像进行剪裁,并将得到的剪裁图像进行放大处理;
将放大后的剪裁图像输入所述修正模型,以提取得到所述剪裁图像中的高维度以及低维度特征,并根据所述高维度以及低维度特征输出人脸在所述待识别图像中的目标位置。
可选地,所述第三确定模块124被配置为:
根据向量维度将所述特征向量分为多个模块;
计算每一模块的特征向量与底库中的目标图像对应的特征向量之间的特征距离;
确定特征距离大于特征距离阈值的模块个数;
若所述模块个数大于预设模块个数,则确定所述目标图像中的人脸为所述待识别图像中的人脸。
可选地,所述获取模块121被配置为:
获取原始图像;
对所述原始图像进行缩小处理,得到缩小图像;
对所述缩小图像进行高斯模糊处理,得到所述待识别图像。
可选地,所述人脸特征提取模型为贝叶斯神经网络模型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一发明构思,本公开实施例还提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开提供的人脸识别方法的步骤。
图8是根据一示例性实施例示出的一种的电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的人脸识别方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述人脸识别方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述人脸识别方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的人脸识别方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸识别方法,其特征在于,包括:
获取待识别图像,所述待识别图像为高维度特征图像;
将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,所述人脸检测结果包括人脸在所述待识别图像中的目标位置;
将所述人脸检测结果输入人脸特征提取模型,得到所述人脸特征提取模型输出的人脸特征提取结果,所述人脸特征提取结果包括所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
在所述置信度大于置信度阈值的情况下,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果。
2.根据权利要求1所述的方法,其特征在于,所述在所述置信度大于置信度阈值的情况下,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果,包括:
在所述置信度小于等于所述置信度阈值的情况下,循环执行以下操作:
将所述待识别图像输入所述人脸检测模型,得到所述人脸检测模型输出的人脸检测结果;
将所述人脸检测结果输入所述人脸特征提取模型,得到所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
在所述置信度大于所述置信度阈值的情况下,将所述人脸特征提取结果输入所述人脸匹配模型。
3.根据权利要求1所述的方法,其特征在于,所述人脸检测模型包括人脸检测子模型和修正模型,所述人脸检测子模型用于在输入的待识别图像上用检测框初步标注出人脸所处的粗略位置,并将标注有检测框的图像输入所述修正模型,所述修正模型用于提取标注有检测框的图像的特征信息,并根据特征信息输出所述目标位置。
4.根据权利要求3所述的方法,其特征在于,所述将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,包括:
将所述待识别图像输入人脸检测子模型,得到所述人脸检测子模型输出的第一人脸检测结果;
在所述第一人脸检测结果中所述待识别图像包括检测框的情况下,根据所述检测框对所述待识别图像进行剪裁,并将得到的剪裁图像进行放大处理;
将放大后的剪裁图像输入所述修正模型,以提取得到所述剪裁图像中的高维度以及低维度特征,并根据所述高维度以及低维度特征输出人脸在所述待识别图像中的目标位置。
5.根据权利要求1所述的方法,其特征在于,所述将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果,包括:
根据向量维度将所述特征向量分为多个模块;
计算每一模块的特征向量与底库中的目标图像对应的特征向量之间的特征距离;
确定特征距离大于特征距离阈值的模块个数;
若所述模块个数大于预设模块个数,则确定所述目标图像中的人脸为所述待识别图像中的人脸。
6.根据权利要求1所述的方法,其特征在于,所述获取待识别图像,包括:
获取原始图像;
对所述原始图像进行缩小处理,得到缩小图像;
对所述缩小图像进行高斯模糊处理,得到所述待识别图像。
7.根据权利要求1所述的方法,其特征在于,所述人脸特征提取模型为贝叶斯神经网络模型。
8.一种人脸识别装置,其特征在于,包括:
获取模块,被配置为获取待识别图像,所述待识别图像为高维度特征图像;
第一确定模块,被配置为将所述待识别图像输入人脸检测模型,得到所述人脸检测模型输出的人脸检测结果,所述人脸检测结果包括人脸在所述待识别图像中的目标位置;
第二确定模块,被配置为将所述人脸检测结果输入人脸特征提取模型,得到所述人脸特征提取模型输出的人脸特征提取结果,所述人脸特征提取结果包括所述待识别图像中的人脸的特征向量,以及所述特征向量的置信度;
第三确定模块,被配置为当所述置信度大于置信度阈值时,将所述人脸特征提取结果输入人脸匹配模型,得到所述人脸征匹配模型输出的人脸征匹配结果。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
CN202210475603.1A 2022-04-29 2022-04-29 人脸识别方法、装置、存储介质及电子设备 Pending CN114998955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210475603.1A CN114998955A (zh) 2022-04-29 2022-04-29 人脸识别方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210475603.1A CN114998955A (zh) 2022-04-29 2022-04-29 人脸识别方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114998955A true CN114998955A (zh) 2022-09-02

Family

ID=83025934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210475603.1A Pending CN114998955A (zh) 2022-04-29 2022-04-29 人脸识别方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114998955A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434313A (zh) * 2023-04-28 2023-07-14 北京声迅电子股份有限公司 基于多人脸识别模块的人脸识别方法
CN116912925A (zh) * 2023-09-14 2023-10-20 齐鲁空天信息研究院 人脸识别方法、装置、电子设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434313A (zh) * 2023-04-28 2023-07-14 北京声迅电子股份有限公司 基于多人脸识别模块的人脸识别方法
CN116434313B (zh) * 2023-04-28 2023-11-14 北京声迅电子股份有限公司 基于多人脸识别模块的人脸识别方法
CN116912925A (zh) * 2023-09-14 2023-10-20 齐鲁空天信息研究院 人脸识别方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN110602527B (zh) 视频处理方法、装置及存储介质
CN110688951B (zh) 图像处理方法及装置、电子设备和存储介质
CN111310616B (zh) 图像处理方法及装置、电子设备和存储介质
CN105631408B (zh) 基于视频的面孔相册处理方法和装置
CN106557768B (zh) 对图片中的文字进行识别的方法及装置
US10007841B2 (en) Human face recognition method, apparatus and terminal
JP2020522764A (ja) 生体検知方法および装置、システム、電子機器、記憶媒体
CN107492115B (zh) 目标对象的检测方法及装置
CN106228556B (zh) 图像质量分析方法和装置
TWI702544B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
CN107784279B (zh) 目标跟踪方法及装置
CN114998955A (zh) 人脸识别方法、装置、存储介质及电子设备
CN106295499B (zh) 年龄估计方法及装置
CN107563994B (zh) 图像的显著性检测方法及装置
CN110956061A (zh) 动作识别方法及装置、驾驶员状态分析方法及装置
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
CN107463903B (zh) 人脸关键点定位方法及装置
CN111461182B (zh) 图像处理方法、图像处理装置及存储介质
CN109034150B (zh) 图像处理方法及装置
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN111242188B (zh) 入侵检测方法、装置及存储介质
CN111553372A (zh) 一种训练图像识别网络、图像识别搜索的方法及相关装置
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
CN109034106B (zh) 人脸数据清洗方法及装置
CN111652107B (zh) 对象计数方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination