CN112036277B - 一种人脸识别方法、电子设备以及计算机可读存储介质 - Google Patents

一种人脸识别方法、电子设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN112036277B
CN112036277B CN202010845247.9A CN202010845247A CN112036277B CN 112036277 B CN112036277 B CN 112036277B CN 202010845247 A CN202010845247 A CN 202010845247A CN 112036277 B CN112036277 B CN 112036277B
Authority
CN
China
Prior art keywords
face
frame
face image
feature vector
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010845247.9A
Other languages
English (en)
Other versions
CN112036277A (zh
Inventor
吕亚奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010845247.9A priority Critical patent/CN112036277B/zh
Publication of CN112036277A publication Critical patent/CN112036277A/zh
Application granted granted Critical
Publication of CN112036277B publication Critical patent/CN112036277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本申请公开了一种人脸识别方法、电子设备以及计算机可读存储介质，该人脸点名方法包括：获取近红外人脸图像序列，其中，图像序列包括若干帧近红外人脸图像；计算每一帧近红外人脸图像的帧级质量分数；获取每一帧近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量；基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸特征向量计算每一帧近红外人脸图像的帧级相似度分数；基于每一帧近红外人脸图像的帧级质量分数以及帧级相似度分数获取近红外人脸图像序列中的人脸评价分数；根据人脸评价分数评价人脸识别结果。上述方案，能够通过人脸评价分数评价人脸识别结果，有利于提高人脸识别的高效性和准确性。

Description

一种人脸识别方法、电子设备以及计算机可读存储介质
技术领域
本申请涉及计算机视觉应用技术领域，特别是涉及一种人脸识别方法、电子设备以及计算机可读存储介质。
背景技术
人脸识别是一种根据面部图像进行身份识别的技术，首先对人脸图像提取特征向量，然后通过一定的相似性度量函数计算向量之间的相似度，目前主流的方案是基于卷积神经网络进行特征提取，使用余弦函数进行相似度计算。
传统的人脸识别一般应用于2D可见光图像，但通过可见光图像进行人脸识别具有一定的局限性，例如，在夜晚场景或光照环境恶劣的场合容易出错。
发明内容
本申请至少提供一种人脸识别方法、电子设备以及计算机可读存储介质。
本申请第一方面提供了一种人脸识别方法，所述人脸识别方法包括：
获取近红外人脸图像序列，其中，所述图像序列包括若干帧所述近红外人脸图像；
计算每一帧所述近红外人脸图像的帧级质量分数；
获取每一帧所述近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量；
基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸特征向量计算每一帧所述近红外人脸图像的帧级相似度分数；
基于每一帧所述近红外人脸图像的帧级质量分数以及帧级相似度分数获取所述近红外人脸图像序列中的人脸评价分数；
根据所述人脸评价分数评价人脸识别结果。
其中，所述计算每一帧所述近红外人脸图像的帧级质量分数的步骤，包括：
将每一帧所述近红外人脸图像输入近红外图像质量评价模型，获取所述近红外人脸图像的人脸质量分数；
对获取的所述人脸质量分数进行评价，得到对应的识别质量分数；
基于每一帧所述近红外人脸图像的人脸质量分数和所述识别质量分数计算每一帧所述近红外人脸图像的帧级质量分数。
其中，所述获取每一帧所述近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量的步骤，包括：
对每一帧所述红外人脸图像的通道分量，以及所述可见光人脸图像的通道分量进行归一化处理；
将归一化处理后的所述红外人脸图像的通道分量以及所述可见光人脸图像的通道分量输入人脸识别模型，获取每一帧所述红外人脸图像的人脸特征向量，以及所述可见光人脸图像的人脸特征向量。
其中，所述可见光人脸图像的通道分量包括亮度通道分量和颜色通道分量。
其中，所述基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸特征向量计算每一帧所述近红外人脸图像的帧级相似度分数的步骤，包括：
基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸亮度特征向量计算亮度相似度分数；
基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸颜色特征向量计算颜色相似度分数；
基于所述亮度相似度分数和颜色相似度分数计算每一帧所述近红外人脸图像的帧级相似度分数。
其中，所述人脸识别方法还包括：
对所述近红外人脸图像的人脸特征向量、所述可见光人脸图像的人脸亮度特征向量以及人脸颜色特征向量进行归一化处理；
计算归一化处理后的人脸特征向量以及人脸亮度特征向量的余弦相似度，得到所述亮度相似度分数；
计算归一化处理后的人脸特征向量以及人脸颜色特征向量的余弦相似度，得到所述颜色相似度分数。
其中，所述基于每一帧所述近红外人脸图像的帧级质量分数以及帧级相似度分数获取所述近红外人脸图像序列中的人脸评价分数的步骤，包括：
计算每一帧所述近红外人脸图像的帧级质量分数与帧级相似度分数的乘积，并将每一帧所述近红外人脸图像的乘积结果进行累加；
由所述近红外人脸图像乘积结果的累加结果与每一帧所述近红外人脸图像的帧级质量分数的累加结果的比值得到所述近红外人脸图像序列中的人脸评价分数。
其中，所述人脸识别方法还包括：
获取近红外图像序列以及预设的可见光图像；
采用人脸检测算法以及对齐算法从所述红外图像序列中识别出所述近红外人脸图像序列，以及从所述预设的可见光图像中识别中所述预设的可见光人脸图像。
本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的人脸识别方法。
本申请第三方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的人脸识别方法。
本申请中，人脸识别装置获取近红外人脸图像序列，其中，图像序列包括若干帧近红外人脸图像；计算每一帧近红外人脸图像的帧级质量分数；获取每一帧近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量；基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸特征向量计算每一帧近红外人脸图像的帧级相似度分数；基于每一帧近红外人脸图像的帧级质量分数以及帧级相似度分数获取近红外人脸图像序列中的人脸评价分数；根据人脸评价分数评价人脸识别结果。上述方案，能够通过人脸评价分数评价人脸识别结果，有利于提高人脸识别的高效性和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请提供的人脸识别方法一实施例的流程示意图；
图2是图1所示人脸识别方法中步骤S12的具体流程示意图；
图3是图1所示人脸识别方法中步骤S13的具体流程示意图；
图4是图1所示人脸识别方法中步骤S14的具体流程示意图；
图5是本申请提供的人脸识别装置一实施例的框架示意图；
图6是本申请提供的电子设备一实施例的框架示意图；
图7是本申请提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请提供的人脸识别方法一实施例的流程示意图。
本申请的人脸识别方法的执行主体可以是一种人脸识别装置，例如，人脸识别方法可以由终端设备或服务器或其它处理设备执行，其中，人脸识别装置可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无线电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该人脸识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，本公开实施例的人脸识别方法可以包括以下步骤：
步骤S11：获取近红外人脸图像序列，其中，图像序列包括若干帧近红外人脸图像。
其中，人脸识别装置获取监控摄像头采集的近红外视频序列，并采用人脸检测算法和对齐算法从近红外视频序列中采集近红外人脸图像序列。人脸识别装置采集到的近红外人脸图像序列具体可以为Fi,i∈1,...,N，N为视频序列总帧数，即近红外人脸图像总帧数。其中，每一帧近红外人脸图像均为单通道图像。
步骤S12：计算每一帧近红外人脸图像的帧级质量分数。
其中，人脸识别装置计算每一帧近红外人脸图像的帧级质量分数之前，需要对近红外人脸图像进行归一化处理，本实施例采用的归一化方法为最大最小值归一化方法，在其他实施方式中，也可采用其他归一化方法。归一化处理的计算公式具体为：
其中，Fi,norm为归一化处理后的近红外人脸图像，max()表示特征图的最大值，min()表示特征图的最小值。
本实施例的帧级质量分数主要用于评价近红外人脸图像的拍摄质量，帧级质量分数越高，拍摄质量越高。帧级质量分数的具体计算方法请参阅图2，图2是图1所示人脸识别方法中步骤S12的具体流程示意图。具体地，请参阅以下步骤：
步骤S121：将每一帧近红外人脸图像输入近红外图像质量评价模型，获取近红外人脸图像的人脸质量分数。
其中，人脸识别装置将每一帧经过归一化处理后的近红外人脸图像Fi,norm输入预设的近红外图像质量评价模型，从而得到每一帧近红外人脸图像的人脸质量分数Qi,i∈1,...,N。其中，预设的近红外图像质量评价模型可以直接采用公开的图像质量评价模型，可以基于任意神经网络进行设计和训练得到。
步骤S122：对获取的人脸质量分数进行评价，得到对应的识别质量分数。
其中，人脸识别装置对近红外图像质量评价模型输出的每一帧近红外人脸图像的人脸质量分数进行评价，得到每一帧近红外人脸图像的识别质量分数mi，用于评价近红外图像质量评价模型输出的准确性。
步骤S123：基于每一帧近红外人脸图像的人脸质量分数和识别质量分数计算每一帧近红外人脸图像的帧级质量分数。
其中，人脸识别装置综合每一帧近红外人脸图像的人脸质量分数Qi和识别质量分数mi，计算帧级质量分数Qs,i。具体地，帧级质量分数的计算公式如下：
其中，η和μ均设置为经验参数，在本实施例中，μ＝3，η＝1。
步骤S13：获取每一帧近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量。
其中，人脸识别装置计算帧级相似度分数主要作为为确定待识别对象的身份。本实施例提供的人脸识别模型是具备跨域识别性的，即可以兼容白光场景与近红外场景的比对。本实施例的人脸识别模型可以以任意神经网络模型作为主干网络设计，需要同时支持近红外人脸图像的通道分量以及可见光人脸图像的亮度通道分量、颜色通道分量作为输入。
在对人脸识别模型进行训练时，训练样本中需要同时包含同一人脸的近红外人脸图像、可见光人脸图像以及一张能够表明其身份的证件照。在样本数量充足的大多数情形下，以卷积神经网络为基础主干网络的人脸识别模型具备足够的拟合能力来拟合训练样本，使得最终得到的人脸识别模型能够兼容跨域的彩色和近红外识别。进一步地，当缺乏可以拿来进行训练的样本数量时，也可以通过自动生成式的方法自动生成近红外样本或可见光样本，比如GAN(Generative Adversarial Network)，VAE(Variational autoencoder)等手段。
具体地，计算帧级相似度分数的输入至少包括近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸特征向量。
其中，人脸识别装置获取预设的可见光图像，并采用人脸检测算法和对齐算法从可见光图像中采集可见光人脸图像。人脸识别装置采集到的可见光人脸图像具体可以为D。其中，可见光人脸图像D是三通道的RGB图像。
在提取可见光人脸图像的人脸特征向量之前，人脸识别装置需要获取可见光人脸图像的通道分量，包括亮度通道分量和颜色通道分量。
首先，人脸识别装置将可见光人脸图像D从RGB颜色空间转换到YUV颜色空间。RGB颜色空间的三个通道分量分别用R，G，B表示，转换后YUV颜色空间中的Y表示亮度通道分量，U和V表示颜色通道分量。
例如，本实施例对RGB颜色空间和YUV颜色空间的转换关系具体如下：
Y＝0.299*R+0.587*G+0.114*B
U＝-0.169*R-0.331*G+0.5*B
V＝0.5*R-0.419*G-0.081*B
其中，由于U和V两个颜色通道分量包含对人脸识别非常重要的色度信息，但U和V两个颜色通道分量各自包含的色度信息较少，为了方便计算，人脸识别装置可以将U和V两个颜色通道分量加权相加得到颜色通道分量C，加权相加方式如下：
C＝u*U+v*V
其中，u和v均设置为经验参数，在本实施例中，u＝1.2，v＝0.8。
由此，人脸特征向量的提取方法请参阅图3，图3是图1所示人脸识别方法中步骤S13的具体流程示意图。具体地，请参阅以下步骤：
步骤S131：对每一帧近红外人脸图像的通道分量，以及可见光人脸图像的通道分量进行归一化处理。
其中，人脸识别装置可以采用上述的最大最小值归一化方法对每一帧近红外人脸图像的通道分量，以及可见光人脸图像的亮度通道分量、颜色通道分量进行归一化处理。
具体地，由于近红外人脸图像为单通道图像，上述对近红外人脸图像Fi的归一化处理结果即为通道分量的归一化处理结果。人脸识别装置对可见光人脸图像的亮度通道分量Y进行归一化处理得到Ynorm，具体计算方式如下：
人脸识别装置对可见光人脸图像的颜色通道分量C进行归一化处理得到Cnorm，具体计算方式如下：
步骤S132：将归一化处理后的近红外人脸图像的通道分量以及可见光人脸图像的通道分量输入人脸识别模型，获取每一帧近红外人脸图像的人脸特征向量，以及可见光人脸图像的人脸特征向量。
其中，人脸识别装置将归一化处理后的近红外人脸图像的通道分量Fi,norm输入人脸识别模型，得到近红外人脸图像的人脸特征向量Vi，然后对人脸特征向量Vi进行归一化处理，处理计算方式如下：
mi＝||Vi||
其中，mi为人脸特征向量的模长，Vi,norm为归一化人脸特征向量。
人脸识别装置将归一化处理后的可见光人脸图像的亮度通道分量Ynorm输入人脸识别模型，得到可见光人脸图像的人脸亮度特征向量VY，然后对人脸亮度特征向量VY进行归一化处理，处理计算方式如下：
mY＝||VY||
其中，mY为人脸亮度特征向量的模长，VY,norm为归一化人脸亮度特征向量。
人脸识别装置将归一化处理后的可见光人脸图像的颜色通道分量Cnorm输入人脸识别模型，得到可见光人脸图像的人脸颜色特征向量VY，然后对人脸颜色特征向量VC进行归一化处理，处理计算方式如下：
mC＝||VC||
其中，mC为人脸颜色特征向量的模长，VC,norm为归一化人脸颜色特征向量。
步骤S14：基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸特征向量计算每一帧近红外人脸图像的帧级相似度分数。
其中，人脸识别装置分别将近红外人脸图像的人脸特征向量与可见光人脸图像的人脸亮度特征向量、人脸颜色特征向量进行比对，综合比对结果计算出近红外人脸图像的帧级相似度分数。
帧级相似度分数的计算方法请参阅图4，图4是图1所示人脸识别方法中步骤S14的具体流程示意图。具体地，请参阅以下步骤：
步骤S141：基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸亮度特征向量计算亮度相似度分数。
其中，人脸识别装置计算近红外人脸图像的归一化人脸特征向量Vi,norm与可见光人脸图像的归一化人脸亮度特征向量VY,norm的余弦相似度，从而得到亮度相似度分数Si,Y，具体计算方式如下：
Si,Y＝Vi,norm*VY,norm
步骤S142：基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸颜色特征向量计算颜色相似度分数。
其中，人脸识别装置计算近红外人脸图像的归一化人脸特征向量Vi,norm与可见光人脸图像的归一化人脸颜色特征向量VC,norm的余弦相似度，从而得到颜色相似度分数Si,C，具体计算方式如下：
Si,C＝Vi,norm*VC,norm
需要说明的是，上述亮度相似度分数和颜色相似度分数的计算可以选择包含余弦距离、欧式距离、马氏距离在内的任意相似度度量方式。
步骤S143：基于亮度相似度分数和颜色相似度分数计算每一帧近红外人脸图像的帧级相似度分数。
其中，人脸识别装置将上述亮度相似度分数和颜色相似度分数通过自适应加权的方式进行合并，从而得到帧级相似度分数Si，具体计算方式如下：
其中，α、β、γ均设置为经验参数，在本实施例中，α＝3，β＝1，γ＝1。
重复上述步骤，直至计算出近红外人脸图像序列中所有近红外人脸图像的帧级相似度分数，即每帧近红外人脸图像与可见光人脸图像之间的相似度。
步骤S15：基于每一帧近红外人脸图像的帧级质量分数以及帧级相似度分数获取近红外人脸图像序列中的人脸评价分数。
其中，人脸识别装置采用每一帧近红外人脸图像的帧级质量分数对对应的帧级相似度分数进行加权，得到最终的近红外人脸图像序列中的人脸评价分数S，具体计算方式如下：
步骤S16：根据人脸评价分数评价人脸识别结果。
其中，人脸识别装置根据上述计算的人脸评价分数评价人脸识别结果，人脸评价分数越高，近红外人脸图像序列中的人脸识别可信度和准确度越高。
在本实施例中，人脸识别装置获取近红外人脸图像序列，其中，图像序列包括若干帧近红外人脸图像；计算每一帧近红外人脸图像的帧级质量分数；获取每一帧近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量；基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸特征向量计算每一帧近红外人脸图像的帧级相似度分数；基于每一帧近红外人脸图像的帧级质量分数以及帧级相似度分数获取近红外人脸图像序列中的人脸评价分数；根据人脸评价分数评价人脸识别结果。上述方案，能够通过人脸评价分数评价人脸识别结果，有利于提高人脸识别的高效性和准确性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请继续参阅图5，图5是本申请提供的人脸识别装置一实施例的框架示意图。人脸识别装置50包括：
获取模块51，用于获取近红外人脸图像序列，其中，图像序列包括若干帧近红外人脸图像。
计算模块52，用于计算每一帧近红外人脸图像的帧级质量分数。
特征提取模块53，获取每一帧近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量。
计算模块52，还用于基于近红外人脸图像的人脸特征向量以及可见光人脸图像的人脸特征向量计算每一帧近红外人脸图像的帧级相似度分数。
计算模块52，还用于基于每一帧近红外人脸图像的帧级质量分数以及帧级相似度分数获取近红外人脸图像序列中的人脸评价分数。
评价模块54，用于根据人脸评价分数评价人脸识别结果。
请参阅图6，图6是本申请提供的电子设备一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62，处理器62用于执行存储器61中存储的程序指令，以实现上述任一人脸识别方法实施例中的步骤。在一个具体的实施场景中，电子设备60可以包括但不限于：微型计算机、服务器，此外，电子设备60还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一人脸识别方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由集成电路芯片共同实现。
请参阅图7，图7是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令701，程序指令701用于实现上述任一人脸识别方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种人脸识别方法，其特征在于，所述人脸识别方法包括：
获取近红外人脸图像序列，其中，所述图像序列包括若干帧所述近红外人脸图像；
计算每一帧所述近红外人脸图像的帧级质量分数；
获取每一帧所述近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量；
基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸特征向量计算每一帧所述近红外人脸图像的帧级相似度分数；
基于每一帧所述近红外人脸图像的帧级质量分数以及帧级相似度分数获取所述近红外人脸图像序列中的人脸评价分数；
根据所述人脸评价分数评价人脸识别结果；
所述计算每一帧所述近红外人脸图像的帧级质量分数的步骤，包括：
将每一帧所述近红外人脸图像输入近红外图像质量评价模型，获取所述近红外人脸图像的人脸质量分数；
对获取的所述人脸质量分数进行评价，得到对应的识别质量分数；
基于每一帧所述近红外人脸图像的人脸质量分数和所述识别质量分数计算每一帧所述近红外人脸图像的帧级质量分数。
2.根据权利要求1所述的人脸识别方法，其特征在于，
所述获取每一帧所述近红外人脸图像的人脸特征向量，以及预设的可见光人脸图像的人脸特征向量的步骤，包括：
对每一帧所述红外人脸图像的通道分量，以及所述可见光人脸图像的通道分量进行归一化处理；
将归一化处理后的所述红外人脸图像的通道分量以及所述可见光人脸图像的通道分量输入人脸识别模型，获取每一帧所述红外人脸图像的人脸特征向量，以及所述可见光人脸图像的人脸特征向量。
3.根据权利要求2所述的人脸识别方法，其特征在于，
所述可见光人脸图像的通道分量包括亮度通道分量和颜色通道分量。
4.根据权利要求3所述的人脸识别方法，其特征在于，
所述基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸特征向量计算每一帧所述近红外人脸图像的帧级相似度分数的步骤，包括：
基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸亮度特征向量计算亮度相似度分数；
基于所述近红外人脸图像的人脸特征向量以及所述可见光人脸图像的人脸颜色特征向量计算颜色相似度分数；
基于所述亮度相似度分数和颜色相似度分数计算每一帧所述近红外人脸图像的帧级相似度分数。
5.根据权利要求4所述的人脸识别方法，其特征在于，所述人脸识别方法还包括：
对所述近红外人脸图像的人脸特征向量、所述可见光人脸图像的人脸亮度特征向量以及人脸颜色特征向量进行归一化处理；
计算归一化处理后的人脸特征向量以及人脸亮度特征向量的余弦相似度，得到所述亮度相似度分数；
计算归一化处理后的人脸特征向量以及人脸颜色特征向量的余弦相似度，得到所述颜色相似度分数。
6.根据权利要求1所述的人脸识别方法，其特征在于，
所述基于每一帧所述近红外人脸图像的帧级质量分数以及帧级相似度分数获取所述近红外人脸图像序列中的人脸评价分数的步骤，包括：
计算每一帧所述近红外人脸图像的帧级质量分数与帧级相似度分数的乘积，并将每一帧所述近红外人脸图像的乘积结果进行累加；
由所述近红外人脸图像乘积结果的累加结果与每一帧所述近红外人脸图像的帧级质量分数的累加结果的比值得到所述近红外人脸图像序列中的人脸评价分数。
7.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸识别方法还包括：
获取近红外图像序列以及预设的可见光图像；
采用人脸检测算法以及对齐算法从所述红外图像序列中识别出所述近红外人脸图像序列，以及从所述预设的可见光图像中识别中所述预设的可见光人脸图像。
8.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的人脸识别方法。
9.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的人脸识别方法。
CN202010845247.9A 2020-08-20 2020-08-20 一种人脸识别方法、电子设备以及计算机可读存储介质 Active CN112036277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010845247.9A CN112036277B (zh) 2020-08-20 2020-08-20 一种人脸识别方法、电子设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010845247.9A CN112036277B (zh) 2020-08-20 2020-08-20 一种人脸识别方法、电子设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112036277A CN112036277A (zh) 2020-12-04
CN112036277B true CN112036277B (zh) 2023-09-29

Family

ID=73580161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010845247.9A Active CN112036277B (zh) 2020-08-20 2020-08-20 一种人脸识别方法、电子设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112036277B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989903B (zh) * 2021-11-15 2023-08-29 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228453A (ja) * 2006-02-27 2007-09-06 Casio Comput Co Ltd 撮像装置、再生装置、プログラム、および記憶媒体
KR20100058809A (ko) * 2008-11-25 2010-06-04 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、系统和装置
CN107798279A (zh) * 2016-09-07 2018-03-13 北京眼神科技有限公司 一种人脸活体检测方法及装置
WO2019033574A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 电子装置、动态视频人脸识别的方法、系统及存储介质
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备
CN109614910A (zh) * 2018-12-04 2019-04-12 青岛小鸟看看科技有限公司 一种人脸识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264704B2 (en) * 2013-06-30 2016-02-16 Vmware, Inc. Frame image quality as display quality benchmark for remote desktop

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228453A (ja) * 2006-02-27 2007-09-06 Casio Comput Co Ltd 撮像装置、再生装置、プログラム、および記憶媒体
KR20100058809A (ko) * 2008-11-25 2010-06-04 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
CN107798279A (zh) * 2016-09-07 2018-03-13 北京眼神科技有限公司 一种人脸活体检测方法及装置
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、系统和装置
WO2019033574A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 电子装置、动态视频人脸识别的方法、系统及存储介质
CN109614892A (zh) * 2018-11-26 2019-04-12 青岛小鸟看看科技有限公司 一种疲劳驾驶检测方法、装置和电子设备
CN109614910A (zh) * 2018-12-04 2019-04-12 青岛小鸟看看科技有限公司 一种人脸识别方法和装置

Also Published As

Publication number Publication date
CN112036277A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US10650261B2 (en) System and method for identifying re-photographed images
CN108197586B (zh) 脸部识别方法和装置
CN105160318B (zh) 基于面部表情的测谎方法及系统
US8754934B2 (en) Dual-camera face recognition device and method
CN112215802B (zh) 一种皮肤检测方法和电子设备
US11281892B2 (en) Technologies for efficient identity recognition based on skin features
CN108229369A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN106920256B (zh) 一种有效的失踪儿童寻找系统
WO2021036853A1 (zh) 一种图像处理方法及电子设备
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN111339822A (zh) 活体检测方法及相关产品
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN107392135A (zh) 活体检测方法及相关产品
WO2022252527A1 (zh) 神经网络训练及人脸识别方法、装置、设备及存储介质
CN112036277B (zh) 一种人脸识别方法、电子设备以及计算机可读存储介质
CN110110742B (zh) 多特征融合方法、装置、电子设备及存储介质
Laytner et al. Robust face detection from still images
Low et al. Experimental study on multiple face detection with depth and skin color
WO2008018459A1 (fr) Procédé de traitement d'image, appareil de traitement d'image, programme de traitement d'image, et appareil de prise d'image
CN111557007B (zh) 一种检测眼睛睁闭状态的方法及电子设备
CN112395929A (zh) 一种基于红外图像lbp直方图特征的人脸活体检测方法
CN111191519A (zh) 一种用于移动供电装置用户接入的活体检测方法
CN112115833B (zh) 一种图片的活体检测及分类方法
CN112785487B (zh) 图像处理方法及装置、存储介质和电子设备
CN113221830B (zh) 一种超分活体识别方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant