CN111914748A - 人脸识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

人脸识别方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111914748A
CN111914748A CN202010760938.9A CN202010760938A CN111914748A CN 111914748 A CN111914748 A CN 111914748A CN 202010760938 A CN202010760938 A CN 202010760938A CN 111914748 A CN111914748 A CN 111914748A
Authority
CN
China
Prior art keywords
face image
feature vector
image
face
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010760938.9A
Other languages
English (en)
Other versions
CN111914748B (zh
Inventor
叶明�
雷晨雨
张国辉
宋晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010760938.9A priority Critical patent/CN111914748B/zh
Priority to PCT/CN2020/111038 priority patent/WO2021139167A1/zh
Publication of CN111914748A publication Critical patent/CN111914748A/zh
Application granted granted Critical
Publication of CN111914748B publication Critical patent/CN111914748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请公开了一种人脸识别方法、装置、电子设备及计算机可读存储介质。该方法包括：获取特征向量蒙版；利用人脸识别模型获取人脸图像的特征向量；判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像；若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量；利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。本申请提供的人脸识别方法，利用特征向量蒙版处理特征向量，去除了特征向量中有遮挡部分所对应的维度，从而削弱了有遮挡部分所对应的特征区域对最终比对结果的影响，提高了有遮挡人脸图像的比对成功率。

Description

人脸识别方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及人工智能的计算机视觉技术领域，具体涉及生物识别技术领域的一种人脸识别方法、装置、电子设备及计算机可读存储介质。
背景技术
人脸识别作为人类生物特征识别的一类，现在已经被广泛应用到各类身份识别的系统中，但目前的人脸识别系统，对于数据的适应性一般，在大角度、模糊、遮挡等场景下，准确率会有明显的下降，往往需要针对特定场景，采集对应类别的数据进行二次训练后才能提高适应能力。
目前主流的人脸识别系统如图1所示，测试人脸图片通过人脸识别模型，产生人脸特征向量，然后将人脸特征向量与之前底图人脸特征向量进行余炫相似度比对，最终根据比对阈值判断是否与底图为同一个人。而遮挡图片(比如口罩遮挡)会导致生成的特征向量与不带口罩的底图特征向量相似度过低，而导致比对失败。由于人脸识别生成的特征向量与人脸的主要特征区域(比如眼镜，鼻子，嘴巴等)存在一定的映射关系。而遮挡对比失败的主要原因就是破坏了一部分映射的特征区域，导致该特征区域有无遮挡的差异过大，最终导致比对失败。
例如对于戴口罩无法通过人脸识别的问题，目前采取的一般方案就是追加戴口罩人脸后重新训练模型。这种方式有以下几个明显的缺点：
1)需要采集一定量的遮挡场景数据作为训练数据。
2)模型需要二次训练，导致对应时间比较长。
3)混合数据训练的模型，为了实现对戴口罩人脸的识别泛用能力，会降低不带口罩人脸的识别能力，导致相比原先的模型，在原始场景中会产生精度下降。
发明内容
本申请的目的是提供一种人脸识别方法、装置、电子设备及计算机可读存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本申请实施例的一个方面，提供一种人脸识别方法，包括：
获取特征向量蒙版；
利用人脸识别模型获取人脸图像的特征向量；
判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像；
若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量；
利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
进一步地，所述获取特征向量蒙版，包括：
获取若干人员的遮挡图片和无遮挡图片，通过人脸识别模型分别生成对应的遮挡人脸特征向量和无遮挡人脸特征向量；
针对同一人员的遮挡人脸特征向量和无遮挡人脸特征向量，计算对应每一维度的特征欧式距离；
将各人员的相同维度的特征欧式距离对应相加得到对应于各所述相同维度的特征欧式距离和；
从大到小对各维度的特征欧式距离和进行排序；
利用所述排序中前预设百分比的特征欧式距离和所对应的维度组成特征向量蒙版。
进一步地，所述利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像，包括：
对所述数据库中的一底图人脸图像的特征向量进行比对操作；
若所述特征向量所对应的底图人脸图像与所述人脸图像相匹配，则结束比对查找；
否则，继续对所述数据库中的下一底图人脸图像的特征向量进行比对操作，直至找到与所述人脸图像相匹配的底图人脸图像或所述数据库中的所有底图人脸图像的特征向量均完成比对操作为止；
其中，所述比对操作包括：
利用所述特征向量蒙版处理底图人脸图像的特征向量得到底图人脸图像短特征向量；
将所述人脸图像短特征向量与所述底图人脸图像短特征向量进行比对，得到比对结果；
若所述比对结果达到预设阈值，则确认所述底图人脸图像短特征向量所对应的底图人脸图像与所述人脸图像相匹配；否则，确认为不匹配。
进一步地，所述将所述人脸图像短特征向量与所述底图人脸图像短特征向量进行比对，得到比对结果，包括：
分别对人脸图像短特征向量和底图人脸图像短特征向量进行归一化处理，得到归一化后的人脸图像短特征向量和归一化后的底图人脸图像短特征向量；
将归一化后的人脸图像短特征向量和归一化后的底图人脸图像短特征向量进行向量点乘求和，以所述和作为比对结果。
进一步地，所述利用所述特征向量蒙版处理底图人脸图像特征向量，包括：用底图人脸图像特征向量的维度减去特征向量蒙版的维度。
进一步地，所述方法还包括：
若所述人脸图像为无遮挡人脸图像，则利用所述人脸图像的特征向量从所述数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
进一步地，所述利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量，包括：
用所述人脸图像的特征向量的维度减去所述特征向量蒙版的维度，得到人脸图像短特征向量。
根据本申请实施例的另一个方面，提供一种人脸识别装置，包括：
第一模块，用于获取特征向量蒙版；
第二模块，用于利用人脸识别模型获取人脸图像的特征向量；
第三模块，用于判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像；
第四模块，用于若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量；
第五模块，用于利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的人脸识别方法。
根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的人脸识别方法。
本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：
本申请实施例提供的人脸识别方法，利用特征向量蒙版处理特征向量，去除了特征向量中有遮挡部分所对应的维度，从而削弱了有遮挡部分所对应的特征区域对最终比对结果的影响，提高了有遮挡人脸图像的比对成功率。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了现有技术的人脸识别流程图；
图2示出了本申请的一个实施例的人脸识别方法流程图；
图3示出了获取特征向量蒙版的流程图；
图4示出了一实施方式中的人脸识别模型的结构示意图；
图5示出了计算特征欧式距离和的示意图；
图6示出了本申请的另一实施例的人脸识别流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
如图2所示，本申请的一个实施例提供了一种人脸识别方法，包括：
S10、获取特征向量蒙版。
在某些实施方式中，如图3所示，获取特征向量蒙版，包括：
S101、获取若干人员的遮挡图片和无遮挡图片，通过人脸识别模型分别生成对应的遮挡人脸特征向量和无遮挡人脸特征向量。
例如，利用摄像装置例如摄像头等拍摄采集少量人员戴口罩的照片和不戴口罩的照片，保存为RGB图片；使用该RGB图片作为输入，通过人脸识别模型，生成该人员的遮挡人脸特征向量和无遮挡人脸特征向量。
人脸识别模型可以为训练好的卷积神经网络模型。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。卷积神经网络的结构一般包括输入层、隐含层和输出层。隐含层一般又包含卷积层、池化层和全连接层。卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。卷积神经网络中的卷积层和池化层能够对输入数据进行特征提取，全连接层的作用则是对提取的特征进行非线性组合以得到输出。
在某一实施方式中，人脸识别模型所采用的训练好的卷积神经网络模型的结构如图4所示，该卷积神经网络模型包括依次连接的输入层1、第一卷积层2(含有20个特征图)、第一池化层3(含有20个特征图)、第二卷积层4(含有20个特征图)、第三卷积层5(含有64个特征图)、第二池化层6(含有64个特征图)、第四卷积层7(含有64个特征图)、第五卷积层8(含有500个特征图)、全连接层9和输出层10。
第一卷积层2选择滤波器大小为9×9，第二卷积层4选择滤波器大小为9×9，第三卷积层5选择滤波器大小为5×5，第四卷积层7选择滤波器大小为5×5，第五卷积层8选择滤波器大小为4×4。第一卷积层2滤波器个数为20，第二卷积层4滤波器个数为20，第三卷积层5滤波器个数为64，第四卷积层5滤波器个数为64，第五卷积层8滤波器个数为500。另外，可以在每个卷积层后引入ReLu激活函数。各卷积层、各池化层所含有的特征图数量可根据实际需要进行调整。各卷积层滤波器大小和数量也可以根据实际需要进行调整。池化层可以采用最大池化方法进行池化。通过图4所示的卷积神经网络模型，可以分别生成对应的遮挡人脸特征向量和无遮挡人脸特征向量。分别将遮挡图片和无遮挡图片通过输入层1输入人脸识别模型，即可分别生成对应的遮挡人脸特征向量和无遮挡人脸特征向量。
S102、针对同一人员的遮挡人脸特征向量和无遮挡人脸特征向量，计算对应每一维度的特征欧式距离。
两个元素x，y之间的欧式距离的计算公式为
Figure BDA0002613057270000061
其中，n代表元素的参数个数。
如图5所示，每个人脸分别以A、B、C……表示，人脸A所对应的无遮挡人脸特征向量的各个维度分别表示为A1，A2……An，人脸A所对应的有遮挡人脸特征向量的各个维度分别表示为A’1，A’2……A’n，无遮挡人脸特征向量的各个维度与有遮挡人脸特征向量的各个维度之间的特征欧式距离分别表示为dA1、dA2、……、dAn。
S103、将各人员的相同维度的特征欧式距离对应相加得到对应于各所述相同维度的特征欧式距离和。
如图5所示，不同人脸的同一维度的特征欧式距离对应相加得到的特征欧式距离和分别为S1＝dA1+dB1+dC1+……、S2＝dA2+dB2+dC2+……、……、Sn＝dAn+dBn+dCn+……。
S104、从大到小对各维度的特征欧式距离和进行排序。
例如，排序的结果为S3>S4>S1>……>Sn>……。
S105、利用所述排序中前预设百分比的特征欧式距离和所对应的维度组成特征向量蒙版。
例如预设百分比可以为25％，若特征向量为512个维度，则找出排序中前128个维度组成特征向量蒙版(feature mask)。若上述例中，n＝12，则排序中前25％的维度即分别对应于S3、S4和S1的第三维度、第四维度和第一维度。
S20、针对所采集的人脸图像，利用人脸识别模型获取人脸图像的特征向量。
将所采集的人脸图像输入人脸识别模型中进行处理，得到人脸图像的特征向量。
S30、判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像。
有遮挡人脸图像例如戴口罩的人脸图像、戴墨镜的人脸图像等面部存在被遮挡部分的人脸图像。
在某些实施方式中，步骤S30包括：
S301、对人脸图像进行白平衡处理，通过肤色模型对白平衡处理后的人脸图像进行肤色区域检测，从而确定该人脸图像中的肤色区域。
首先对图像进行白平衡处理，使图像中的肤色区域还原回本来的颜色，降低外界环境光照条件对肤色检测的影响；然后利用肤色模型对白平衡处理后的图像进行肤色区域检测，从而确定所述图像中的肤色区域，这样可以提高肤色区域检测的准确率。
具体地，通过肤色模型对白平衡处理后的图像进行二值化处理，将处理后的图像中像素点的灰度值为255的区域作为肤色区域。图像二值化处理可以将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。先对采集的图像进行白平衡处理，然后对白平衡处理后的图像进行二值化处理，从而得到灰度值为255的肤色区域和灰度值为0的非肤色区域。因此，结合白平衡处理和二值化处理，并以图像中像素点的灰度值为255的区域作为肤色区域，可以有效避免因外界环境光照等原因导致采集的人脸图像肤色区域色调有偏差，从而准确地确定出图像中的肤色区域。
S302、获取肤色区域边缘线，根据肤色区域边缘线确定各肤色区域所在的外接矩形框。计算每个肤色区域的外接矩形框的长宽比，然后根据预设长宽比阈值，剔除外接矩形框不符合预设长宽比阈值的肤色区域，从而筛选得到外接矩形框符合预设长宽比阈值的肤色区域，即为人脸区域，对应的外接矩形框即为该人脸的外接矩形框。
S303、在获得的人脸的外接矩形框中，分别设置眼睛、鼻子以及嘴检测的感兴趣区域，再在感兴趣区域中使用基于Haar-like的Adaboost级联分类器分别进行人眼睛、鼻子和嘴的检测，当五官检测完整时，即说明该人脸图像为无遮挡人脸图像，否则，认为该人脸图像为有遮挡人脸图像。
还可以通过五官定位技术来实现对五官的检测，若经过五官定位确定该人脸图像中五官完整，则该人脸图像为无遮挡人脸图像，否则为有遮挡人脸图像。
S40、若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量。
具体地，利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量，包括：
用所述人脸图像的特征向量的维度减去所述特征向量蒙版的维度，得到人脸图像短特征向量。例如，512维的特征向量，去除128维的特征向量蒙版的维度后，变为384维的短特征向量。
S50、利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
底图人脸图像以及底图人脸图像的特征向量均预先存储于数据库中。例如，在办理身份证时所采集的人脸图像可以作为底图人脸图像存储于数据库中，通过人脸识别模型提取出底图人脸图像的特征向量之后也存储于数据库中。在使用时，底图人脸图像以及底图人脸图像的特征向量可以直接从数据库中调用。
在某些实施方式中，利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像，包括：
S501、对所述数据库中的一底图人脸图像的特征向量进行比对操作；
S502、若所述特征向量所对应的底图人脸图像与所述人脸图像相匹配，则结束比对查找；
S503、否则，继续对所述数据库中的下一底图人脸图像的特征向量进行比对操作，直至找到与所述人脸图像相匹配的底图人脸图像或所述数据库中的所有底图人脸图像的特征向量均完成比对操作为止；
其中，所述比对操作包括：
S5011、利用所述特征向量蒙版处理底图人脸图像的特征向量得到底图人脸图像短特征向量；
具体地，利用所述特征向量蒙版处理底图人脸图像特征向量，包括：用底图人脸图像特征向量的维度减去特征向量蒙版的维度。例如，512维的特征向量，去除128维的特征向量蒙版的维度后，变为384维的短特征向量。
S5012、将所述人脸图像短特征向量与所述底图人脸图像短特征向量进行比对，得到比对结果；
在某些实施方式中，将所述人脸图像短特征向量与所述底图人脸图像短特征向量进行比对，得到比对结果，包括：
S50121、分别对人脸图像短特征向量和底图人脸图像短特征向量进行归一化处理，得到归一化后的人脸图像短特征向量和归一化后的底图人脸图像短特征向量。
S50122、将归一化后的人脸图像短特征向量和归一化后的底图人脸图像短特征向量进行向量点乘求和，以所述和作为比对结果。
S5013、若所述比对结果达到预设阈值，则确认所述底图人脸图像短特征向量所对应的底图人脸图像与所述人脸图像相匹配；否则，确认为不匹配。
具体地，若该和大于预设阈值，则确定该人脸图像短特征向量与该底图人脸图像短特征向量所对应的人脸为同一人员，否则确定为非同一人员。
在某些实施方式中，所述人脸识别方法还包括：
S60、若所述人脸图像为无遮挡人脸图像，则利用所述人脸图像的特征向量从所述数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
对于无遮挡人脸图像，可以直接输入人脸识别模型，将人脸图像与底图人脸图像进行比对查找。利用人脸图像的特征向量从数据库中比对查找与该人脸图像相匹配的底图人脸图像，可以采用现有技术方案，在此不再赘述。
本申请的另一个实施例提供了一种人脸识别装置，包括：
第一模块，用于获取特征向量蒙版；
第二模块，用于利用人脸识别模型获取人脸图像的特征向量；
第三模块，用于判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像；
第四模块，用于若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量；
第五模块，用于利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
本申请的另一个实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的人脸识别方法。
本申请的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的人脸识别方法。
本申请实施例的方法中，利用特征向量蒙版直接对特征向量进行修改，去除了特征向量中有遮挡部分所对应的维度，从而削弱了有遮挡部分所对应的特征区域对最终比对结果的影响，提高了有遮挡人脸图像的比对成功率。
本申请的另一个实施例提供了一种人脸识别方法，如图6所示，包括以下步骤：
1)采集少量人员的遮挡照片(例如戴口罩的人脸照片)和无遮挡照片，生成遮挡人脸特征向量和无遮挡人脸特征向量。
具体地，拍摄采集对象人员戴口罩的照片和不戴口罩的照片，保存为RGB图片；使用该RGB图片作为输入，通过人脸识别模型，生成该人员的遮挡人脸特征向量和无遮挡人脸特征向量。人脸识别模型可以为训练好的卷积神经网络模型。
2)针对遮挡人脸特征向量与无遮挡人脸特征向量，逐个维度计算欧式距离，统计出在这种遮挡下，特征向量中影响较大的前25％维度的位置(比如特征向量为512维，则找出距离最大的128向量的位置)生成应对这种遮挡的特征向量蒙版(feature mask)。
3)如果在某场景中需要对上述遮挡人脸也进行比对，则用特征向量蒙版处理人脸识别模型所生成的特征向量得到遮挡比对专用的短特征向量(上述例子中，512的标准人脸特征向量，去除128维的蒙版后，变为384维的特征向量)。同样，对所有底图特征向量也通过特征向量蒙版处理生成短特征向量。最终使用短特征向量进行比对。将短特征向量归一化后进行向量点乘求和，若该和大于阈值为同一人，否则为不同人。
本申请实施例的人脸识别方法，无需采集大量的遮挡人脸图像用于训练，只需要少量的数据用于获取特征蒙版即可，无需重新训练人脸识别模型，相比传统方法，在实际场景需求中具有更快的响应速度，既可以处理有遮挡人脸图像，也可以处理无遮挡人脸图像，可以应用在任何基于特征比对的人脸识别系统中，适应性强，降低了实际的部署和运维成本，人脸识别模型精度不会受到有遮挡人脸图像的污染而导致在非遮挡人脸图像处理的精度下降，对于无遮挡人脸图像的识别精确度高。
需要说明的是：
术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取特征向量蒙版；
利用人脸识别模型获取人脸图像的特征向量；
判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像；
若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量；
利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述获取特征向量蒙版，包括：
获取若干人员的遮挡图片和无遮挡图片，通过人脸识别模型分别生成对应的遮挡人脸特征向量和无遮挡人脸特征向量；
针对同一人员的遮挡人脸特征向量和无遮挡人脸特征向量，计算对应每一维度的特征欧式距离；
将各人员的相同维度的特征欧式距离对应相加得到对应于各所述相同维度的特征欧式距离和；
从大到小对各维度的特征欧式距离和进行排序；
利用所述排序中前预设百分比的特征欧式距离和所对应的维度组成特征向量蒙版。
3.根据权利要求1所述的方法，其特征在于，所述利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像，包括：
对所述数据库中的一底图人脸图像的特征向量进行比对操作；
若所述特征向量所对应的底图人脸图像与所述人脸图像相匹配，则结束比对查找；
否则，继续对所述数据库中的下一底图人脸图像的特征向量进行比对操作，直至找到与所述人脸图像相匹配的底图人脸图像或所述数据库中的所有底图人脸图像的特征向量均完成比对操作为止；
其中，所述比对操作包括：
利用所述特征向量蒙版处理底图人脸图像的特征向量得到底图人脸图像短特征向量；
将所述人脸图像短特征向量与所述底图人脸图像短特征向量进行比对，得到比对结果；
若所述比对结果达到预设阈值，则确认所述底图人脸图像短特征向量所对应的底图人脸图像与所述人脸图像相匹配；否则，确认为不匹配。
4.根据权利要求3所述的方法，其特征在于，所述将所述人脸图像短特征向量与所述底图人脸图像短特征向量进行比对，得到比对结果，包括：
分别对人脸图像短特征向量和底图人脸图像短特征向量进行归一化处理，得到归一化后的人脸图像短特征向量和归一化后的底图人脸图像短特征向量；
将归一化后的人脸图像短特征向量和归一化后的底图人脸图像短特征向量进行向量点乘求和，以所述和作为比对结果。
5.根据权利要求3所述的方法，其特征在于，所述利用所述特征向量蒙版处理底图人脸图像特征向量，包括：用底图人脸图像特征向量的维度减去特征向量蒙版的维度。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述人脸图像为无遮挡人脸图像，则利用所述人脸图像的特征向量从所述数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
7.根据权利要求1所述的方法，其特征在于，所述利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量，包括：
用所述人脸图像的特征向量的维度减去所述特征向量蒙版的维度，得到人脸图像短特征向量。
8.一种人脸识别装置，其特征在于，包括：
第一模块，用于获取特征向量蒙版；
第二模块，用于利用人脸识别模型获取人脸图像的特征向量；
第三模块，用于判断所述人脸图像是有遮挡人脸图像还是无遮挡人脸图像；
第四模块，用于若所述人脸图像为有遮挡人脸图像，则利用所述特征向量蒙版处理所述人脸图像的特征向量，得到人脸图像短特征向量；
第五模块，用于利用所述人脸图像短特征向量从数据库中比对查找与所述人脸图像相匹配的底图人脸图像。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-8中任一所述的人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-8中任一所述的人脸识别方法。
CN202010760938.9A 2020-07-31 2020-07-31 人脸识别方法、装置、电子设备及计算机可读存储介质 Active CN111914748B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010760938.9A CN111914748B (zh) 2020-07-31 2020-07-31 人脸识别方法、装置、电子设备及计算机可读存储介质
PCT/CN2020/111038 WO2021139167A1 (zh) 2020-07-31 2020-08-25 人脸识别方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760938.9A CN111914748B (zh) 2020-07-31 2020-07-31 人脸识别方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111914748A true CN111914748A (zh) 2020-11-10
CN111914748B CN111914748B (zh) 2023-10-27

Family

ID=73287993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760938.9A Active CN111914748B (zh) 2020-07-31 2020-07-31 人脸识别方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111914748B (zh)
WO (1) WO2021139167A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333029A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 模板图像生成方法、装置及存储介质
CN114359998A (zh) * 2021-12-06 2022-04-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN116563926A (zh) * 2023-05-17 2023-08-08 智慧眼科技股份有限公司 一种人脸识别方法、系统、设备及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092166B (zh) * 2023-03-06 2023-06-20 深圳市慧为智能科技股份有限公司 口罩人脸识别方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1416425A1 (en) * 2002-11-04 2004-05-06 Samsung Electronics Co., Ltd. System and method for detecting a face
CN103246883A (zh) * 2013-05-20 2013-08-14 中国矿业大学(北京) 一种煤矿井下热红外图像人脸识别方法
CN104091163A (zh) * 2014-07-19 2014-10-08 福州大学 一种消除遮挡影响的lbp人脸识别方法
CN108416256A (zh) * 2018-01-17 2018-08-17 南京邮电大学 基于特征识别的家庭云智能监控系统和监控方法
CN110363047A (zh) * 2018-03-26 2019-10-22 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN110490050A (zh) * 2019-07-02 2019-11-22 北京迈格威科技有限公司 一种人脸识别方法、装置、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916495B2 (en) * 2014-03-28 2018-03-13 Nec Corporation Face comparison device, method, and recording medium
CN107292287B (zh) * 2017-07-14 2018-09-21 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN109711357A (zh) * 2018-12-28 2019-05-03 北京旷视科技有限公司 一种人脸识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1416425A1 (en) * 2002-11-04 2004-05-06 Samsung Electronics Co., Ltd. System and method for detecting a face
CN103246883A (zh) * 2013-05-20 2013-08-14 中国矿业大学(北京) 一种煤矿井下热红外图像人脸识别方法
CN104091163A (zh) * 2014-07-19 2014-10-08 福州大学 一种消除遮挡影响的lbp人脸识别方法
CN108416256A (zh) * 2018-01-17 2018-08-17 南京邮电大学 基于特征识别的家庭云智能监控系统和监控方法
CN110363047A (zh) * 2018-03-26 2019-10-22 普天信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN110490050A (zh) * 2019-07-02 2019-11-22 北京迈格威科技有限公司 一种人脸识别方法、装置、系统及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359998A (zh) * 2021-12-06 2022-04-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN114359998B (zh) * 2021-12-06 2024-03-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN114333029A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 模板图像生成方法、装置及存储介质
CN116563926A (zh) * 2023-05-17 2023-08-08 智慧眼科技股份有限公司 一种人脸识别方法、系统、设备及计算机可读存储介质
CN116563926B (zh) * 2023-05-17 2024-03-01 智慧眼科技股份有限公司 一种人脸识别方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111914748B (zh) 2023-10-27
WO2021139167A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111914748B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110569756B (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
CN110363047B (zh) 人脸识别的方法、装置、电子设备和存储介质
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
US8345921B1 (en) Object detection with false positive filtering
CN111428581A (zh) 人脸遮挡检测方法及系统
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN113420731B (zh) 模型训练方法、电子设备及计算机可读存储介质
CN108416291B (zh) 人脸检测识别方法、装置和系统
US20240013572A1 (en) Method for face detection, terminal device and non-transitory computer-readable storage medium
CN113239739B (zh) 一种佩戴物的识别方法及识别装置
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN110245621A (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111898571A (zh) 动作识别系统及方法
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
CN112149601A (zh) 兼容遮挡的面部属性识别方法、装置和电子设备
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
CN115222621A (zh) 图像校正方法、电子设备、存储介质及计算机程序产品
CN115690934A (zh) 基于批量人脸识别的师生考勤打卡方法及装置
CN113920575A (zh) 一种人脸表情识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant