CN110569731A - 一种人脸识别方法、装置及电子设备 - Google Patents

一种人脸识别方法、装置及电子设备 Download PDF

Info

Publication number
CN110569731A
CN110569731A CN201910726706.9A CN201910726706A CN110569731A CN 110569731 A CN110569731 A CN 110569731A CN 201910726706 A CN201910726706 A CN 201910726706A CN 110569731 A CN110569731 A CN 110569731A
Authority
CN
China
Prior art keywords
face
image
sub
features
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910726706.9A
Other languages
English (en)
Other versions
CN110569731B (zh
Inventor
李林泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kuangjing Boxuan Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910726706.9A priority Critical patent/CN110569731B/zh
Publication of CN110569731A publication Critical patent/CN110569731A/zh
Application granted granted Critical
Publication of CN110569731B publication Critical patent/CN110569731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本申请是关于一种人脸识别方法、装置及电子设备，该方法包括：当用户的人脸图像中的人脸被部分遮挡时，基于注意力提取方式，从人脸图像中提取人脸的全局特征，将人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的所述人脸的局部特征；将全局特征和从多个子图像中的至少部分子图像中提取的人脸的局部特征进行组合，得到人脸的组合特征；基于人脸的组合特征和参考人脸图像中的人脸的组合特征，对用户进行人脸识别。实现了在人脸被部分遮挡情况下对用户进行人脸识别时，同时考虑了人脸的全局特征的相似度和人脸的局部特征的相似度，全面地判断人脸的相似度，提升人脸被部分遮挡情况下人脸识别的准确性。

Description

一种人脸识别方法、装置及电子设备
技术领域
本申请涉及人脸识别领域，具体涉及人脸识别方法、装置及电子设备。
背景技术
随着人工智能与计算机视觉的快速发展，人脸识别已经广泛应用在安防、金融等诸多领域。在对用户进行人脸识别时，在诸如用户的脸部被人或物部分遮挡、采集用户的人脸图像时的光照变化、采集用户的人脸图像时用户的脸部出视野中的情况下，采集到的用户的人脸图像中的人脸被部分遮挡。如何在采集的用户的人脸图像中的人脸被部分遮挡情况下对用户进行人脸识别是一个需要解决的问题。
发明内容
为克服相关技术中存在的问题，本申请提供一种人脸识别方法、装置及电子设备。
根据本申请实施例的第一方面，提供一种人脸识别方法，包括：
当用户的人脸图像中的人脸被部分遮挡时，基于注意力提取方式，从人脸图像中提取所述人脸的全局特征，以及将人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的人脸的局部特征；
将所述人脸的全局特征和从多个子图像中的至少部分子图像中提取的对应于子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征；
基于人脸的组合特征和参考人脸图像中的人脸的组合特征，对用户进行人脸识别。
根据本申请实施例的第二方面，提供一种人脸识别装置，包括：
特征提取单元，被配置为当用户的人脸图像中的人脸被部分遮挡时，基于注意力提取方式，从人脸图像中提取人脸的全局特征，以及将人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的人脸的局部特征；
特征组合单元，被配置为将所述人脸的全局特征和从多个子图像中的至少部分子图像中提取的对应于子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征；
人脸识别单元，被配置为基于人脸的组合特征和参考人脸图像中的人脸的组合特征，对用户进行人脸识别。
本申请实施例提供的人脸识别方法、装置，实现了在人脸被部分遮挡情况下对用户进行人脸识别时，同时提取人脸的全局特征和相较于全局特征更加细化的人脸的局部特征，同时考虑了人脸的全局特征的相似度和人脸的局部特征的相似度，全面地判断人脸的相似度，提升人脸被部分遮挡情况下人脸识别的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的人脸识别方法的流程图；
图2示出了对用户进行人脸识别的一个原理示意图；
图3示出了本申请实施例提供的人脸识别装置的结构框图；
图4示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的人脸识别方法的流程图。该方法包括以下步骤：
步骤101，当用户的人脸图像中的人脸被部分遮挡时，提取用户的人脸图像中的人脸的全局特征和局部特征。
在本申请中，用户的人脸图像为在对用户进行人脸识别时采集到的人脸图像。
在本申请中，用户的人脸图像中的人脸的一部分被遮挡可以称之为用户的人脸图像中的人脸被部分遮挡。
在本申请中，当对用户进行人脸识别时，在采集用户的人脸图像之后，可以检测用户的人脸图像中的人脸，对检测到的人脸进行对齐处理。同时，可以判断用户的人脸图像中的人脸是否被部分遮挡。
在本申请中，用户的人脸图像中的人脸被部分遮挡可以由用户的脸部被人或物部分遮挡、采集用户的人脸图像时的光照变化、用户的脸部被用户的佩戴物品部分遮挡、采集用户的人脸图像时用户的脸部出视野中的一个或多个部分遮挡情况造成。用户的脸部出视野为用户的脸部的一部分未在采集到的用户的人脸图像内。
在本申请中，用户的人脸图像是否被部分遮挡可以利用用于判断人脸图像中的人脸是否被部分遮挡的神经网络确定。可以预先利用用于训练的人脸图像集合对用于判断人脸图像中的人脸是否被部分遮挡的神经网络进行训练。用于训练的人脸图像集合包括在不同的部分遮挡情况采集到的人脸图像。
在本申请中，当用户的人脸图像中的人脸被部分遮挡时，可以基于注意力提取方式，提取采集到的人脸图像中的人脸的全局特征。同时，可以将用户的人脸图像划分为多个子图像，从每一个子图像中分别提取出用户的人脸图像中的人脸的局部特征，从子图像中提取出的人脸的局部特征可以称之为对应于子图像的人脸的局部特征。
例如，将用户的人脸图像划分为四个子图像，分别为子图像1、子图像2、子图像3、子图像4，可以从子图像1中提取出人脸的局部特征，得到对应于子图像1的人脸的局部特征。可以从子图像2中提取出人脸的局部特征，得到对应于子图像2的人脸的局部特征。可以分别从子图像3中提取出人脸的局部特征，得到对应于子图像3的人脸的局部特征。可以从子图像4中提取出人脸的局部特征，得到对应于子图像4的人脸的局部特征。
在本申请中，注意力提取方式用于将对特征的注意力偏向从用户的人脸图像中的非遮挡区域提取出的人脸的特征。换言之，注意力提取方式可以加强用户的人脸图像中的人脸的全局特征中的从非遮挡区域中提取出的特征。
在本申请中，基于注意力方式提取用户的人脸图像中的人脸全局特征，在将注意力集中在非遮挡区域的情况下提取出全局特征，提升提取的人脸的全局特征的鲁棒性。
在本申请中，注意力提取方式可以为将用于确定人脸图像中的遮挡区域的神经网络的输出与卷积神经网络输出的特征图进行指数操作的方式。遮挡区域为人脸被遮挡的部分占据的区域。用于确定人脸图像中的遮挡区域的神经网络可以称之为分割网络。可以预先利用用于训练的人脸图像集合对分割网络进行训练。用于训练的人脸图像集合包括在不同的部分遮挡情况采集到的人脸图像。所有部分遮挡情况包括：由用户的脸部被人或物部分遮挡、采集用户的人脸图像时的光照变化、用户的脸部被用户的佩戴物品部分遮挡、采集用户的人脸图像时用户的脸部出视野。
当基于注意力方式提取用户的人脸图像中的人脸全局特征时，可以将用户的人脸图像输入到分割网络，得到分割网络输出的二元图。同时，将用户的人脸图像输入到预先训练的卷积神经网络，得到卷积神经网络输出的特征图。分割网络输出的二元图利用矩阵A表示。矩阵A中的每一个元素对应中的每一个元素各自表示人脸图像中的一个区域。分割网络还可以输出每一个区域的表示区域的位置的坐标。每一个表示遮挡区域的元素的取值为0，每一个表示非遮挡区域的元素取值为1。卷积神经网络输出的特征图利用矩阵B表示。对于矩阵A中的每个元素，均进行指数操作。例如，对于矩阵A中的元素，进行指数操作之后，得到的元素的取值为ea，a为元素的原始的取值。对于A中的每个元素均进行指数操作之后得到的矩阵利用Ae表示，然后，将矩阵Ae与矩阵B进行点乘，使得两个矩阵对应的位置上的元素的取值相乘，得到用户的人脸图像中的人脸的全局特征。
在一些实施例中，将用户的人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取人脸的对应于子图像的局部特征包括：将用户的人脸图像输入到卷积神经网络，得到卷积神经网络输出的特征图；对卷积神经网络输出的特征图进行局部平均池化处理，得到每一个子图像各自对应的人脸的局部特征。
在将用户的人脸图像输入到卷积神经网络之后，可以得到卷积神经网络的网络输出的特征图(FeatureMaps)。卷积神经网络输出的特征图包括：卷积神经网络从用户的人脸图像中提取出的所有特征。可以进一步确定卷积神经网络从每一个子图像提取出的特征。然后，可以对特征图进行局部平均池化处理。平均池化处理包括：对于每一个子图像，对特征图中的卷积神经网络从子图像中提取出的特征进行平均池化。对于每一个子图像，卷积神经网络从子图像中提取出的特征进行平均池化后的特征可以作为子图像对应的人脸的局部特征。
步骤102，将人脸的全局特征和从至少部分子图像中提取的对应于子图像的人脸的局部特征进行组合，得到人脸的组合特征。
在本申请中，可以将人脸的全局特征和从每一个子图像中分别提取的对应于子图像的人脸的局部特征进行组合，得到人脸的组合特征。人脸的组合特征包括：人脸的全局特征、从每一个子图像中分别提取的对应于子图像的人脸的局部特征。
例如，将用户的人脸图像划分为四个子图像，分别为子图像1、子图像2、子图像3、子图像4，人脸的组合特征包括：人脸的全局特征、从子图像1中提取的对应于子图像1的人脸的局部特征、从子图像2中提取的对应于子图像2的人脸的局部特征、从子图像3中提取的对应于子图像3的人脸的局部特征、从子图像4中提取的对应于子图像4的人脸的局部特征。
在本申请中，也可以从多个子图像中选取出部分子图像，将人脸的全局特征和从选取的部分子图像中的每一个子图像中分别提取的对应于子图像的人脸的局部特征进行组合，得到人脸的组合特征。
例如，将用户的人脸图像划分为四个子图像，分别为子图像1、子图像2、子图像3、子图像4。根据各个子图像包括的人脸的被遮挡的部分的大小，选择包括的人脸的被遮挡的部分相对于其他的子图像较小的子图像1、子图像2用于组成人脸的组合特征。人脸的组合特征包括：人脸的全局特征、从子图像1中提取的对应于子图像1的人脸的局部特征、从子图像2中提取的对应于子图像2的人脸的局部特征。
在一些实施例中，确定用户的人脸图像的遮挡区域；对于多个子图像中的每一个子图像，将遮挡区域内的位于子图像中的区域的大小除以子图像的大小，得到子图像的遮挡比例；确定多个子图像中的遮挡比例大于比例阈值的子图像；将多个子图像中的除了遮挡比例大于比例阈值的子图像之外的子图像作为目标子图像；将人脸的全局特征和从目标子图像中提取的对应于目标子图像的人脸的局部特征进行组合，得到人脸的组合特征。
在本申请中，可以利用分割网络确定用户的人脸图像的遮挡区域。可以将用户的人脸图像输入到分割网络，得到分割网络输出的二元图。分割网络输出的二元图可以利用矩阵表示，该矩阵中的每一个元素对应中的每一个元素各自表示人脸图像中的一个区域。分割网络还可以输出每一个区域的表示区域的位置的坐标。从而，利用分割网络确定用户的人脸图像的遮挡区域。在确定用户的人脸图像的遮挡区域之后，可以对于多个子图像中的每一个子图像，将位于遮挡区域内的属于子图像的区域的大小除以子图像的大小，得到子图像的遮挡比例。当一个子图像中未包括人脸被遮挡的部分时，则位于遮挡区域内的属于该子图像的区域的大小为0。
例如，将用户的人脸图像划分为四个子图像，分别为子图像1、子图像2、子图像3、子图像4。将位于遮挡区域内的属于子图像1中的区域的大小除以子图像1的大小，得到子图像1的遮挡比例。将位于遮挡区域内的属于子图像2的区域的大小除以子图像2的大小，得到子图像2的遮挡比例。将位于遮挡区域内的属于子图像3中的区域的大小除以子图像3的大小，得到子图像3的遮挡比例。将位于遮挡区域内的属于子图像4的区域的大小除以子图像4的大小，得到子图像4的遮挡比例。
当一个子图像的遮挡比例大于比例阈值时，则可以视为从该子图像中提取出的人脸的局部特征对人脸识别结果产生负面影响，从该子图像中提取出的人脸的局部特征不会参与到人脸相似度的计算中。
例如，当一个子图像的遮挡比例大于比例阈值，例如该子图像的遮挡比例大于0.25，则认为该子图像中的人脸的一部分被遮挡较为严重，从该子图像中提取出的人脸的局部特征不会参与到人脸相似度的计算中。
在确定所有遮挡比例大于比例阈值的子图像之后，可以将多个子图像中的除了遮挡比例大于比例阈值的子图像之外的每一个子图像作为目标子图像。将全局特征和目标子图像中提取的对应于目标子图像的人脸的局部特征进行组合，得到人脸的组合特征。
例如，将用户的人脸图像划分为四个子图像，分别为子图像1、子图像2、子图像3、子图像4。子图像1、子图像2、子图像3的遮挡比例均小于比例阈值，子图像4的遮挡比例大于比例阈值。子图像1、子图像2、子图像3均作为目标子图像，人脸的组合特征包括：人脸的全局特征、从子图像1中提取的对应于子图像1的人脸的局部特征、从子图像2中提取的对应于子图像2的人脸的局部特征、从子图像3中提取的对应于子图像3的人脸的局部特征。
在本申请中，从遮挡比例大于比例阈值的子图像中提取的人脸的局部特征不会参与到人脸相似度的计算中，从而，去除干扰人脸相似性计算的非人脸特征，进一步提升人脸识别的准确性。
步骤103，基于人脸的组合特征和参考人脸图像中的人脸的组合特征，对用户进行人脸识别。
在本申请中，可以预先存储多个参考人脸图像。当进行人脸相似度计算时，可以计算用户的人脸图像中的人脸与每一个参考人脸图像中的人脸的相似度。用户的人脸图像中的人脸与参考人脸图像中的人脸的相似度可以为用户的人脸图像中的人脸的组合特征与参考人脸图像中的人脸的组合特征。在分别计算用户的人脸图像中的人脸的组合特征和每一个参考人脸图像中的人脸的组合特征的相似度之后，得到多个相似度。然后，可以确定多个相似度中的最大的相似度，当最大的相似度大于相似度阈值时，可以确定对用户的人脸识别成功。
在本申请中，每一个参考人脸图像也预先通过将用户的人脸图像划分为多个子图像的方式被划分为多个参考子图像。从参考子图像中提取出的参考图像中的人脸的局部特征可以称之为对应于参考子图像的人脸的局部特征。参考人脸图像的组合特征包括：参考人脸图像中的人脸的全局特征、对应于参考子图像的人脸的局部特征。对于每一个参考人脸图像，可以预先从参考人脸图像提取出参考人脸图像中的人脸的全局特征，以及从参考人脸图像中的每一个参考子图像中提取参考人脸图像中的人脸的局部特征。对于每一个参考人脸图像，将参考人脸图像中的人脸的全局特征和从参考人脸图像中的每一个参考子图像中提取的参考人脸图像中的人脸的局部特征进行组合，得到参考人脸图像的组合特征。
在本申请中，用户的人脸图像中的多个子图像中的每一个子图像分别对应参考人脸图像中的一个参考子图像。对于用户的人脸图像中的多个子图像中的每一个子图像，子图像的位置和大小与子图像对应的参考子图像的位置和大小基本相同。
在本申请中，当计算用户的人脸图像中的人脸的组合特征和一个参考人脸图像中的人脸的组合特征的相似度时，可以计算用户的人脸图像中的人脸的全局特征和参考人脸图像中的人脸的全局特征的相似度，得到全局特征相似度。对于用户的人脸图像中的每一个子图像，可以计算从子图像中提取的人脸的局部特征与从参考图像中的子图像对应的参考子图像中提取的人脸的局部特征之间的相似度，得到多个局部特征相似度。然后，可以将全局特征相似度和每一个局部特征相似度进行加权计算，得到用户的人脸图像中的人脸的组合特征和该参考人脸图像中的人脸的组合特征的相似度。
例如，将用户的人脸图像划分为四个子图像，用户的人脸图像中的人脸的组合特征F(i)表示。参考人脸图像中的人脸的组合特征利用F(j)表示。
Fglobal(i)表示用户的人脸图像中的人脸的全局特征，表示从用户的人脸图像中的第一个子图像中提取的局部特征，表示从用户的人脸图像中的第二个子图像中提取的局部特征，表示从用户的人脸图像中的第三个子图像中提取的局部特征，表示用户的人脸图像中的从第四个子图像中提取的局部特征。
Fglobal(j)表示参考人脸图像中的人脸的全局特征，表示从参考人脸图像中的第一个子图像中提取的局部特征，表示从参考人脸图像中的第二个子图像中提取的局部特征，表示从参考人脸图像中的第三个子图像中提取的局部特征，表示参考人脸图像中的从第四个子图像中提取的局部特征。
用户的人脸图像中的第一个子图像对应于参考人脸图像中的第一个子图像，用户的人脸图像中的第二个子图像对应于参考人脸图像中的第二个子图像，用户的人脸图像中的第三个子图像对应于参考人脸图像中的第三个子图像，用户的人脸图像中的第四个子图像对应于参考人脸图像中的第四个子图像。
km(i)表示从用户的人脸图像中的第m个子图像中提取出的局部特征是否参与人脸相似度计算。当第m个子图像的遮挡比例大于比例阈值时，km(i)＝0，当第m个子图像的遮挡比例小于比例阈值时km(i)＝1。km(j)表示从参考人脸图像中的第m个子图像中提取出的局部特征是否参与人脸相似度计算。当参考人脸图像中的第m个子图像的遮挡比例大于比例阈值时，km(j)＝0，当参考人脸图像中的第m个子图像的遮挡比例小于比例阈值时，km(j)＝1。
可以计算人脸的全局特征Fglobal(i)和参考人脸图像中的人脸的全局特征的相似度，得到全局特征相似度Fglobal(j)的相似度，得到全局特征相似度。对于用户的人脸图像中的一个子图像，当该子图像的遮挡比例小于比例并且参考人脸图像中的对应于该子图像的子图像的遮挡比例小于比例阈值时，则计算从该子图像中提取出的局部特征和从参考人脸图像中的对应于该子图像的参考子图像中提取出的局部特征之间的相似度。
以从用户的人脸图像中的第一个子图像中提取出的局部特征和从参考人脸图像中的第一个子图像中提取出的局部特征为例，从用户的人脸图像中的第一个子图像的位置和大小与从参考人脸图像中的第一个子图像的位置和大小基本相同。当用户的人脸图像中的第一个子图像的遮挡比例小于比例阈值时，则k1(i)＝1，当参考人脸图像中的第一个子图像的遮挡比例小于比例阈值时，则k1(j)＝1，相应的，k1(i)∩k1(j)的取值为1，则计算从用户的人脸图像中的第一个子图像中提取出的局部特征和从参考人脸图像中的第一个子图像中提取出的局部特征的相似度，得到一个局部特征相似度。
在一些实施例中，基于人脸的组合特征和参考人脸图像中的人脸的组合特征，对用户进行人脸识别包括：生成表示用户的人脸图像中的人脸的组合特征的向量，表示用户的人脸图像中的人脸的组合特征的向量包括：表示用户的人脸图像中的人脸的全局特征的分量、表示对应于子图像的用户的人脸图像中的人脸的局部特征的分量；基于表示用户的人脸图像中的人脸的组合特征的向量和表示参考人脸图像中的人脸的组合特征的向量的相似度，对用户进行人脸识别。
在本申请中，参考人脸图像中的人脸的组合特征向量包括：表示参考人脸图像中的人脸的全局特征的向量、表示对应于参考子图像的参考人脸图像中的人脸的局部特征的分量。
例如，将用户的人脸图像划分为四个子图像，参考人脸图像也以将用户的人脸图像划分为四个子图像的方式被划分为四个参考子图像。多个子图像中的每一个子图像分别对应参考人脸图像中的一个参考子图像。
用户的人脸图像中的第一个子图像对应参考人脸图像中的第一个参考子图像。用户的人脸图像中的第二个子图像对应参考人脸图像中的第二个参考子图像。用户的人脸图像中的第三个子图像对应参考人脸图像中的第三个参考子图像。用户的人脸图像中的第四个子图像对应参考人脸图像中的第四个参考子图像。
表示用户的人脸图像中的人脸的组合特征的向量包括：表示用户的人脸图像中的人脸的全局特征的分量、表示对应于第一个子图像的人脸的局部特征的分量、表示对应于第二个子图像的人脸的局部特征的分量、表示对应于第三个子图像的人脸的局部特征的分量、表示对应于第四个子图像的人脸的局部特征的分量。
表示参考人脸图像中的人脸的组合特征的向量包括：表示参考人脸图像中的人脸的全局特征的分量、表示对应于第一个参考子图像的参考人脸图像中的人脸的局部特征的分量、表示对应于第二个参考子图像的参考人脸图像中的人脸的局部特征的分量、表示对应于第三个参考子图像的参考人脸图像中的人脸的局部特征的分量、表示对应于每四个参考子图像的参考人脸图像中的人脸的局部特征的分量。
在本申请中，可以分别计算表示用户的人脸图像中的人脸的组合特征的向量和每一个表示参考人脸图像中的人脸的组合特征的向量的相似度，得到多个相似度，然后，确定对用户进行的人脸识别是否成功。
例如，确定计算出的所有相似度中的最大的相似度，当最大的相似度大于相似度阈值时，可以确定对用户的人脸识别成功。
在一些实施例中，计算表示人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的相似度包括：计算表示人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的欧式距离；将欧式距离作为相似度。
在本申请中，可以分别计算表示用户的人脸图像中的人脸的组合特征的向量与每一个表示参考人脸图像中的人脸的组合特征的向量的欧式距离，得到多个欧式距离。可以确定计算出的所有欧式距离中的最大的欧式距离，当最大的欧式距离大于相似度阈值时，可以确定对用户的人脸识别成功。
请参考图2，其示出了对用户进行人脸识别的一个原理图。
在对用户进行人脸识别时采集用户的人脸图像，然后，检测出用户的人脸图像中的人脸，对检测到的用户的人脸图像中的人脸进行对齐处理。对用户的人脸图像中的人脸进行对齐处理之后的用户的人脸图像可以称之为对齐人脸图像。将对齐人脸图像划分为四个子图像，分别为子图像1、子图像2、子图像3、子图像4。
将对齐人脸图像输入卷积神经网络，得到卷积神经网络输出的一个特征图。将对齐人脸图像输入到分割网络，得到分割网络输出的二元图。
卷积神经网络输出的特征图与分割网络输出的二元图进行指数操作，得到对齐人脸图像中的人脸的全局特征。同时，对卷积神经网络输出的特征图进行局部平均池化处理，得到对应于子图像1的人脸的局部特征、对应于子图像2的人脸的局部特征、对应于子图像3的人脸的局部特征、对应于子图像4的人脸的局部特征。
当对应于子图像1的人脸的局部特征的遮挡比例、对应于子图像2的人脸的局部特征的遮挡比例、对应于子图像3的人脸的局部特征的遮挡比例、对应于子图像4的人脸的局部特征的遮挡比例均小于比例阈值时，用户的人脸图像中的人脸的全局特征、对应于子图像1的人脸的局部特征、对应于子图像2的人脸的局部特征、对应于子图像3的人脸的局部特征、对应于子图像4的人脸的局部特征用于人脸相似度计算。
请参考图3，其示出了本申请实施例提供的人脸识别装置的结构框图。人脸识别装置包括：特征提取单元301，特征组合单元302，人脸识别单元303。
特征提取单元301被配置为当用户的人脸图像中的人脸被部分遮挡时，基于注意力提取方式，从人脸图像中提取所述人脸的全局特征，以及将人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的所述人脸的局部特征；
特征组合单元302被配置为将所述人脸的全局特征和从多个子图像中的至少部分子图像中提取的对应于子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征；
人脸识别单元303被配置为基于所述人脸的组合特征和参考人脸图像中的人脸的组合特征，对用户进行人脸识别。
在一些实施例中，特征提取单元301进一步被配置为：将人脸图像输入到卷积神经网络，得到卷积神经网络输出的特征图；对卷积神经网络输出的特征图进行局部平均池化处理，得到每一个子图像各自对应的人脸的局部特征。
在一些实施例中，特征组合单元302进一步被配置为：确定人脸图像的遮挡区域；对于多个子图像中的每一个子图像，将位于遮挡区域内的属于子图像的区域的大小除以子图像的大小，得到子图像的遮挡比例；确定多个子图像中的遮挡比例大于比例阈值的子图像；将多个子图像中的除了遮挡比例大于比例阈值的子图像之外的子图像作为目标子图像；将人脸的全局特征和从目标子图像中提取的对应于目标子图像的人脸的局部特征进行组合，得到人脸的组合特征。
在一些实施例中，人脸识别单元303进一步被配置为：生成表示人脸的组合特征的向量，表示人脸的组合特征的向量包括：表示人脸的全局特征的分量、表示对应于子图像的人脸的局部特征的分量；计算表示人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的相似度，表示参考人脸图像中的人脸的组合特征的向量包括：表示参考人脸图像中的人脸的全局特征的分量、表示对应于参考人脸图像中的参考子图像的人脸的局部特征的分量；基于相似度，对用户进行人脸识别。
在一些实施例中，人脸识别单元303进一步被配置为：计算表示人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的欧式距离；将欧式距离作为相似度。
请参考图4，其示出了本申请实施例提供的电子设备的结构框图。电子设备400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。
电子设备400还可以包括一个电源组件426被配置为执行电子设备400的电源管理，一个有线或无线网络接口450被配置为将电子设备400连接到网络，和一个输入输出(I/O)接口458。电子设备400可以操作基于存储在存储器432的操作系统，例如WindowsServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸识别方法，其特征在于，所述方法包括：
当用户的人脸图像中的人脸被部分遮挡时，基于注意力提取方式，从所述人脸图像中提取所述人脸的全局特征，以及将所述人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的所述人脸的局部特征；
将所述人脸的全局特征和从多个子图像中的至少部分子图像中提取的对应于子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征；
基于所述人脸的组合特征和参考人脸图像中的人脸的组合特征，对所述用户进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的所述人脸的局部特征包括：
将所述人脸图像输入到卷积神经网络，得到卷积神经网络输出的特征图；
对所述卷积神经网络输出的特征图进行局部平均池化处理，得到每一个子图像各自对应的所述人脸的局部特征。
3.根据权利要求2所述的方法，其特征在于，所述将所述人脸的全局特征和从多个子图像中的至少部分子图像中提取的对应于子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征包括：
确定所述人脸图像的遮挡区域；
对于多个子图像中的每一个子图像，将位于所述遮挡区域内的属于子图像的区域的大小除以子图像的大小，得到子图像的遮挡比例；
确定多个子图像中的遮挡比例大于比例阈值的子图像；
将多个子图像中的除了遮挡比例大于比例阈值的子图像之外的子图像作为目标子图像；
将所述人脸的全局特征和从目标子图像中提取的对应于目标子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征。
4.根据权利要求3所述的方法，其特征在于，所述基于所述人脸的组合特征和参考人脸图像中的人脸的组合特征，对所述用户进行人脸识别包括：
生成表示所述人脸的组合特征的向量，表示所述人脸的组合特征的向量包括：表示所述人脸的全局特征的分量、表示对应于子图像的所述人脸的局部特征的分量；
计算表示所述人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的相似度，表示参考人脸图像中的人脸的组合特征的向量包括：表示参考人脸图像中的人脸的全局特征的分量、表示对应于参考人脸图像中的参考子图像的人脸的局部特征的分量；
基于所述相似度，对所述用户进行人脸识别。
5.根据权利要求4所述的方法，其特征在于，所述计算表示所述人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的相似度包括：
计算表示所述人脸的组合特征的向量与表示参考人脸图像中的人脸的组合特征的向量的欧式距离；
将所述欧式距离作为所述相似度。
6.一种人脸识别装置，其特征在于，所述装置包括：
特征提取单元，被配置为当用户的人脸图像中的人脸被部分遮挡时，基于注意力提取方式，从所述人脸图像中提取所述人脸的全局特征，以及将所述人脸图像划分为多个子图像，分别从多个子图像中的每一个子图像中提取对应于子图像的所述人脸的局部特征；
特征组合单元，被配置为将所述人脸的全局特征和从多个子图像中的至少部分子图像中提取的对应于子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征；
人脸识别单元，被配置为基于所述人脸的组合特征和参考人脸图像中的人脸的组合特征，对所述用户进行人脸识别。
7.根据权利要求6所述的装置，其特征在于，特征提取单元进一步被配置为：将所述人脸图像输入到卷积神经网络，得到卷积神经网络输出的特征图；对所述卷积神经网络输出的特征图进行局部平均池化处理，得到每一个子图像各自对应的所述人脸的局部特征。
8.根据权利要求7所述的装置，其特征在于，特征组合单元进一步被配置为：确定所述人脸图像的遮挡区域；对于多个子图像中的每一个子图像，将位于所述遮挡区域内的属于子图像的区域的大小除以子图像的大小，得到子图像的遮挡比例；确定多个子图像中的遮挡比例大于比例阈值的子图像；将多个子图像中的除了遮挡比例大于比例阈值的子图像之外的子图像作为目标子图像；将所述人脸的全局特征和从目标子图像中提取的对应于目标子图像的所述人脸的局部特征进行组合，得到所述人脸的组合特征。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的方法。
CN201910726706.9A 2019-08-07 2019-08-07 一种人脸识别方法、装置及电子设备 Active CN110569731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910726706.9A CN110569731B (zh) 2019-08-07 2019-08-07 一种人脸识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910726706.9A CN110569731B (zh) 2019-08-07 2019-08-07 一种人脸识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110569731A true CN110569731A (zh) 2019-12-13
CN110569731B CN110569731B (zh) 2023-04-14

Family

ID=68774844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910726706.9A Active CN110569731B (zh) 2019-08-07 2019-08-07 一种人脸识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110569731B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178211A (zh) * 2019-12-20 2020-05-19 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111611846A (zh) * 2020-03-31 2020-09-01 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
CN111626213A (zh) * 2020-05-27 2020-09-04 北京嘀嘀无限科技发展有限公司 一种身份验证方法、装置、电子设备及可读存储介质
CN111814603A (zh) * 2020-06-23 2020-10-23 汇纳科技股份有限公司 一种人脸识别方法、介质及电子设备
CN111860343A (zh) * 2020-07-22 2020-10-30 杭州海康威视数字技术股份有限公司 确定人脸对比结果的方法及装置
CN111931873A (zh) * 2020-09-28 2020-11-13 支付宝(杭州)信息技术有限公司 图像识别方法和装置
CN111985340A (zh) * 2020-07-22 2020-11-24 深圳市威富视界有限公司 基于神经网络模型的人脸识别方法、装置和计算机设备
CN112241689A (zh) * 2020-09-24 2021-01-19 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112560756A (zh) * 2020-12-24 2021-03-26 北京嘀嘀无限科技发展有限公司 识别人脸的方法、装置、电子设备和存储介质
CN113158732A (zh) * 2020-12-31 2021-07-23 深圳市商汤科技有限公司 图像处理方法及相关装置
CN114387651A (zh) * 2022-01-12 2022-04-22 北京百度网讯科技有限公司 一种人脸识别方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779273A (zh) * 2012-06-29 2012-11-14 重庆邮电大学 一种基于局部对比模式的人脸识别方法
CN107818299A (zh) * 2017-10-17 2018-03-20 内蒙古科技大学 基于融合hog特征和深度信念网络的人脸识别算法
CN108268814A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种基于全局和局部特征模糊融合的人脸识别方法及装置
CN109145745A (zh) * 2018-07-20 2019-01-04 上海工程技术大学 一种遮挡情况下的人脸识别方法
CN109784255A (zh) * 2019-01-07 2019-05-21 深圳市商汤科技有限公司 神经网络训练方法及装置以及识别方法及装置
CN109829427A (zh) * 2019-01-31 2019-05-31 福州大学 一种基于纯度检测和空间注意力网络的人脸聚类方法
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779273A (zh) * 2012-06-29 2012-11-14 重庆邮电大学 一种基于局部对比模式的人脸识别方法
CN108268814A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种基于全局和局部特征模糊融合的人脸识别方法及装置
CN107818299A (zh) * 2017-10-17 2018-03-20 内蒙古科技大学 基于融合hog特征和深度信念网络的人脸识别算法
CN109145745A (zh) * 2018-07-20 2019-01-04 上海工程技术大学 一种遮挡情况下的人脸识别方法
CN109784255A (zh) * 2019-01-07 2019-05-21 深圳市商汤科技有限公司 神经网络训练方法及装置以及识别方法及装置
CN109829427A (zh) * 2019-01-31 2019-05-31 福州大学 一种基于纯度检测和空间注意力网络的人脸聚类方法
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANFENG WANG ET AL.: ""Face Attention Network: An Effective Face Detector for the Occluded Faces"", 《ARXIV》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178211A (zh) * 2019-12-20 2020-05-19 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111178211B (zh) * 2019-12-20 2024-01-12 天津极豪科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111611846A (zh) * 2020-03-31 2020-09-01 北京迈格威科技有限公司 行人再识别方法、装置、电子设备及存储介质
CN111626213A (zh) * 2020-05-27 2020-09-04 北京嘀嘀无限科技发展有限公司 一种身份验证方法、装置、电子设备及可读存储介质
CN111814603A (zh) * 2020-06-23 2020-10-23 汇纳科技股份有限公司 一种人脸识别方法、介质及电子设备
CN111814603B (zh) * 2020-06-23 2023-09-05 汇纳科技股份有限公司 一种人脸识别方法、介质及电子设备
CN111985340A (zh) * 2020-07-22 2020-11-24 深圳市威富视界有限公司 基于神经网络模型的人脸识别方法、装置和计算机设备
CN111860343A (zh) * 2020-07-22 2020-10-30 杭州海康威视数字技术股份有限公司 确定人脸对比结果的方法及装置
CN112241689A (zh) * 2020-09-24 2021-01-19 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN111931873B (zh) * 2020-09-28 2020-12-22 支付宝(杭州)信息技术有限公司 图像识别方法和装置
CN111931873A (zh) * 2020-09-28 2020-11-13 支付宝(杭州)信息技术有限公司 图像识别方法和装置
CN112560756A (zh) * 2020-12-24 2021-03-26 北京嘀嘀无限科技发展有限公司 识别人脸的方法、装置、电子设备和存储介质
CN113158732A (zh) * 2020-12-31 2021-07-23 深圳市商汤科技有限公司 图像处理方法及相关装置
CN114387651A (zh) * 2022-01-12 2022-04-22 北京百度网讯科技有限公司 一种人脸识别方法、装置、设备及存储介质
CN114387651B (zh) * 2022-01-12 2023-10-20 北京百度网讯科技有限公司 一种人脸识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110569731B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111241989B (zh) 图像识别方法及装置、电子设备
US20210264144A1 (en) Human pose analysis system and method
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
CN109190470B (zh) 行人重识别方法及装置
Kalas Real time face detection and tracking using OpenCV
US20220237943A1 (en) Method and apparatus for adjusting cabin environment
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN112348117A (zh) 场景识别方法、装置、计算机设备和存储介质
WO2014180108A1 (en) Systems and methods for matching face shapes
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN112418135A (zh) 人体行为识别方法、装置、计算机设备及可读存储介质
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN112183504A (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
CN115205943A (zh) 图像处理方法、装置、电子设备及存储介质
Kimura et al. Single sensor-based multi-quality multi-modal biometric score database and its performance evaluation
JP7270304B2 (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのｉｄを検証するための方法、及び当該方法を実施するためのモバイル装置
Amjed et al. Noncircular iris segmentation based on weighted adaptive hough transform using smartphone database
EP3702958B1 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
KR102112033B1 (ko) 얼굴 군집화 기법을 이용한 영상 추출 장치
JP2018036870A (ja) 画像処理装置及びプログラム
CN110785769A (zh) 人脸性别识别方法、人脸性别分类器的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230329

Address after: 100190 A block 2, South Road, Haidian District Academy of Sciences, Beijing 313

Applicant after: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant after: Shanghai kuangjing Boxuan Technology Co.,Ltd.

Address before: 100190 A block 2, South Road, Haidian District Academy of Sciences, Beijing 313

Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant