CN108932456A - 人脸识别方法、装置和系统及存储介质 - Google Patents

人脸识别方法、装置和系统及存储介质 Download PDF

Info

Publication number
CN108932456A
CN108932456A CN201710370126.1A CN201710370126A CN108932456A CN 108932456 A CN108932456 A CN 108932456A CN 201710370126 A CN201710370126 A CN 201710370126A CN 108932456 A CN108932456 A CN 108932456A
Authority
CN
China
Prior art keywords
face position
face
facial image
partly
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710370126.1A
Other languages
English (en)
Other versions
CN108932456B (zh
Inventor
何蔚然
周舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou kuangyun Jinzhi Technology Co.,Ltd.
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201710370126.1A priority Critical patent/CN108932456B/zh
Publication of CN108932456A publication Critical patent/CN108932456A/zh
Application granted granted Critical
Publication of CN108932456B publication Critical patent/CN108932456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Abstract

本发明的实施例提供了一种人脸识别方法、装置和系统及存储介质。该方法包括：获取第一人脸图像和第二人脸图像；计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的每个人脸部位的遮挡情况，分别确定每个人脸部位所对应的部位匹配分数的权重；以及至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。本发明便于减小遮挡对人脸识别结果的影响。

Description

人脸识别方法、装置和系统及存储介质
技术领域
本发明涉及人脸识别领域，更具体地涉及一种人脸识别方法、装置和系统及存储介质。
背景技术
现有人脸识别算法通过综合不同人脸部位的识别结果，来判定某张人脸是否属于某个人。例如，在人脸识别的1:1对比中，可以针对两个人脸图像中的左眼、右眼、鼻子、嘴、左耳、右耳等人脸部位分别计算用于表示各人脸部位的匹配程度的分数(即匹配分数)s1,s2,s3,……，然后取计算获得的所有匹配分数的平均值作为人脸识别结果。
之所以要综合考虑多个人脸部位的识别结果，是因为待识别人脸仅仅在某几个部分上与某个人相似，往往不足以判定待识别人脸属于这个人。但是这种综合考虑各人脸部位的人脸识别算法在有遮挡时会出现问题。例如，当待识别人脸上出现口罩、墨镜等遮挡物时，被遮挡区域的匹配分数会包含很大的噪声。将这样的匹配分数用于计算上述平均值时会引入错误，从而会为识别操作带来较大的困难，导致人脸识别的准确率下降。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种人脸识别方法、装置和系统及存储介质。
根据本发明一方面，提供了一种人脸识别方法。该方法包括：获取第一人脸图像和第二人脸图像；计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定每个人脸部位所对应的部位匹配分数的权重；以及至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
示例性地，检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况包括：对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
示例性地，在计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数之前，人脸识别方法还包括：对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重包括：分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
示例性地，在计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数之前，人脸识别方法还包括：对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡比例包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重包括：
根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
示例性地，对第一人脸图像进行图像语义分割包括：利用训练好的卷积神经网络对第一人脸图像进行图像语义分割。
根据本发明一方面，提供了一种人脸识别系统，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行以下步骤：获取第一人脸图像和第二人脸图像；计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定该人脸部位所对应的部位匹配分数的权重；以及至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
示例性地，计算机程序指令被处理器运行时所用于执行的检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况的步骤包括：对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
示例性地，在计算机程序指令被处理器运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，计算机程序指令被处理器运行时还用于执行以下步骤：对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；计算机程序指令被处理器运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；计算机程序指令被处理器运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的每个人脸部位的至少部分人脸部位中的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
示例性地，在计算机程序指令被处理器运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，计算机程序指令被处理器运行时还用于执行以下步骤：对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；计算机程序指令被处理器运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；计算机程序指令被处理器运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
根据本发明一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行以下步骤：获取第一人脸图像和第二人脸图像；计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定每个人脸部位所对应的部位匹配分数的权重；以及至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
示例性地，程序指令在运行时所用于执行的检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况的步骤包括：对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
示例性地，在程序指令在运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，程序指令在运行时还用于执行以下步骤：对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
示例性地，在程序指令在运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，程序指令在运行时还用于执行以下步骤：对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
根据本发明一方面，提供了一种人脸识别装置，包括：图像获取模块，用于获取第一人脸图像和第二人脸图像；分数计算模块，用于计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；遮挡检测模块，用于检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；权重确定模块，用于根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定每个人脸部位所对应的部位匹配分数的权重；以及平均模块，用于至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
根据本发明实施例的人脸识别方法、装置和系统及存储介质，可以基于人脸部位的遮挡情况调整在总匹配分数的计算过程中该人脸部位所对应的部位匹配分数的权重，这便于减小被遮挡区域在人脸识别中所占的比重，进而便于减小遮挡对人脸识别结果的影响。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的人脸识别方法和装置的示例电子设备的示意性框图；
图2示出根据本发明一个实施例的人脸识别方法的示意性流程图；
图3a-3d示出根据本发明一个实施例的采用图像语义分割模型计算获得的某一人脸图像的四个人脸部位的热力图；
图4示出根据本发明一个实施例的、用于对第一人脸图像进行图像语义分割的卷积神经网络的网络结构的示意图；
图5示出根据本发明一个实施例的人脸识别装置的示意性框图；以及
图6示出根据本发明一个实施例的人脸识别系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决上文所述的问题，本发明实施例提供一种人脸识别方法、装置和系统及存储介质。根据本发明实施例的人脸识别方法、装置和系统及存储介质，可以基于人脸部位的遮挡情况调整在总匹配分数的计算过程中该人脸部位所对应的部位匹配分数的权重，从而便于减小遮挡对人脸识别结果的影响。
首先，参照图1来描述用于实现根据本发明实施例的人脸识别方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以采集人脸图像(包括视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他图像采集装置采集人脸图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本发明实施例的人脸识别方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图2描述根据本发明一个实施例的人脸识别方法。图2示出根据本发明一个实施例的人脸识别方法200的示意性流程图。如图2所示，人脸识别方法200包括以下步骤。
在步骤S210，获取第一人脸图像和第二人脸图像。
第一人脸图像和第二人脸图像是需要进行人脸识别的图像，其中，第二人脸图像优选地是图像中的人脸部位没有任何遮挡的图像，例如，其可以是人脸底库中存储的已知人脸图像。
示例性地，人脸图像(包括第一人脸图像和第二人脸图像中任一者或二者)可以是摄像头等图像采集装置采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。
人脸图像(包括第一人脸图像和第二人脸图像中任一者或二者)可以由客户端设备(例如包括摄像头的移动终端)发送到电子设备100以由电子设备100的处理器102进行处理，也可以由电子设备100包括的图像采集装置110(例如摄像头)采集并传送到处理器102进行处理。
在步骤S220，计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数。
可以利用任何现有的或将来可能出现的人脸检测算法及人脸关键点定位算法对第一人脸图像和第二人脸图像进行处理，确定第一人脸图像中的至少两个人脸部位中的每个人脸部位所在位置和第二人脸图像中的至少两个人脸部位中的每个人脸部位所在位置，并将第一人脸图像中的每个人脸部位与第二人脸图像中的对应人脸部位进行对比，以确定第一人脸图像和第二人脸图像在每个人脸部位上的匹配分数。例如，可以计算第一人脸图像的左眼与第二人脸图像的左眼之间的匹配分数S1，计算第一人脸图像的右眼与第二人脸图像的右眼之间的匹配分数S2，计算第一人脸图像的鼻子与第二人脸图像的鼻子之间的匹配分数S3，等等。
本文所述的至少两个人脸部位的数目可以是预定数目，至少两个人脸部位的种类可以是预定种类。然而，至少两个人脸部位的数目和种类均可以根据需要设定，本发明不对此进行限制。例如，至少两个人脸部位的数目可以是六个，共包括左眼、右眼、鼻子、嘴、左耳和右耳这六种部位。
在步骤S230，检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况。
人脸部位的遮挡情况可以采用任何现有或将来可能实现的人脸遮挡区域检测算法来检测，例如基于特征提取的人脸遮挡检测算法等。示例性地，可以通过人脸部位的热力图来判断人脸部位的遮挡情况，这类示例将在下文详细描述。
在步骤S240，根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定每个人脸部位所对应的部位匹配分数的权重。
示例性地，根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定该人脸部位所对应的部位匹配分数的权重可以包括：设定第一人脸图像中的至少两个人脸部位中的每个人脸部位所对应的部位匹配分数的权重，以使得被遮挡越多的人脸部位所对应的部位匹配分数的权重越小。
示例性地，步骤S230可以包括：检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的暴露比例。步骤S240可以包括：根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的暴露比例，分别确定每个人脸部位所对应的部位匹配分数的权重。例如，可以将每个人脸部位的暴露比例设定为该人脸部位所对应的部位匹配分数的权重。暴露比例的一个示例为下文所述的第一比例。在下文所述的第二比例的示例中，计算第二比例(即遮挡比例)之后，计算暴露比例(即100％-第二比例)，随后可以将每个人脸部位的暴露比例设定为该人脸部位所对应的部位匹配分数的权重。
示例性地，在步骤S230可以计算第一人脸图像中的至少两个人脸部位中的每个人脸部位的暴露比例或者遮挡比例(暴露比例和遮挡比例之和为100％)，每个人脸部位的遮挡情况可以由该人脸部位的暴露比例或者遮挡比例代表。可选地，可以将每个人脸部位的暴露比例(或者100％与遮挡比例之差)设定为该人脸部位所对应的部位匹配分数的权重。这样，可以使得被遮挡越多的人脸部位所对应的部位匹配分数的权重越小。
在计算总匹配分数的过程中考虑至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，对于被遮挡较多的人脸部位，可以适当减小该人脸部位所对应的部位匹配分数在计算总匹配分数时所占的比重，这样可以有效改善人脸识别的准确率。
在一个示例中，根据人脸部位的遮挡情况确定至少两个人脸部位中的仅一部分人脸部位中的每个人脸部位所对应的部位匹配分数的权重。例如，假设所述至少两个人脸部位共包括六个人脸部位，即左眼、右眼、鼻子、嘴、左耳和右耳这六个人脸部位，则对于左眼、右眼、鼻子和嘴这四个人脸部位，可以根据每个人脸部位的遮挡情况确定其权重；对于左耳和右耳这两个人脸部位，则采用默认权重(例如权重100％)。
在另一示例中，根据人脸部位的遮挡情况确定至少两个人脸部位中的全部人脸部位中的每个人脸部位所对应的部位匹配分数的权重。例如，假设所述至少两个人脸部位共包括六个人脸部位，即左眼、右眼、鼻子、嘴、左耳和右耳这六个人脸部位，对于这六个人脸部位，均根据每个人脸部位的遮挡情况确定其权重。
在步骤S250，至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
总匹配分数即为人脸识别结果，其可以理解为第一人脸图像所包含的人脸与第二人脸图像所包含的人脸之间的相似度。
图2所示的人脸识别方法200中各步骤的执行顺序可以根据需要设定，并不局限于图2所示的顺序。例如，步骤S230也可以在步骤S220之前执行或与步骤S220同时执行。
根据本发明实施例的人脸识别方法，可以基于人脸部位的遮挡情况调整在总匹配分数的计算过程中该人脸部位所对应的部位匹配分数的权重，这便于减小被遮挡区域在人脸识别中所占的比重，进而便于减小遮挡对人脸识别结果的影响。上述人脸识别方法可以很好地应用于各种涉及人脸识别的领域，例如门禁监控、交通监控、电子商务、移动支付或银行业务等领域。
示例性地，根据本发明实施例的人脸识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的人脸识别方法可以部署在图像采集端处，例如，可以部署在诸如银行管理系统等金融系统的图像采集端处或者部署在诸如智能手机、平板电脑等移动终端处。替代地，根据本发明实施例的人脸识别方法还可以分布地部署在服务器端(或云端)和客户端处。例如，可以在客户端采集人脸图像，客户端将采集到的人脸图像传送给服务器端(或云端)，由服务器端(或云端)进行人脸识别。
根据本发明实施例，步骤S230可以包括：对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
可以基于图像语义分割方法来计算每个人脸部位的热力图。示例性地，可以将第一人脸图像输入训练好的卷积神经网络，卷积神经网络可以输出第一人脸图像的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图。每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域。示例性地，在每个人脸部位的热力图上，可以用不同颜色区分该人脸部位暴露在外的区域和人脸图像上的其他区域。因此，每个人脸部位的热力图可以反映该人脸部位的遮挡情况。
图3a-3d示出根据本发明一个实施例的采用图像语义分割模型(例如卷积神经网络)计算获得的某一人脸图像的四个人脸部位的热力图。图3a-3d分别示出的是头发的热力图、人脸皮肤的热力图、左眼的热力图和右眼的热力图。参见图3a所示的热力图，头发所在区域(也就是头发暴露在外的区域)采用白色表示，其他区域采用黑色表示。如果某块头发被帽子之类的遮挡物遮挡，则被遮挡区域将被识别为黑色。这样，基于头发的热力图可以简单准确地确定头发暴露在外的区域的大小。可以理解，每个人脸部位的热力图可以具有任意大小。比较可取的是，每个人脸部位的热力图的大小与第一人脸图像的大小一致，这样便于计算每个人脸部位的暴露比例或者遮挡比例。
上述由遮挡带来的识别困难的问题并不能简单地通过增扩人脸识别算法
的训练数据来解决，这是因为遮挡的情形非常多样，因此训练数据几乎不可能涵盖绝大多数实际使用时的人脸情况，从而无法实现人脸识别对遮挡的鲁棒性。图像语义分割可以有效地给出各人脸部位所占区域，不需要在训练数据中穷尽各种遮挡情况。此外，各人脸部位所占区域以热力图的方式示出，便于灵活使用各种统计方法确定人脸部位的遮挡情况。
根据本发明实施例，在步骤S220之前，人脸识别方法200还可以包括：对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；步骤S240可以包括：分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
可以采用任何合适的人脸关键点定位算法确定第一人脸图像所包含的人脸的各关键点的位置，并根据各关键点的位置确定至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的位置，获得每个人脸部位的预测区域。预测区域可以用包含人脸部位在内的矩形框表示。预测区域是采用人脸关键点定位算法预测出来的，例如，左眼的预测区域可以是预测出来的完整的左眼所在的区域。
可选地，第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图的大小与第一人脸图像的大小一致。在这种情况下，每个人脸部位在第一人脸图像中所占的区域的面积等于该人脸部位在热力图中所占的区域的面积。如果第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图的大小与第一人脸图像的大小不一致，则可以根据热力图的大小与第一人脸图像的大小之间的比例以及每个人脸部位在热力图中所占的区域的面积，计算每个人脸部位在第一人脸图像中所占的区域的面积。
将每个人脸部位在第一人脸图像中所占的区域的面积与预测区域的面积相比，计算该人脸部位的第一比例。每个人脸部位的第一比例可以视为该人脸部位的暴露比例。随后，可以将所计算的每个人脸部位的第一比例直接作为该人脸部位所对应的部位匹配分数的权重，根据以下公式计算总匹配分数：
其中，s为总匹配分数，si为第i个人脸部位所对应的部位匹配分数，ri为第i个人脸部位的第一比例，n为至少两个人脸部位的数目。
将每个人脸部位的第一比例作为该人脸部位所对应的部位匹配分数的权重进行加权平均，可以保证被遮挡区域对人脸识别结果的影响减小。例如，当某一人脸部位被完全遮挡时，其权重为0，完全不影响识别。而当某一人脸部位完全没有被遮挡时，其权重为100％(或接近100％)，即该人脸部位基本完全参与识别，从而保证人脸识别结果尽量准确。
根据本发明实施例，在步骤S220之前，方法200还可以包括：对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；步骤S240可以包括：根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
可以采用任何合适的人脸检测算法检测第一人脸图像所包含的人脸，获得人脸区域。示例性地，人脸区域可以用包含人脸在内的矩形框表示。假设人脸框的对角线长度为L。
可以采用任何合适的人脸关键点定位算法确定第一人脸图像所包含的人脸的各关键点的位置，并根据各关键点的位置确定至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点。示例性地，左眼的预测中心点可以为左眼的瞳孔中点。
可选地，第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图的大小与第一人脸图像的大小一致。在这种情况下，每个人脸部位在第一人脸图像中所占的区域的中心点为该人脸部位在热力图中所占的区域的中心点。如果第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图的大小与第一人脸图像的大小不一致，则可以根据热力图的大小与第一人脸图像的大小之间的比例以及每个人脸部位在热力图中所占的区域的中心点，确定每个人脸部位在第一人脸图像中所占的区域的中心点。
根据以下公式计算每个人脸部位的第二比例：
其中，ri为第i个人脸部位的第二比例，ci为第i个人脸部位在第一人脸图像中所占的区域的中心点的坐标，pi为第i个人脸部位的预测中心点的坐标，L为人脸区域的对角线长度。
每个人脸部位的第二比例可以视为该人脸部位的遮挡比例。每个人脸部位的权重可以等于100％减去该人脸部位的第二比例。
根据以下公式计算总匹配分数：
其中，s为总匹配分数，si为第i个人脸部位所对应的部位匹配分数，ri为第i个人脸部位的第二比例，n为至少两个人脸部位的数目。
基于每个人脸部位的热力图所确定的该人脸部位的中心点偏离实际中心点越远，则该人脸部位所对应的部位匹配分数的权重越小，这同样可以减小遮挡带来的影响。
根据本发明实施例，对第一人脸图像进行图像语义分割可以包括：利用训练好的卷积神经网络对第一人脸图像进行图像语义分割。
图4示出根据本发明一个实施例的、用于对第一人脸图像进行图像语义分割的卷积神经网络的网络结构的示意图。参见图4，卷积神经网络可以包括两个卷积层+池化层的网络结构以及两个上采样层+卷积层的网络结构。
下面以需要检测人脸图像的四个人脸部位的热力图(如图3a-3d所示的四个热力图)为例进行描述。输入卷积神经网络的可以为三通道彩色图像(在卷积神经网络使用过程中为本文所述的第一人脸图像)。输入图像在经过两个卷积层+池化层的网络结构之后，可以得到四通道中间输出(可以将该中间输出视为低分辨率版热力图)。随后，中间输出在经过两个上采样层+卷积层的网络结构之后，可以扩大到希望的分辨率，此时可以获得四通道的热力图作为语义分割结果。
利用卷积神经网络对图像进行处理可以得到像素级的语义分割结果，这种像素级的语义分割结果可以非常准确地划分各人脸部位所占区域，这有助于获得高准确率的人脸识别结果。
根据本发明另一方面，提供一种人脸识别装置。图5示出了根据本发明一个实施例的人脸识别装置500的示意性框图。
如图5所示，根据本发明实施例的人脸识别装置500包括图像获取模块510、分数计算模块520、遮挡检测模块530、权重确定模块540和平均模块550。所述各个模块可分别执行上文中结合图2-4描述的人脸识别方法的各个步骤/功能。以下仅对该人脸识别装置500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
图像获取模块510用于获取第一人脸图像和第二人脸图像。图像获取模块510可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
分数计算模块520用于计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数。分数计算模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
遮挡检测模块530用于检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况。遮挡检测模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
权重确定模块540用于根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定该人脸部位所对应的部位匹配分数的权重。权重确定模块540可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
平均模块550用于至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。平均模块550可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
根据本发明实施例，遮挡检测模块530包括：语义分割子模块，用于对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及遮挡确定子模块，用于根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
根据本发明实施例，人脸识别装置500还包括：预测区域确定模块(未示出)，用于对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；遮挡确定子模块包括：第一比例计算单元，用于对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；权重确定模块540包括：权重确定子模块，用于分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
根据本发明实施例，人脸识别装置500还包括：人脸检测模块(未示出)，用于对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及预测中心点确定模块(未示出)，用于对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；遮挡确定子模块包括：中心点距离计算单元，用于对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及第二比例计算单元，用于对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；权重确定模块540包括：权重计算子模块，用于根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
Wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
根据本发明实施例，语义分割子模块包括：语义分割单元，用于利用训练好的卷积神经网络对第一人脸图像进行图像语义分割。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图6示出了根据本发明一个实施例的人脸识别系统600的示意性框图。人脸识别系统600包括图像采集装置610、存储器620以及处理器630。
图像采集装置610用于采集人脸图像(包括第一人脸图像和第二人脸图像中的任一者或二者)。图像采集装置610是可选的，人脸识别系统600可以不包括图像采集装置610。在这种情况下，可以利用其他图像采集装置采集用于人脸识别的人脸图像，并将采集的人脸图像发送给人脸识别系统600。
所述存储装置620存储用于实现根据本发明实施例的人脸识别方法中的相应步骤的计算机程序指令(即程序代码)。
所述处理器630用于运行所述存储装置620中存储的计算机程序指令，以执行根据本发明实施例的人脸识别方法的相应步骤，并且用于实现根据本发明实施例的人脸识别装置500中的图像获取模块510、分数计算模块520、遮挡检测模块530、权重确定模块540和平均模块550。
在一个实施例中，计算机程序指令被处理器630运行时用于执行以下步骤：获取第一人脸图像和第二人脸图像；计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定该人脸部位所对应的部位匹配分数的权重；以及至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
在一个实施例中，计算机程序指令被处理器630运行时所用于执行的检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况的步骤包括：对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
在一个实施例中，在计算机程序指令被处理器630运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，计算机程序指令被处理器630运行时还用于执行以下步骤：对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；计算机程序指令被处理器630运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；计算机程序指令被处理器630运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
在一个实施例中，在计算机程序指令被处理器630运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，计算机程序指令被处理器630运行时还用于执行以下步骤：对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；计算机程序指令被处理器630运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；计算机程序指令被处理器630运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸识别方法的相应步骤，并且用于实现根据本发明实施例的人脸识别装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的人脸识别装置的各个功能模块，并且/或者可以执行根据本发明实施例的人脸识别方法。
在一个实施例中，程序指令在运行时用于执行以下步骤：获取第一人脸图像和第二人脸图像；计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定每个人脸部位所对应的部位匹配分数的权重；以及至少基于所确定的权重对部位匹配分数进行加权平均，以获得总匹配分数，其中，总匹配分数为第一人脸图像与第二人脸图像之间的匹配分数。
在一个实施例中，程序指令在运行时所用于执行的检测第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况的步骤包括：对第一人脸图像进行图像语义分割，以获得第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在第一人脸图像中所占的区域；以及根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况。
在一个实施例中，在程序指令在运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，程序指令在运行时还用于执行以下步骤：对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的每个人脸部位的预测区域；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的每个人脸部位的热力图分别确定每个人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况确定该人脸部位所对应的部位匹配分数的权重的步骤包括：分别确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的第一比例为每个人脸部位所对应的部位匹配分数的权重。
在一个实施例中，在程序指令在运行时所用于执行的计算第一人脸图像中的至少两个人脸部位中的每个人脸部位与第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，程序指令在运行时还用于执行以下步骤：对第一人脸图像进行人脸检测，以确定第一人脸图像所包含的人脸所在的人脸区域；以及对第一人脸图像进行人脸关键点定位，以确定第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的预测中心点；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的热力图确定该人脸部位的遮挡情况的步骤包括：对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及对于至少两个人脸部位中的至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；程序指令在运行时所用于执行的根据第一人脸图像中的至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况分别确定每个人脸部位所对应的部位匹配分数的权重的步骤包括：根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
根据本发明实施例的人脸识别系统中的各模块可以通过根据本发明实施例的实施人脸识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的人脸识别方法、装置和系统及存储介质，可以基于人脸部位的遮挡情况调整在总匹配分数的计算过程中该人脸部位所对应的部位匹配分数的权重，这便于减小被遮挡区域在人脸识别中所占的比重，进而便于减小遮挡对人脸识别结果的影响。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的人脸识别装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种人脸识别方法，包括：
获取第一人脸图像和第二人脸图像；
计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；
检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；
根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定所述每个人脸部位所对应的部位匹配分数的权重；以及
至少基于所确定的权重对所述部位匹配分数进行加权平均，以获得总匹配分数，其中，所述总匹配分数为所述第一人脸图像与所述第二人脸图像之间的匹配分数。
2.如权利要求1所述的人脸识别方法，其中，所述检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况包括：
对所述第一人脸图像进行图像语义分割，以获得所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在所述第一人脸图像中所占的区域；以及
根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况。
3.如权利要求2所述的人脸识别方法，其中，
在所述计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数之前，所述人脸识别方法还包括：
对所述第一人脸图像进行人脸关键点定位，以确定所述第一人脸图像中的所述至少两个人脸部位中的每个人脸部位的预测区域；
所述根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况包括：
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在所述第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；
所述根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况分别确定所述每个人脸部位所对应的部位匹配分数的权重包括：
分别确定所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的第一比例为所述每个人脸部位所对应的部位匹配分数的权重。
4.如权利要求2所述的人脸识别方法，其中，
在所述计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数之前，所述人脸识别方法还包括：
对所述第一人脸图像进行人脸检测，以确定所述第一人脸图像所包含的人脸所在的人脸区域；以及
对所述第一人脸图像进行人脸关键点定位，以确定所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的预测中心点；
所述根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况包括：
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在所述第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与所述人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；
所述根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况分别确定所述每个人脸部位所对应的部位匹配分数的权重包括：
根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
5.如权利要求2所述的人脸识别方法，其中，所述对所述第一人脸图像进行图像语义分割包括：
利用训练好的卷积神经网络对所述第一人脸图像进行图像语义分割。
6.一种人脸识别系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：
获取第一人脸图像和第二人脸图像；
计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；
检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；
根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定该人脸部位所对应的部位匹配分数的权重；以及
至少基于所确定的权重对所述部位匹配分数进行加权平均，以获得总匹配分数，其中，所述总匹配分数为所述第一人脸图像与所述第二人脸图像之间的匹配分数。
7.如权利要求6所述的人脸识别系统，其中，所述计算机程序指令被所述处理器运行时所用于执行的检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况的步骤包括：
对所述第一人脸图像进行图像语义分割，以获得所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在所述第一人脸图像中所占的区域；以及
根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况。
8.如权利要求7所述的人脸识别系统，其中，
在所述计算机程序指令被所述处理器运行时所用于执行的计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，所述计算机程序指令被所述处理器运行时还用于执行以下步骤：
对所述第一人脸图像进行人脸关键点定位，以确定所述第一人脸图像中的所述至少两个人脸部位中的每个人脸部位的预测区域；
所述计算机程序指令被所述处理器运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况的步骤包括：
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在所述第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；
所述计算机程序指令被所述处理器运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的每个人脸部位的所述至少部分人脸部位中的遮挡情况分别确定所述每个人脸部位所对应的部位匹配分数的权重的步骤包括：
分别确定所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的第一比例为所述每个人脸部位所对应的部位匹配分数的权重。
9.如权利要求7所述的人脸识别系统，其中，
在所述计算机程序指令被所述处理器运行时所用于执行的计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，所述计算机程序指令被所述处理器运行时还用于执行以下步骤：
对所述第一人脸图像进行人脸检测，以确定所述第一人脸图像所包含的人脸所在的人脸区域；以及
对所述第一人脸图像进行人脸关键点定位，以确定所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的预测中心点；
所述计算机程序指令被所述处理器运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况的步骤包括：
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在所述第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与所述人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；
所述计算机程序指令被所述处理器运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况分别确定所述每个人脸部位所对应的部位匹配分数的权重的步骤包括：
根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
10.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：
获取第一人脸图像和第二人脸图像；
计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；
检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；
根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定所述每个人脸部位所对应的部位匹配分数的权重；以及
至少基于所确定的权重对所述部位匹配分数进行加权平均，以获得总匹配分数，其中，所述总匹配分数为所述第一人脸图像与所述第二人脸图像之间的匹配分数。
11.如权利要求10所述的存储介质，其中，所述程序指令在运行时所用于执行的检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况的步骤包括：
对所述第一人脸图像进行图像语义分割，以获得所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图，其中，每个人脸部位的热力图用于指示该人脸部位在所述第一人脸图像中所占的区域；以及
根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况。
12.如权利要求11所述的存储介质，其中，
在所述程序指令在运行时所用于执行的计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，所述程序指令在运行时还用于执行以下步骤：
对所述第一人脸图像进行人脸关键点定位，以确定所述第一人脸图像中的所述至少两个人脸部位中的每个人脸部位的预测区域；
所述程序指令在运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况的步骤包括：
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在所述第一人脸图像中所占的区域的面积与该人脸部位的预测区域的面积之比，以获得该人脸部位的第一比例，其中，每个人脸部位的第一比例代表该人脸部位的遮挡情况；
所述程序指令在运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况分别确定所述每个人脸部位所对应的部位匹配分数的权重的步骤包括：
分别确定所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的第一比例为所述每个人脸部位所对应的部位匹配分数的权重。
13.如权利要求11所述的存储介质，其中，
在所述程序指令在运行时所用于执行的计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数的步骤之前，所述程序指令在运行时还用于执行以下步骤：
对所述第一人脸图像进行人脸检测，以确定所述第一人脸图像所包含的人脸所在的人脸区域；以及
对所述第一人脸图像进行人脸关键点定位，以确定所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的预测中心点；
所述程序指令在运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的热力图分别确定所述每个人脸部位的遮挡情况的步骤包括：
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的热力图所指示的该人脸部位在所述第一人脸图像中所占的区域的中心点与该人脸部位的预测中心点之间的距离，以获得该人脸部位的中心点距离；以及
对于所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位，计算该人脸部位的中心点距离与所述人脸区域的对角线长度之比，以获得该人脸部位的第二比例，其中，每个人脸部位的第二比例代表该人脸部位的遮挡情况；
所述程序指令在运行时所用于执行的根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况分别确定所述每个人脸部位所对应的部位匹配分数的权重的步骤包括：
根据以下公式计算每个人脸部位所对应的部位匹配分数的权重：
wi＝100％-ri，
其中，wi为第i个人脸部位所对应的部位匹配分数的权重，ri为第i个人脸部位的第二比例。
14.一种人脸识别装置，包括：
图像获取模块，用于获取第一人脸图像和第二人脸图像；
分数计算模块，用于计算所述第一人脸图像中的至少两个人脸部位中的每个人脸部位与所述第二人脸图像中的对应人脸部位之间的匹配分数，以获得至少两个部位匹配分数；
遮挡检测模块，用于检测所述第一人脸图像中的所述至少两个人脸部位中的至少部分人脸部位中的每个人脸部位的遮挡情况；
权重确定模块，用于根据所述第一人脸图像中的所述至少两个人脸部位中的所述至少部分人脸部位中的每个人脸部位的遮挡情况，分别确定所述每个人脸部位所对应的部位匹配分数的权重；以及
平均模块，用于至少基于所确定的权重对所述部位匹配分数进行加权平均，以获得总匹配分数，其中，所述总匹配分数为所述第一人脸图像与所述第二人脸图像之间的匹配分数。
CN201710370126.1A 2017-05-23 2017-05-23 人脸识别方法、装置和系统及存储介质 Active CN108932456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710370126.1A CN108932456B (zh) 2017-05-23 2017-05-23 人脸识别方法、装置和系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710370126.1A CN108932456B (zh) 2017-05-23 2017-05-23 人脸识别方法、装置和系统及存储介质

Publications (2)

Publication Number Publication Date
CN108932456A true CN108932456A (zh) 2018-12-04
CN108932456B CN108932456B (zh) 2022-01-28

Family

ID=64450398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710370126.1A Active CN108932456B (zh) 2017-05-23 2017-05-23 人脸识别方法、装置和系统及存储介质

Country Status (1)

Country Link
CN (1) CN108932456B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858463A (zh) * 2019-02-22 2019-06-07 成都云鼎丝路信息技术有限公司 一种双引擎用户识别方法、系统及终端
CN110009662A (zh) * 2019-04-02 2019-07-12 北京迈格威科技有限公司 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110263695A (zh) * 2019-06-14 2019-09-20 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
CN110287760A (zh) * 2019-03-28 2019-09-27 电子科技大学 一种基于深度学习的人脸五官点遮挡检测方法
CN111063083A (zh) * 2019-12-16 2020-04-24 腾讯科技（深圳）有限公司 门禁控制方法、装置、计算机可读存储介质和计算机设备
CN111191533A (zh) * 2019-12-18 2020-05-22 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111797773A (zh) * 2020-07-07 2020-10-20 广州广电卓识智能科技有限公司 一种人脸关键部位遮挡检测方法、装置和设备
CN111915307A (zh) * 2020-07-02 2020-11-10 浙江恒科实业有限公司 一种无接触式移动支付系统及方法
CN112906594A (zh) * 2021-03-03 2021-06-04 杭州海康威视数字技术股份有限公司 一种布防区域生成方法、装置、设备及存储介质
CN113468925A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
CN114549921A (zh) * 2021-12-30 2022-05-27 浙江大华技术股份有限公司 目标识别方法、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278928A1 (en) * 2008-05-09 2009-11-12 Honeywell International Inc. Simulating a fluttering shutter from video data
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN105469034A (zh) * 2015-11-17 2016-04-06 西安电子科技大学 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278928A1 (en) * 2008-05-09 2009-11-12 Honeywell International Inc. Simulating a fluttering shutter from video data
CN103824051A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN105469034A (zh) * 2015-11-17 2016-04-06 西安电子科技大学 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110009573B (zh) * 2019-01-29 2022-02-01 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及存储介质
CN109858463A (zh) * 2019-02-22 2019-06-07 成都云鼎丝路信息技术有限公司 一种双引擎用户识别方法、系统及终端
CN110287760A (zh) * 2019-03-28 2019-09-27 电子科技大学 一种基于深度学习的人脸五官点遮挡检测方法
CN110009662A (zh) * 2019-04-02 2019-07-12 北京迈格威科技有限公司 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN110009662B (zh) * 2019-04-02 2021-09-17 北京迈格威科技有限公司 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN110263695A (zh) * 2019-06-14 2019-09-20 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
CN110263695B (zh) * 2019-06-14 2021-07-16 北京达佳互联信息技术有限公司 人脸部位的位置获取方法、装置、电子设备及存储介质
CN111063083A (zh) * 2019-12-16 2020-04-24 腾讯科技（深圳）有限公司 门禁控制方法、装置、计算机可读存储介质和计算机设备
CN111063083B (zh) * 2019-12-16 2021-11-16 腾讯科技（深圳）有限公司 门禁控制方法、装置、计算机可读存储介质和计算机设备
CN111191533A (zh) * 2019-12-18 2020-05-22 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111191533B (zh) * 2019-12-18 2024-03-19 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN113468925A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
CN113468925B (zh) * 2020-03-31 2024-02-20 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
CN111915307A (zh) * 2020-07-02 2020-11-10 浙江恒科实业有限公司 一种无接触式移动支付系统及方法
CN111797773A (zh) * 2020-07-07 2020-10-20 广州广电卓识智能科技有限公司 一种人脸关键部位遮挡检测方法、装置和设备
CN112906594A (zh) * 2021-03-03 2021-06-04 杭州海康威视数字技术股份有限公司 一种布防区域生成方法、装置、设备及存储介质
CN112906594B (zh) * 2021-03-03 2022-06-03 杭州海康威视数字技术股份有限公司 一种布防区域生成方法、装置、设备及存储介质
CN114549921A (zh) * 2021-12-30 2022-05-27 浙江大华技术股份有限公司 目标识别方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN108932456B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN108932456A (zh) 人脸识别方法、装置和系统及存储介质
US11157760B2 (en) Liveness test method and apparatus
CN108875522A (zh) 人脸聚类方法、装置和系统及存储介质
US20180157899A1 (en) Method and apparatus detecting a target
CN108876833A (zh) 图像处理方法、图像处理装置和计算机可读存储介质
CN109117714A (zh) 一种同行人员识别方法、装置、系统及计算机存储介质
CN106203305A (zh) 人脸活体检测方法和装置
CN108921159A (zh) 用于检测安全帽的佩戴情况的方法和装置
CN109740491A (zh) 一种人眼视线识别方法、装置、系统及存储介质
CN108875535A (zh) 图像检测方法、装置和系统及存储介质
CN110136224A (zh) 图像融合方法和设备
CN108875932A (zh) 图像识别方法、装置和系统及存储介质
CN108875546A (zh) 人脸身份验证方法、系统及存储介质
CN108875515A (zh) 人脸识别方法、装置、系统、存储介质和抓拍机
CN109522790A (zh) 人体属性识别方法、装置、存储介质及电子设备
CN108875533A (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN108875540A (zh) 图像处理方法、装置和系统及存储介质
CN108875534A (zh) 人脸识别的方法、装置、系统及计算机存储介质
EP3734503A1 (en) Method and apparatus with liveness detection
CN108875509A (zh) 活体检测方法、装置和系统及存储介质
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN109241888A (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
KR20150128510A (ko) 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
CN110263680A (zh) 图像处理方法、装置和系统及存储介质
CN109598251A (zh) 人证核验方法、装置、设备和系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211208

Address after: 100080 room 1018, 10th floor, 1 Zhongguancun Street, Haidian District, Beijing

Applicant after: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant after: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

Applicant after: Hangzhou kuangyun Jinzhi Technology Co.,Ltd.

Address before: 100190 A block 2, South Road, Haidian District Academy of Sciences, Beijing 313

Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant before: Beijing magway Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant