CN110232369B - 一种人脸识别方法和电子设备 - Google Patents

一种人脸识别方法和电子设备 Download PDF

Info

Publication number
CN110232369B
CN110232369B CN201910538082.8A CN201910538082A CN110232369B CN 110232369 B CN110232369 B CN 110232369B CN 201910538082 A CN201910538082 A CN 201910538082A CN 110232369 B CN110232369 B CN 110232369B
Authority
CN
China
Prior art keywords
local
face
face image
face feature
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910538082.8A
Other languages
English (en)
Other versions
CN110232369A (zh
Inventor
鞠汶奇
张阿强
刘子威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN201910538082.8A priority Critical patent/CN110232369B/zh
Publication of CN110232369A publication Critical patent/CN110232369A/zh
Application granted granted Critical
Publication of CN110232369B publication Critical patent/CN110232369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种人脸识别方法和电子设备,所述方法包括:获取待识别的人脸图像;确定待识别的人脸图像中是否存在非正常区域,如果存在所述非正常区域,则根据非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,利用选择的局部人脸特征模型对所述待识别的人脸图像进行识别,以获得所述待识别的人脸图像对应的身份。本发明实施例根据非正常区域选择一个局部人脸特征模型对待识别的人脸图像进行识别,可以选择非正常区域影响较小的局部人脸特征模型,从而减小非正常区域对人脸识别的影响,提高人脸识别的准确率。

Description

一种人脸识别方法和电子设备
技术领域
本发明实施例涉及人脸识别技术领域,特别涉及一种人脸识别方法和电子设备。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术,目前的人脸识别通常利用基于机器学习的神经网络模型进行识别。即训练基于机器学习的神经网络模型,然后利用所述识别模型对已知身份的人脸图像提取人脸特征,获得已知身份的人脸特征。在对未知身份的人脸图像进行识别时,首先利用该识别模型提取人脸特征,获得未知身份的人脸特征,再将未知身份的人脸特征匹配已知身份的人脸特征,从而获得所述未知身份。
在实现本发明过程中,发明人发现相关技术中至少存在如下问题:
在利用样本图片训练所述识别模型时,需利用高质量的人脸图片进行训练。因此,在进行人脸识别时,也需要人脸没有遮挡、且光照均匀稳定,对于光照条件差或有遮挡的人脸识别效果差。
发明内容
本发明实施例的目的是提供一种识别效果好的人脸识别方法和电子设备,即使对于光照条件差或者有遮挡的人脸亦能获得较好的识别效果。
第一方面,本发明实施例提供了一种人脸识别方法,所述方法包括:
获取待识别的人脸图像;
确定所述待识别的人脸图像中是否存在非正常区域,所述非正常区域为无法正常显示人脸特征的区域;
如果存在所述非正常区域,则根据所述非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,所述局部人脸特征模型基于人脸图像中的至少一个局部区域训练获得;
利用选择的所述局部人脸特征模型对所述待识别的人脸图像进行识别,以获得所述待识别的人脸图像对应的身份。
在其中一些实施例中,所述方法还包括:
如果所述待识别的人脸图像中不存在所述非正常区域,则利用预先获取的全脸特征模型对所述待识别的人脸图像进行识别,所述全脸特征模型基于人脸图像训练获得。
在其中一些实施例中,所述根据所述非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,包括:
选择一个局部人脸特征模型,选择的局部人脸特征模型对应的至少一个局部区域与所述非正常区域交集最小。
在其中一些实施例中,所述根据所述非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,包括:
确定交集最小的局部人脸特征模型,所述交集最小的局部人脸特征模型对应的所述至少一个局部区域与所述非正常区域交集最小;
如果所述交集最小的局部人脸特征模型为至少两个,则选择局部人脸特征模型对应的局部区域面积最大的一个。
在其中一些实施例中,所述方法还包括:
获取多个人脸图像样本,从所述人脸图像样本中选择至少一个局部区域,获得多组局部人脸图像样本,每一组局部人脸图像样本的所述至少一个局部区域相同;
基于所述多组局部人脸图像样本训练基于机器学习的神经网络模型,获得多个所述局部人脸特征模型,其中,一个局部人脸特征模型基于一组局部人脸图像样本训练获得;
从所述多个所述局部人脸特征模型中选择预设数量的所述局部人脸特征模型,获得所述至少两个局部人脸特征模型。
在其中一些实施例中,所述从所述多个所述局部人脸特征模型中选择预设数量的所述局部人脸特征模型,包括:
获取每个局部人脸特征模型的ROC曲线,并计算每个ROC曲线的AUC值;
从所述多个所述局部人脸特征模型中选择AUC值最大的预设数量的所述局部人脸特征模型。
在其中一些实施例中,所述确定所述待识别的人脸图像中是否存在非正常区域,包括:
利用预先获取的基于机器学习的非正常区域识别模型确定所述待识别的人脸图像中是否存在所述非正常区域,所述非正常区域包括遮挡区域、和/或暗像素区域、和/或像素过亮区域。
在其中一些实施例中,所述方法还包括:
获取已知身份的人脸图像;
根据所述局部人脸特征模型对应的所述至少一个局部区域、选择所述已知身份的人脸图像中的至少一个局部区域;
利用所述局部人脸特征模型、对所述已知身份的人脸图像的至少一个局部区域提取人脸特征,获得所述局部人脸特征模型对应的已知身份的人脸特征。
在其中一些实施例中,所述获取待识别的人脸图像,包括:
获取待检测图像,从所述待检测图像中扣除获取脸部图像;
将所述脸部图像缩放至预设尺寸;
将缩放后的所述脸部图像转换至标准人脸图像,获得所述待识别的人脸图像;
所述获取已知身份的人脸图像,包括:
获取已知身份的用户图像,从所述已知身份的用户图像中扣除获取脸部图像;
将所述脸部图像缩放至预设尺寸;
将缩放后的所述脸部图像转换至标准人脸图像,获得所述已知身份的人脸图像。
在其中一些实施例中,所述利用选择的所述局部人脸特征模型对所述待识别的人脸图像进行识别,包括:
根据选择的局部人脸特征模型对应的所述至少一个局部区域、选择所述待识别的人脸图像中的至少一个局部区域;
利用选择的所述局部人脸特征模型、对所述待识别的人脸图像的至少一个局部区域提取待识别的人脸特征;
将所述待识别的人脸特征匹配选择的所述局部人脸特征模型对应的已知身份的人脸特征,获得所述待识别的人脸图像对应的身份。
第二方面,本发明实施例提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的方法。
第三方面,本发明实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行上述的方法。
第四方面,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被电子设备执行时,使所述电子设备执行上述的方法。
本发明实施例的人脸识别方法和电子设备,基于全脸图像中的至少一个局部区域训练获得至少两个局部人脸特征模型,在对人脸图像进行识别时,先确定人脸图像中是否存在例如遮挡区域、暗像素区域、像素过亮区域等非正常区域。如果存在所述非正常区域,则根据所述非正常区域在至少两个局部人脸特征模型中选择一个局部人脸特征模型,并利于选择的局部人脸特征模型对待识别的人脸图像进行识别。根据非正常区域选择一个局部人脸特征模型对待识别的人脸图像进行识别,可以选择非正常区域影响较小的局部人脸特征模型,从而减小非正常区域对人脸识别的影响,提高人脸识别的准确率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1a是本发明实施例人脸识别方法和装置的其中一个应用场景示意图;
图1b是本发明实施例人脸识别方法和装置的另一个应用场景示意图;
图2a是本发明一个实施例中局部区域示意图;
图2b是本发明另一个实施例中局部区域示意图;
图3是本发明人脸识别方法的一个实施例的流程示意图;
图4是本发明人脸识别方法的另一个实施例的流程示意图;
图5是本发明人脸识别装置的一个实施例的结构示意图;
图6是本发明人脸识别装置的另一个实施例的结构示意图;
图7是本发明电子设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的人脸识别方法、装置和电子设备适用于图1a所示的应用场景。在所述应用场景中,包括电子设备100和需要识别身份的用户200。其中,电子设备100可以为任何合适的由集成电路、晶体管、电子管等电子元器件组成,应用电子技术软件发挥作用的设备,例如智能手机、平板电脑、个人PC机、服务器、机器人等。
在其中一些应用场景中(例如图1a),利用电子设备100自带的图像采集装置采集用户200的图像,电子设备100基于所述图像获得人脸图像,并对所述人脸图像进行识别,以获得用户200的身份。在另一些应用场景中,请参照图1b,所述应用场景还包括单独设置的图像采集装置300,单独设置的图像采集装置300与电子设备100通信连接,图像采集装置300获得用户的图像后,将所述图像传送给电子设备100。其中,图像采集装置可以为摄像头、摄像机、照相机、扫描仪,或者其他带有拍照功能的设备。
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术,目前的人脸识别通常利用基于机器学习的神经网络模型进行识别。利用神经网络模型进行人脸识别通常包括三个部分,首先是训练神经网络模型;其次是已知身份的人脸注册,即利用神经网络模型对已知身份的人脸图像提取人脸特征,获得已知身份的人脸特征;然后是人脸识别,在对未知身份的人脸图像进行识别时,首先利用该神经网络模型提取人脸特征,获得未知身份的人脸特征,再将未知身份的人脸特征匹配已知身份的人脸特征,从而获得所述未知身份。其中,对已知身份的人脸图像提取人脸特征和对未知身份的人脸图像提取人脸特征,需基于同一神经网络模型。
其中,已知身份的人脸特征可以存储于电子设备100本地,在识别未知身份的人脸图像时,可以调取电子设备100本地的已知身份的人脸特征,将未知身份的人脸特征与调取的已知身份的人脸特征进行匹配。在另一些应用场景中,请参照图1b,所述应用场景还可以包括云端服务器400,已知身份的人脸特征存储于云端服务器400上,云端服务器400与电子设备100通信连接,电子设备100可以通过云端服务器400获得所述已知身份的人脸特征。
其中,神经网络模型可以基于任何合适的机器学习算法,训练神经网络模型属于现有技术的范畴,可以通过大量样本数据以及样本数据对应的标签(即类别)训练获得,其训练的目的是获得神经网络模型的各个参数。
其大体过程为,获取大量人脸图像样本(例如N个人的K个人脸图像样本),其中每一个样本包括两张图片,如果是相同的图片,则该样本对应的标签可以设为0(也可以设为用于表示相同图片的其他值),如果是不同的图片,则样本对应的标签设为1(也可以设为用于表示不同图片的其他值)。将该大量的人脸图像样本及其对应的标签输入神经网络模型进行训练,从而获得神经网络模型的各个参数。
其中,人脸图像样本可以是全脸图像,基于该全脸图像样本进行训练可以获得基于神经网络的全脸特征模型。利用该全脸图像样本训练所述神经网络模型时,需利用高质量的全脸图像进行训练,在进行人脸识别时,也需要待识别的人脸图像是高质量的,如果人脸图像有遮挡,或者光照过暗,或者曝光过度,则不能获得较好的识别效果。
为了解决这一问题,还可以采用局部人脸图像训练神经网络模型,即用全脸图像的至少一个局部区域训练神经网络模型,获得局部人脸特征模型。其中,所述至少一个局部区域是指全脸图像的部分,可以通过在全脸图像上截取部分人脸图像获得。在其中一些实施例中,可以通过在全脸图像中选取至少一个多边形区域获得,即可以利用任何多边形或各种多边形的组合截取全脸图像、获得所述全脸图像的至少一个局部区域。图2a示例性的示出了一种多边形,图2b示例性的示出了一种多边形的组合(以下以所述至少一个局部区域利用多边形或多边形的组合获取为例说明)。在其中一些实施例中,获取全脸图像中的至少一个局部区域,可以是使至少一个局部区域内的图像的像素值保持不变,至少一个局部区域外的像素值置为0。
本发明实施例获取一组全脸图像样本(一组全脸图像样本包括大量的全脸图像样本),并随机选取各种多边形以及多边形的组合,利用各种多边形以及多边形的组合截取全脸图像样本、获得多组局部人脸图像样本。其中,每一组局部人脸图像样本的局部区域需相同,即每一组局部人脸图像样本利用同样的多边形或者多边形的组合在全脸图像的相同位置、截取一组全脸图像样本获得。利用每一组局部人脸图像样本训练神经网络模型,即可获得一个局部人脸特征模型,通过多组局部人脸图像样本训练神经网络模型,即可获得多个局部人脸特征模型。
在对未知身份的人脸图像进行识别时,先判断该人脸图像中是否存在遮挡区域、暗像素区域、像素过亮区域等非正常区域,如果存在所述非正常区域,则根据所述非正常区域在多个局部人脸特征模型中选择合适的局部人脸特征模型(例如选择局部人脸特征模型对应的局部区域与所述非正常区域交集最小的局部人脸特征模型)进行识别。根据非正常区域在多个局部人脸特征模型中选择合适的局部人脸特征模型,可以选择非正常区域影响较小的局部人脸特征模型,从而减小非正常区域对人脸识别的影响,提高人脸识别的准确率。
需要说明的是,图1a中仅示出了一个电子设备100和一个用户200,图1b中仅示出了一个电子设备100、一个用户200、一个图像采集装置300和一个云端服务器400,在其他应用场景中,也可以包括更多的电子设备、用户、图像采集装置和云端服务器,本发明实施例对应用场景中各组成的数量不作限制。
图3为本发明实施例提供的人脸识别方法的流程示意图,所述方法可以由图1a或图1b中电子设备100执行,如图3所示,所述方法包括:
101:获取待识别的人脸图像。
其中,所述待识别的人脸图像可以是图像采集装置直接获取的包含人脸的图像,在其中一些实施例中,为了提高人脸识别的准确性,所述待识别的人脸图像仅包含脸部图像,即图像采集装置获取用户的待检测图像后,电子设备从所述待检测图像中扣除获取脸部图像。具体的,从所述待检测图像中扣除脸部图像,可以利用现有技术中的人脸检测方法检测脸部所在区域,再从该待检测图像中扣除脸部所在区域获得脸部图像。
在另一些实施例中,为了进一步提高人脸检测的准确性,获得脸部图像后,将脸部图像缩放至预设尺寸,然后将缩放后的脸部图像转换至标准人脸图像。其中,所述预设尺寸可以为任何合适的尺寸,例如1024×1024。在其中一些实施例中,将脸部图像转换成标准人脸图像可以采用关键点对齐的仿射变换方法。首先,设计一个预设尺寸(以下以预设尺寸为1024×1024为例说明)的标准人脸,然后在该标准人脸中提取若干关键点,例如提取五个关键点,分别是两个眼睛位置(100,100)、(300,100),鼻尖位置(150,150),两个嘴角位置(300,100)、(300,300)。然后根据标准人脸中的两个眼睛位置、鼻尖位置和两个嘴角位置,以及待识别的脸部图像中的两个眼睛位置、鼻尖位置和两个嘴角位置,利用仿射变换方法求出待识别的脸部图像转换至标准人脸的变换矩阵,然后利用该变换矩阵将待识别的脸部图像转换至标准人脸图像。将脸部图像转换成标准人脸图像可以消除图像中的畸变和偏差。
需要说明的是,在模型训练、人脸注册以及人脸识别阶段对图像的处理均采用相同的方法。例如,如果在人脸识别阶段进行了脸部图像扣除,则在模型训练阶段和人脸注册阶段也需进行脸部扣除,如果在人脸识别阶段进行了脸部扣除和标准人脸转换,则在模型训练阶段和人脸注册阶段也需进行脸部扣除和标准人脸转换。
102:确定所述待识别的人脸图像中是否存在非正常区域。
其中,非正常区域是指无法正常显示出人脸特征的区域,例如遮挡区域、暗像素区域、像素过亮区域等。在其中一些实施例中,可以利用预先获取的基于机器学习的非正常区域识别模型确定所述待识别的人脸图像中是否存在非正常区域。例如,如果非正常区域包括遮挡区域、暗像素区域和像素过亮区域,可以获取包括遮挡区域、暗像素区域和像素过亮区域的大量样本图片,利用该样本图片训练基于机器学习的神经网络模型,获得所述非正常区域识别模型。利用该非正常区域识别模型对待识别的人脸图像进行识别,就可以识别出人脸图像中的遮挡区域、暗像素区域和像素过亮区域。
在非正常区域仅包括暗像素区域的场合,也可以用像素亮度值来判断暗像素区域。在其中一些实施例中,可以直接根据亮度值、判断亮度值小于亮度阈值的区域为暗像素区域。在另一些实施例中,也可以先对人脸图像进行二值化处理(即将图像中亮度值大于一阈值的像素点置为1,将亮度值小于或等于一阈值的像素点置为0),再判断人脸图像中0值像素点对应的原像素亮度,如果原像素亮度小于亮度阈值,则该像素点属于暗像素区域。
103:如果存在所述非正常区域,则根据所述非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,所述局部人脸特征模型基于人脸图像中的至少一个局部区域训练获得。
104:利用选择的所述局部人脸特征模型对所述待识别的人脸图像进行识别,以获得所述待识别的人脸图像对应的身份。
如果人脸图像中存在非正常区域,则根据非正常区域从至少两个局部人脸特征模型中选择一个局部人脸特征模型,并利用选择的局部人脸特征模型对人脸图像进行识别。根据非正常区域选择局部人脸特征模型,可以选择非正常区域影响较小的局部人脸特征模型,从而减小非正常区域对人脸识别的影响,提高人脸识别的准确率。
其中,在一些实施例中,可以选择局部区域与非正常区域交集最小的局部人脸特征模型。因为该局部人脸特征模型对应的至少一个局部区域与非正常区域交集最小,则该至少一个局部区域的图像能更多的显示出人脸特征,利用该局部人脸特征模型进行人脸识别能提高人脸识别的准确率。如果至少一个局部区域与非正常区域交集最小的局部人脸特征模型有至少两个,则可以随机选择一个局部人脸特征模型。
在另一些实施例中,当至少一个局部区域与非正常区域交集最小的局部人脸特征模型有至少两个时,可以选择其中至少一个局部区域面积最大的局部人脸特征模型。局部区域面积更大能更多的表示人脸特征,进一步提高人脸识别的准确率。
在其他一些实施例中,如果人脸图像中不存在非正常区域,则利用全脸特征模型对待识别的人脸图像进行识别。如图4所示,在该实施例中,人脸识别方法除步骤101、102、103和104之外,还包括步骤105。其中,101、102、103、104和105仅用于代表各步骤,并不表示各步骤的先后顺序。
其中,在一些实施例中,局部人脸特征模型和全脸特征模型可以是其他装置通过训练获得神经网络模型之后直接加载在电子设备100上的。在另一些实施例中,局部人脸特征模型和全脸特征模型是电子设备100自身通过训练神经网络模型获得的。在该实施例中,人脸识别方法还包括训练全脸特征模型的步骤和/或训练局部人脸特征模型的步骤。
如前所述,可以基于多组局部人脸图像样本训练基于机器学习的神经网络模型,获得多个所述局部人脸特征模型。在其中一些实施例中,可以直接利用上述多个局部人脸特征模型进行人脸识别,在另一些实施例中,也可以在多个局部人脸特征模型中选择识别效果好的预设数量的局部人脸特征模型,用以进行人脸识别。
其中,识别效果可以通过接受者操作特性(receiveroperatingcharacteristiccurve,ROC)曲线的AUC(Area Under Curve)值来判断(AUC值被定义为ROC曲线下与坐标轴围成的面积)。AUC值可以表示局部人脸特征模型的识别效果,AUC值越大,则局部人脸特征模型的识别效果越好。
具体的,根据多个局部人脸特征模型制作多个ROC曲线。ROC曲线为二维平面上的曲线,横坐标是假阳率(false positive rate,FPR),纵坐标是真阳率(true positiverate,TPR)。根据局部人脸识别模型在测试样本上的表现可以得到多个TPR与FPR的点对,通过该点对可以获得ROC曲线。获得多个ROC曲线后,计算各个ROC曲线的AUC值,即计算各个ROC曲线下与坐标轴围城的面积,选取AUC值最大的预设数量的局部人脸特征模型。
利用全脸特征模型或者局部人脸特征模型进行人脸识别前,需利用全脸特征模型或局部人脸特征模型进行人脸注册,即获取各模型对应的已知身份用户的人脸特征。其中,各模型对应的已知身份的人脸特征可以是其他装置获得之后直接加载在电子设备100上或云端服务器400上的。在另一些实施例中,各模型对应的已知身份的人脸特征也可以是电子设备100或者云端服务器400自身获得的。在电子设备100自身获得各模型对应的已知身份的人脸特征的实施例中,人脸识别方法还包括获得全脸特征模型对应的已知身份的人脸特征步骤和/或获得各局部人脸特征模型对应的已知身份的人脸特征步骤。
由于各局部人脸特征模型是基于全脸图像的至少一个局部区域训练获得的,在一些实施例中,为保证人脸识别的准确性,注册人脸特征以及识别人脸均需基于人脸图像的相同局部区域进行。即注册局部人脸特征模型的人脸特征时,获取已知身份的人脸图像后,根据局部人脸特征模型对应的所述至少一个局部区域、选择该人脸图像中的至少一个局部区域,然后利用该局部人脸特征模型对该至少一个局部区域提取人脸特征,获得该局部人脸特征模型对应的已知身份的人脸特征。
利用该局部人脸特征模型进行人脸识别时,获取待识别的人脸图像后,根据局部人脸特征模型对应的所述至少一个局部区域、选择待识别的人脸图像中的至少一个局部区域,然后利用该局部人脸特征模型对该至少一个局部区域提取待识别的人脸特征。将待识别的人脸特征匹配该局部人脸特征模型对应的已知身份的人脸特征,获得其中最相似的已知身份的人脸特征,该已知身份即为待识别的人脸图像对应的身份。
其中,在一些实施例中,判断待识别的人脸特征与已知身份的人脸特征的相似性,可以计算待识别的人脸特征与各个已知身份的人脸特征的欧式距离,如果其中最小的欧氏距离小于预设距离阈值,则该最小的欧式距离对应的人脸特征的已知身份即为待识别的身份。
相应的,本发明实施例还提供了一种人脸识别装置,用于图1a或图1b中的电子设备,如图5所示,人脸识别装置500包括:
待识别人脸图像获取模块501,用于获取待识别的人脸图像;
非正常区域确定模块502,用于确定所述待识别的人脸图像中是否存在非正常区域,所述非正常区域为无法正常显示人脸特征的区域;
模型选择模块503,用于如果存在所述非正常区域,则根据所述非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,所述局部人脸特征模型基于人脸图像中的至少一个局部区域训练获得;
第一识别模块504,用于利用选择的所述局部人脸特征模型对所述待识别的人脸图像进行识别,以获得所述待识别的人脸图像对应的身份。
本发明实施例基于全脸图像中的至少一个局部区域训练获得至少两个局部人脸特征模型,在对人脸图像进行识别时,先确定人脸图像中是否存在例如遮挡区域、暗像素区域、像素过亮区域等非正常区域。如果存在所述非正常区域,则根据所述非正常区域在至少两个局部人脸特征模型中选择一个局部人脸特征模型,并利于选择的局部人脸特征模型对待识别的人脸图像进行识别。根据非正常区域选择一个局部人脸特征模型对待识别的人脸图像进行识别,可以选择非正常区域影响较小的局部人脸特征模型,从而减小非正常区域对人脸识别的影响,提高人脸识别的准确率。
在另一些实施例中,请参照图6,人脸识别装置500还包括:
第二识别模块505,用于如果所述待识别的人脸图像中不存在所述非正常区域,则利用预先获取的全脸特征模型对所述待识别的人脸图像进行识别,所述全脸特征模型基于人脸图像训练获得。
在其中一些实施例中,模型选择模块503具体用于:
选择一个局部人脸特征模型,选择的局部人脸特征模型对应的至少一个局部区域与所述非正常区域交集最小。
在其中另一些实施例中,模型选择模块503具体用于:
确定交集最小的局部人脸特征模型,所述交集最小的局部人脸特征模型对应的所述至少一个局部区域与所述非正常区域交集最小;
如果所述交集最小的局部人脸特征模型为多个,则选择局部人脸特征模型对应的局部区域面积最大的一个。
在其他一些实施例中,请参照图6,人脸识别装置500还包括:
局部人脸特征模型训练模块506,用于:
获取多个人脸图像样本,从所述人脸图像样本中选择至少一个局部区域,获得多组局部人脸图像样本,每一组局部人脸图像样本的所述至少一个局部区域相同;
基于所述多组局部人脸图像样本训练基于机器学习的神经网络模型,获得多个所述局部人脸特征模型,其中,一个局部人脸特征模型基于一组局部人脸图像样本训练获得;
从所述多个所述局部人脸特征模型中选择预设数量的所述局部人脸特征模型,获得所述至少两个局部人脸特征模型。
在其中一些实施例中,局部人脸特征模型训练模块506具体用于:
获取每个局部人脸特征模型的ROC曲线,并计算每个ROC曲线的AUC值;
从所述多个所述局部人脸特征模型中选择AUC值最大的预设数量的所述局部人脸特征模型。
在其中一些实施例中,非正常区域确定模块502具体用于:
利用预先获取的基于机器学习的非正常区域识别模型确定所述待识别的人脸图像中是否存在所述非正常区域,所述非正常区域包括遮挡区域、和/或暗像素区域、和/或像素过亮区域。
在其他一些实施例中,请参照图6,人脸识别装置500还包括
人脸注册模块507,用于:
获取已知身份的人脸图像;
根据所述局部人脸特征模型对应的所述至少一个局部区域、选择所述已知身份的人脸图像中的至少一个局部区域;
利用所述局部人脸特征模型、对所述已知身份的人脸图像的至少一个局部区域提取人脸特征,获得所述局部人脸特征模型对应的已知身份的人脸特征。
在其中一些实施例中,待识别人脸图像获取模块501具体用于:
获取待检测图像,从所述待检测图像中扣除获取脸部图像;
将所述脸部图像缩放至预设尺寸;
将缩放后的所述脸部图像转换至标准人脸图像,获得所述待识别的人脸图像;
人脸注册模块507具体用于:
获取已知身份的用户图像,从所述已知身份的用户图像中扣除获取脸部图像;
将所述脸部图像缩放至预设尺寸;
将缩放后的所述脸部图像转换至标准人脸图像,获得所述已知身份的人脸图像。
在其中一些实施例中,第一识别模块504具体用于:
根据选择的局部人脸特征模型对应的所述至少一个局部区域、选择所述待识别的人脸图像中的至少一个局部区域;
利用选择的所述局部人脸特征模型、对所述待识别的人脸图像的至少一个局部区域提取待识别的人脸特征;
将所述待识别的人脸特征匹配选择的所述局部人脸特征模型对应的已知身份的人脸特征,获得所述待识别的人脸图像对应的身份。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
如图7所示,为电子设备100的硬件结构示意图,请参照图7,电子设备100包括:
一个或多个处理器1以及存储器2,图7中以一个处理器1为例。
处理器1和存储器2可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器2作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的人脸识别方法对应的程序指令/模块(例如,附图5所示的待识别人脸图像获取模块501、非正常区域确定模块502、模型选择模块503和第一识别模块504)。处理器1通过运行存储在存储器2中的非易失性软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例的人脸识别方法。
存储器2可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据控制器的使用所创建的数据等。此外,存储器2可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器2可选包括相对于处理器1远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器2中,当被所述一个或者多个处理器1执行时,执行上述任意方法实施例中的人脸识别方法,例如,执行以上描述的图3中的方法步骤101-104、图4中的方法步骤101-105;实现图5中的模块501-504、图6中的模块501-507的功能。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图7中的一个处理器1,可使得上述一个或多个处理器可执行上述任意方法实施例中的人脸识别方法,例如,执行以上描述的图3中的方法步骤101至步骤104、图4中的方法步骤101-105;实现图5中的模块501-504、图6中的模块501-507的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述,本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸识别方法,其特征在于,所述方法包括:
获取待识别的人脸图像;
确定所述待识别的人脸图像中是否存在非正常区域,所述非正常区域为无法正常显示人脸特征的区域;
如果存在所述非正常区域,则从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,选择的局部人脸特征模型对应的至少一个局部区域与所述非正常区域交集最小,所述局部人脸特征模型基于人脸图像中的至少一个局部区域训练获得,所述局部区域通过利用任意多边形或多边形组合截取所述人脸图像获得;
根据选择的局部人脸特征模型对应的所述至少一个局部区域、选择待识别的人脸图像中的至少一个局部区域,利用选择的所述局部人脸特征模型对所述待识别的人脸图像中的至少一个局部区域进行识别,以获得所述待识别的人脸图像对应的身份。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述待识别的人脸图像中不存在所述非正常区域,则利用预先获取的全脸特征模型对所述待识别的人脸图像进行识别,所述全脸特征模型基于人脸图像训练获得。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述非正常区域、从预先获取的至少两个局部人脸特征模型中选择一个局部人脸特征模型,包括:
确定交集最小的局部人脸特征模型,所述交集最小的局部人脸特征模型对应的所述至少一个局部区域与所述非正常区域交集最小;
如果所述交集最小的局部人脸特征模型为至少两个,则选择局部人脸特征模型对应的局部区域面积最大的一个。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取多个人脸图像样本,从所述人脸图像样本中选择至少一个局部区域,获得多组局部人脸图像样本,每一组局部人脸图像样本的所述至少一个局部区域相同;
基于所述多组局部人脸图像样本训练基于机器学习的神经网络模型,获得多个所述局部人脸特征模型,其中,一个局部人脸特征模型基于一组局部人脸图像样本训练获得;
从所述多个所述局部人脸特征模型中选择预设数量的所述局部人脸特征模型,获得所述至少两个局部人脸特征模型。
5.根据权利要求4所述的方法,其特征在于,所述从所述多个所述局部人脸特征模型中选择预设数量的所述局部人脸特征模型,包括:
获取每个局部人脸特征模型的ROC曲线,并计算每个ROC曲线的AUC值;
从所述多个所述局部人脸特征模型中选择AUC值最大的预设数量的所述局部人脸特征模型。
6.根据权利要求1或2所述的方法,其特征在于,所述确定所述待识别的人脸图像中是否存在非正常区域,包括:
利用预先获取的基于机器学习的非正常区域识别模型确定所述待识别的人脸图像中是否存在所述非正常区域,所述非正常区域包括遮挡区域、和/或暗像素区域、和/或像素过亮区域。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取已知身份的人脸图像;
根据所述局部人脸特征模型对应的所述至少一个局部区域、选择所述已知身份的人脸图像中的至少一个局部区域;
利用所述局部人脸特征模型、对所述已知身份的人脸图像的至少一个局部区域提取人脸特征,获得所述局部人脸特征模型对应的已知身份的人脸特征。
8.根据权利要求7所述的方法,其特征在于,所述利用选择的所述局部人脸特征模型对所述待识别的人脸图像进行识别,包括:
根据选择的局部人脸特征模型对应的所述至少一个局部区域、选择所述待识别的人脸图像中的至少一个局部区域;
利用选择的所述局部人脸特征模型、对所述待识别的人脸图像的至少一个局部区域提取待识别的人脸特征;
将所述待识别的人脸特征匹配选择的所述局部人脸特征模型对应的已知身份的人脸特征,获得所述待识别的人脸图像对应的身份。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8任一项所述的方法。
10.一种非易失性计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行如权利要求1-8任一项所述的方法。
CN201910538082.8A 2019-06-20 2019-06-20 一种人脸识别方法和电子设备 Active CN110232369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910538082.8A CN110232369B (zh) 2019-06-20 2019-06-20 一种人脸识别方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910538082.8A CN110232369B (zh) 2019-06-20 2019-06-20 一种人脸识别方法和电子设备

Publications (2)

Publication Number Publication Date
CN110232369A CN110232369A (zh) 2019-09-13
CN110232369B true CN110232369B (zh) 2021-10-01

Family

ID=67857187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910538082.8A Active CN110232369B (zh) 2019-06-20 2019-06-20 一种人脸识别方法和电子设备

Country Status (1)

Country Link
CN (1) CN110232369B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956098B (zh) * 2019-11-13 2023-05-12 深圳数联天下智能科技有限公司 图像处理方法及相关设备
CN111144240B (zh) * 2019-12-12 2023-02-07 深圳数联天下智能科技有限公司 图像处理方法及相关设备
CN111523431B (zh) * 2020-04-16 2022-09-16 支付宝(杭州)信息技术有限公司 一种面部识别的方法、装置及设备
CN111597910A (zh) * 2020-04-22 2020-08-28 深圳英飞拓智能技术有限公司 一种人脸识别方法、装置、终端设备及介质
CN111738078A (zh) * 2020-05-19 2020-10-02 云知声智能科技股份有限公司 一种人脸识别方法和装置
CN111598047B (zh) * 2020-05-28 2023-06-27 重庆康普达科技有限公司 一种人脸识别方法
CN111783605B (zh) * 2020-06-24 2024-05-24 北京百度网讯科技有限公司 一种人脸图像识别方法、装置、设备及存储介质
CN111985360A (zh) * 2020-08-05 2020-11-24 上海依图网络科技有限公司 一种人脸识别的方法、装置、设备和介质
CN112036266A (zh) * 2020-08-13 2020-12-04 北京迈格威科技有限公司 人脸识别方法、装置、设备及介质
CN112183190A (zh) * 2020-08-18 2021-01-05 杭州翌微科技有限公司 一种基于局部关键特征识别的人脸质量评估方法
CN112115866A (zh) * 2020-09-18 2020-12-22 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112241689A (zh) * 2020-09-24 2021-01-19 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN114299595A (zh) * 2022-01-29 2022-04-08 北京百度网讯科技有限公司 人脸识别方法、装置、设备、存储介质和程序产品
CN115840834B (zh) * 2023-02-20 2023-05-23 深圳市视美泰技术股份有限公司 一种人脸数据库快速搜索方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855496A (zh) * 2012-08-24 2013-01-02 苏州大学 遮挡人脸认证方法及系统
CN206224639U (zh) * 2016-11-14 2017-06-06 华南理工大学 一种具有遮挡检测功能的人脸识别门禁系统
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6630999B2 (ja) * 2014-10-15 2020-01-15 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
CN108491786B (zh) * 2018-03-20 2022-05-10 南京邮电大学 一种基于分级网络和聚类合并的人脸检测方法
CN109886167B (zh) * 2019-02-01 2020-11-20 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855496A (zh) * 2012-08-24 2013-01-02 苏州大学 遮挡人脸认证方法及系统
CN206224639U (zh) * 2016-11-14 2017-06-06 华南理工大学 一种具有遮挡检测功能的人脸识别门禁系统
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PCANet下的遮挡定位人脸识别算法;郭伟 等;《计算机科学与探索》;20190130;第3-13页 *

Also Published As

Publication number Publication date
CN110232369A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232369B (zh) 一种人脸识别方法和电子设备
CN109508694B (zh) 一种人脸识别方法及识别装置
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
CN108734185B (zh) 图像校验方法和装置
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN113205057A (zh) 人脸活体检测方法、装置、设备及存储介质
CN111898610B (zh) 卡片缺角检测方法、装置、计算机设备及存储介质
CN112434546A (zh) 人脸活体检测方法及装置、设备、存储介质
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN110189350B (zh) 一种瞳孔边缘的确定方法、装置及存储介质
CN111967529A (zh) 识别方法、装置、设备及系统
CN111476056B (zh) 目标物体的识别方法、装置、终端设备及计算机存储介质
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN110569707A (zh) 一种身份识别方法和电子设备
CN111898529B (zh) 脸部检测方法、装置、电子设备和计算机可读介质
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
WO2017219562A1 (zh) 一种二维码生成方法及装置
CN114332983A (zh) 人脸图像清晰度检测方法、装置、电子设备、及介质
CN114332981A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113469138A (zh) 对象检测方法和装置、存储介质及电子设备
CN112907206A (zh) 一种基于视频对象识别的业务审核方法、装置及设备
CN117373103B (zh) 一种图像特征提取方法、装置、设备及存储介质
CN113516089B (zh) 人脸图像识别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200407

Address after: 1706, Fangda building, No. 011, Keji South 12th Road, high tech Zone, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen shuliantianxia Intelligent Technology Co., Ltd

Address before: 518000, building 10, building ten, building D, Shenzhen Institute of Aerospace Science and technology, 6 hi tech Southern District, Nanshan District, Shenzhen, Guangdong 1003, China

Applicant before: SHENZHEN H & T HOME ONLINE NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant