CN105654033A - 人脸图像验证方法和装置 - Google Patents

人脸图像验证方法和装置 Download PDF

Info

Publication number
CN105654033A
CN105654033A CN201510964458.3A CN201510964458A CN105654033A CN 105654033 A CN105654033 A CN 105654033A CN 201510964458 A CN201510964458 A CN 201510964458A CN 105654033 A CN105654033 A CN 105654033A
Authority
CN
China
Prior art keywords
face
face characteristic
facial image
verified
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510964458.3A
Other languages
English (en)
Other versions
CN105654033B (zh
Inventor
张涛
汪平仄
龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201510964458.3A priority Critical patent/CN105654033B/zh
Publication of CN105654033A publication Critical patent/CN105654033A/zh
Application granted granted Critical
Publication of CN105654033B publication Critical patent/CN105654033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本公开是关于人脸图像验证方法和装置,该方法包括:接收待验证人脸图像;提取待验证人脸图像的第一人脸特征;根据注册人脸图像对应的第二人脸特征和注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对第一人脸特征表征的待验证人脸图像进行验证。由于绑定的面孔相册分组中存储有注册人脸图像对应的用户的大量不同人脸图像,结合该绑定面孔相册分组进行验证,可以有效避免待验证人脸图像与注册人脸图像因为光线、表情、发型、服饰等因素的不同而对验证结果的准确性产生的不利影响,可以提高验证结果的准确性。

Description

人脸图像验证方法和装置
技术领域
本公开涉及图像处理领域,尤其涉及人脸图像验证方法和装置。
背景技术
人脸图像作为一种重要的生物特征,在身份识别、安全加密等领域得到广泛应用。目前,很多应用的用户登录验证过程,都采用了人脸图像验证方式。
相关技术中,人脸图像验证的方式一般是:在终端设备中存储有用户注册时提供的注册人脸图像,当用户进行应用系统登录时,终端设备采集实际人脸图像,将实际人脸图像与注册人脸图像进行特征匹配,如果匹配成功,则通过验证,否则,则验证失败,不允许用户登录应用系统。
公开内容
为克服相关技术中存在的问题,本公开提供一种基于视频的面孔相册处理方法和装置。
根据本公开实施例的第一方面,提供一种人脸图像验证方法,包括:
接收待验证人脸图像;
提取所述待验证人脸图像的第一人脸特征;
根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证。
该方案可以包括以下有益效果:在接收到用户启用某应用进行身份验证时所采集的人脸图像即待验证人脸图像后,首先提取该待验证人脸图像的第一人脸特征。进而,根据用户注册时的注册人脸图像对应的第二人脸特征以及与注册人脸图像绑定的面孔相册分组对应的第三人脸图像特征,对该第一人脸特征进行验证,以确定待验证人脸图像是否能够通过验证。由于绑定的面孔相册分组中存储有注册人脸图像对应的用户的大量不同人脸图像,结合该绑定面孔相册分组进行验证,可以有效避免待验证人脸图像与注册人脸图像因为光线、表情、发型、服饰等因素的不同而对验证结果的准确性产生的不利影响,可以提高验证结果的准确性。
结合第一方面,在第一方面的第一种可能的实现方式中,所述根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证,包括:
计算所述第一人脸特征与所述第二人脸特征间的相似度;
当所述第一人脸特征与所述第二人脸特征的相似度小于预设阈值时,计算所述第一人脸特征与所述第三人脸特征间的相似度;
根据所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述面孔相册分组对应的第三人脸特征包括所述面孔相册分组中各每个人脸图像对应的人脸特征;
所述根据所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证,包括:
在所述面孔相册分组中各人脸图像对应的人脸特征中存在至少一个人脸特征与所述第一人脸特征间的相似度大于所述预设阈值时,确定所述待验证人脸图像通过验证;
在所述面孔相册分组中各人脸图像对应的人脸特征与所述第一人脸特征间的相似度都小于所述预设阈值时,确定所述待验证人脸图像不通过验证。
该方案可以包括以下有益效果:在对待验证人脸图像进行验证的过程中,首先将该待验证人脸图像对应的第一人脸特征与已存储的注册人脸图像对应的第二人脸特征进行相似性度量,在不满足相似度阈值时,进而再将第一人脸特征分别与注册人脸图像绑定的面孔相册分组中每个人脸图像对应的第三人脸特征进行相似性度量,如果各第三人脸特征中存在与之满足相似度阈值的人脸特征,则验证通过,否则,验证不通过。结合绑定面孔相册分组进行验证,可以大大提高验证结果的准确性。
结合第一方面、第一方面的第一种或第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述提取所述待验证人脸图像的第一人脸特征,包括:
对所述待验证人脸图像进行人脸检测,确定所述待验证人脸图像中的人脸候选区域图像;
对所述人脸候选区域图像进行器官点定位;
根据人脸特征提取模型对所述器官点定位后的人脸候选区域图像进行特征提取,获取所述第一人脸特征;
其中,所述人脸特征提取模型是对卷积神经网络进行人脸分类识别训练获得的。
该方案可以包括以下有益效果:在进行待验证人脸图像的第一人脸特征提取过程中,首先进行人脸检测、器官点定位的处理,得到人脸候选区域图像,进而采用基于对卷积神经网络进行人脸分类识别训练获得的人脸特征提取模型对人脸候选区域图像进行特征提取,由于基于深度学习的卷积神经网络能够获取到更加丰富、精细的特征信息,从而保证了验证结果的准确性。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述方法还包括:
接收所述注册人脸图像;
提取所述注册人脸图像的所述第二人脸特征;
将所述第二人脸特征与各面孔相册分组分别对应的人脸特征进行匹配,确定与所述第二人脸特征匹配的所述第三人脸特征;
建立所述注册人脸图像与所述第三人脸特征所对应的面孔相册分组间的绑定关系。
该方案可以包括以下有益效果:在人脸图像注册过程中,除了提取注册人脸图像的第二人脸特征,以用于后续的人脸图像验证外,还通过进行第二人脸特征与各面孔相册分组分别对应的人脸特征的匹配,建立注册人脸图像与匹配的人脸特征对应的面孔相册分组的绑定关系,以便于后续基于该绑定的面孔相册分组进行人脸图像的登录身份验证。
根据本公开实施例的第二方面,提供一种人脸图像验证装置,包括:
第一接收模块,被配置为接收待验证人脸图像;
第一提取模块,被配置为提取所述第一接收模块接收的所述待验证人脸图像的第一人脸特征;
验证模块,被配置为根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一提取模块提取的所述第一人脸特征表征的所述待验证人脸图像进行验证。
该方案可以包括以下有益效果:在接收到用户启用某应用进行身份验证时所采集的人脸图像即待验证人脸图像后,首先提取该待验证人脸图像的第一人脸特征。进而,根据用户注册时的注册人脸图像对应的第二人脸特征以及与注册人脸图像绑定的面孔相册分组对应的第三人脸图像特征,对该第一人脸特征进行验证,以确定待验证人脸图像是否能够通过验证。由于绑定的面孔相册分组中存储有注册人脸图像对应的用户的大量不同人脸图像,结合该绑定面孔相册分组进行验证,可以有效避免待验证人脸图像与注册人脸图像因为光线、表情、发型、服饰等因素的不同而对验证结果的准确性产生的不利影响,可以提高验证结果的准确性。
结合第二方面,在第二方面的第一种可能的实现方式中,所述验证模块包括:
第一计算子模块,被配置为计算所述第一人脸特征与所述第二人脸特征间的相似度;
第二计算子模块,被配置为当所述第一计算子模块计算的所述第一人脸特征与所述第二人脸特征的相似度小于预设阈值时,计算所述第一人脸特征与所述第三人脸特征间的相似度;
确定子模块,被配置为根据所述第二计算子模块计算的所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述面孔相册分组对应的第三人脸特征包括所述面孔相册分组中各每个人脸图像对应的人脸特征;
所述确定子模块包括:
第一确定组件,被配置为在所述面孔相册分组中各人脸图像对应的人脸特征中存在至少一个人脸特征与所述第一人脸特征间的相似度大于所述预设阈值时,确定所述待验证人脸图像通过验证;
第二确定组件,被配置为在所述面孔相册分组中各人脸图像对应的人脸特征与所述第一人脸特征间的相似度都小于所述预设阈值时,确定所述待验证人脸图像不通过验证。
该方案可以包括以下有益效果:在对待验证人脸图像进行验证的过程中,首先将该待验证人脸图像对应的第一人脸特征与已存储的注册人脸图像对应的第二人脸特征进行相似性度量,在不满足相似度阈值时,进而再将第一人脸特征分别与注册人脸图像绑定的面孔相册分组中每个人脸图像对应的第三人脸特征进行相似性度量,如果各第三人脸特征中存在与之满足相似度阈值的人脸特征,则验证通过,否则,验证不通过。结合绑定面孔相册分组进行验证,可以大大提高验证结果的准确性。
结合第二方面、第二方面的第一种或第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述第一提取模块包括:
人脸检测子模块,被配置为对所述待验证人脸图像进行人脸检测,确定所述待验证人脸图像中的人脸候选区域图像;
器官定位子模块,被配置为对所述人脸检测子模块检测的所述人脸候选区域图像进行器官点定位;
特征提取子模块,被配置为根据人脸特征提取模型对经所述器官定位子模块进行器官点定位后的人脸候选区域图像进行特征提取,获取所述第一人脸特征;
其中,所述人脸特征提取模型是对卷积神经网络进行人脸分类识别训练获得的。
该方案可以包括以下有益效果:在进行待验证人脸图像的第一人脸特征提取过程中,首先进行人脸检测、器官点定位的处理,得到人脸候选区域图像,进而采用基于对卷积神经网络进行人脸分类识别训练获得的人脸特征提取模型对人脸候选区域图像进行特征提取,由于基于深度学习的卷积神经网络能够获取到更加丰富、精细的特征信息,从而保证了验证结果的准确性。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,还包括:
第二接收模块,被配置为接收所述注册人脸图像;
第二提取模块,被配置为提取所述第二接收模块接收的所述注册人脸图像的所述第二人脸特征;
匹配模块,被配置为将所述第二提取模块提取的所述第二人脸特征与各面孔相册分组分别对应的人脸特征进行匹配,确定与所述第二人脸特征匹配的所述第三人脸特征;
建立模块,被配置为建立所述注册人脸图像与所述匹配模块匹配的所述第三人脸特征所对应的面孔相册分组间的绑定关系。
该方案可以包括以下有益效果:在人脸图像注册过程中,除了提取注册人脸图像的第二人脸特征,以用于后续的人脸图像验证外,还通过进行第二人脸特征与各面孔相册分组分别对应的人脸特征的匹配,建立注册人脸图像与匹配的人脸特征对应的面孔相册分组的绑定关系,以便于后续基于该绑定的面孔相册分组进行人脸图像的登录身份验证。
根据本公开实施例的第三方面,提供一种人脸图像验证装置,包括:
存储器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收待验证人脸图像;
提取所述待验证人脸图像的第一人脸特征;
根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种人脸图像验证方法实施例一的流程图;
图2是根据一示例性实施例示出的一种人脸图像验证方法实施例二的流程图
图3是根据一示例性实施例示出的一种人脸图像验证方法实施例三的流程图;
图4为深度卷积神经网络Alex网络图;
图5是根据一示例性实施例示出的一种人脸图像验证方法实施例四的流程图;
图6是根据一示例性实施例示出的一种人脸图像验证装置实施例一的框图;
图7是根据一示例性实施例示出的一种人脸图像验证装置实施例二的框图;
图8是根据一示例性实施例示出的一种人脸图像验证装置实施例三的框图;
图9是根据一示例性实施例示出的一种人脸图像验证装置实施例四的框图;
图10是根据一示例性实施例示出的一种人脸图像验证装置的框图;
图11是根据一示例性实施例示出的另一种人脸图像验证装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种人脸图像验证方法实施例一的流程图,如图1所示,本实施例涉及的人脸图像验证方法可以用于终端设备中,该终端设备例如可以是手机、平板电脑、PDA(PersonalDigitalAssistant,个人数字助理,简称:PDA)等。该人脸图像验证方法包括以下步骤。
在步骤101中,接收待验证人脸图像。
在步骤102中,提取待验证人脸图像的第一人脸特征。
在步骤103中,根据注册人脸图像对应的第二人脸特征和注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对第一人脸特征表征的待验证人脸图像进行验证。
本实施例中,当用户启用终端设备中的某一应用时,如果该应用需要进行登录验证,而用户采用的验证方式为人脸图像验证方式,会触发对用户的人脸图像的采集,即采集待验证人脸图像。终端设备接收到采集装置发送的待验证人脸图像后,进行该待验证人脸图像的验证处理。
在验证处理过程中,首先,进行待验证人脸图像的人脸特征的提取,获得对应的第一人脸特征。其中,该第一人脸特征的提取可以采用现有的特征提取方法,以提取诸如眼、鼻、口、脸部轮廓等特征信息。而本公开实施例中,为了保证特征提取的可靠性,以提取到更加丰富、精细的特征,采用对基于深度学习的卷积神经网络的训练而获得的人脸特征提取模型进行第一人脸特征的提取。具体的提取过程将在后续实施例中说明。
其次,基于终端设备中已存储的注册人脸图像对应的第二人脸特征和与注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对第一人脸特征表征的待验证人脸图像进行验证。
具体涉及到第一人脸特征与第二人脸特征的相似性度量,第一人脸特征与第三人脸特征的相似性度量的过程。如果第一人脸特征与第二人脸特征具有较高相似性,或者,如果第一人脸特征与第三人脸特征具有较高相似性,则认为第一人脸特征对应的待验证人脸图像通过验证,从而用户可以启用相应的应用。
本实施例中,借助终端设备的面孔相册功能,即借助面孔相册中包含的各面孔相册分组对采集的待验证人脸图像进行验证。其中,同一面孔相册分组中包含有同一人的多张不同的人脸图像,各人脸图像中人脸的表情、外部光线、发型、姿态等特征各不相同。而一般来说,使用终端设备的用户往往是终端设备的拥有者或者与其具有亲密关系的人,而这些人在终端设备的面孔相册中一般都会有相应的面孔相册分组,因此,可以借助面孔相册分组进行验证。
另外,当用户采用人脸图像的身份验证方式时,会进行相应的注册过程,在注册时,用户会提供一幅注册人脸图像,该注册人脸图像既可以是实时拍摄获得的,也可以是从自身对应的面孔相册分组中选择的一幅人脸图像。对于从面孔相册分组中选择的情况,可以直接获知该注册人脸图像与面孔相册分组的绑定关系。对于实时拍摄获得的情况,可以基于对注册人脸图像与各面孔相册分组的聚类分析,获知注册人脸图像与某个面孔相册分组的绑定关系。
因此,本实施例中所说的借助面孔相册分组进行人脸图像验证,是指借助注册人脸图像所绑定的面孔相册分组进行验证处理。
值得说明的是,终端设备中存储的注册人脸图像的第二人脸特征以及绑定的面孔相册分组对应的第三人脸特征的获取,也可以是基于上述提及的人脸特征提取模型预先提取并保存的。在接收到上述待验证人脸图像,并提取其对应的第一人脸特征后,仅需要进行与已经保存的第二人脸特征、第三人脸特征的相应计算处理,便可以完成验证过程。
本实施例中,在接收到用户启用某应用进行身份验证时所采集的人脸图像即待验证人脸图像后,首先提取该待验证人脸图像的第一人脸特征。进而,根据用户注册时的注册人脸图像对应的第二人脸特征以及与注册人脸图像绑定的面孔相册分组对应的第三人脸图像特征,对该第一人脸特征进行验证,以确定待验证人脸图像是否能够通过验证。由于绑定的面孔相册分组中存储有注册人脸图像对应的用户的大量不同人脸图像,结合该绑定面孔相册分组进行验证,可以有效避免待验证人脸图像与注册人脸图像因为光线、表情、发型、服饰等因素的不同而对验证结果的准确性产生的不利影响,可以提高验证结果的准确性。
图2是根据一示例性实施例示出的一种人脸图像验证实施例二的流程图,如图2所示,上述步骤103中涉及的验证处理过程,具体包括如下步骤:
在步骤201中,计算第一人脸特征与第二人脸特征间的相似度。
在步骤202中,在第一人脸特征与第二人脸特征的相似度小于预设阈值时,计算第一人脸特征与第三人脸特征间的相似度。
在步骤203中,根据所述第一人脸特征与第三人脸特征间的相似度,确定待验证人脸图像是否通过验证。
前述实施例已经提到,在进行待验证人脸图像的验证处理过程中,借助注册人脸图像绑定的面孔相册分组进行验证。
具体来说,首先,计算第一人脸特征与第二人脸特征间的相似度,该相似度的计算可以是对第一人脸特征与第二人脸特征进行距离度量,距离度量方式可以采用余弦距离、欧式距离等距离度量方式。如果第一人脸特征与第二人脸特征间的距离大于预设阈值,则验证结束,确定待验证人脸图像通过了验证。
反之,如果第一人脸特征与第二人脸特征间的距离小于预设阈值,则进而根据注册人脸图像绑定的面孔相册分组对应的第三人脸特征对待验证人脸图像进行验证,而不是直接认为待验证人脸图像没有通过验证。
由于注册人脸图像绑定的面孔相册分组中可能存在多张人脸图像,每张人脸图像都具有相应的人脸特征,因此,绑定的面孔相册分组对应的第三人脸特征中包括该面孔相册分组中各每个人脸图像对应的人脸特征。
从而,在根据第一人脸特征与第三人脸特征间的相似度,确定待验证人脸图像是否通过验证时:如果面孔相册分组中各人脸图像对应的人脸特征中存在至少一个人脸特征与第一人脸特征间的相似度即距离大于预设阈值,则确定待验证人脸图像通过验证。反之,如果面孔相册分组中各人脸图像对应的人脸特征与第一人脸特征间的相似度都小于预设阈值,则确定待验证人脸图像不通过验证。
本实施例中,在对待验证人脸图像进行验证的过程中,首先将该待验证人脸图像对应的第一人脸特征与已存储的注册人脸图像对应的第二人脸特征进行相似性度量,在不满足相似度阈值时,进而再将第一人脸特征分别与注册人脸图像绑定的面孔相册分组中每个人脸图像对应的第三人脸特征进行相似性度量,如果各第三人脸特征中存在与之满足相似度阈值的人脸特征,则验证通过,否则,验证不通过。结合绑定面孔相册分组进行验证,可以大大提高验证结果的准确性。
图3是根据一示例性实施例示出的一种人脸图像验证方法实施例三的流程图,如图3所示,上述步骤101中涉及的第一人脸特征的提取过程可以包括以下步骤:
在步骤301中,对待验证人脸图像进行人脸检测,确定待验证人脸图像中的人脸候选区域图像。
在步骤302中,对人脸候选区域图像进行器官点定位。
在步骤303中,根据人脸特征提取模型对器官点定位后的人脸候选区域图像进行特征提取,获取第一人脸特征。
其中,人脸特征提取模型是对卷积神经网络进行人脸分类识别训练获得的。
在对待验证人脸图像进行第一人脸特征的提取过程中,为了保证提取效果,首先可以采用比如adaboost算法对待验证人脸图像进行人脸检测,以检测出人脸所在区域,称为人脸候选区域图像,进而,在该图像中比如采用sdm、asm等算法进行器官点定位。之后,采用预先训练获得的人脸特征提取模型进行第一人脸特征的提取处理。
下面对人脸特征提取模型的训练获取过程进行简要说明。该人脸特征提取模型是对基于深度学习的卷积神经网络进行人脸分类识别训练获得的。
其中,Alex网络为卷积神经网络(ConvolutionalNeuralNetworks,简称CNN)的一种,是目前比较通用的物体识别的深度卷积神经网络图,图4为深度卷积神经网络Alex网络图;如图4所示。卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
在本实施例中,对人脸特征提取模型训练的具体过程如下:准备大量的训练样本人脸图像,并对他们进行类别的标定。例如张三,李四王五,等等,一共标定大量不同用户的人脸图像,每个用户的人脸图像数量为多个。为了保证模型的训练效果,可以对每个样本人脸图像,以双眼的中心为标准,进行尺度归一化,得到比如224*224的样本人脸图像。然后将归一化后的样本人脸图像和对应的类别标号输入到卷积神经网络中,对卷积神经网络中的各层隐层节点间的特征系数或者说卷积核进行分类训练,在卷积神经网络的分类输出层输出相应的识别结果,即输出类别标号。值得说明的是,如果输出的类别标号与输入的类别标号不同,则可以调整特征系数,如此反复,直到卷积神经网络收敛为止,此时,可以得到稳定可靠的特征系数即卷积核。
而本实施例中的人脸特征提取模型即是却掉卷积神经网络的最后一层即分类输出层之后的模型,用于提取输入的人脸图像的人脸特征,如图4所示,可以输出2048*2=4096维人脸特征。
在得到该人脸特征提取模型后,可以使用该模型进行待验证人脸图像的第一人脸特征的提取,也可以用于注册人脸图像的第二人脸特征的提取,还可以用于绑定面孔相册分组中各第三人脸特征的提取。
本实施例中,在进行待验证人脸图像的第一人脸特征提取过程中,首先进行人脸检测、器官点定位的处理,得到人脸候选区域图像,进而采用基于对卷积神经网络进行人脸分类识别训练获得的人脸特征提取模型对人脸候选区域图像进行特征提取,由于基于深度学习的卷积神经网络能够获取到更加丰富、精细的特征信息,从而保证了验证结果的准确性。
图5是根据一示例性实施例示出的一种人脸图像验证方法实施例四的流程图,如图5所示,在前述各实施例的基础上,在步骤101前,该人脸图像验证方法还可以包括如下步骤:
在步骤401中,接收注册人脸图像。
在步骤402中,提取注册人脸图像的第二人脸特征。
在步骤403中,将第二人脸特征与各面孔相册分组分别对应的人脸特征进行匹配,确定与第二人脸特征匹配的第三人脸特征。
在步骤404中,建立注册人脸图像与第三人脸特征所对应的面孔相册分组间的绑定关系。
本实施例中,上述第二人脸特征的提取与第一人脸特征的提取过程相似,可以先进行人脸检测、器官点定位的处理,进而采用已经训练获得的人脸特征提取模型进行第二人脸特征的提取。
在进行第二人脸特征与各面孔相册分组中各人脸图像的人脸特征的匹配过程中,具体是进行第二人脸特征与各面孔相册分组中各人脸图像的人脸特征的距离度量,如果第二人脸特征与某个面孔相册分组中的至少一个人脸图像的人脸特征间的距离小于预设阈值,则确定该面孔相册分组是与注册人脸图像具有绑定关系的面孔相册分组,建立绑定关系。该绑定关系的建立,可以是为注册人脸图像添加一个绑定关系标签,该标签指示了绑定的面孔相册分组的名称等标识。
本实施例中,在人脸图像注册过程中,除了提取注册人脸图像的第二人脸特征,以用于后续的人脸图像验证外,还通过进行第二人脸特征与各面孔相册分组分别对应的人脸特征的匹配,建立注册人脸图像与匹配的人脸特征对应的面孔相册分组的绑定关系,以便于后续基于该绑定的面孔相册分组进行人脸图像的登录身份验证。
以上描述了人脸图像验证方法的实现过程,该过程可以由人脸图像验证装置来实现,以下将对人脸图像验证装置的内部功能和结构进行说明。
图6是根据一示例性实施例示出的一种人脸图像验证装置实施例一的框图,如图6所示,该人脸图像验证装置包括:第一接收模块11、第一提取模块12、验证模块13。
第一接收模块11,被配置为接收待验证人脸图像。
第一提取模块12,被配置为提取所述第一接收模块11接收的所述待验证人脸图像的第一人脸特征。
验证模块13,被配置为根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一提取模块12提取的所述第一人脸特征表征的所述待验证人脸图像进行验证。
本实施例中,当用户启用终端设备中的某一应用时,如果该应用需要进行登录验证,而用户采用的验证方式为人脸图像验证方式,会触发对用户的人脸图像的采集,即采集待验证人脸图像。第一接收模块11接收到采集装置发送的待验证人脸图像后,触发进行该待验证人脸图像的验证处理。
在验证处理过程中,首先,第一提取模块12进行待验证人脸图像的人脸特征的提取,获得对应的第一人脸特征。其中,该第一人脸特征的提取可以采用现有的特征提取方法,以提取诸如眼、鼻、口、脸部轮廓等特征信息。而本公开实施例中,为了保证特征提取的可靠性,以提取到更加丰富、精细的特征,第一提取模块12采用对基于深度学习的卷积神经网络的训练而获得的人脸特征提取模型进行第一人脸特征的提取。具体的提取过程将在后续实施例中说明。
其次,验证模块13基于终端设备中已存储的注册人脸图像对应的第二人脸特征和与注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对第一人脸特征表征的待验证人脸图像进行验证。
具体涉及到第一人脸特征与第二人脸特征的相似性度量,第一人脸特征与第三人脸特征的相似性度量的过程。如果第一人脸特征与第二人脸特征具有较高相似性,或者,如果第一人脸特征与第三人脸特征具有较高相似性,则认为第一人脸特征对应的待验证人脸图像通过验证,从而用户可以启用相应的应用。
本实施例中,验证模块13借助终端设备的面孔相册功能,即借助面孔相册中包含的各面孔相册分组对采集的待验证人脸图像进行验证。其中,同一面孔相册分组中包含有同一人的多张不同的人脸图像,各人脸图像中人脸的表情、外部光线、发型、姿态等特征各不相同。而一般来说,使用终端设备的用户往往是终端设备的拥有者或者与其具有亲密关系的人,而这些人在终端设备的面孔相册中一般都会有相应的面孔相册分组,因此,可以借助面孔相册分组进行验证。
另外,当用户采用人脸图像的身份验证方式时,会进行相应的注册过程,在注册时,用户会提供一幅注册人脸图像,该注册人脸图像既可以是实时拍摄获得的,也可以是从自身对应的面孔相册分组中选择的一幅人脸图像。对于从面孔相册分组中选择的情况,可以直接获知该注册人脸图像与面孔相册分组的绑定关系。对于实时拍摄获得的情况,可以基于对注册人脸图像与各面孔相册分组的聚类分析,获知注册人脸图像与某个面孔相册分组的绑定关系。
因此,本实施例中所说的借助面孔相册分组进行人脸图像验证,是指借助注册人脸图像所绑定的面孔相册分组进行验证处理。
值得说明的是,终端设备中存储的注册人脸图像的第二人脸特征以及绑定的面孔相册分组对应的第三人脸特征的获取,也可以是基于上述提及的人脸特征提取模型预先提取并保存的。在接收到上述待验证人脸图像,并提取其对应的第一人脸特征后,仅需要进行与已经保存的第二人脸特征、第三人脸特征的相应计算处理,便可以完成验证过程。
本实施例中,在接收到用户启用某应用进行身份验证时所采集的人脸图像即待验证人脸图像后,首先提取该待验证人脸图像的第一人脸特征。进而,根据用户注册时的注册人脸图像对应的第二人脸特征以及与注册人脸图像绑定的面孔相册分组对应的第三人脸图像特征,对该第一人脸特征进行验证,以确定待验证人脸图像是否能够通过验证。由于绑定的面孔相册分组中存储有注册人脸图像对应的用户的大量不同人脸图像,结合该绑定面孔相册分组进行验证,可以有效避免待验证人脸图像与注册人脸图像因为光线、表情、发型、服饰等因素的不同而对验证结果的准确性产生的不利影响,可以提高验证结果的准确性。
图7是根据一示例性实施例示出的一种人脸图像验证装置实施例二的框图,如图7所示,在图6所示实施例的基础上,所述验证模块13包括:第一计算子模块131、第二计算子模块132、确定子模块133。
第一计算子模块131,被配置为计算所述第一人脸特征与所述第二人脸特征间的相似度。
第二计算子模块132,被配置为当所述第一计算子模块131计算的所述第一人脸特征与所述第二人脸特征的相似度小于预设阈值时,计算所述第一人脸特征与所述第三人脸特征间的相似度。
确定子模块133,被配置为根据所述第二计算子模块132计算的所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证。
具体的,所述面孔相册分组对应的第三人脸特征包括所述面孔相册分组中各每个人脸图像对应的人脸特征,相应的,所述确定子模块133包括:第一确定组件1331、第二确定组件1332。
第一确定组件1331,被配置为在所述面孔相册分组中各每个人脸图像对应的人脸特征中存在至少一个人脸特征与所述第一人脸特征间的相似度大于所述预设阈值时,确定所述待验证人脸图像通过验证。
第二确定组件1332,被配置为在所述面孔相册分组中各每个人脸图像对应的人脸特征与所述第一人脸特征间的相似度都小于所述预设阈值时,确定所述待验证人脸图像不通过验证。
前述实施例已经提到,在进行待验证人脸图像的验证处理过程中,借助注册人脸图像绑定的面孔相册分组进行验证。
具体来说,首先,第一计算子模块131计算第一人脸特征与第二人脸特征间的相似度,该相似度的计算可以是对第一人脸特征与第二人脸特征进行距离度量,距离度量方式可以采用余弦距离、欧式距离等距离度量方式。如果第一人脸特征与第二人脸特征间的距离大于预设阈值,则验证结束,确定待验证人脸图像通过了验证。
反之,如果第一人脸特征与第二人脸特征间的距离小于预设阈值,则进而第二计算子模块132根据注册人脸图像绑定的面孔相册分组对应的第三人脸特征对待验证人脸图像进行验证,而不是直接认为待验证人脸图像没有通过验证。
由于注册人脸图像绑定的面孔相册分组中可能存在多张人脸图像,每张人脸图像都具有相应的人脸特征,因此,绑定的面孔相册分组对应的第三人脸特征中包括该面孔相册分组中各每个人脸图像对应的人脸特征。
从而,确定子模块133在根据第一人脸特征与第三人脸特征间的相似度,确定待验证人脸图像是否通过验证时:如果面孔相册分组中各人脸图像对应的人脸特征中存在至少一个人脸特征与第一人脸特征间的相似度即距离大于预设阈值,则确定待验证人脸图像通过验证。反之,如果面孔相册分组中各人脸图像对应的人脸特征与第一人脸特征间的相似度都小于预设阈值,则确定待验证人脸图像不通过验证。
本实施例中,在对待验证人脸图像进行验证的过程中,首先将该待验证人脸图像对应的第一人脸特征与已存储的注册人脸图像对应的第二人脸特征进行相似性度量,在不满足相似度阈值时,进而再将第一人脸特征分别与注册人脸图像绑定的面孔相册分组中每个人脸图像对应的第三人脸特征进行相似性度量,如果各第三人脸特征中存在与之满足相似度阈值的人脸特征,则验证通过,否则,验证不通过。结合绑定面孔相册分组进行验证,可以大大提高验证结果的准确性。
图8是根据一示例性实施例示出的一种人脸图像验证装置实施例三的框图,如图8所示,在以上实施例的基础上,所述第一提取模块12包括:人脸检测子模块121、器官定位子模块122、特征提取子模块123。
人脸检测子模块121,被配置为对所述待验证人脸图像进行人脸检测,确定所述待验证人脸图像中的人脸候选区域图像。
器官定位子模块122,被配置为对所述人脸检测子模块121检测的所述人脸候选区域图像进行器官点定位。
特征提取子模块123,被配置为根据人脸特征提取模型对经所述器官定位子模块122进行器官点定位后的人脸候选区域图像进行特征提取,获取所述第一人脸特征。
其中,所述人脸特征提取模型是对卷积神经网络进行人脸分类识别训练获得的。
在对待验证人脸图像进行第一人脸特征的提取过程中,为了保证提取效果,首先人脸检测子模块121可以采用比如adaboost算法对待验证人脸图像进行人脸检测,以检测出人脸所在区域,称为人脸候选区域图像,进而,器官定位子模块122在该图像中比如采用sdm、asm等算法进行器官点定位。之后,特征提取子模块123采用预先训练获得的人脸特征提取模型进行第一人脸特征的提取处理。
下面对人脸特征提取模型的训练获取过程进行简要说明。该人脸特征提取模型是对基于深度学习的卷积神经网络进行人脸分类识别训练获得的。
其中,Alex网络为卷积神经网络(ConvolutionalNeuralNetworks,简称CNN)的一种,是目前比较通用的物体识别的深度卷积神经网络图,图4为深度卷积神经网络Alex网络图;如图4所示。卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
在本实施例中,对人脸特征提取模型训练的具体过程如下:准备大量的训练样本人脸图像,并对他们进行类别的标定。例如张三,李四王五,等等,一共标定大量不同用户的人脸图像,每个用户的人脸图像数量为多个。为了保证模型的训练效果,可以对每个样本人脸图像,以双眼的中心为标准,进行尺度归一化,得到比如224*224的样本人脸图像。然后将归一化后的样本人脸图像和对应的类别标号输入到卷积神经网络中,对卷积神经网络中的各层隐层节点间的特征系数或者说卷积核进行分类训练,在卷积神经网络的分类输出层输出相应的识别结果,即输出类别标号。值得说明的是,如果输出的类别标号与输入的类别标号不同,则可以调整特征系数,如此反复,直到卷积神经网络收敛为止,此时,可以得到稳定可靠的特征系数即卷积核。
而本实施例中的人脸特征提取模型即是却掉卷积神经网络的最后一层即分类输出层之后的模型,用于提取输入的人脸图像的人脸特征,如图4所示,可以输出2048*2=4096维人脸特征。
在得到该人脸特征提取模型后,特征提取子模块123可以使用该模型进行待验证人脸图像的第一人脸特征的提取,也可以用于注册人脸图像的第二人脸特征的提取,还可以用于绑定面孔相册分组中各第三人脸特征的提取。
本实施例中,在进行待验证人脸图像的第一人脸特征提取过程中,首先进行人脸检测、器官点定位的处理,得到人脸候选区域图像,进而采用基于对卷积神经网络进行人脸分类识别训练获得的人脸特征提取模型对人脸候选区域图像进行特征提取,由于基于深度学习的卷积神经网络能够获取到更加丰富、精细的特征信息,从而保证了验证结果的准确性。
图9是根据一示例性实施例示出的一种人脸图像验证装置实施例四的框图,如图9所示,在以上各实施例的基础上,该人脸图像验证装置还包括:第二接收模块21、第二提取模块22、匹配模块23、建立模块24。
第二接收模块21,被配置为接收所述注册人脸图像。
第二提取模块22,被配置为提取所述第二接收模块21接收的所述注册人脸图像的所述第二人脸特征。
匹配模块23,被配置为将所述第二提取模块22提取的所述第二人脸特征与各面孔相册分组分别对应的人脸特征进行匹配,确定与所述第二人脸特征匹配的所述第三人脸特征。
建立模块24,被配置为建立所述注册人脸图像与所述匹配模块23匹配的所述第三人脸特征所对应的面孔相册分组间的绑定关系。
本实施例中,第二提取模块22对上述第二人脸特征的提取与第一人脸特征的提取过程相似,可以先进行人脸检测、器官点定位的处理,进而采用已经训练获得的人脸特征提取模型进行第二人脸特征的提取。
在匹配模块23进行第二人脸特征与各面孔相册分组中各人脸图像的人脸特征的匹配过程中,具体是进行第二人脸特征与各面孔相册分组中各人脸图像的人脸特征的距离度量,如果第二人脸特征与某个面孔相册分组中的至少一个人脸图像的人脸特征间的距离小于预设阈值,则确定该面孔相册分组是与注册人脸图像具有绑定关系的面孔相册分组,建立模块24建立绑定关系。该绑定关系的建立,可以是为注册人脸图像添加一个绑定关系标签,该标签指示了绑定的面孔相册分组的名称等标识。
本实施例中,在人脸图像注册过程中,除了提取注册人脸图像的第二人脸特征,以用于后续的人脸图像验证外,还通过进行第二人脸特征与各面孔相册分组分别对应的人脸特征的匹配,建立注册人脸图像与匹配的人脸特征对应的面孔相册分组的绑定关系,以便于后续基于该绑定的面孔相册分组进行人脸图像的登录身份验证。
以上描述了人脸图像验证装置的内部功能和结构,如图10所示,图10是根据一示例性实施例示出的一种人脸图像验证装置的框图;该人脸图像验证装置可实现为:
存储器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收待验证人脸图像;
提取所述待验证人脸图像的第一人脸特征;
根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证。
本实施例中,在接收到用户启用某应用进行身份验证时所采集的人脸图像即待验证人脸图像后,首先提取该待验证人脸图像的第一人脸特征。进而,根据用户注册时的注册人脸图像对应的第二人脸特征以及与注册人脸图像绑定的面孔相册分组对应的第三人脸图像特征,对该第一人脸特征进行验证,以确定待验证人脸图像是否能够通过验证。由于绑定的面孔相册分组中存储有注册人脸图像对应的用户的大量不同人脸图像,结合该绑定面孔相册分组进行验证,可以有效避免待验证人脸图像与注册人脸图像因为光线、表情、发型、服饰等因素的不同而对验证结果的准确性产生的不利影响,可以提高验证结果的准确性。
图11是根据一示例性实施例示出的另一种人脸图像验证装置的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图11,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种人脸图像验证方法,所述方法包括:
接收待验证人脸图像;
提取所述待验证人脸图像的第一人脸特征;
根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种人脸图像验证方法,其特征在于,包括:
接收待验证人脸图像;
提取所述待验证人脸图像的第一人脸特征;
根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证。
2.根据权利要求1所述的方法,其特征在于,所述根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证,包括:
计算所述第一人脸特征与所述第二人脸特征间的相似度;
当所述第一人脸特征与所述第二人脸特征的相似度小于预设阈值时,计算所述第一人脸特征与所述第三人脸特征间的相似度;
根据所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证。
3.根据权利要求2所述的方法,其特征在于,所述面孔相册分组对应的第三人脸特征包括所述面孔相册分组中各每个人脸图像对应的人脸特征;
所述根据所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证,包括:
在所述面孔相册分组中各人脸图像对应的人脸特征中存在至少一个人脸特征与所述第一人脸特征间的相似度大于所述预设阈值时,确定所述待验证人脸图像通过验证;
在所述面孔相册分组中各人脸图像对应的人脸特征与所述第一人脸特征间的相似度都小于所述预设阈值时,确定所述待验证人脸图像不通过验证。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述提取所述待验证人脸图像的第一人脸特征,包括:
对所述待验证人脸图像进行人脸检测,确定所述待验证人脸图像中的人脸候选区域图像;
对所述人脸候选区域图像进行器官点定位;
根据人脸特征提取模型对所述器官点定位后的人脸候选区域图像进行特征提取,获取所述第一人脸特征;
其中,所述人脸特征提取模型是对卷积神经网络进行人脸分类识别训练获得的。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
接收所述注册人脸图像;
提取所述注册人脸图像的所述第二人脸特征;
将所述第二人脸特征与各面孔相册分组分别对应的人脸特征进行匹配,确定与所述第二人脸特征匹配的所述第三人脸特征;
建立所述注册人脸图像与所述第三人脸特征所对应的面孔相册分组间的绑定关系。
6.一种人脸图像验证装置,其特征在于,包括:
第一接收模块,被配置为接收待验证人脸图像;
第一提取模块,被配置为提取所述第一接收模块接收的所述待验证人脸图像的第一人脸特征;
验证模块,被配置为根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一提取模块提取的所述第一人脸特征表征的所述待验证人脸图像进行验证。
7.根据权利要求6所述的装置,其特征在于,所述验证模块包括:
第一计算子模块,被配置为计算所述第一人脸特征与所述第二人脸特征间的相似度;
第二计算子模块,被配置为当所述第一计算子模块计算的所述第一人脸特征与所述第二人脸特征的相似度小于预设阈值时,计算所述第一人脸特征与所述第三人脸特征间的相似度;
确定子模块,被配置为根据所述第二计算子模块计算的所述第一人脸特征与所述第三人脸特征间的相似度,确定所述待验证人脸图像是否通过验证。
8.根据权利要求7所述的装置,其特征在于,所述面孔相册分组对应的第三人脸特征包括所述面孔相册分组中各每个人脸图像对应的人脸特征;
所述确定子模块包括:
第一确定组件,被配置为在所述面孔相册分组中各人脸图像对应的人脸特征中存在至少一个人脸特征与所述第一人脸特征间的相似度大于所述预设阈值时,确定所述待验证人脸图像通过验证;
第二确定组件,被配置为在所述面孔相册分组中各人脸图像对应的人脸特征与所述第一人脸特征间的相似度都小于所述预设阈值时,确定所述待验证人脸图像不通过验证。
9.根据权利要求6至8中任一项所述的装置,其特征在于,所述第一提取模块包括:
人脸检测子模块,被配置为对所述待验证人脸图像进行人脸检测,确定所述待验证人脸图像中的人脸候选区域图像;
器官定位子模块,被配置为对所述人脸检测子模块检测的所述人脸候选区域图像进行器官点定位;
特征提取子模块,被配置为根据人脸特征提取模型对经所述器官定位子模块进行器官点定位后的人脸候选区域图像进行特征提取,获取所述第一人脸特征;
其中,所述人脸特征提取模型是对卷积神经网络进行人脸分类识别训练获得的。
10.根据权利要求9所述的装置,其特征在于,还包括:
第二接收模块,被配置为接收所述注册人脸图像;
第二提取模块,被配置为提取所述第二接收模块接收的所述注册人脸图像的所述第二人脸特征;
匹配模块,被配置为将所述第二提取模块提取的所述第二人脸特征与各面孔相册分组分别对应的人脸特征进行匹配,确定与所述第二人脸特征匹配的所述第三人脸特征;
建立模块,被配置为建立所述注册人脸图像与所述匹配模块匹配的所述第三人脸特征所对应的面孔相册分组间的绑定关系。
11.一种人脸图像验证装置,其特征在于,包括:
存储器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收待验证人脸图像;
提取所述待验证人脸图像的第一人脸特征;
根据注册人脸图像对应的第二人脸特征和所述注册人脸图像绑定的面孔相册分组对应的第三人脸特征,对所述第一人脸特征表征的所述待验证人脸图像进行验证。
CN201510964458.3A 2015-12-21 2015-12-21 人脸图像验证方法和装置 Active CN105654033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510964458.3A CN105654033B (zh) 2015-12-21 2015-12-21 人脸图像验证方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510964458.3A CN105654033B (zh) 2015-12-21 2015-12-21 人脸图像验证方法和装置

Publications (2)

Publication Number Publication Date
CN105654033A true CN105654033A (zh) 2016-06-08
CN105654033B CN105654033B (zh) 2020-08-04

Family

ID=56476616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510964458.3A Active CN105654033B (zh) 2015-12-21 2015-12-21 人脸图像验证方法和装置

Country Status (1)

Country Link
CN (1) CN105654033B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203387A (zh) * 2016-07-21 2016-12-07 乐视控股(北京)有限公司 人脸验证方法及系统
CN106203333A (zh) * 2016-07-08 2016-12-07 乐视控股(北京)有限公司 人脸识别方法及系统
CN106355170A (zh) * 2016-11-22 2017-01-25 Tcl集团股份有限公司 照片分类方法及装置
CN106650575A (zh) * 2016-09-19 2017-05-10 北京小米移动软件有限公司 人脸检测方法及装置
CN107276974A (zh) * 2017-03-10 2017-10-20 阿里巴巴集团控股有限公司 一种信息处理方法及装置
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN108256459A (zh) * 2018-01-10 2018-07-06 北京博睿视科技有限责任公司 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108427875A (zh) * 2018-03-22 2018-08-21 努比亚技术有限公司 一种访客模式开启方法、终端及计算机可读存储介质
CN108960097A (zh) * 2018-06-22 2018-12-07 维沃移动通信有限公司 一种获取人脸深度信息的方法及装置
WO2019119396A1 (zh) * 2017-12-22 2019-06-27 中国科学院深圳先进技术研究院 人脸表情识别方法及装置
CN110175441A (zh) * 2019-04-12 2019-08-27 平安普惠企业管理有限公司 基于生物识别的数据管理方法、装置、设备及存储介质
CN110638464A (zh) * 2019-09-10 2020-01-03 哈尔滨亿尚医疗科技有限公司 监护仪及其控制方法、控制装置和计算机可读存储介质
CN112101296A (zh) * 2020-10-14 2020-12-18 杭州海康威视数字技术股份有限公司 人脸注册方法、人脸验证方法、装置及系统
CN114120386A (zh) * 2020-08-31 2022-03-01 腾讯科技(深圳)有限公司 人脸识别方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004899A (zh) * 2010-11-03 2011-04-06 无锡中星微电子有限公司 一种人脸认证系统及方法
WO2013100697A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Method, apparatus, and computer-readable recording medium for authenticating a user
CN103984931A (zh) * 2014-05-27 2014-08-13 联想(北京)有限公司 一种信息处理方法及第一电子设备
CN104463237A (zh) * 2014-12-18 2015-03-25 中科创达软件股份有限公司 一种基于多姿态识别的人脸验证方法及装置
CN105069016A (zh) * 2015-07-13 2015-11-18 小米科技有限责任公司 相册管理方法、装置以及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004899A (zh) * 2010-11-03 2011-04-06 无锡中星微电子有限公司 一种人脸认证系统及方法
WO2013100697A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Method, apparatus, and computer-readable recording medium for authenticating a user
CN103984931A (zh) * 2014-05-27 2014-08-13 联想(北京)有限公司 一种信息处理方法及第一电子设备
CN104463237A (zh) * 2014-12-18 2015-03-25 中科创达软件股份有限公司 一种基于多姿态识别的人脸验证方法及装置
CN105069016A (zh) * 2015-07-13 2015-11-18 小米科技有限责任公司 相册管理方法、装置以及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许立朋等: "基于虚拟样本的身份证人脸识别验证系统研究", 《微型机与应用》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203333A (zh) * 2016-07-08 2016-12-07 乐视控股(北京)有限公司 人脸识别方法及系统
CN106203387A (zh) * 2016-07-21 2016-12-07 乐视控股(北京)有限公司 人脸验证方法及系统
CN106650575A (zh) * 2016-09-19 2017-05-10 北京小米移动软件有限公司 人脸检测方法及装置
CN106355170B (zh) * 2016-11-22 2020-03-20 Tcl集团股份有限公司 照片分类方法及装置
CN106355170A (zh) * 2016-11-22 2017-01-25 Tcl集团股份有限公司 照片分类方法及装置
CN107276974A (zh) * 2017-03-10 2017-10-20 阿里巴巴集团控股有限公司 一种信息处理方法及装置
CN107276974B (zh) * 2017-03-10 2020-11-03 创新先进技术有限公司 一种信息处理方法及装置
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
US10635890B2 (en) 2017-07-14 2020-04-28 Shenzhen Intellifusion Technologies Co., Ltd. Facial recognition method and apparatus, electronic device, and storage medium
WO2019119396A1 (zh) * 2017-12-22 2019-06-27 中国科学院深圳先进技术研究院 人脸表情识别方法及装置
CN108256459A (zh) * 2018-01-10 2018-07-06 北京博睿视科技有限责任公司 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108256459B (zh) * 2018-01-10 2021-08-24 北京博睿视科技有限责任公司 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108427875A (zh) * 2018-03-22 2018-08-21 努比亚技术有限公司 一种访客模式开启方法、终端及计算机可读存储介质
CN108960097A (zh) * 2018-06-22 2018-12-07 维沃移动通信有限公司 一种获取人脸深度信息的方法及装置
CN110175441A (zh) * 2019-04-12 2019-08-27 平安普惠企业管理有限公司 基于生物识别的数据管理方法、装置、设备及存储介质
CN110638464A (zh) * 2019-09-10 2020-01-03 哈尔滨亿尚医疗科技有限公司 监护仪及其控制方法、控制装置和计算机可读存储介质
CN114120386A (zh) * 2020-08-31 2022-03-01 腾讯科技(深圳)有限公司 人脸识别方法、装置、设备及存储介质
CN112101296A (zh) * 2020-10-14 2020-12-18 杭州海康威视数字技术股份有限公司 人脸注册方法、人脸验证方法、装置及系统
CN112101296B (zh) * 2020-10-14 2024-03-08 杭州海康威视数字技术股份有限公司 人脸注册方法、人脸验证方法、装置及系统

Also Published As

Publication number Publication date
CN105654033B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN105654033A (zh) 人脸图像验证方法和装置
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN105426857B (zh) 人脸识别模型训练方法和装置
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN105608425B (zh) 对照片进行分类存储的方法及装置
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
CN105354543A (zh) 视频处理方法及装置
WO2019214201A1 (zh) 活体检测方法及装置、系统、电子设备、存储介质
WO2019023606A1 (en) SYSTEM AND METHOD FOR IDENTIFYING REPHOTOGRAPHED IMAGES
CN106548145A (zh) 图像识别方法及装置
CN110059661A (zh) 动作识别方法、人机交互方法、装置及存储介质
Abate et al. I-Am: implicitly authenticate me—person authentication on mobile devices through ear shape and arm gesture
CN106204435A (zh) 图像处理方法及装置
CN105205479A (zh) 人脸颜值评估方法、装置及终端设备
CN108197586A (zh) 脸部识别方法和装置
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
CN106169075A (zh) 身份验证方法及装置
CN107766820A (zh) 图像分类方法及装置
CN108182746A (zh) 控制系统、方法和装置
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
CN105976821A (zh) 动物语言识别方法和装置
CN107463903A (zh) 人脸关键点定位方法及装置
CN106446946A (zh) 图像识别方法及装置
CN105678242A (zh) 手持证件模式下的对焦方法和装置
CN112101123A (zh) 一种注意力检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200624

Address after: No.018, floor 8, building 6, yard 33, middle Xierqi Road, Haidian District, Beijing 100085

Applicant after: BEIJING XIAOMI MOBILE SOFTWARE Co.,Ltd.

Applicant after: Xiaomi Technology Co.,Ltd.

Address before: 100085, Haidian District, Beijing Qinghe Street No. 68, Huarun colorful city shopping center two, 13 layers

Applicant before: Xiaomi Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant