CN104239858B - 一种人脸特征验证的方法和装置 - Google Patents

一种人脸特征验证的方法和装置 Download PDF

Info

Publication number
CN104239858B
CN104239858B CN201410451701.7A CN201410451701A CN104239858B CN 104239858 B CN104239858 B CN 104239858B CN 201410451701 A CN201410451701 A CN 201410451701A CN 104239858 B CN104239858 B CN 104239858B
Authority
CN
China
Prior art keywords
sample
intrinsic expression
expression
intrinsic
bayesian
Prior art date
Application number
CN201410451701.7A
Other languages
English (en)
Other versions
CN104239858A (zh
Inventor
陆超超
许春景
汤晓鸥
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CN201410451701.7A priority Critical patent/CN104239858B/zh
Publication of CN104239858A publication Critical patent/CN104239858A/zh
Application granted granted Critical
Publication of CN104239858B publication Critical patent/CN104239858B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00288Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6232Extracting features by transforming the feature space, e.g. multidimensional scaling; Mappings, e.g. subspace methods

Abstract

本发明实施例公开了一种人脸特征验证模型的生成方法和装置。包括:获取N张输入人脸图像;对所述N张输入人脸图像进行特征提取,得到每一张人脸图像的原始特征表示,根据得到的原始特征表示组成人脸样本库;对所述人脸样本库中对应一个所述具有独立身份的人的样本进行分组;对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述至少两组人脸样本中每一组人脸样本的本征表示;对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型;根据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证模型。根据本发明实施例的人脸特征验证模型的生成方法和装置,复杂度低,计算量较少。

Description

一种人脸特征验证的方法和装置

技术领域

[0001] 本发明涉及图像处理技术,尤其涉及一种人脸特征验证的方法和装置。

背景技术

[0002] 与人体的其它生物特征(指纹、虹膜等)一样,人脸和人的身份的对应性非常强,它 的不易被复制的良好特性为身份鉴别提供了必要的前提,与其它类型的生物识别方式进行 比较,人脸特征识别方式具有如下特点:非强制性和非接触性,与虹膜指纹等其他认证方式 不同,不需要用户的配合,在远距离上即可获取用户的脸部图像进行识别;单一设备可同时 采集多个人脸,进行并发操作。人脸特征识别技术主要有两种不同的应用场景,一是人脸身 份验证;二是人脸身份识别。其中人脸身份验证指的是给定两张人脸的图像,判断两张人脸 图像中人的身份是否是同一个人。而人脸身份识别,指的是给定一个由多个人脸和其对应 身份的数据库,对于一个给定的人脸,确定是否和数据库中某个人脸是同一身份,如果是, 给出其身份信息。一般来说,人脸身份验证是人脸身份识别的基础。通过逐一验证给定人脸 和数据库中的人脸是否是同一个人,就能够完成人脸身份识别的任务。

[0003] 在人脸身份验证的过程中,人脸图像经过一定的预处理之后,成为一个样本X。在 给定一个样本集^,…,xk的情况下,通过机器学习的方法,训练得到一个判别函数f (•,•),对于给定的两个人脸得到的两个人脸样本yi,y2,根据f(yi,y2)得到的值判断两个 人脸样本yi,y2是同一个人或是不同的人。一种通用方法是,当f (yi,y2) >0时,样本代表相 同身份的人,否则样本则代表不同身份的人。目前主流的人脸身份验证技术有很多种,目前 最为成功的有两种,(1)贝叶斯建模方法;(2)深度学习的方法。

[0004] 贝叶斯模型的主要的方法包含以下基本的部分,模型学习阶段与模型测试阶段。 模型学习阶段包括以下的几个步骤:

[0005] 训练样本集准备:收集人脸图像集V= {V1,…,vM},这M张图像来自N个不同身份的 人。通常M>>N,每一个人在图像集中对应多张不同的图片,M和N均为正整数。

[0006] 利用图像集V构建样本集X= {xi,…,xm},其中Xi = g (Vi),这里g是一个函数变换, 将图像Vl转化为一个数字向量Xl。通常g包含图像预处理,如i)将人脸区域从图片中提取出 来,ii)进行人脸对齐操作,iii)从对齐后的人脸图像区域中提取一定的特征。

[0007] 通过人脸样本集构建人脸验证训练样本集a = {^,^,…,.,这里5j = xa-Xb, Xa,Xb G X 〇

[0008] 记S = x-y为两个人脸特征的差值对应的随机变量。通过学习样本集A,学习得到 概率模型p (S I Q :),p (S I Q E)。这里Q :和Q E分别表示S是类内变化(同一身份的人在不同图 片中表现出来的变化),还是类间变化(不同身份的人在不同的图片中表现出来的变化)的 假设。在一般的贝叶斯模型中,都预设P (S | Q D,p (S | Q E)是高斯分布的模型,模型学习的目 的是得到这两个高斯分布模型的参数。

[0009] 在得到了贝叶斯模型之后,测试的步骤包括:

[0010] 对于给定的两张图片Va,Ve,经过和训练阶段相同的函数变换g,得到数字向量Xa, 叉£!。记5邱=1(11£!,通过概率模§!

Figure CN104239858BD00051

,计算

Figure CN104239858BD00052

[0011] 如果s(sae)>0,则样本来自同一身份的人,否则样本来自不同身份的人。

[0012] 以上给出的是经典的贝叶斯模型的应用步骤。经典的贝叶斯模型有以下的几个明 显的缺点:

[0013] 模型是基于输入的两个人脸的特征表示的差值,丢失了一部分的判别性的信息, 同时也降低了样本的可区分度。P (S | Q D,p (S | Q E)假设为高斯模型,在实际使用中是一种 过度简化的处理。高斯模型并不能够完全的处理诸如不同人脸图像之间的姿态、光照、表 情、年龄、遮挡、发型等差异。

[0014] 深度学习的方法在人脸身份验证上,主要是通过深度网络学习人脸的有效的数字 特征表达,即用深度网络来模拟函数g,将神经网络的输入(原始的人脸图像或者是抽取的 某种特征)转化为更有效的数字特征X,易于进一步进行身份验证。对于两张输入图片^和 邪,都经过深度神经网络得到数字特征表达和xe,在得到和xe之后,将它们作为输入,可 以采用多种分类方法将特征对(Xa,xe)映射到{:相同的人,不同的人}这两类。例如可以应用 前面介绍的贝叶斯方法来做,也可以采用相对简单的分类方法,如Soft-max,SVM等对特征 对进行分类。

[0015] 深度神经网络模型的优点是其判别性能很好,但是其缺点也非常突出。其主要的 不足在于两点:模型复杂度非常高,模型的参数量很大,存储不方便。一般涉及到的模型参 数个数大约是1200万个。测试的时候的计算量也比较大,在终端实现较为困难。需要极大量 的训练数据,这是基于深度学习的技术框架的通病。涉及训练的标注图片都在百万量级。这 需要投入很大的人力和物力去收集、标注、检查相关的图像数据。

发明内容

[0016] 有鉴与此,为解决上述问题,本发明的实施例提一种人脸特征验证模型的生成方 法和装置。根据本发明实施例的人脸特征验证模型的生成方法和装置,经过本征表示学习 得到的模型在处理不同拍摄场景下由于类内和类间的姿态、光照、表情、年龄等变化的时候 表现力和区分性强;学习的模型在人脸图像验证中错误率低,在标准互联网图片测试中,接 近人眼的的识别水平;模型的复杂度低,计算量少。

[0017] 第一方面,本发明提供一种人脸特征验证模型的生成方法,所述方法包括:

[0018] 获取N张输入人脸图像,其中,所述N张输入人脸图像对应M个具有独立身份的人,N 为大于2的整数,M为大于2的整数;

[0019] 对所述N张输入人脸图像进行特征提取,得到每一张人脸图像的原始特征表示,根 据得到的原始特征表示组成人脸样本库;

[0020] 对所述人脸样本库中对应一个所述具有独立身份的人的样本进行分组,得到c组 人脸样本,c为大于等于2的整数;

[0021] 对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样 本的共有本征表示;

[0022] 根据所述M个独立身份的人中每个所述具有独立身份的人的所述c组人脸样本的 共有本征表示得到本征表示的训练样本集;

[0023] 对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型;

[0024] 根据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证模 型。

[0025] 结合第一方面,在第一种实施方式中,所述所述根据流形关联判决得到所述c组人 脸样本的共有本征表示,包括:

[0026] 所述c组人脸样本中每一个组的人脸样本的数量相等;

[0027] 根据预设的似然函数和所述流形关联判决得到所述c组人脸样本中每一组人脸样 本的私有本征表示和所述c组人脸样本的共有本征表示。

[0028]结合第一方面,在第二种实施方式中,对一个所述具有独立身份的人,根据所述c 组人脸样本的共有本征表示得到得到本征表示的训练样本集得到本征表示的训练样本集, 包括:

[0029] 根据得到的所述c组人脸样本的共有本征表示得到正训练样本集和负训练样本 集,其中,正训练样本集中的一个训练样本对来自同一个人,负训练样本集中的一个训练样 本对来自不同的人;

[0030] 相应的,对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型,具 体包括:

[0031] 对所述正训练样本集和所述负训练样本集进行训练,得到所述本征表示的贝叶斯 模型。

[0032] 结合上面任一实施例的本发明第一方面实施例第三种可能实现的方式中,对所述 本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型,包括:

[0033] 根据期望最大化算法对所述本征表示的训练样本集进行训练,得到所述本征表示 的贝叶斯模型。

[0034]结合上面任一实施例的本发明第一方面实施例第四种可能实现的方式中,所述根 据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证模型,包括:

[0035] 通过所述预设的模型映射关系的高斯过程回归,映射所述本征表示的贝叶斯模 型,得到原始特征表示的贝叶斯模型,该原始特征表示的贝叶斯模型即所述人脸特征验证 模型。

[0036] 本发明第二方面实施例公开了一种人脸特征验证模型的的生成装置,所述装置包 括:

[0037] 获取模块,用于获取N张输入人脸图像,其中,所述N张输入人脸图像对应M个具有 独立身份的人,N为大于2的整数,M为大于2的整数;

[0038] 特征提取模块,用于对所述N张输入人脸图像进行特征提取,得到每一张人脸图像 的原始特征表示,根据得到的原始特征表示组成人脸样本库;

[0039] 分组模块,用于对所述人脸样本库中对应一个所述具有独立身份的人的样本进行 分组,得到c组人脸样本,c为大于等于2的整数;

[0040] 本征表示的贝叶斯模型生成模块,用于对每一个所述具有独立身份的人的样本, 根据流形关联判决得到所述c组人脸样本的共有本征表示,

[0041] 根据得到的所述c组人脸样本的共有本征表示得到本征表示的训练样本集,

[0042] 对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型;

[0043] 人脸特征验证模型生成模块,用于根据预设的模型映射关系和所述本征表示的贝 叶斯模型,得到人脸特征验证模型。

[0044] 结合第二方面,在第一种实施方式中,所述本征表示的贝叶斯模型生成模块具体 用于:

[0045] 对每一个所述具有独立身份的人的样本,根据预设的似然函数和所述流形关联判 决得到所述c组人脸样本中每一组人脸样本的私有本征表示和所述c组人脸样本的共有本 征表示,其中,所述C组人脸样本中每一个组的人脸样本的数量相等,

[0046] 根据得到的所述c组人脸样本的共有本征表示得到本征表示的训练样本集,

[0047] 对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型。

[0048] 结合第二方面,在第二种实施方式中,所述本征表示的贝叶斯模型生成模块具体 用于:

[0049] 对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样 本的共有本征表示,

[0050] 根据得到的所述c组人脸样本的共有本征表示得到正训练样本集和负训练样本 集,其中,正训练样本集中的一个训练样本对来自同一个人,负训练样本集中的一个训练样 本对来自不同的人,

[0051] 对所述正训练样本集和所述负训练样本集进行训练,得到所述本征表示的贝叶斯 模型。

[0052]结合第二方面,在第三种实施方式中,所述本征表示的贝叶斯模型生成模块,具体 用于:

[0053] 对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样 本的共有本征表示,

[0054] 根据得到的所述c组人脸样本的共有本征表示得到本征表示的训练样本集,

[0055] 根据期望最大化算法对所述本征表示的训练样本集进行训练,得到所述本征表示 的贝叶斯模型。

[0056] 结合上面任一实施例的本发明第二方面实施例第四种可能实现的方式中,所述人 脸特征验证模型生成模块具体用于:

[0057] 通过所述预设的模型映射关系的高斯过程回归,映射所述本征表示的贝叶斯模 型,得到原始特征表示的贝叶斯模型,该原始特征表示的贝叶斯模型即所述人脸特征验证 模型。根据本发明实施例的人脸特征验证模型的生成方法和装置,经过本征表示学习得到 的模型在处理不同拍摄场景下由于类内和类间的姿态、光照、表情、年龄等变化的时候表现 力和区分性强;学习的模型在人脸图像验证中错误率低,在标准互联网图片测试中,接近人 眼的的识别水平;模型的复杂度低,计算量少。

附图说明

[0058] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可 以根据这些附图获得其他的附图。

[0059] 图1为本发明实施例的人脸特征验证模型的生成方法的流程图。

[0060] 图2为本发明另一实施例的人脸特征验证模型的生成方法的流程图。

[0061] 图3为本发明实施例的人脸特征验证模型的生成装置的结构图。

具体实施方式

[0062]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本 发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例,都属于本发明保护的范围。

[0063]下面根据图1描述本发明实施例的一种人脸特征验证模型的的生成方法。

[0064] 如图1所示,人脸特征验证模型的的生成方法主要包括:

[0065] S11:获取N张输入人脸图像,其中,N张输入人脸图像对应M个具有独立身份的人,N 为大于2的整数,M为大于2的整数。

[0066] S12:对N张输入人脸图像进行特征提取,得到每一张人脸图像的原始特征表示,根 据得到的原始特征表示组成人脸样本库。

[0067] S13:对所述人脸样本库中对应一个所述具有独立身份的人的样本进行分组,得到 c组人脸样本,c为大于等于2的整数。

[0068] S14:对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人 脸样本的共有本征表示。

[0069] S15:根据所述具有独立身份的人的所述c组人脸样本的共有本征表示得到本征表 示的训练样本集。

[0070] S16:对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型。

[0071] S17:根据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证 模型。

[0072] 根据本发明实施例的人脸特征验证模型的生成方法,经过本征表示学习得到的模 型在处理不同拍摄场景下由于类内和类间的姿态、光照、表情、年龄等变化的时候表现力和 区分性强;学习的模型在人脸图像验证中错误率低,在标准互联网图片测试中,接近人眼的 的识别水平;模型的复杂度低,计算量少。

[0073]下面根据图2描述本发明实施例的一种人脸特征验证模型的的生成方法。

[0074] 如图2所示,人脸特征验证模型的生成方法主要包括:

[0075] 步骤S21:获取图像样本。

[0076] 在人脸识别的技术领域中,获取图像样本已经是一种非常成熟的技术。本步骤中 获取图像样本的方法可以采用现有技术中的任意一种方法。原始图像的获取可以采用相机 拍摄、摄像机拍摄等方式;处理原始图像得到图像样本的方式也可参照现有技术中的有关 方案。在此不再赘述。

[0077] 步骤S22:图像样本预处理。

[0078] 在本步骤中,对于步骤S1获取到的图像样本进行预处理,从而得到人脸样本库。在 本发明的一个实施例中,图像样本的预处理可以包括如下的步骤:

[0079] (1)从图像样本中得到大小为WXN的人脸图像,W、H为正整数,单位为像素点的个 数;

[0080] (2)将得到的人脸图像与若干标准模板做配准对齐;

[0081] (3)抽取配准对齐后的人脸图像的数字特征,形成一个维数为的数字向量,D为正 整数。

[0082] 对每一个图像样本都重复(1),(2),(3)的步骤,人脸样本库即为获得的全部图像 的数字向量以及其对应的人的身份的集合。

[0083] 然后对人脸样本库中的人脸样本进行分组。具体的,对于人脸样本库中属于同一 个人的人脸样本,确定一个分组数。可以理解的是,判断人脸样本库中的人脸样本是不是属 于同一个人,可以采用人工判断的方式,也可以采用其它现有技术中的任意一种方式。例如 可以在图像样本中标注人的id号,相同的id号表示同一个人,不同的id号表示不同的人。

[0084] 步骤S23:本征表示学习。

[0085] 通过扩展流形关联判决(manifold relevance determination,MRD)模型得到每 个人的样本的本征表示。

[0086] 在不同的拍摄环境下,光照、表情、年龄等因素出现变化的时候会影响人脸识别的 准确性。本征表示学习的主要目的就是减少上述因素对人脸识别模型造成的不利影响。 [0087]在本发明的一个实施例中,将同属于一个人(排序可以是第i个,i为正整数)的所有人 脸样本的集合I等分成份,c为正整数,多余的样本不进行本征表示学习的操作;在一个具体的 例子中,例如属于id号为3的人的人脸样本一共有1215个,共分为60份,此处c = 60,每一份包 括20个人脸样本,剩余的15个样本则不进行后续的操作。iE

Figure CN104239858BD00091

, c是其中的任意的一个等份,每个等份中包含的样本个数为m,那么每一等分的数据维数是 m X D。记第i个人的低维本征表示为Zi (维数为m X Q,Q< <D)。

[0088] 可以构造一个本征表示与原始特征表示的映射函类

Figure CN104239858BD00092

其 中

Figure CN104239858BD00093

t代表第j份样本中的第n (Kn<m)个样本的第d维。通过 一个均值函数为〇,协方差函数为

[0089]

[0090] 的高斯(Gaussian Process,GP)

Figure CN104239858BD00094

过程,口」以独立抽样选取凼数F’\

[0091]高斯过程指的是这样随机变量的集合,当选定集合中的有限个随机变量的时候, 这有限个随机变量的联合分布是高斯分布。高斯过程由两个参数m,K决定,其中m是均值函 数,K是协方差函数。具体的可参考“M.Ebden, “Gaussian Processes for Regression:A Quick Introduction”,2008”。

[0092] 根据上述步骤能够得到以下的似然函数:

[0093]

Figure CN104239858BD00095

[0094] 这J

Figure CN104239858BD00101

成为ARD权重。分 布口史1121,《1'0^)则可以通过一系列的参数为1^1’啲高斯过程的乘积来建模。因此,在 给定本征表示先验分4

Figure CN104239858BD00102

約情况下,可得到样本集;

Figure CN104239858BD00103

的似然函数 可以表达为:

[0095]

Figure CN104239858BD00104

[0096] 似然函数主要用于判断训练模型的效果,似然函数根据不同的变量得到的值可以 用于指示训练模型的效果的优劣。

[0097] 具体的,采取以下的步骤构建本征表示:

[0098] (1)通过MRD的方法可以获得兰

Figure CN104239858BD00105

丨最大化时的解,样本的本 征表示以及相应的参数

Figure CN104239858BD00106

具体的MRD的方法可以参考“A. C. Dami anou,Car 1 Henrik Ek,Michalis K•Tistias,Nei1 D.Lawrence,uManifold Relevance Determination”,ICML,2012D”此处不再赞述。

[0099] (2)将得到的Zi分解戈

Figure CN104239858BD00107

,其中Zj是Xi对应的私有本征表示,而 #是所有c份样本共有的本征表示。Z.f的分量是由维中所有满足自动关联判决 (Automatic Relevance Determination,ARD)权重

Figure CN104239858BD00108

的q分 量组成的。而Zi是所有满足

Figure CN104239858BD00109

的q分量组成的。这 里S是一个用户选定的阈值。记Zf的维数为对每一个人,重复(1),⑵,能到一个本征表 示集合

Figure CN104239858BD001010

集合中的元素对应的维数分别渴

Figure CN104239858BD001011

对于Zf,对每个维度对应的ARD权重进行从大到小的排序,保留前个分量。排序后的本征表 示集记为

Figure CN104239858BD001012

;,由m个样本组成。

[0100] 步骤S24:构建训练样本集。

[0101] 训练样本集是若干个样本的集合,该集合用以进行模式判别模型的训练,后续使 用中,训练样本集也可以简写成训练集。

[0102] 对于Ti中的样#

Figure CN104239858BD001013

j中的任意一个本征表示样本t4,在原始样本中可以找到 对应的c个样才

Figure CN104239858BD001014

|。这样对于第i个人的样本,可以建立下 面的对应关系:

[0103]

Figure CN104239858BD00111

[0104]

[0105] 基于这个对应关系,可以构架下面的训练样本:

[0106]

Figure CN104239858BD00112

.,K,其中砂,/是 --对应的。通过这些样本构建本征正负训练样本集

Figure CN104239858BD00113

, 以及对应的原始正负训练样本i

Figure CN104239858BD00114

。同理,

Figure CN104239858BD00115

以刀

Figure CN104239858BD00116

中的元素都是一一对应的。其中,正训练样本的表示的是相同的人,负训练 样本表示的是不同的人。

[0107] 步骤S25:训练本征表示的贝叶斯模型。

[0108] 记

Figure CN104239858BD00117

5是本征表示对对应的随机变量,通过本征表示正样本集nf和负样本 集nT.,可以使用期望最大化(Expectation-Maximization Algorithm,EM)方法训练高斯混 合(Gaussian Mixture Module,GMM)模型

Figure CN104239858BD00118

[0109]

[0110]

[0111]

[0112] 其中,假定定样本数据是通过GMM分布模型抽样得到的,EM是一种估算G丽模型的 参数的方法。具体的EM算法可参考“Yaniv Taigman,Ming Yang,Marc Aurelio Ranzato, Lior Wo If,DeepFace:Closing the Gap to Human-Level Performance in Face Verification,CVPR 2014”。高斯混合模型是这样的一种模型:随机变量的密度函数是由多 个不同参数的高斯密度函数的线性组合的概率模型,其参数有线性加权因子m,…,aM,均值 ui,…,um,协方差矩阵S 1,…,组成,其中ai+,"+aM= 1。

[0113]即获得参数集

Figure CN104239858BD00119

[0114]

[0115]

[0116]

[0117] 步骤S26:模型映射。

[0118] 通过高斯过程回归(Gaussian Process Regression,GPR)得到原始样本的贝叶斯 模型。高斯过程回归是指利用高斯过程来对已有数据进行建模,利用得到的模型对新输入 数据进行相关预测和判断的方法。

[0119] 由映射

Figure CN104239858BD00121

可构造函f

Figure CN104239858BD00122

3通过高斯过程回归(GPR),能够将通 过训练集n;f学习到的本征样本对的分布函数,映射到nj决定的原始特征样本对的分布 函数。在给定高斯过程的ARD协方差函数为

[0120] \ '1 *'

Figure CN104239858BD00123

/

[0121] 的情况下,如果随机变量t是满足分布

Figure CN104239858BD00124

,那么经过映射,随机变量x用 以用分节

Figure CN104239858BD00125

来近似,这里

Figure CN104239858BD00126

[0122]

[0123]

[0124]

[0125]

[0126]

[0127]

[0128]

[0129] 利用上面的映射关系,可将EM方法训练得到的两个GMM概率分布模型分别映射到

Figure CN104239858BD00127

[0130]

[0131]

[0132]

[0133] 这里p (x | Q E)和p (x | Q〗)均依赖于£的参数0

Figure CN104239858BD00128

)为 了确定P (x| Q I),需经过以下步骤:

[0134] 通过训练样本I〗$构造LSO (Leave-set-out)似然函数

[0135]

Figure CN104239858BD00129

[0136] 这里

Figure CN104239858BD00131

使用共辄梯度下降法最大化化i^SD函数特到相应的参数0:1。通过确定的0气计算出P (x q i)。使用同样的方法利用n t和:n X、.,确定p (x I Q e)。

[0137] 在本发明的一个实施例中,共辄梯度下降法可具体参考Nabney,I. :Netlab: algorithms for pattern recognition.Springer (2002)〇

[0138] 在本发明的一种应用中,在获得模型p(x| 〇E)和p(x| 之后,对于给定的两张人 脸,使用以下的两个步骤做人脸验证测试:

[0139] (1)对图像样本进行预处理获得两张图像的数字特征X1,X2,并记f = [X1,X2].

[0140] (2)计舅

Figure CN104239858BD00132

丨,如果s(x,>0,则两张人脸图像来自同一个人, 否则两个人脸代表不同的人。

[0141] 下面结合图3描述根据本发明实施例的人脸特征验证模型的生成装置300,如图3 所示,人脸特征验证模型的生成装置300包括:

[0142] 获取模块310,用于获取N张输入人脸图像,其中,N张输入人脸图像对应M个具有独 立身份的人,N为大于2的整数,M为大于2的整数;

[0M3] 特征提取模块320,用于对N张输入人脸图像进行特征提取,得到每一张人脸图像 的原始特征表示,根据得到的原始特征表示组成人脸样本库;

[0144] 分组模块330,用于对所述人脸样本库中对应一个所述具有独立身份的人的样本 进行分组,得到c组人脸样本,c为大于等于2的整数;

[0145] 本征表示的贝叶斯模型生成模块340,用于对每一个所述具有独立身份的人的样 本,根据流形关联判决得到所述c组人脸样本的共有本征表示,

[0146] 根据得到的所述c组人脸样本的共有本征表示得到本征表示的训练样本集,

[0147] 对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型;

[0148] 人脸特征验证模型生成模块350,用于根据预设的模型映射关系和本征表示的贝 叶斯模型,得到人脸特征验证模型。

[0149] 在本发明的一个实施例中,本征表示的贝叶斯模型生成模块340具体用于:

[0150] 对每一个具有独立身份的人的样本,根据预设的似然函数和流形关联判决得到所 述c组人脸样本中每一组人脸样本的私有本征表示和c组人脸样本的共有本征表示,其中,c 组人脸样本中每一个组的人脸样本的数量相等,

[0151] 根据得到的c组人脸样本的共有本征表示得到本征表示的训练样本集,

[0152] 对本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型。

[0153] 在本发明的一个实施例中,本征表示的贝叶斯模型生成模块340具体用于:

[0154] 根对每一个具有独立身份的人的样本,根据流形关联判决得到c组人脸样本的共 有本征表示,根据得到的c组人脸样本的共有本征表示得到正训练样本集和负训练样本集, 其中,正训练样本集中的一个训练样本对来自同一个人,负训练样本集中的一个训练样本 对来自不同的人,

[0155] 对正训练样本集和负训练样本集进行训练,得到本征表示的贝叶斯模型。

[0156] 在本发明的一个实施例中,本征表示的贝叶斯模型生成模块340,具体用于:

[0157] 对每一个具有独立身份的人的样本,根据流形关联判决得到c组人脸样本的共有 本征表示,

[0158] 根据得到的c组人脸样本的共有本征表示得到本征表示的训练样本集,

[0159] 根据期望最大化算法对本征表示的训练样本集进行训练,得到本征表示的贝叶斯 模型。

[0160] 在本发明的一个实施例中,人脸特征验证模型生成模块350具体用于:

[0161] 通过预设的模型映射关系的高斯过程回归,映射本征表示的贝叶斯模型,得到原 始特征表示的贝叶斯模型,该原始特征表示的贝叶斯模型即人脸特征验证模型。

[0162] 根据本发明实施例的人脸特征验证模型的生成装置300,经过本征表示学习得到 的模型在处理不同拍摄场景下由于类内和类间的姿态、光照、表情、年龄等变化的时候表现 力和区分性强;学习的模型在人脸图像验证中错误率低,在标准互联网图片测试中,接近人 眼的的识别水平;模型的复杂度低,计算量少。

[0163] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的模块 的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

[0164] 在本申请所提供的几个实施例中,应该理解到,所述模块的划分,仅仅为一种逻辑 功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集 成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以 是电性,机械或其它的形式。

[0165] 另外,在本发明各个实施例中的各功能模块、单元可以集成在一个处理单元中,也 可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

[0166] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以 存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计 算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个 人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括:U盘、移动硬盘、只读存储器(R0M,Read-0nly Memory)、随机存取存 储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0167] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换, 都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围 为准。

Claims (10)

1. 一种人脸特征验证模型的生成方法,其特征在于,所述方法包括: 获取N张输入人脸图像,其中,所述N张输入人脸图像对应M个具有独立身份的人,N为大于2的整数,M为大于2的整数; 对所述N张输入人脸图像进行特征提取,得到每一张人脸图像的原始特征表示,根据得到的原始特征表示组成人脸样本库; 对所述人脸样本库中对应一个所述具有独立身份的人的样本进行分组,得到c组人脸样本,c为大于等于2的整数; 对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样本的共有本征表示; 根据所述具有独立身份的人的所述c组人脸样本的共有本征表示得到本征表示的训练样本集; 对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型; 根据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证模型。
2. 根据权利要求1所述的人脸特征验证模型的生成方法,其特征在于,所述根据流形关联判决得到所述c组人脸样本的共有本征表示,包括: 所述c组人脸样本中每一个组的人脸样本的数量相等; 根据预设的似然函数和所述流形关联判决得到所述c组人脸样本中每一组人脸样本的私有本征表示和所述c组人脸样本的共有本征表示。
3. 根据权利要求1所述的人脸特征验证模型的生成方法,其特征在于,根据所述c组人脸样本的共有本征表示得到本征表示的训练样本集,包括: 根据得到的所述c组人脸样本的共有本征表示得到正训练样本集和负训练样本集,其中,正训练样本集中的一个训练样本对来自同一个人,负训练样本集中的一个训练样本对来自不同的人; 相应的,对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型,具体包括: 对所述正训练样本集和所述负训练样本集进行训练,得到所述本征表示的贝叶斯模 型。
4. 根据权利要求1至3任一所述的人脸特征验证模型的生成方法,其特征在于,对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型,包括:根据期望最大化算法对所述本征表示的训练样本集进行训练,得到所述本征表示的贝叶斯模型。
5. 根据权利要求1至3任一所述的人脸特征验证模型的生成方法,其特征在于,所述根据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证模型,包括: 通过所述预设的模型映射关系的高斯过程回归,映射所述本征表示的贝叶斯模型,得到原始特征表示的贝叶斯模型,该原始特征表示的贝叶斯模型即所述人脸特征验证模型。
6. —种人脸特征验证模型的生成装置,其特征在于,所述装置包括: 获取模块,用于获取N张输入人脸图像,其中,所述N张输入人脸图像对应M个具有独立身份的人,N为大于2的整数,M为大于2的整数; 特征提取模块,用于对所述N张输入人脸图像进行特征提取,得到每一张人脸图像的原始特征表示,根据得到的原始特征表示组成人脸样本库; 分组模块,用于对所述人脸样本库中对应一个所述具有独立身份的人的样本进行分组,得到C组人脸样本,C为大于等于2的整数; 本征表示的贝叶斯模型生成模块,用于对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样本的共有本征表示, 根据得到的所述c组人脸样本的共有本征表示得到本征表示的训练样本集,对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型; 人脸特征验证模型生成模块,用于根据预设的模型映射关系和所述本征表示的贝叶斯模型,得到人脸特征验证模型。
7. 根据权利要求6所述的人脸特征验证模型的生成装置,其特征在于,所述本征表示的贝叶斯模型生成模块具体用于: 对每一个所述具有独立身份的人的样本,根据预设的似然函数和所述流形关联判决得到所述C组人脸样本中每一组人脸样本的私有本征表示和所述C组人脸样本的共有本征表示,其中,所述C组人脸样本中每一个组的人脸样本的数量相等, 根据得到的所述C组人脸样本的共有本征表示得到本征表示的训练样本集, 对所述本征表示的训练样本集进行训练,得到本征表示的贝叶斯模型。
8. 根据权利要求6所述的人脸特征验证模型的生成装置,其特征在于,所述本征表示的贝叶斯模型生成模块,具体用于: 对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样本的共有本征表示, 根据得到的所述c组人脸样本的共有本征表示得到正训练样本集和负训练样本集,其中,正训练样本集中的一个训练样本对来自同一个人,负训练样本集中的一个训练样本对来自不同的人, 对所述正训练样本集和所述负训练样本集进行训练,得到所述本征表示的贝叶斯模 型。
9. 根据权利要求6所述的人脸特征验证模型的生成装置,其特征在于,所述本征表示的贝叶斯模型生成模块具体用于: 对每一个所述具有独立身份的人的样本,根据流形关联判决得到所述c组人脸样本的共有本征表示, 根据得到的所述c组人脸样本的共有本征表示得到本征表示的训练样本集,根据期望最大化算法对所述本征表示的训练样本集进行训练,得到所述本征表示的贝叶斯模型。
10. 根据权利要求6至9任一所述的人脸特征验证模型的生成装置,其特征在于,所述人脸特征验证模型生成模块具体用于: 通过所述预设的模型映射关系的高斯过程回归,映射所述本征表示的贝叶斯模型,得到原始特征表示的贝叶斯模型,该原始特征表示的贝叶斯模型即所述人脸特征验证模型。
CN201410451701.7A 2014-09-05 2014-09-05 一种人脸特征验证的方法和装置 CN104239858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410451701.7A CN104239858B (zh) 2014-09-05 2014-09-05 一种人脸特征验证的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410451701.7A CN104239858B (zh) 2014-09-05 2014-09-05 一种人脸特征验证的方法和装置
EP15180883.9A EP2993616A1 (en) 2014-09-05 2015-08-13 Method and apparatus for generating facial feature verification model
US14/841,928 US9514356B2 (en) 2014-09-05 2015-09-01 Method and apparatus for generating facial feature verification model

Publications (2)

Publication Number Publication Date
CN104239858A CN104239858A (zh) 2014-12-24
CN104239858B true CN104239858B (zh) 2017-06-09

Family

ID=52227884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410451701.7A CN104239858B (zh) 2014-09-05 2014-09-05 一种人脸特征验证的方法和装置

Country Status (3)

Country Link
US (1) US9514356B2 (zh)
EP (1) EP2993616A1 (zh)
CN (1) CN104239858B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573652B (zh) 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端
US10230860B2 (en) * 2016-08-08 2019-03-12 Kabushiki Kaisha Toshiba Authentication apparatus for carrying out authentication based on captured image, authentication method and server
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
CN106934373A (zh) * 2017-03-14 2017-07-07 重庆文理学院 一种图书馆图书损坏评定方法及系统
CN107506694A (zh) * 2017-07-27 2017-12-22 南京邮电大学 基于局部中值表示的鲁棒人脸识别方法
CN108399379A (zh) * 2017-08-11 2018-08-14 北京市商汤科技开发有限公司 用于识别面部年龄的方法、装置和电子设备
CN108197532B (zh) * 2017-12-18 2019-08-16 深圳励飞科技有限公司 人脸识别的方法、装置及计算机装置
WO2019119396A1 (zh) * 2017-12-22 2019-06-27 中国科学院深圳先进技术研究院 人脸表情识别方法及装置
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技(深圳)有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN108960103A (zh) * 2018-06-25 2018-12-07 西安交通大学 一种人脸和唇语相融合的身份认证方法及系统
CN108898094B (zh) * 2018-06-26 2020-06-05 华中科技大学 一种基于串联集成式rmml度量学习的人脸比对方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612928A (en) * 1992-05-28 1997-03-18 Northrop Grumman Corporation Method and apparatus for classifying objects in sonar images
CN1866270A (zh) * 2004-05-17 2006-11-22 香港中文大学 基于视频的面部识别方法
CN101464950A (zh) * 2009-01-16 2009-06-24 北京航空航天大学 基于在线学习和贝叶斯推理的视频人脸识别与检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811726B2 (en) * 2011-06-02 2014-08-19 Kriegman-Belhumeur Vision Technologies, Llc Method and system for localizing parts of an object in an image for computer vision applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612928A (en) * 1992-05-28 1997-03-18 Northrop Grumman Corporation Method and apparatus for classifying objects in sonar images
CN1866270A (zh) * 2004-05-17 2006-11-22 香港中文大学 基于视频的面部识别方法
CN101464950A (zh) * 2009-01-16 2009-06-24 北京航空航天大学 基于在线学习和贝叶斯推理的视频人脸识别与检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Manifold Relevance Determination;A.C.Damianou et al;《ICML》;20120630;全文 *
Surpassing Human-Level Face Verification Performance on LFW with GaussianFace;Chaochao Lu et al;《Computer Science》;20140616;全文 *

Also Published As

Publication number Publication date
US9514356B2 (en) 2016-12-06
EP2993616A1 (en) 2016-03-09
CN104239858A (zh) 2014-12-24
US20160070956A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
Yang et al. Learning face age progression: A pyramid architecture of gans
Chang et al. Unsupervised transfer learning via multi-scale convolutional sparse coding for biomedical applications
Yang et al. Deep label distribution learning for apparent age estimation
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
Jojic et al. Stel component analysis: Modeling spatial correlations in image class structure
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN101558431B (zh) 脸认证设备
WO2019169688A1 (zh) 车辆定损方法、装置、电子设备及存储介质
Huo et al. Deep age distribution learning for apparent age estimation
CN106778583B (zh) 基于卷积神经网络的车辆属性识别方法与装置
Dessimoz et al. Multimodal biometrics for identity documents ()
CN103902961B (zh) 一种人脸识别方法及装置
CN106127164A (zh) 基于显著性检测和卷积神经网络的行人检测方法及装置
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
CN103984948B (zh) 一种基于人脸图像融合特征的软双层年龄估计方法
US20140341443A1 (en) Joint modeling for facial recognition
CN103679160B (zh) 一种人脸识别方法和装置
CN106469302A (zh) 一种基于人工神经网络的人脸肤质检测方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
Pirlo et al. Verification of static signatures by optical flow analysis
CN102737633B (zh) 一种基于张量子空间分析的说话人识别方法及其装置
CN100568264C (zh) 印章鉴别控制方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant