CN105469076B - 基于多示例学习的人脸比对验证方法 - Google Patents

Abstract

本发明公开了一种基于多示例学习的人脸比对方法，应用于人证合一验证场合。该方法利用多示例学习的思想进行人脸比对验证，包括：S1人脸图像预处理；S2人脸多示例学习训练和S3人脸验证。其中，人脸图像预处理包括人脸检测、特征点定位、DoG光照处理；人脸多示例学习训练包括人脸多示例定义、多示例特征提取和多示例特征融合；人脸验证根据步骤S2中各示例股权和配对示例的相似度进行人脸一致性验证。本方法解决人脸比对验证中发型、肤色、化妆和微整形等变化难题，为解决人脸验证提供一种有效算法和思路，提高其可靠性。本方法可广泛应用于二代身份证、护照、驾照、学生证等是否本人持有的人证合一身份验证场合。

Description

基于多示例学习的人脸比对验证方法

技术领域

本发明涉及图像处理、模式识别以及计算机视觉技术领域，特别涉及一种基于多示例学习的人脸验证方法。

背景技术

人脸比对验证就是确定待识别人脸是否为某人的，即“same or not”的问题，此为一对一的匹配过程。系统先按照待识别者所声称的身份(如姓名或用户名)，查找出已存储的该人脸图像，然后按某种决策或匹配原则，对存储的图像与待识别人脸图像进行对比，从而判断出待识别者身份的真实性。人脸比对验证可以广泛应用于二代身份证、护照、驾驶证、准考证、通行证和学生证等证件的计算机自动人证一致性验证。

人脸比对验证技术经过半个多世纪的发展，相关理论已基本成熟。然而，在实际应用中，由于年龄变化所导致的诸如发型、肤色和微整形等变化都会使系统的可靠性急剧下降。而目前大都人脸比对方法，都很难克服这种由于发型、肤色和微整形等变化所带来的影响。

目前想要计算机具备和人类一样的人脸比对能力还很难，主要原因是两幅比对人脸之间的光照、发型、年龄、化妆和微整形等因素的变化都会对其准确性产生巨大的影响，如何消除这些因素的影响是目前亟需解决的问题。

20世纪90年代中后期，T.G Dictterich等人对一药物活性预测问题进行了研究。其目的是让学习系统通过对己知适于或不适于制药的分子进行分析，以尽可能正确地预测某种新的分子是否适合制造药物。为了解决这个问题，T.G Dietterich等人将每一个分子作为一个包，分子的每一种低能形状作为包中的一个示例，由此提出了多示例学习的概念。由于多示例学习具有独特的性质和广泛的应用前景，属于以往机器学习研究的一个盲区。因此，在国际机器学习界引起了极大的反响，被认为是一种新的学习框架。对于人脸比对来说，基于人脸的方法在表情、遮挡发生时，把这些干扰都引入了人脸识别的判断中，从而影响了人脸识别的性能。而如果利用人脸多示例的信息，算法可以根据各示例对于表情、遮挡的适应性给予各部分不同的权值，利用融合算法结合各部分的结果，从而提高最终判断的准确性。因此，本发明提出多示例人脸比对验证方法。

将多示例学习应用于人脸比对验证，虽然是一个新的概念，但其在人脸识别领域并不是孤立存在的，目前基于部分/部件/局部/分块的人脸识别方法就是其前驱。但是，以上方法只是简单的利用人脸分块的方案解决人脸表情、姿态和遮挡等变化问题。对发型、年龄、化妆和微整形等因素变化并没有进行深入研究。

发明内容

本发明的目的在于克服现有人脸比对验证技术的缺点与不足，提供一种基于多示例学习的人脸比对验证方法，克服人脸验证中的发型、化妆和微整形等问题，为解决人脸比对验证提供一种行之有效算法和思路。

本发明的目的通过下述技术方案实现：

一种基于多示例学习的人脸比对验证方法，包括下列步骤：

人脸图像预处理步骤，对两幅比对图像分别进行人脸检测与关键点定位以后归一化同样大小，并进行光照处理；

人脸多示例学习训练步骤，进行人脸图像多示例定义、多示例特征提取和多示例特征融合，并计算出各示例特征向量的股权；

人脸验证步骤，通过融合上述各示例对的股权，制定相应的投票准则进行人脸验证。

优选的，所述人脸图像预处理步骤具体为：

通过AdaBoost算法或深度学习算法对两幅比对图像分别进行人脸检测提取干净的人脸图像；

采用人脸关键点提取算法(如，ASM、SDM和深度学习)进行人脸关键特征点定位，根据定位出的人脸关键点进行人脸对齐归一化；

采用DoG滤波器进行人脸图像光照处理。

优选的，所述人脸多示例学习训练步骤具体为：

人脸图像多示例定义子步骤，用于人脸验证中可能存在的发型、肤色、化妆和微整形变化，采用合适的人脸多示例定义方案；

多示例特征提取子步骤，采用LBP提取人脸示例的纹理特征以及采用SIFT(或者SURF)算法提取人脸示例的方向和尺度特征，使提取的人脸示例图像特征具有鲁棒性和互补性；

多示例特征融合子步骤，计算出各人脸图像示例特征向量的股权，为最后的判别提供依据。

优选的，所述人脸多示例定义方案具体如下：

将人脸图像分为对应全局的第一水平条件和对应局部的第二水平条件，其中所述第一水平条件下定义3个全局人脸图像示例，所述第二水平条件下定义12个局部人脸图像示例。

优选的，对所述人脸图像多示例定义子步骤中定义的15个人脸图像示例分别采用LBP方法和SIFT(或者SURF)算法进行多示例特征提取，其中所述LBP方法提取人脸纹理特征，所述SIFT(或者SURF)算法提取人脸方向和尺度特征。

优选的，所述人脸图像示例特征向量的股权包括静态股权和动态股权。其中，所述静态股权根据大量样本离线训练得到，是固定不变的原始股；所述动态股权根据在线配对图像本身特性计算得出，是动态变化的追加股；所述人脸图像示例特征向量的股权采用静态股权与动态股权相结合的股权分配制分别计算两种不同特征下各人脸图像示例的权值。

优选的，所述多示例特征融合子步骤具体为：

分别计算出各人脸图像示例对的静态股权和动态股权，其中所述静态股权的计算如下：

收集若干对匹配人脸图像对作为训练样本，对所述训练样本通过所述多示例特征提取子步骤提取30个示例特征向量，并计算出所有图像对各示例间的相似度s；

根据所述各示例间的相似度s统计出各示例的判别阀值φ和鉴别率，根据鉴别率统计出各示例的置信度作为示例的静态股权，记为Ω。

优选的，所述多示例特征融合子步骤具体为：

分别计算出各人脸图像示例特征向量的静态股权和动态股权，其中所述动态股权由人脸图像示例的熵、示例匹配人脸图像对的互信息和示例匹配人脸图像对的可信度三个因素决定；

其中，对于给定的人脸图像示例I(x,y)，其熵为：

其中，p_i为第i^th灰度级的概率，N_g为灰度级总数；

对于给定的示例匹配人脸图像对{I₁(x,y):I₂(x,y)}，其互信息为：

其中，p(x,y)为I₁和I₂的联合概率分布，p₁(x),p₂(y)分别为I₁和I₂边缘概率分布；

对于给定的示例匹配人脸图像对{I₁(x,y):I₂(x,y)}，其可信度为：

其中，s为示例图像对的相似度，φ为示例的阀值。

优选的，所述人脸图像示例特征向量的动态股权为：

w_i＝Ω_i+(E_i ²×MI_i+C_i)i∈[1,2,…,30]。

优选的，所述多示例融合判别准则为：

采用股权投票制：即将各示例的判别结果乘以其对应的股权得出其所投票数的值，然后融合各示例投票数值得出比对结果。

本发明相对于现有技术具有如下的优点及效果：

1)本发明采用LBP和SIFT(或者SURF)算法提取多示例人脸特征，其中LBP提取人脸纹理特征，SIFT(或者SURF)算法提取人脸方向和尺度特征。因此，两种特征具有互补性，同时这两种特征还具有快速性，完全能满足实际应用中实时性要求。

2)由于本发明基于多示例学习人脸鉴别原理，所以可以解决自动人脸验证中的发型、肤色、化妆和微整形等变化难题，提高系统的可靠性。

3)本发明采用的多示例融合判别准则具有应用灵活性。例如，在极端宽松应用场合时，可以采用一票通过制，即只要有一个示例认为是同一个人，就验证通过；在极端严格应用场合，可以采用民主投票制，即有一半以上示例认为是同一个人，就验证通过；在一般应用场合，有1/3示例认为是同一个人，就验证通过。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中公开的一种基于多示例学习的二代身份证冒用验证应用举例图；

图2是本发明实施例中关于第一水平条件下的人脸图像多示例定义示意图；

图3是本发明实施例中关于第二水平条件下的人脸图像多示例定义示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。示例性的，具体实施方式以第二代身份证冒用验证为例进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下根据实施例分别进行详细说明。

实施例

本发明实施例公开的基于多示例学习的第二代身份验证方法主要根据多示例学习的思想进行二代身份证冒用验证，主要包括以下几个步骤：

S1人脸图像采集、S2人脸图像预处理、S3人脸多示例学习训练以及S4身份证冒用验证四大部分，如图1所示。其中人脸图像采集步骤包括身份证表面和现场人脸图像采集；人脸图像预处理步骤包括AdaBoost人脸检测、ASM人脸特征点定位和DoG光照处理等3个子步骤；人脸多示例学习训练步骤包括人脸多示例定义、多示例特征提取和多示例特征融合等3个步骤；身份证冒用验证步骤根据第3步中得出的各示例股权和判别结果进行综合身份证验证。下面逐一对各步骤进行详细说明：

步骤S1、人脸图像采集

对二代身份证进行扫描获取身份证表面人脸图像作为第一人脸图像；同时采集持证者现场人脸图像作为第二人脸图像。

上述第一人脸图像和第二人脸图像分别由两个特定的图像采集器完成图像采集。

步骤S2、人脸图像预处理

对采集到的第一人脸图像和第二人脸图像分别进行人脸检测与关键点定位以后归一化同样大小，并进行光照处理。

由于采集到的人脸图像通常含有较多背景干扰。因此，本发明方法通过AdaBoost算法进行人脸检测提取干净的人脸图像。同时，采用主动形状模型(ASM)方法进行人脸关键特征点定位，根据定位出的人脸关键点进行人脸对齐归一化。最后，为了克服光照的影响，采用DoG滤波器进行人脸图像光照处理。

(1)Adaboost算法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。

(2)主动形状模型(ASM)是一种较为成熟的人脸特征点定位方法。它用局部纹理模型在特征点周围进行局部搜索，用全局统计模型约束特征点集组成的形状，二者反复迭代，最终收敛至最优形状。

主动形状模型(ASM)是建立在PDM(点分布模型)的基础上，通过训练图像样本获取训练图像样本的特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应的特征点的位置。训练样本需要手动的标记所有的特征点的位置，记录特征点的坐标，并且计算每一个特征点对应的局部灰度模型作为局部特征点调整用的特征向量。在将训练好的模型放在目标图像上，寻找每一个特征点的下一个位置的时候，采用局部灰度模型寻找在当前特征点指定方向上局部灰度模型马氏距离最小的特征点作为当前特征点即将移动到的位置，称为suggested point，找到所有的points就可以获得一个搜索的shape，然后将当前的模型通过调整参数使得当前的模型最可能相似的调整到suggestshape，重复迭代直到实现收敛。

(3)DOG滤波器，在计算机视觉中，高斯差(Difference of Gaussians，简称“DOG”)是一种将一个原始灰度图像的模糊图像从另一幅灰度图像进行增强的算法，通过DOG以降低模糊图像的模糊度。这个模糊图像是通过将原始灰度图像经过带有不同标准差的高斯核进行卷积得到的。用高斯核进行高斯模糊只能压制高频信息。从一幅图像中减去另一幅可以保持在两幅图像中所保持的频带中含有的空间信息。这样的话，DOG滤波器就相当于一个能够去除除了那些在原始图像中被保留下来的频率之外的所有其他频率信息的带通滤波器。

步骤S3、人脸多示例学习训练

此步骤是本发明方法的重点与关键，主要包括人脸图像多示例定义、多示例特征提取和多示例特征融合三个子步骤。

S31、人脸图像多示例定义

根据二代身份证冒用验证中可能存在的发型、肤色、化妆和微整形等变化，采用合适的人脸多示例定义方案。

本发明将人脸图像分为两种水平条件：第一水平条件和第二水平条件，分别对应全局与局部。在第一水平条件下定义3个全局人脸图像示例，如图2所示。在第二水平条件下定义12个局部人脸图像示例，如图3所示。第一水平条件下的全局人脸示例保留了人脸轮廓形状等全局部特征，对人脸年龄、分辨率和化妆美容变化具有鲁棒性。第二水平条件下的局部人脸图像示例保留了人脸关键局部人脸信息，对人脸发型、表情和微整形变化具有鲁棒性。例如，做双眼皮或隆鼻手术后必然使某些局部区域发生变化从而到影响全局特征的提取，但是大部分局部仍然保持不变。因此，采用第二水平条件下的示例定义方法可以克服微整形变化的影响。

S32、多示例特征提取

为了使提取的特征具有鲁棒性和互补性，本发明分别利用经典的LBP(LocalBinary Pattern)和SIFT(Scale Invariant Feature Transform)(或者SURF)算法提取多示例特征，其中LBP提取人脸纹理特征，SIFT(或者SURF)算法提取人脸方向和尺度特征。

LBP(local binary patterns，局部二值模式)是一种简单有效的纹理分类的特征提取算法，用于人脸纹理特征提取，LBP是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。人脸图像的各种LBP模式，能更清晰的体现各典型区域的纹理，同时又淡化了对于研究价值不大的平滑区域的特征，同时降低了特征的维数，LBP算子可以更有效地消除光照对图像的影响，只要光照的变化不足以改变两个点像素值之间的大小关系，那么LBP算子的值不会发生变化，所以一定程度上，基于LBP的识别算法解决了光照变化的问题，但是当图像光照变化不均匀时，各像素间的大小关系被破坏，对应的LBP模式也就发生了变化。

SIFT(Scale Invariant feature transform)是一种检测局部特征的算法，该算法通过求一幅图中的特征点(interest points,or corner points)及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细步骤划分如下：1)、尺度空间的生成；2)、检测尺度空间极值点；3)、精确定位极值点；4)、为每个关键点指定方向参数；5)、关键点描述子的生成。

对上述步骤S31中定义的15个人脸图像示例分别采用经典的LBP和SIFT方法进行特征提取。LBP特征具有灰度强度不变性，同时为了使LBP具有旋转不变性，本发明采用等价旋转不变化模式提取LBP特征；同时，为了使LBP更具鲁棒性，本发明更进一步采用多尺度分块LBP特征提取方法。由于LBP主要是提取示例的局部纹理特征，而SIFT主要是提取人脸形状特征，因此两种特征提取方法具有互补性。同时，两种方法都具有快速，可鉴别，旋转和光照强度不变等优良特性。通过对15个人脸图像示例进行LBP和SIFT处理后，可得到30个示例特征向量。

S33、多示例特征融合

此步骤的目的是计算出各示例特征向量的股权(权值)，为最后的判别提供依据。各示例股权为静态股权和动态股权之和。

由于不同示例不同特征其鉴别能力不一样。因此，本发明提出静态与动态相结合的股权分配制分别计算两种不同特征下各示例的权值。其中，静态股权根据大量样本离线训练得到，是固定不变的原始股；动态股权根据在线配对图像本身特性计算得出，是动态变化的追加股。

A.静态股权分配

首先，收集若干对匹配人脸图像对(现场和身份证表面)，示例性的，本实施例中收集1000对人脸图像对，其中500对为同一个人，500对为不同人，作为训练样本。

然后，对所有的训练样本通过以上步骤处理得到各图像对的30个示例特征向量，并计算出所有图像对各示例间的相似度s。

最后，根据各示例间的相似度统计出各示例的判别阀值φ和鉴别率，根据鉴别率统计出各示例的置信度作为示例的静态股权，记为Ω。

B.动态股权分配

动态股权根据具体应用环境动态分配，具有自适应性。各示例的动态股权由示例图像的熵、示例对的互信息和示例对可信度三个因素决定。

①对于给定的示例图像I(x,y)其熵为：

其中，p_i为第i^th灰度级的概率，N_g为灰度级总数。熵值越大，表明其越有利于鉴别，其股权分配将越多。

②对于给定的示例图像对{I₁(x,y):I₂(x,y)}，其互信息为：

其中，p(x,y)为I₁和I₂的联合概率分布，p₁(x),p₂(y)分别为I₁和I₂边缘概率分布。具体计算可转换成联合熵和条件熵的计算方式。示例图像对之间的互信息越大，说明其是同一人的可能性越大，其股权分配将越多。

③对于给定的示例图像对{I₁(x,y):I₂(x,y)}，其可信度为：

其中，s为示例图像对的相似度，φ为示例的阀值。示例图像对的可信度越大，其股权分配将越多。

根据以上的静态股权和动态股权，各示例最终的股权为：

w_i＝Ω_i+(E_i ²×MI_i+C_i)i∈[1,2,…,30]

步骤S4、身份证冒用验证

首先，根据各示例图像对的相似度s和判别阀值φ求出各示例的判别结果，判别为同一个的记为+1，判别为不同人的记为-1。

然后，根据各示例判别结果进行股权投票，融合统计的票数值进行人脸一致性验证：

其中，w_i为各示例的股权值；ω为可调参数。

多示例融合判别准则具有应用灵活性。例如，在极端宽松应用场合时，可以采用一票通过制，即只要有一个示例认为是同一个人，就验证通过，此时ω＝0；在极端严格应用场合，可以采用民主投票制，即有一半以上示例认为是同一个人，就验证通过，此时ω＝1/2；在一般应用场合，有超过1/3示例认为是同一个人，就验证通过，此时ω＝1/3，示例性的，本实施例中ω＝1/3。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于多示例学习的人脸比对验证方法，其特征在于，包括下列步骤：

人脸图像预处理步骤，对两幅比对图像进行人脸检测与关键点定位以后归一化至同样大小，并进行光照处理；

人脸多示例学习训练步骤，对人脸图像进行多示例定义、多示例特征提取和多示例特征融合训练与学习，计算出各示例特征向量的置信度，并以此计算出此示例在整体判别中的权重，即股权；

所述人脸多示例学习训练步骤具体为：

人脸图像多示例定义子步骤，用于比对中可能存在的发型、肤色、化妆和微整形变化，采用合适的人脸多示例定义方案；

多示例特征提取子步骤，采用LBP提取人脸示例的纹理特征以及采用SIFT或者SURF算法提取人脸示例的方向和尺度特征，使提取的人脸示例图像特征具有鲁棒性和互补性；

多示例特征融合子步骤，计算出各人脸图像示例特征向量的股权，为最后的综合判别提供依据；

其中，所述人脸图像示例特征向量的股权包括静态股权和动态股权，其中，所述静态股权根据大量样本离线训练得到，是固定不变的原始股，所述动态股权根据在线配对图像本身特性计算得出，是动态变化的追加股，所述人脸图像示例特征向量的股权采用静态股权与动态股权相结合的股权分配制分别计算两种不同特征下各人脸图像示例的权值；

人脸验证步骤，对各示例判别结果按其股权投票，并设置灵活的票数统计准则进行最终的人脸验证。

2.根据权利要求1所述的基于多示例学习的人脸比对验证方法，其特征在于，所述人脸图像预处理步骤具体为：

通过AdaBoost算法或深度学习算法进行人脸检测提取干净的人脸图像；采用人脸关键点定位算法定位出人脸关键点位置坐标并进行人脸对齐归一化；采用DoG滤波器进行人脸图像光照处理。

3.根据权利要求1所述的基于多示例学习的人脸比对验证方法，其特征在于，所述人脸多示例定义方案具体如下：

将人脸图像分为对应全局的第一水平条件和对应局部的第二水平条件，其中所述第一水平条件下定义3个全局人脸图像示例，所述第二水平条件下定义12个局部人脸图像示例。

4.根据权利要求3所述的基于多示例学习的人脸比对验证方法，其特征在于，对所述人脸图像多示例定义子步骤中定义的15个人脸图像示例分别采用LBP方法和SIFT或者SURF算法进行多示例特征提取，其中所述LBP方法提取人脸纹理特征，所述SIFT或者SURF算法提取人脸方向和尺度特征。

5.根据权利要求1所述的基于多示例学习的人脸比对验证方法，其特征在于，所述多示例特征融合子步骤具体为：

分别计算出各人脸图像示例特征向量的静态股权和动态股权，其中所述静态股权的计算如下：

收集若干对匹配人脸图像对作为训练样本，对所述训练样本通过所述多示例特征提取子步骤提取30个示例特征向量，并计算出所有图像对各示例间的相似度s；

根据所述各示例间的相似度s统计出各示例的判别阀值φ和鉴别率，根据鉴别率统计出各示例的置信度作为示例的静态股权，记为Ω。

6.根据权利要求5所述的基于多示例学习的人脸比对验证方法，其特征在于，所述多示例特征融合子步骤具体为：

分别计算出各人脸图像示例特征向量的静态股权和动态股权，其中所述动态股权由人脸图像示例的熵、示例匹配人脸图像对的互信息和示例匹配人脸图像对的可信度三个因素决定；

其中，对于给定的人脸图像示例I(x,y)，其熵为：

其中，p_i为第i^th灰度级的概率，N_g为灰度级总数；

对于给定的示例匹配人脸图像对{I₁(x,y):I₂(x,y)}，其互信息为：

其中，p(x,y)为I₁和I₂的联合概率分布，p₁(x),p₂(y)分别为I₁和I₂边缘概率分布；

对于给定的示例匹配人脸图像对{I₁(x,y):I₂(x,y)}，其可信度为：

其中，s为示例图像对的相似度，φ为示例的阀值。

7.根据权利要求6所述的基于多示例学习的人脸比对验证方法，其特征在于，所述人脸图像示例特征向量的动态股权为：w_i＝Ω_i+(E_i ²×MI_i+C_i)i∈[1,2,…,30]。

8.根据权利要求1所述的基于多示例学习的人脸比对验证方法，其特征在于，所述多示例融合判别准则为：

对各示例的判别结果进行股权投票，并采用灵活的票数统计方案进行最后的验证。