CN102682309A

CN102682309A - 一种基于模板学习的人脸注册方法及装置

Info

Publication number: CN102682309A
Application number: CN2011100603753A
Authority: CN
Inventors: 黄磊
Original assignee: Hanwang Technology Co Ltd
Current assignee: Hanwang Technology Co Ltd
Priority date: 2011-03-14
Filing date: 2011-03-14
Publication date: 2012-09-19
Anticipated expiration: 2031-03-14
Also published as: CN102682309B

Abstract

本发明公开了一种基于模板学习的人脸特征注册方法，属于人脸识别领域，包括：建立人脸模板的学习样本集；采集人脸图片，并提取其中的待注册人脸特征；利用所述学习样本集中的样本特征对所述待注册人脸特征进行学习，得到学习后的人脸特征模板。所述样本集中包括与注册人脸相关的正样本和与注册人脸无关的负样本，所述正样本与注册的人脸图片在遮挡、光照、表情和姿态方面具有差异性。本发明通过在模板注册过程中，通过将待注册人脸特征模板对给定的样本集中的正样本和负样本的人脸特征进行学习，在注册过程中，对注册模板的特征进行优化和更新，提高注册模板对遮挡、光照、姿态及表情的鲁棒性，进而有效的提高了识别效率。

Description

一种基于模板学习的人脸注册方法及装置

技术领域

本发明属于人脸识别领域，具体涉及一种基于模板学习的人脸特征注册方法及装置。

背景技术

在当今信息化时代，如何准确鉴定一个人的身份、保护信息安全，已成为一个必须解决的关键社会问题。传统的身份认证由于极易伪造和丢失，越来越难以满足社会的需求，目前最为便捷与安全的解决方案无疑就是生物特征识别技术。它不但简洁快速，而且利用它进行身份的认定，安全、可靠、准确。同时更易于配合电脑和安全、监控、管理系统整合，实现自动化管理。由于其广阔的应用前景、巨大的社会效益和经济效益，生物特征识别技术最近几年得到迅猛的发展，引起了广泛关注和高度重视。常用的生物识别技术（Biometric Identification Technology）有指纹识别、虹膜识别、掌纹掌脉识别和人脸识别，而作为身份识别的有效技术，近年来人脸识别技术以其采集使用方便、非接触等优点逐渐被越来越多的用户所认可，并得到迅速发展和广泛应用。在过去的几十年里，人脸识别已在商业和执法部门得到广泛应用，例如刑事鉴定、信用卡识别、安全系统、现场监控、门禁考勤等。

随着在实际中应用的推广，人脸识别存在的问题和难点也逐渐凸显出来。遮挡会导致人脸特征发生变化，会增加人脸识别的困难，增加拒识率；光照、姿态和表情的变化，也会导致一个人的不同环境下的人脸特征差异很大，降低了识别率，还有可能出现错误识别。因此，如何解决由于遮挡、光照、姿态和表情变化等因素造成的人脸特征的变化从而使人脸识别效率降低的问题已经成为人脸识别技术中的迫切需要解决的问题。

发明内容

为了解决由于遮挡、光照、姿态和表情变化等因素造成的人脸特征的变化从而使人脸识别效率降低的问题，本发明提出了一种基于模板学习的人脸注册方法，包括以下步骤：

S1、建立人脸模板的学习样本集；

S2、采集人脸图片，并提取其中的待注册人脸特征；

S3、利用所述学习样本集中的样本特征对所述待注册人脸特征进行学习，得到学习后的人脸特征模板。

所述学习样本集包括包含至少一个正样本的正样本集。

所述正样本包括待注册人脸的人脸图片或按照指定的方法提取的待注册人脸的人脸特征，且所述正样本包含遮挡、和/或光照、和/或姿态、和/或表情的差异性。

所述学习样本集还包括负样本集。

所述负样本包括除待注册人脸外的人脸图片或按照指定的方法提取的除待注册人脸外的其他人脸的人脸特征。

所述建立人脸模板的学习样本集包括建立负样本集。

所述采集人脸图片，并提取其中的待注册人脸特征，还包括建立用于模板学习的正样本集。

所述利用所述学习样本集中的样本特征对待注册人脸特征进行学习，得到学习后的人脸特征模板，包括：

根据待注册人脸特征和学习样本集的样本特征定义目标函数；

建立使目标函数极小化的优化模型；

求解优化模型，获得学习后的人脸特征。

所述采集人脸图片，并提取其中的待注册人脸特征进一步包括：人脸检测定位、归一化和特征提取；

所述待注册人脸特征和学习样本集的样本特征定义一个目标函数，包括选择相似度度量方法，并建立待注册人脸特征与负样本的相似度得分之和及其与正样本的相似度得分之和差值的目标函数；所述建立使目标函数极小化的优化模型，还包括：针对目标函数设置模板特征和注册样本特征的相似度得分的约束，确定使目标函数极小化的优化目标，建立优化模型。

在步骤S3之后还包括：保存得到的人脸特征模板。

本发明还提供了一种基于模板学习的人脸注册装置，包括：

样本集建立模块，用于建立模板学习样本集，所述模板学习样本集包括包含至少一个正样本的正样本集和包含零个或至少一个负样本的负样本集；

特征采集模块，用于采集人脸图片，并提取其中的待注册人脸特征；

模板学习模块，利用所述学习样本集中的样本特征对待注册人脸特征进行学习，得到学习后的人脸特征模板。

所述模板学习模块进一步包括：

目标函数定义子模块，选择相似度度量方法，并建立待注册人脸特征与负样本的相似度得分之和及其与正样本的相似度得分之和差值的目标函数；

优化模型建立子模块，针对目标函数设置模板特征和注册样本特征的相似度得分的约束，确定使目标函数极小化的优化目标，建立优化模型；

运算子模块，求解优化模型，进而获得新的注册人脸特征。

本发明的一种基于模板学习的人脸注册方法及装置，在人脸特征注册过程中，增加了模板学习的步骤，在对当前注册人脸进行特征提取后，基于给定的正负样本集，对模板特征进行优化学习。由于优化过程充分考虑了类内和类间不同的情况，给定的正样本集中的人脸特征模板库具有遮挡、光照、姿态和表情上的差异，给定的负样本集中的人脸图像不包含待注册人群的人脸图片，与待注册人脸图片具有类间差异性特征。因此经过模板学习后的人脸特征更具有典型性，对化妆、遮挡、光照、姿态和表情变化也具有很好的鲁棒性，有效的降低了拒识率，提高了识别效率。

附图说明

图1是本发明实施例一的基于模板学习的人脸注册方法的流程图；

图2是本发明实施例二的基于模板学习的人脸注册方法的流程图；

图3是本发明实施例的人脸注册示意图；

图4是本发明实施例注册时人脸模板学习流程图；

图5是本发明基于模板学习的人脸注册装置结构图；

图6是本发明基于模板学习的人脸注册装置模板学习模块结构图。

具体实施方式

以下实施例进一步阐述本发明的内容，并非用以限定本发明的内容。

首先，人脸识别的工作流程一般分为人脸注册和人脸识别两个步骤。人脸注册的目的是预先建立一个人脸特征模板库，通过预先采集待识别群体的人脸图片，并从中提取人脸特征样本加以存储，作为识别过程的参考依据。人脸识别系统对人脸特征进行取样，提取其具有唯一性的特征并且转化成数字代码，然后进一步将这些代码组合而形成特征模板。人们在同一识别系统交互进行身份认证时，识别系统获取其特征并与特征模板进行比对，以确定是否匹配，从而决定身份认证是否成功，因此登记的特征模板的质量直接影响用户识别的准确性和速度。

本发明的一种基于模板学习的人脸注册方法，包括以下步骤：

S1、建立人脸模板的学习样本集；

在进行人脸注册和识别之前，需要建立一个训练样本的集合。根据经过该训练样本集合训练得出的特征向量降维矩阵，对从人脸图片中提取的人脸特征进行降维处理。训练样本可以利用国际人脸数据库中的人脸图片，也可以通过采集人脸图片获得。训练样本集中的样本越多，训练得到的降维矩阵越准确，识别效果越好。

为了实现在注册过程中的模板学习，还需要建立一个用于模板学习的样本的集合。用于模板学习的样本集包括两种：正样本集和负样本集。负样本集的样本数量可以为零，但是没有负样本的情况下，模板学习后的人脸特征对识别效率的提高程度会有所下降。正样本集对模板学习的效果影响显著，所以正样本的数量至少为一。

所述负样本集的负样本数量可以为零，所述负样本可以是上述训练样本集合中的一部分样本，也可以是与训练样本集合中的样本无关的样本。但是，所述负样本必须是与待注册人脸无关的人脸图片，该样本集可通过采集与注册人群无关的人脸图片得到，也可从现有的国际人脸数据库中直接选取M（M可为0）张人脸图片得到。所述负样本的数量根据实际情况确定，数量越多代表的类间特征越多，但是占用一定的存储资源，在进行模板学习时速度也会较慢。

所述正样本集包含至少一个正样本，所述正样本是与注册的人脸图片有关的人脸图片，可以预先分时间段采集待注册人脸在不同光照、姿态和表情环境下的N张人脸图片，也可以在采集待注册人脸图片时，多采集N张人脸图片作为该类待注册人脸图片进行模板学习的正样本。为了提高学习后的模板特征对遮挡、光照、姿态、表情等的鲁棒性，要求N张作为正样本的人脸图片应该在面部遮挡、光照或者姿态表情上存在差异，正样本的数量越多，代表的待注册人员的类内的特征越多，越有利于识别效率的提高。

S2、采集人脸图片，并提取其中的待注册人脸特征；

在人脸注册过程中，对采集到的注册人脸图片进行人脸检测、定位、归一化成指定大小的人脸图片，然后针对所述归一化后的人脸图片进行特征提取，得到待注册人脸特征，再将所述待注册人脸特征基于极大化类内相似度和极小化类间相似度的思想对给定的正负样本集进行模板学习。需要说明的一点是，如果样本集中的样本是人脸图片，在进行模板学习前，还需要按照与待注册人脸图片同样的处理方法对样本集中的正负样本进行人脸检测定位、归一化及特征提取。模板学习主要是利用正负样本集的图片特征对注册图片特征进行优化更新。该学习的目的是通过极大化正样本集与注册特征间的类内相似度和极小化负样本与注册特征间的类间相似度，优化待注册人脸特征，来提高注册的人脸特征模板的鲁棒性。为达到这个目的，首先根据待注册样本特征和样本集的样本特征定义一个目标函数，然后结合极大化类内相似度和极小化类间相似度的思想，建立极小化目标函数的优化模型，通过求解模型中的优化问题来实现对注册特征的模板学习。

在人脸注册过程中，首先采集待注册人脸图片P_n，并对所述待注册人脸图片P_n进行人脸检测定位，若能够获得人眼信息，说明人脸检测定位成功，否则，当前采集的待注册人脸图片P_n无效，重新采集。在人脸检测定位成功后，根据眼睛信息对所述图片P_n进行归一化处理，得到指定尺寸大小的人脸图片P_n ^’；再对归一化后的人脸图片P_n ^’进行特征提取，以得到降维后的人脸特征。其中

表示人脸特征向量，通常为一个多维向量矩阵，为待注册的人脸图片的类别标签，例如人脸图片所属用户的编号。同样，对所有负样本和所述类别标签对应的正样本集中的样本进行特征提取，假设其对应的正样本集的样本特征为

，负样本集的样本特征为

，即有N个正样本和M个负样本。所述正样本的类别标签与待注册的人脸图片的类别标签必须相同，即正样本与待注册的人脸图片必须是同一个人的人脸图片。本发明利用给定的正、负样本集，计算得到一个新的特征向量，利用

代替

作为注册特征模板。

所述人脸检测定位主要是确定图像中人脸的位置。目前关于人脸检测存在许多方法，如基于灰度特征、主动形状模型等基于特征的人脸检测方法，主成分分析、Adaboost方法等基于图像的人脸检测方法。在本发明中，可以使用上述任何方法实现人脸检测定位功能。

在人脸检测定位后，需要对器官进行定位，进而调整人脸方向，统一人脸图像的大小，如定位出眼睛位置，指根据眼睛位置信息，将不同尺寸大小的人脸图片归一化为相同尺寸的图片，所述相同尺寸会依据不同的特征提取方式采用不同大小的尺寸。

关于特征提取，目前存在多种特征提取及特征降维的方法，如基于人脸灰度图的LDA、PCA、ICA特征脸方法，以及基于纹理的Gabor小波和局部二元模式(LBP)特征提取方法等。本发明可以采用上述任一方法进行特征提取，只要保证在人脸注册和人脸识别时采用同样的特征提取方法即可。

对待注册人脸特征图片，在得到其降维后的图片特征

后，利用给定的正、负样本集，在实现极大化类内相似度和极小化类间相似度的过程中对模板特征进行学习更新。所述类内相似度指待注册人脸特征与正样本集中的样本的相似度，所述类间相似度指待注册人脸特征与负样本集中的样本的相似度，极大化类内相似度和极小化类间相似度的思想指使待注册的人脸特征与负样本集中的样本的相似度得分最小，与正样本集中的样本的相似度得分最大。

关于样本间的相似度计算目前存在多种度量方式，比较常用的如余弦距离、欧氏距离、马氏距离等。在本发明实施例中，根据不同的相似性度量方法，在学习样本集的样本特征和待注册样本特征间可定义不同的相似度函数。同时基于极大化类内相似度和极小化类间相似度的思想，建立极小化目标函数的优化模型，然后利用优化方法来求解模型中的优化问题，进而实现模板特征的更新。本发明以余弦距离为相似性度量方法进行举例，描述模板学习的思想及目标函数定义、优化模型建立和求解过程。

模板学习的具体步骤如下：

首先，根据待注册人脸特征和预先给定的正负特征样本集建立目标函数；

选择人脸特征的余弦距离做为人脸特征相似性的度量方法。对于待注册人脸图片P_n，对其进行人脸定位、归一化和特征提取，得到归一化后的待注册特征

，利用余弦距离进行相似性度量，首先定义模板特征和类间样本特征

之间的类间相似分数，其中类间样本指负样本集中的样本：

(1)

其中为样本

和之间的余弦距离，即有

(2)

为衡量样本特征

和

间相似性的权值，

为常量。在相似分数公式中添加权值项主要是因为在学习过程中，样本与注册特征的相似度越高，其在学习中就发挥着越重要的作用。同样的，可定义模板特征

和类内样本之间的类内相似分数，其中类内样本指正样本集中的样本：

(3)

至此，为了使获得的学习后的人脸特征与负样本的相似度得分最小，与正样本的相似度得分最大，建立待注册人脸特征与负样本的相似度得分之和及其与正样本的相似度得分之和差值的目标函数：

(4)

当上述目标函数（4）的值最小时，即满足了待注册样本与负样本的类间相似度得分最小，并且与正样本的类内相似度得分最大的条件。

其次，建立使目标函数极小化的优化模型；

为保证更新后的模板特征

和注册样本特征具有较高的相似性，针对以上目标函数，增加模板特征和注册样本特征的相似度得分约束

，

根据情况可以取(0,1)之间的任何数，一般可取0.8。

根据公式（4）中的目标函数的定义及

和

之间的约束，结合极大化类内相似度和极小化类间相似度的思想，确立使目标函数极小化的优化目标，

可通过最小化目标函数

J来定义：

(5)

在公式(5)中，达到目标函数J极小化的目标的同时可以实现极小化注册图片特征

与负样本集

之间的类间相似度，以及极大化与正样本集之间的类内相似度。

达到使目标函数极小化的优化目标，即是提出了使目标函数极小化的问题。目前已经将模板学习思想转化为了求解公式(4)所表示的优化问题。求解公式(4)的具体方法如下：

公式（5）定义了模板学习的一个初步优化模型，在该模型中，在计算目标函数J的最小值的同时可以实现极小化待注册图片特征

和负样本集

之间的类间相似度，以及极大化

与正样本集

之间的类内相似度；

然后，求解模型(5)中的优化问题，得到学习后的人脸特征。

目前已经将模板学习思想转化为求解优化模型（5）中所表示的优化问题，下面将通过变换及替代等操作，简化模型（5），以便于使用现有的优化方法进行求解。

首先，定义

，则余弦相似度可表示为：

。令

，

，同时添加对模板特征的约束：

，则公式(1)和(3)可分别改写为：

(6)

(7)

将公式(6)、(7)代入公式(5)中，得到：

(8)

令

，

，可以得到：

(9)

到目前为止，公式(5)中的优化问题就化简成为公式（9）中描述的有约束的非线性优化问题。根据优化理论中的罚函数方法，该约束问题可以转为公式(9)中的无约束优化问题：

(10)

和

分别是两个惩罚项的罚因子。优化问题(10)可通过如最速下降法、共轭梯度、BB (Barzilai-Borwein)方法等梯度型优化算法进行求解。

公式（10）为模板学习的最终优化模型，通过求解该优化问题，可以得到最终的模板注册特征。特征

经对正负样本集的训练学习，作为注册模板更具有代表性，可提高遮挡、光照、姿态和表情等变化下识别的正确率。

实施例一

下面结合一个具体实施例来说明本发明基于模版学习的人脸注册方法的具体步骤和应用。

第一步，建立人脸模板的学习样本集。

不同的用户对应正样本集中具有相同类别属性的正样本，所有待注册的用户对应一个公用的负样本集。如果在建立负样本集时建立正样本集，正样本集涵盖的类内特征差异性会较大，更适合进行模板学习。

本实施例中，发明人在其所在公司人员和环境进行测试。在预先给定的自然光条件下采集了107077张人脸图片，将其中106853张人脸图片作为训练样本集，224张人脸图片作为负样本集。负样本集中的样本数量越多越好，224个负样本可以为224个人的每人一张人脸图片，并且所述224个人不能作为后续注册的人脸用户。上述的106853张人脸图片作为训练样本集，经训练得出的特征向量降维矩阵，用于对从人脸图片中提取的人脸特征进行降维处理。学习样本集需要存储在人脸注册的设备上，因此为了减少在注册过程中的样本学习时间，可以存储归一化处理后得到的指定大小的样本图片，或者存储按照指定的方法提取的样本特征，本例中，存储按照指定的方法提取的样本特征，其中M=224，

为一个负样本的特征向量。然后，在光线较暗的室内进行101个人的人脸特征注册，每个人分别采集3张人脸图片作为正样本按照指定的方法，提取作为正样本的3张人脸图片的人脸特征

，其中N=3，

为作为正样本的人脸特征向量，

为待注册的人脸图片的类别标签，例如人脸图片所属用户的编号。正样本最好在有光线差异或不同姿态、表情的条件下采集。此处所述101个人不包括作为负样本的224个人。建立负样本集和正样本集的顺序不做限定。

第二步，采集人脸图片，并提取其中的待注册人脸特征。

在光线较暗的室内对第一步中的正样本集中的101个人进行人脸特征注册，分别采集上述101个人的每人15张人脸图片，本例仅以编号为1的用户为例。

采集待注册的人脸图片的具体步骤如下：

首先，采集人脸图片；

值得注意的是，采集装置按照一定的时间间隔采集所述采集装置前的人脸图片，由于在采集装置前的人脸是运动的，所以采集到的人脸图片中可能没有完整的人脸（如：五官不全），或者只有侧面的人脸，这种人脸图片在随后的人脸检测定位程序进行人脸检测定位时，会定位失败，属于无效的人脸图片。只有经人脸检测定位程序定位，成功获得了人眼信息的图片才是符合要求的人脸图片。

其次，对所述人脸图片进行人脸检测定位；

采用指定的方法，如主动形状模型的人脸检测方法对所述人脸图像进行人脸检测定位，获取人眼信息等人脸特征信息。

最后，根据人脸检测定位获得的人眼信息对人脸图片进行归一化，获得指定大小的人脸图片。

采用指定的方法提取待注册用户归一化处理后得到的人脸图片中的人脸特征，并运用前期训练得到的特征向量降维矩阵对所述人脸特征进行降维处理，得到待注册人脸特征{（x₁,y_r）, （x₂,y_r）,…, （x₁₅,y_r）}，其中y_r为类别标签，亦即用户编号，为正整数，如：1。

第三步, 利用所述学习样本集中的样本特征对所述待注册人脸特征进行学习，得到学习后的人脸特征模板。

不同的用户对应正样本集中具有相同类别标签的正样本，所有待注册的用户对应一个公用的负样本集。根据本发明提供的模板学习的方法，将所述待注册人脸特征（x₁,y_r）、3个正样本的特征和224个负样本的特征代入下述优化模型：

w_r=

其中：

，

，

，

和

分别是两个惩罚项的罚因子，

为约束，本例取值为0.8。

通过最速下降法、共轭梯度、BB (Barzilai-Borwein)方法等梯度型优化算法求解上述优化问题，得到学习后的一组人脸特征（w₁,y_r）。同理，将剩余14组待注册的人脸特征模板和3个正样本的特征及224个负样本的特征代入上述公式，分别求解后，得到14组经过学习的人脸特征模板（w₂,y_r）、（w₃,y_r）、（w₄,y_r）、（w₅,y_r）、（w₆,y_r）、（w₇,y_r）、（w₈,y_r）、（w₉,y_r）、（w₁₀,y_r）、（w₁₁,y_r）、（w₁₂,y_r）、（w₁₃,y_r）、（w₁₄,y_r）和（w₁₅,y_r）。

经过上述运算后，可以得到一个用户的进行了学习的15组人脸特征模板{（w₁,y_r）, （w₂,y_r）,…, （w₁₅,y_r）}，保存所述经过学习的15组人脸特征模板，作为人脸识别时的比对依据。

在进行人脸识别时，对于待识别图片，首先采用与人脸注册时相同的方法对采集的待识别人脸图片进行人脸检测定位，并根据眼睛信息进行归一化；对归一化后的小图进行特征提取，得到待识别的人脸特征

，然后与保存的模板特征集{（w₁, y_n）, （w₂,y_n）,…, （w₁₅,y_n）}进行比对，其中y_n为正整数，是人脸识别系统中已经注册的所有用户的属性标识（如编号），根据比对分数来对其进行分类识别。

通过本发明提供的基于模板学习方法的人脸注册方法，通过待注册的人脸特征对预先给定的正负样本集中的人脸特征进行学习，使经过模板学习后的人脸特征更具有典型性，对遮挡、光照、姿态和表情变化也具有很好的鲁棒性，在人脸识别过程中有效的降低了拒识率和误识率，提高了识别效率。

以下是利用本发明的方法进行人脸特征注册和人脸识别的实验数据：

为了验证本发明在真实人脸识别过程中的效果，本发明人在其所在公司人员和环境进行测试。在预先给定的自然光条件采集的106853张人脸图片作为训练集，224张人脸图片作为负样本集的条件下，在光线较暗的室内进行1818张人脸图片特征注册，分别在光线不同的4个场景对已经注册和未注册的人员进行人脸识别，得到的识别率对比结果见下表，测试结果如表1，其中第一行数据为无模板学习的人脸识别系统得出的测试结果，第二行为增加了模板学习的本发明的测试结果：

表1

人脸注册方法	室内场景1	室外场景1	室外场景2	室外场景3
					无模板学习	87.08%	49.68%	52.05%	57.06%
本发明方法	95.92%	61.38%	61.38%	64.38%

根据表1中的测试结果，本文提出的基于模板学习的人脸识别方法在自然光条件下的人脸识别有很好的实验结果，识别率有5到10个百分点的提升。同样在红外光线条件下也进行了类似的实验，实验结果表明，在红外光照条件下采用本发明提供的基于模板学习的人脸注册方法，人脸识别的识别率也有3到6个百分点的提升。

发明人针对化妆、人脸部分遮挡、不同姿态、表情也做了相应测试，采用本发明提供的基于模板学习方法的人脸注册方法，通过待注册的人脸特征对预先给定的正负样本集中的人脸特征进行学习，使经过模板学习后的人脸特征更具有典型性，对化妆、遮挡、光照、姿态和表情变化也具有很好的鲁棒性，在人脸识别过程中有效的降低了拒识率和误识率，提高了识别效率。

实施例二

在实际应用中，受存储空间的限制，通常正样本不是预先给出，而是在用户注册人脸特征时同时建立的，完成模板学习后，即将正样本集删除，可以节约注册系统的存储空间。本实施例将建立正样本集融合到人脸注册过程中的基于模板学习的人脸注册方法做简单的描述。

第一步，建立人脸模板的学习负样本集。

本步骤与实施例一的第一步的区别在于，没有预先建立正样本集，仅建立了负样本集。本例中同样采用实施例一的负样本集

，其中M=224，

为一个负样本的特征向量。

第二步，采集多张人脸图片，并分别从中提取一组人脸特征，然后从提取的多组人脸特征中抽取至少一组人脸特征用于建立人脸模板的学习正样本集。

本例在注册人脸用户时，多采集几张当前注册用户的人脸图片，作为该用户人脸特征的正样本集来源。

通常每一个人脸用户需要预先注册多组人脸特征模板，预先注册的人脸特征模板数量越多，人脸特征模板涵盖的人脸特征越全面，识别准确性越高。但是，在注册的人脸用户数量巨大的情况下，每个人的人脸特征模板数量越多，识别比对的速度就会下降。所以每个人预先注册多少组人脸特征模板，需要根据具体应用确定。本例中每个人需要预先注册15组人脸特征模板。在注册人脸特征模板时，为每个注册用户多采集3张当前注册用户的人脸图片，作为该用户的人脸特征正样本集来源。即在注册时，为每个用户采集18张人脸图片，随机抽取3张人脸图片作为正样本来源，或根据人脸图片的采集顺序，分时间段抽取其中的3张作为正样本来源，本例中抽取第1张、第6张、第11张作为正样本来源，其余15张人脸图片作为待注册图片。所述正样本在遮挡、光照、姿态、表情等方面的差异性越大，对样本进行学习后的人脸特征模板鲁棒性越强。

采集待注册的人脸图片的具体步骤同实施例一。

采用指定的方法分别从经归一化处理后人脸图片中提取人脸特征，并运用前期训练得到的特征向量降维矩阵对所述人脸特征进行降维处理，每张人脸图片提取1组人脸特征，得到18组人脸特征{（x₁,y_r）, （x₂,y_r）,…, （x₁₈,y_r）}。然后，抽取其中作为正样本来源的3张人脸图片的人脸特征：第1组、第6组、第11组人脸特征作为该用户用来进行模板学习的正样本，得到该用户的人脸特征正样本集，其中N=3，y_r为类别属性，如用户编号，如1。

其他15组人脸特征作为待注册人脸特征{（x₁,y_r）, （x₂,y_r）,…, （x₁₅,y_r）}，其中y_r为类别属性，如用户编号，为正整数，如：1。

第三步，利用所述学习样本集中的样本特征对所述待注册人脸特征进行学习，得到学习后的人脸特征模板。

利用本实施例第一步建立的负样本集和第二步建立的正样本集，本步骤采用与实施例一的第三步相同的方法对待注册的人脸特征进行学习，在此不再赘述。

经过学习后，可以得到一个用户的优化的15组人脸特征模板{（w₁,y_r）, （w₂,y_r）,…, （w₁₅,y_r）}，保存所述经过学习的15组人脸特征模板，作为人脸识别时的比对依据。

本发明还提供了一种基于模板学习的注册人脸特征的装置，如图5所示，该装置包括：

样本集建立模块，用于建立模板学习样本集，所述模板学习样本集包括正样本集和负样本集，所述正样本集包含至少一个正样本，所述负样本数量可以为零。

如图6所示，所述模板学习模块进一步包括：

运算子模块，求解优化模型，进而获得新的注册人脸特征。

通过本发明提供的基于模板学习的人脸注册装置，待注册的人脸特征对给定的正负样本集中的人脸特征进行学习，使经过学习后的人脸特征模板更具有典型性，对化妆、遮挡、光照、姿态和表情变化也具有很好的鲁棒性，在人脸识别过程中有效的降低了拒识率和误识率，提高了识别效率。

以上对本发明所提供的一种基于模板学习的人脸特征注册方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于模板学习的人脸注册方法，其特征在于，包括：

建立人脸模板的学习样本集；

采集人脸图片，并提取其中的待注册人脸特征；

利用所述学习样本集中的样本特征对所述待注册人脸特征进行学习，得到学习后的人脸特征模板。

2.根据权利要求1所述的方法，其特征在于，所述学习样本集包括包含至少一个正样本的正样本集。

3.根据权利要求2所述的方法，其特征在于，所述正样本包括待注册人脸的人脸图片或按照指定的方法提取的待注册人脸图片的人脸特征。

4.根据权利要求3所述的方法，其特征在于，所述人脸图片包含遮挡、和/或光照、和/或姿态、和/或表情的差异性。

5.根据权利要求2所述的方法，其特征在于，所述学习样本集还包括负样本集。

6.根据权利要求5所述的方法，其特征在于，所述负样本集中的负样本包括除待注册人脸外的人脸图片或按照指定的方法提取的除待注册人脸外的其他人脸的人脸特征。

7.根据权利要求1所述的方法，其特征在于，所述建立人脸模板的学习样本集包括建立负样本集。

8.根据权利要求7所述的方法，其特征在于，所述采集人脸图片，并提取其中的待注册人脸特征，还包括建立用于模板学习的正样本集。

9.根据权利要求1所述的方法，其特征在于，利用所述学习样本集中的样本特征对所述待注册人脸特征进行学习，得到学习后的人脸特征模板，进一步包括：

根据待注册人脸特征和学习样本集特征定义目标函数；

建立使目标函数极小化的优化模型；

求解优化模型，获得学习后的人脸特征。

10.根据权利要求9所述的方法，其特征在于，所述根据待注册人脸特征和学习样本集特征定义目标函数，包括：选择相似度度量方法，并建立待注册人脸特征与负样本的相似度得分之和及其与正样本的相似度得分之和差值的目标函数。

11.根据权利要求10所述的方法，其特征在于，所述建立使目标函数极小化的优化模型，还包括：针对目标函数设置模板特征和注册样本特征的相似度得分的约束，确定使目标函数极小化的优化目标，建立优化模型。

12.一种基于模板学习的人脸注册装置，其特征在于，包括：

样本集建立模块，用于建立模板学习样本集，所述模板学习样本集包括包含至少一个正样本的正样本集；

模板学习模块，提取采集的待注册人脸图片中的人脸特征，利用所述学习样本集中的样本特征对待注册图片特征进行学习，得到学习后的人脸特征模板。

13.根据权利要求12所述的装置，其特征在于，所述模板学习模块进一步包括：

运算子模块，求解优化模型，进而获得新的注册人脸特征。