CN103902962A - 一种遮挡或光源自适应人脸识别方法和装置 - Google Patents

Abstract

本发明公开了一种遮挡自适应人脸识别方法，包括：步骤1，针对人脸图片训练集中每一样本提取遮挡特征；步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果；步骤4，对待识别图片进行识别，获得识别结果；步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，根据检测结果对上述识别结果进行调整。利用本发明的方案可以提高遮挡环境变化时的识别率和通过率。

Description

一种遮挡或光源自适应人脸识别方法和装置

技术领域

本发明涉及计算机图像处理和模式识别领域，特别涉及一种遮挡或光源自适应人脸识别方法和装置。

背景技术

作为身份识别的有效技术，近年来人脸识别技术得到迅速发展和广泛应用。在过去的几十年里，人脸识别已在商业和执法部门得到广泛应用，例如刑事鉴定、信用卡识别、安全系统、现场监控、门禁考勤等。

随着在实际中应用的推广，人脸识别存在的问题和难点也逐渐凸显出来。眼镜、刘海和胡子等人脸遮挡物的变化，会导致一个人的不同环境下的差异性大于不同人相同环境下的差异性。此外，光照、化妆及年龄等因素也会增加人脸识别的困难。

在无约束场景应用中，人脸遮挡物的变化在增加识别困难的同时，也会影响不同场景中阈值规则的设定。如待识别图片戴眼镜，对应的模板图片不戴眼镜，与待识别图片相似度最高的有可能为模板库中的戴眼镜图片，而其对应的正确的模板图片在前N选中，若只根据首选进行识别判断，就会降低此类情况下的识别性能。同时，待识别图片与模板图片的遮挡环境一致时的识别得分分布，和待识别图片与模板图片的遮挡环境不一致时的识别得分分布也是不相同的，进而要求有不同的识别通过阈值。因此在无约束环境下的人脸识别，在保证人脸识别正确的同时，需要尽可能的提升应用场景变化下的通过率。

图1为不同遮挡下的人脸图像，遮挡分别为眼镜遮挡、眼镜反光、刘海和胡须遮挡，图2为两种识别环境下的得分分布图，两条曲线分别为戴眼镜注册戴眼镜识别的得分分布曲线和不戴眼镜注册戴眼镜识别下的得分分布曲线。

此外，在人脸识别中，光源差异导致的人脸识别问题也逐渐凸显出来，在安防和现场监控等问题中，模板库中数万张的人脸图片本身就存在光源差异，即采集设备迥异导致图片质量存在重大差异，而监控设备采集到的图片又是另外一种光源条件下的图片，这种光源差异导致人脸识别几乎不可能。异源人脸图像识别也成为当前人脸识别中的重要研究课题。在图3中给出了不同光源下同一个人的人脸图片，三张图片分别为红外人脸图像，专业相机下的证件照，普通可见光摄像头采集的人脸图像。从图中可以看出，光源的差异导致图片成像的差异，进而为识别带来了困难。

发明内容

为了克服现有技术的上述缺陷，本发明提供了一种遮挡或光源自适应人脸识别方法和装置。

本发明提供的遮挡自适应人脸识别方法包括：步骤1，针对人脸图片训练集中每一样本提取遮挡特征；步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果；步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N＞1；步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，并将选取的前N选的模板图片的遮挡检测结果与待识别图片的遮挡检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

可选地，所述遮挡是单遮挡因素或者是多种遮挡因素的组合。

可选地，所述人脸图片训练集采集不同遮挡条件下的样本图片，并根据遮挡环境的不同，对训练图片集进行标注。

可选地，步骤5进一步包括根据得分修正函数对得分进行调整，以将不同遮挡下的相似度得分变换到同一种分布上。

本发明还提供了一种遮挡自适应的人脸识别装置，该装置包括：遮挡特征提取单元，用于针对人脸图片训练集中每一样本提取遮挡特征；遮挡检测模型建立单元，用于基于遮挡特征，进行统计学习建模，建立遮挡检测模型，以检测图片中是否存在遮挡；遮挡检测单元，用于对人脸图片进行遮挡检测；模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据遮挡检测单元对图片进行遮挡检测，保存检测结果；图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N＞1；得分修正单元，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。

本发明还提供了一种光源自适应人脸识别方法，该方法包括如下步骤：步骤1，针对人脸图片训练集中每一样本提取光源特征；步骤2，基于光源特征，进行统计学习建模，建立光源检测模型，用于检测图片中的光源环境类型；步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行光源检测，保存光源检测结果；步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N＞1；步骤5，利用所述光源检测模型对待识别图片进行光源检测，并将选取的前N选的模板图片的光源检测结果与待识别图片的光源检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

本发明还提供了一种光源自适应的人脸识别装置，该装置包括：光源特征提取单元，用于针对人脸图片训练集中每一样本提取光源特征；光源检测模型建立单元，用于基于光源特征，进行统计学习建模，建立光源检测模型，以检测图片中的光源环境类型；遮挡检测单元，用于对人脸图片进行光源检测；模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据光源检测单元对图片进行光源检测，保存检测结果；图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N＞1；得分修正单元，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。

本发明提出的遮挡自适应人脸识别方法和装置，在提升遮挡条件下的人脸识别性能的同时，也解决了不同遮挡变化下的阈值设定问题。此外，本发明提出的遮挡环境自适应识别方案，也可以应用于光源环境自适应识别中。

附图说明

图1示出了不同遮挡条件下的人脸图片；

图2为利用现有技术的识别方法在两种不同环境下进行人脸识别的得分曲线图；

图3为不同光源条件下同一个人的人脸图像；

图4为根据本发明的遮挡自适应人脸识别方法流程图；

图5为利用本发明的方法在注册和识别眼镜环境相同的情况下欧氏距离得分分布曲线图；

图6为利用本发明的方法在注册和识别眼镜环境不同的情况下欧氏距离得分分布曲线图；

图7为根据本发明的遮挡自适应人脸识别装置结构框图；

图8为根据本发明光源自适应人脸识别方法的流程图；

图9为根据本发明的光源自适应人脸识别装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提供了一种遮挡自适应人脸识别方法，该方法的基本原理是：首先针对图片训练集提取遮挡特征，基于遮挡特征，进行统计学习建模，建立遮挡检测模型。在遮挡检测过程中，对图片提取遮挡特征，根据遮挡检测模型输出检测结果。在注册过程中，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果。在识别过程中，首先提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N(N＞1)选最高相似度的模板图片和相似度得分；然后对待识别图片进行遮挡检测，并将选取的前N选的模板图片的遮挡检测结果与待识别图片的检测结果进行比对，若遮挡不同，则根据遮挡检测的结果差异，进行得分调整；最后将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

本发明中提到的遮挡，可以是单遮挡因素，如是否戴眼镜，或眼镜反光变化，或者刘海变化，也可以是多种遮挡的组合，如将是否戴眼镜和眼镜反光结合、或者将胡子和刘海结合，或者将眼镜、刘海、胡子等遮挡结合。当光源发生变化时，人脸识别的相似度得分分布也会发生变化，所以本发明提出的遮挡自适应识别方案也可应用于光源自适应识别。

本发明提出的遮挡自适应人脸识别方法，在提升遮挡条件下的人脸识别性能的同时，也解决了不同遮挡变化下的阈值设定问题。此外，本发明提出的遮挡环境自适应识别方案，也可以应用于光源环境自适应识别中。图4为根据本发明一实施例提出的遮挡自适应人脸识别方法的流程图。其中以眼镜和眼镜反光组合为遮挡因素为例来进行说明。参照图4，该方法包括：步骤1，建立遮挡模型；步骤2，模板注册；步骤3，图片识别。

其中步骤1的建立遮挡模型步骤进一步包括：步骤1.1，收集不同遮挡条件下的训练图片，根据遮挡条件的不同形成不同的样本集。

由于不同遮挡条件下，人脸识别的相似度分布不同。为解决遮挡条件下的人脸识别问题，建立不同遮挡下的统计学习模型，需要采集不同遮挡条件下的样本图片，提取其遮挡特征。以眼镜和眼镜反光的遮挡组合为例，需要采集不戴眼镜、戴眼镜、戴眼镜但无反光、戴眼镜但有反光等条件下的人脸图片，构建遮挡统计学习模型的训练图片集，并对训练图片集进行标注。根据遮挡环境的不同，分别标注为眼镜检测正样本集，眼镜检测负样本集，眼镜反光检测正样本集，眼镜反光检测负样本集。其中戴眼镜的人脸图片为眼镜检测正样本，不戴眼镜的人脸图片为眼镜检测负样本；戴眼镜且眼镜有大面积反光的为眼镜反光检测正样本，戴眼镜无反光则为眼镜反光检测负样本。在该示例中，k＝2，C1＝1表示戴眼镜，C1＝-1表示不戴眼镜，C2＝1表示眼镜有反光，C2＝-1表示无眼镜反光。

步骤1.2，提取在步骤1.1中形成的各样本集中的图片的遮挡特征。

在该步骤，针对步骤1.1中标注的各样本集，对样本集中的每一个图片都提取遮挡特征。对于眼镜检测样本提取眼镜特征，对于眼镜反光样本提取眼镜反光特征。因为眼镜的外观特征与眼镜反光的外观特征不同，所以在提取遮挡特征时，需要分别提取两组特征，即眼镜特征和眼镜反光特征，并分别建立两个统计学习模型，即眼镜检测模型和眼镜反光模型。

只要能反映出是否带眼镜的差异性的特征都可以用于遮挡模型的建立，如提取眼镜轮廓边缘的梯度特征、反映眼镜区域灰度变换的局部二值模式(LBP，Local Binary Pattern)LBP特征或简单的灰度特征，都可用于遮挡统计学习模型的建立。

本发明以LBP特征为例，描述一种眼镜特征的提取过程：在定位到人脸眼睛位置后，根据眼睛位置来获取眼镜检测区域。设人眼位置为左眼(Lx，Ly)，右眼(Rx，Ry)，计算两眼间的欧式距离

以眼距d为尺度标准，双眼连线中点为眼镜检测区域中心点，提取长宽分别为wd、hd大小的矩形，并以标准眼距D、双眼连线水平为标准，对选择的眼镜检测区域进行仿射归一化变换，得到大小为wD*hD的矩形区域作为标准的眼镜检测区域。然后在此区域上提取LBP特征，获取L维的眼镜特征。

由于眼镜反光在灰度上反映为高亮区域，因此以二值统计特征为例，来描述眼镜反光特征的提取过程。根据从大量眼镜反光图片的统计来经验的获取一个灰度阈值g，以灰度阈值g为标准，若像素值低于g，则该像素点赋值为0，反之，赋值为1。然后，将眼镜检测区域分为m*n个子块，统计每个子块中1的个数，从而建立一个长度为m*n的二维统计特征。

步骤1.3，利用步骤1.2提取的遮挡特征建立遮挡检测模型。

在步骤1.2提取图片的遮挡特征后，在步骤1.3可以利用统计学习的方法来建立遮挡检测模型，在本发明中，统计学习方法主要是有监督的学习方法，通过有监督的学习来建立统计学习模型，遮挡检测模型通过使用神经网络、决策树、支持向量机、期望最大化等方法来建立。

下面以支持向量机(SVM，Support Vector Machine)为例，对遮挡检测模型建立过程进行具体描述。

首先建立眼镜检测的SVM模型M_g以线性SVM为例，整理训练图片集中眼镜检测的正负样本集，根据步骤1.2描述，对每一个样本提取眼镜检测特征，构造SVM训练的特征集

其中，x_i表示样本特征，y_i表示样本类别标签，y_i＝1表示为正样本，y_i＝-1表示为负样本。通过优化学习来获取最优分类面W_g和阈值b。基于眼镜检测的SVM模型，对于新的图片，其眼镜检测模型可表述为，首先提取图片的眼镜检测特征向量X，然后根据训练好的SVM模型对眼镜进行检测，若

则图片中有眼镜，否则无眼镜。

同样的，可建立眼镜反光的统计学习模型M_f，基于该模型，进行眼镜反光检测。

在步骤1建立遮挡检测模型之后，在步骤2执行模板图片的注册。

在人脸识别方法中，在进行识别之前，需要进行模板注册。传统的模板注册过程为：采集模板图片，进行人脸检测和眼睛定位，获取归一化后的人脸图片，基于归一化后的人脸图片提取并保存识别特征。

在本发明中，模板注册过程具体包括步骤：

步骤2.1，按照传统的模板注册过程基于归一化后的人脸图片提取并保存识别特征。

步骤2.2，提取模板图片的遮挡特征。以眼镜检测和眼镜反光检测为例，在模板图片注册过程中，在提取识别特征的同时，提取眼镜特征和眼镜反光特征。

步骤2.3，利用遮挡检测模型对模板图片进行遮挡检测，保存遮挡检测结果。仍以眼镜检测和眼镜反光检测为例，根据训练好的眼镜统计学习模型和眼镜反光统计学习模型进行眼镜检测和眼镜反光检测，与模板图片的识别特征一起，保存遮挡检测结果(C1，C2)，若C1＝1，C2＝-1则表示模板图片戴眼镜且眼镜无反光，若C1＝-1则表示模板图片不戴眼镜。

在步骤3，利用已经建立的遮挡检测模型对待识别图片进行识别。

在传统的人脸识别过程为，采集待识别图片，进行人脸检测和眼睛定位，获取归一化后的人脸图片，基于归一化后的人脸图片提取识别特征；与模板图片集的识别特征进行比对，选取相似度最高的模板图片作为识别结果。

步骤3的识别过程进一步包括：

步骤3.1，利用传统的人脸识别过程采集待识别图片，进行人脸检测和眼睛定位，获取归一化后的人脸图片，基于归一化后的人脸图片提取识别特征。在提取识别特征的同时，对该归一化后的人脸图片，提取遮挡特征，并利用遮挡检测模型进行遮挡检测以得到遮挡检测结果。

步骤3.2，将待识别图片的识别特征与模板图片的识别特征进行比对时，选取相似度最高的前N选的模板图片集和其识别得分{S₁，S₂，...，S_N}，N＞1，其中前N选的意思是选择相似度最高的前N个候选人对应的模板图片，若每个人的注册模板图片只有一张，则前N选即为相似度最高的前N张图片，若每个人模板图片不止一张，则前N选为最相似的前N个人，模板图片为每个人里面最相似的那张模板图片。

步骤3.3，保存前N选的模板图片的相似度得分和遮挡检测结果。

步骤3.4，比较待识别图片与这N张模板图片的遮挡检测结果，若待识别图片的遮挡检测结果与模板图片的遮挡检测结果相同，则不进行得分修正，否则根据检测的差异性进行得分修正，并对修正后的得分重新排序，选取相似度最高的模板图片作为识别结果。其中检测的差异性主要体现在：模板和待识别图片的眼镜环境不一致、模板和待识别图片的眼镜反光环境不一致、或者眼镜环境和眼镜反光环境均不一致。相似度调整根据差异性的不同进行调整，差异性越大，则调整量越大。

以眼镜和眼镜反光组合遮挡为例，若待识别图片与第i个候选的模板图片的眼镜检测结果不一致，也就是检测到待识别图片中有眼镜，而模板图片中却无眼镜，或者是检测到待识别图片中无眼镜，而模板图片中有眼镜，则对识别得分S_i进行修正，

f_g为修正函数，以线性函数为例：f_g(S_i)＝S_i+Δ_g。若眼镜反光检测不一致，也就是检测到待识别图片中有眼镜反光，而模板图片中却无眼镜反光，或者是检测到待识别图片中无眼镜反光，而模板图片中有眼镜反光，则有修正同样，以线性函数为例：f_f(S_i)＝S_i+Δ_f。若两种遮挡环境均不一致，也就是检测到待识别图片中有眼镜并且有眼镜反光，而模板图片中无眼镜，或者是检测到待识别图像中无眼镜，而模板图片中有眼镜并且有眼镜反光，则有

其中，f_g和f_f分别为眼镜遮挡的相似度得分修正函数和眼镜反光的相似度修正函数，以线性函数为例则有：f_f(f_g(S_i))＝S_i+Δ_g+Δ_f。

在本发明中，得分修正函数的目的是将不同遮挡下的相似度得分变换到同一种分布上，根据遮挡情况的不同，该经验函数也会不一样。以眼镜和眼镜反光为例，得分修正函数为一个平移函数。

利用本发明的方法对眼镜自适应识别进行实验所获取的实验数据也能够证明利用本发明能够有效提高遮挡环境变化时的识别率和通过率，下面对该实验进行说明。

该实验过程所选取的不同环境主要是指是否带眼镜。环境的差异性体现在戴眼镜注册不戴眼镜识别、戴眼镜注册戴眼镜识别、以及注册和识别均不戴眼镜。

图5为注册和识别眼镜环境相同的情况下欧氏距离得分分布曲线图。曲线1为注册无眼镜识别无眼镜下的欧式距离得分分布。曲线2为注册有眼镜识别有眼镜下的欧式距离得分分布。从得分分布图来看，当注册和识别眼镜环境一致时，得分分布基本无差异。

图6为注册和识别眼镜环境不同的情况下欧氏距离得分分布曲线图。曲线1为注册无眼镜识别无眼镜下的欧式距离得分分布；曲线2为注册无眼镜识别有眼镜下的欧式距离得分分布；曲线3为注册有眼镜识别有眼镜下的欧式距离得分分布；曲线4为注册有眼镜识别无眼镜下的欧式距离得分分布。从图中可以看出，当注册和识别眼镜环境不一致时，欧式距离得分整体偏高，基于眼镜环境一致下的阈值会降低眼镜环境不一致的识别通过率，因此在眼镜自适应识别中，需要对眼镜环境不一致的识别得分进行调整修正。

在该实验过程中，判断注册和识别时眼镜环境是否存在差异，若存在差异则进行得分修正。其中在注册过程增加眼镜检测环节，并作为模板数据之一进行保存。

识别过程包括：1)在归一化小图上进行眼镜检测；2)识别过程完成时，比较注册和识别图片的眼镜环境，若眼镜环境不一致，则进入(3)，否则进入(4)。3)修正识别得分：得分＝得分-眼镜差异得分；4)将得分与阈值比较，进行通过判断。

在该实验过程中：训练工具为线性SVM；训练数据为正样本8734个，负样本11613个；训练特征为在归一化后的64*64人脸图片上，选取上半部分的32*64的图片，提取512维的robert特征；实验结果为：E356A数据：61人注册，41人戴眼镜，20人无眼镜。

得分修正：两个特征的眼镜差异得分为{Gabor＝0.6，LBP＝0.7}。

本发明还提供了一种遮挡自适应人脸识别装置，其执行上述所描述的自适应人脸识别方法。

图7为该遮挡自适应人脸识别装置的结构框图，参照图7，该装置包括：遮挡特征提取单元701，用于针对人脸图片训练集中每一样本提取遮挡特征；遮挡检测模型建立单元702，用于基于遮挡特征，进行统计学习建模，建立遮挡检测模型，以检测图片中是否存在遮挡；模板图片注册单元703，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据遮挡检测单元对图片进行遮挡检测，保存检测结果；图片识别单元704，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N＞1；；遮挡检测单元705，用于对人脸图片进行遮挡检测；得分修正单元706，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。

其中得分修正单元706将选取的前N选的模板图片的遮挡检测结果与待识别图片的检测结果进行比对，若比对结果不同，则根据相似度调整函数f_g和f_f对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

利用本发明所提供的遮挡自适应的人脸识别方法可以提高遮挡环境变化时的识别率和通过率。

因为遮挡条件一般都有明确的类别标签，即有遮挡或无遮挡，根据这个特点，本发明的方法提出利用有监督的统计学习方法来建立遮挡检测模型，实现对遮挡条件的检测。训练图片标定简单，收集方便，有监督学习获得的统计学习模型的检测准确度高。

通过比较识别图片和前N选模板图片的遮挡检测结果，修正与前N选的模板图片的相似度得分，根据修正得分进行识别。该方案在克服不同遮挡条件下得分分布不同的同时，提高了识别率。

根据本发明的一实施例，还提供了一种光源自适应人脸识别方法，该方法的基本原理是：首先针对图片训练集提取光源特征，基于光源特征，进行统计学习建模，建立光源检测模型。在光源检测过程中，对图片提取光源特征，根据光源检测模型输出检测结果。在注册过程中，提取和保存模板图片的识别特征，并对模板图片进行光源检测，保存光源检测结果。在识别过程中，首先提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N(N＞1)选最高相似度的模板图片和相似度得分；然后对待识别图片进行光源检测，并将选取的前N选的模板图片的光源检测结果与待识别图片的检测结果进行比对，若光源不同，则根据光源检测的结果差异，进行得分调整；最后将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

本发明中提到的光源自适应包括，包括红外人脸图片与可见光人脸图片之间的自适应、不同采集设备获取的人脸图片识别间的自适应。图3为同一个人在不同光源条件下的人脸图片。本发明提出的光源自适应人脸识别方法，在提升光源条件下的人脸识别性能的同时，也解决了不同光源变化下的阈值设定问题。图8为根据本发明一实施例提出的光源自适应人脸识别方法的流程图。其中以红外光和可见光为光源因素为例来进行说明。参照图8，该方法包括：步骤1，建立光源模型；步骤2，模板注册；步骤3，图片识别。

其中步骤1的建立光源模型步骤进一步包括：步骤1.1，收集不同光源条件下的训练图片，根据光源条件的不同形成不同的样本集。

由于不同光源条件下，人脸识别的相似度分布不同。为解决光源条件下的人脸识别问题，建立不同光源下的统计学习模型，需要采集不同光源条件下的样本图片，提取其光源特征。以红外光和可见光的光源自适应为例，需要采集红外光源和可见光源下的人脸图片，构建光源统计学习模型的训练图片集，并对训练图片集进行标注。对于红外光源图片标记为正样本集，非红外光源图片即可见光源图片标记为负样本集。在该示例中，k＝1，C1＝1表示红外光源，C1＝-1表示可见光源。

步骤1.2，提取在步骤1.1中形成的各样本集中的图片的光源特征。

在该步骤，针对步骤1.1中标注的各样本集，对样本集中的每一个图片都提取光源特征。只要能反映出光源差异性的特征都可以用于光源模型的建立，如反应图片灰度变化的局部二值模式(LBP，Local Binary Pattern)LBP特征或简单的灰度特征，都可用于光源统计学习模型的建立。

本发明以LBP特征为例，描述一种光源特征的提取过程：在定位到人脸后，提取对齐归一化后的人脸图片，基于人脸图片提取LBP特征，获取L维的光源特征。

步骤1.3，利用步骤1.2提取的光源特征建立光源检测模型。

在步骤1.2提取图片的光源特征后，在步骤1.3可以利用统计学习的方法来建立光源检测模型，在本发明中，统计学习方法主要是有监督的学习方法，通过有监督的学习来建立统计学习模型，光源检测模型通过使用神经网络、决策树、支持向量机、期望最大化等方法来建立。

下面以支持向量机(SVM，Support Vector Machine)为例，对光源检测模型建立过程进行具体描述。

首先建立光源检测的SVM模型M_g以线性SVM为例，整理训练图片集中光源检测的正负样本集，根据步骤1.2描述，对每一个样本提取光源检测特征，构造SVM训练的特征集

其中，x_i表示样本特征，y_i表示样本类别标签，y_i＝1表示为正样本，y_i＝-1表示为负样本。通过优化学习来获取最优分类面W_g和阈值b。基于光源检测的SVM模型，对于新的图片，其光源检测模型可表述为，首先提取图片的光源检测特征向量X，然后根据训练好的SVM模型对图片光源进行检测，若

则表示图片为红外光源图片，否则为可见光源图片。

在步骤1建立光源检测模型之后，在步骤2执行模板图片的注册。

在人脸识别方法中，在进行识别之前，需要进行模板注册。传统的模板注册过程为：采集模板图片，进行人脸检测和眼睛定位，获取归一化后的人脸图片，基于归一化后的人脸图片提取并保存识别特征。

在本发明中，模板注册过程具体包括步骤：

步骤2.1，按照传统的模板注册过程基于归一化后的人脸图片提取并保存识别特征。

步骤2.2，提取模板图片的光源特征。以红外光源和可见光源自适应为例，在模板图片注册过程中，在提取识别特征的同时，提取人脸图片的光源特征。

步骤2.3，利用光源检测模型对模板图片进行光源检测，保存光源检测结果。仍以红外光源和可见光源自适应为例，根据训练好的光源检测统计学习模型进行光源环境检测，与模板图片的识别特征一起，保存光源检测结果C1，若C1＝1则表示模板图片为红外光源图片，若C1＝-1则表示模板图片为可见光源图片。

在步骤3，利用已经建立的光源检测模型对待识别图片进行识别。

在传统的人脸识别过程为，采集待识别图片，进行人脸检测和眼睛定位，获取归一化后的人脸图片，基于归一化后的人脸图片提取识别特征；与模板图片集的识别特征进行比对，选取相似度最高的模板图片作为识别结果。

在本发明，步骤3的识别过程进一步包括：

步骤3.1，利用传统的人脸识别过程采集待识别图片，进行人脸检测和眼睛定位，获取归一化后的人脸图片，基于归一化后的人脸图片提取识别特征。在提取识别特征的同时，对该归一化后的人脸图片，提取光源特征，并利用光源检测模型进行光源检测以得到光源检测结果。

步骤3.2，将待识别图片的识别特征与模板图片的识别特征进行比对时，选取相似度最高的前N选的模板图片集和其识别得分{S₁，S₂，...，S_N}，N＞1，其中前N选的意思是选择相似度最高的前N个候选人对应的模板图片，若每个人的注册模板图片只有一张，则前N选即为相似度最高的前N张图片，若每个人模板图片不止一张，则前N选为最相似的前N个人，模板图片为每个人里面最相似的那张模板图片。

步骤3.3，保存前N选的模板图片的相似度得分和光源检测结果。

步骤3.4，比较待识别图片与这N张模板图片的光源检测结果，若待识别图片的光源检测结果与模板图片的光源检测结果相同，则不进行得分修正，否则根据检测的差异性进行得分修正，并对修正后的得分重新排序，选取相似度最高的模板图片作为识别结果。其中检测的差异性主要体现在：模板图片为红外光源图片，待识别图片为可见光源图片；或者模板图片为可见光源图片，待识别图片为红外光源图片。

以红外光源和可见光源自适应为例，若待识别图片与第i个候选的模板图片的光源检测结果不一致，也就是检测到待识别图片为红外图片，而模板图片为可见光图片，或者是检测到待识别图片为可见光图片，而模板图片为红外图片，则对识别得分S_i进行修正，

f_l为修正函数，以线性函数为例：f_l(S_i)＝S_i+Δ_l。

在本发明中，得分修正函数的目的是将不同光源下的相似度得分变换到同一种分布上，根据光源情况的不同，该经验函数也会不一样。以红外光源和可见光源自适应为例，得分修正函数为一个平移函数。

利用本发明所提供的光源自适应的人脸识别方法可以提高光源环境变化时的识别率和通过率。

因为光源条件一般都有明确的类别标签，即有红外光源、可见光源以及不同压缩率下的图片，根据这个特点，本发明的方法提出利用有监督的统计学习方法来建立光源检测模型，实现对光源条件的检测。训练图片标定简单，收集方便，有监督学习获得的统计学习模型的检测准确度高。

通过比较识别图片和前N选模板图片的光源检测结果，修正与前N选的模板图片的相似度得分，根据修正得分进行识别。该方案在克服不同遮光源条件下得分分布不同的同时，提高了识别率。

本发明还提出一种光源自适应人脸识别装置。图9为该装置的结构框图，参照图9，该装置包括：光源特征提取单元901，用于针对人脸图片训练集中每一样本提取光源特征；光源检测模型建立单元902，用于基于光源特征，进行统计学习建模，建立光源检测模型，以检测图片中的光源环境类型；模板图片注册单元903，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据光源检测单元对图片进行光源检测，保存检测结果；图片识别单元904，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N＞1；光源检测单元905，用于对人脸图片进行光源检测；得分修正单元906，根据待识别图片与模板图片的光源检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遮挡自适应人脸识别方法，该方法包括如下步骤：

步骤1，针对人脸图片训练集中每一样本提取遮挡特征；

步骤2，基于遮挡特征，进行统计学习建模，建立遮挡检测模型，用于检测图片中是否存在遮挡；

步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行遮挡检测，保存遮挡检测结果；

步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N＞1；

步骤5，利用所述遮挡检测模型对待识别图片进行遮挡检测，并将选取的前N选的模板图片的遮挡检测结果与待识别图片的遮挡检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述遮挡是单遮挡因素或者是多种遮挡因素的组合。

3.根据权利要求2所述的方法，其特征在于，所述人脸图片训练集采集不同遮挡条件下的样本图片，并根据遮挡环境的不同，对训练图片集进行标注。

4.根据权利要求2所述的方法，其特征在于，步骤5进一步包括根据得分修正函数对得分进行调整，以将不同遮挡下的相似度得分变换到同一种分布上。

5.一种遮挡自适应的人脸识别装置，该装置包括：

遮挡特征提取单元，用于针对人脸图片训练集中每一样本提取遮挡特征；

遮挡检测模型建立单元，用于基于遮挡特征，进行统计学习建模，建立遮挡检测模型，以检测图片中是否存在遮挡；

遮挡检测单元，用于对人脸图片进行遮挡检测；

模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据遮挡检测单元对图片进行遮挡检测，保存检测结果；

图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N＞1；

得分修正单元，根据待识别图片与模板图片的遮挡检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。

6.根据权利要求5所述的装置，其特征在于，所述遮挡是单遮挡因素或者是多种遮挡因素的组合。

7.根据权利要求6所述的装置，其特征在于，所述人脸图片训练集采集了不同遮挡条件下的样本图片，并根据遮挡环境的不同，对训练图片集进行标注。

8.根据权利要求6所述的装置，其特征在于，所述遮挡检测单元根据得分修正函数对得分进行调整，以将不同遮挡下的相似度得分变换到同一种分布上。

9.一种光源自适应人脸识别方法，该方法包括如下步骤：

步骤1，针对人脸图片训练集中每一样本提取光源特征；

步骤2，基于光源特征，进行统计学习建模，建立光源检测模型，用于检测图片中的光源环境类型；

步骤3，对模板图片进行注册，提取和保存模板图片的识别特征，并对模板图片进行光源检测，保存光源检测结果；

步骤4，提取待识别图片的识别特征，与模板图片集的识别特征进行比对，选取前N选最高相似度的模板图片和相似度得分，其中N＞1；

步骤5，利用所述光源检测模型对待识别图片进行光源检测，并将选取的前N选的模板图片的光源检测结果与待识别图片的光源检测结果进行比对，若比对结果不同，则对所述相似度得分进行调整，并将调整后的得分重新排序，选取修正后最高得分对应的模板图片作为识别结果。

10.一种光源自适应的人脸识别装置，该装置包括：

光源特征提取单元，用于针对人脸图片训练集中每一样本提取光源特征；

光源检测模型建立单元，用于基于光源特征，进行统计学习建模，建立光源检测模型，以检测图片中的光源环境类型；

光源检测单元，用于对人脸图片进行光源检测；

模板图片注册单元，用于对模板图片进行注册，以提取和保存模板图片的识别特征，并根据光源检测单元对图片进行光源检测，保存检测结果；

图片识别单元，计算待识别图片与模板图片间的相似度，并选取前N选最高相似度的模板图片和相似度得分，其中N＞1；

得分修正单元，根据待识别图片与模板图片的光源检测结果对相似度进行调整，并对调整后的相似度重新排序，选择相似度最高的图片作为识别结果。

Images