CN103903004A - 一种人脸识别多特征权值融合方法与装置 - Google Patents

Abstract

本发明公开了一种人脸识别多特征权值融合方法，包括：步骤1，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；步骤2，利用所述训练样本集训练遮挡模型或光源模型；步骤3，将训练样本集中的样本分为测试图像和模板图像，使用符合特定条件的测试图像和模板图像用于构造权值训练集；步骤4，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳值；步骤5，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合。利用本发明的方案能够提高人脸识别率。

Description

一种人脸识别多特征权值融合方法与装置

技术领域

本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及一种人脸识别多特征权值融合方法与装置。

背景技术

生物特征识别技术是身份识别的有效技术，近来发展最快的是人脸识别技术以及与人脸识别技术相融合的生物特征识别技术。因此，本发明涉及人脸识别算法，具有重要的应用价值。

随着在实际中应用的推广，人脸识别存在的问题和难点也逐渐凸显出来。眼镜、刘海和胡子等人脸遮挡物的变化，会导致一个人的不同环境下的差异性大于不同人相同环境下的差异性。在无约束场景应用中，人脸遮挡物的变化在增加识别困难的同时，也会影响不同场景中不同特征的识别性能。如注册图片和识别图片都戴眼镜，以及注册图片戴眼镜识别图片不戴眼镜，用来识别的某个特征的识别性能是有差异的。图1为不同遮挡下的人脸图像，遮挡分别为眼镜遮挡、眼镜反光、刘海和胡须遮挡。

为了提高人脸识别分类器的性能，目前普遍采用多特征加权融合。对于不同的特征，识别性能不尽相同，加权就是对不同的特征采用不同的权值进行融合。每个特征的权值是由该特征本身的特性(可分性，识别率等)所决定的，不同的融合特征对应不同的融合权值。对识别性能好的特征赋予较大的权值，而识别性能差的特征赋予较小的权重。

申请号为201110385670.6、发明名称为“人脸识别方法及装置”的专利申请提出对样本进行光照场景的聚类，对每类光照场景训练最佳的权值进行多特征加权，得到综合距离得分进行人脸识别。

但是在现有技术的方案中，均未考虑人脸图像的遮挡因素，所以在有遮挡的情况下，人脸识别的准确率就会变差。

发明内容

为了克服现有技术的上述缺陷，本发明提出一种人脸识别多特征权值融合方法与系统。

本发明提出一种人脸识别多特征权值融合方法，该方法包括步骤：步骤1，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；步骤2，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；步骤3，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；步骤4，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳值；步骤5，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合，得到综合识别得分。

本发明还提出一种人脸识别多特征权值融合装置，该装置包括：训练样本集构造单元，用于获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；遮挡模型或光源模型训练单元，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；权值训练集构造单元，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；最佳权值确定单元，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳值；图像识别单元，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合。

本发明提出的人脸识别多特征权值融合装置和方法与现有技术相比，具有以下优点：本发明通过建立统计模型判断遮挡类型，与聚类方案相比，类别的意义更为明确，因为聚类是无监督学习，而本发明是有监督的训练统计模型，类别的意义更清晰，比如训练有眼镜遮挡类和无眼镜遮挡类；本发明增加了多特征投票步骤，对投票通过的结果进行特征加权融合，不通过的予以抛弃，降低误识；本发明对加权方案进行改进，重新构造综合得分，引入首选和次选得分概念；本发明增加对综合得分进行修正的步骤，提高识别性能。

附图说明

图1为不同遮挡条件下的人脸图像。

图2为本发明人脸识别多特征权值融合方法的基本流程图。

图3为本发明在遮挡条件下人脸识别多特征权值融合方法流程图。

图4为本发明在光源变化的条件下人脸识别多特征权值融合方法流程图。

图5为本发明人脸识别多特征权值融合装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

在人脸识别应用中，可能受到遮挡条件或光源条件的影响。在不同遮挡条件或光源条件下，各个特征的识别性能并不恒定。因此，不同遮挡条件或光源条件下，特征融合的最佳权值也在发生变化。

本发明提出一种人脸识别多特征权值融合方法，是一种自适应的最佳特征加权方案，能够解决遮挡条件或光源条件发生变化导致不同特征性能发生改变时固定权值方案性能下降的问题，自适应权值方案较固定权值方案更灵活，能使多特征融合性能始终保持最佳或接近于最佳。

本发明中的遮挡，可以是单遮挡因素，如是否戴眼镜，或眼镜反光变化，或者刘海变化，也可以是多种遮挡的组合，如将是否戴眼镜和眼镜反光结合。本发明中的不同光源条件指红外光、自然光等光源。

下面首先结合图2来描述本发明提出的人脸识别多特征权值融合方法的基本原理。

参照图2，该方法包括：步骤200，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；步骤210，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；步骤220，将训练样本集中的样本分为测试图像和模板图像，针对每一幅图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；步骤230，基于所述权值训练集对N种识别特征构造权值函数以进行多特征融合，并确定权值函数中各加权参数的最佳值；步骤240，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值参数对N种识别特征进行加权融合，得到该待识别图像的综合识别得分。

图3为本发明人脸识别多特征权值融合方法在考虑人脸被遮挡的情况下的详细流程图。

在参照图3的描述中，为了便于理解，以眼镜遮挡作为遮挡因素为例来进行说明，但本发明的遮挡因素并不限于眼镜遮挡，本发明提到的遮挡可以是单遮挡因素，如是否戴眼镜，或眼镜反光变化，或者刘海变化，也可以是多种遮挡的组合，如将是否戴眼镜和眼镜反光组合，或者将胡子和刘海结合，或者将眼镜、刘海、胡子等遮挡结合。

参照图3，该方法包括训练过程和识别过程。训练过程进一步包括以下步骤：步骤300，根据在不同遮挡条件下采集的样本构造训练样本集。

在该步骤，训练样本集需要涵盖各种遮挡条件下的样本，保证不同遮挡条件下都有对应的人脸图片集，并且每种遮挡条件下样本图片数据量基本一致。以眼镜遮挡为例，可采集不戴眼镜、戴不同眼镜的人脸图片，对眼镜情况进行标记。

步骤310：对步骤300构造的训练样本集中的每一个图像进行预处理。

在该步骤，对训练样本集中的原始人脸图像进行预处理，主要包括人脸定位、图像对齐、尺寸调整、图像的灰度及方差的归一化处理。经过预处理后，所有图像尺寸相同，灰度统一到标准水平，且灰度层次比较分明。

步骤320：针对步骤310中预处理后的训练样本集提取遮挡信息特征。

在该步骤，将预处理后的各训练样本输入，针对每一个样本提取与遮挡相关的特征。如眼睛周边区域的梯度特征、Gabor特征等特征。

步骤330：根据所提取的遮挡信息特征训练遮挡模型。

在该步骤，根据在步骤320提取的训练集的遮挡信息特征，采用统计学习模型，如支持向量机SVM、神经网络模型等方法，训练K分类器，输出K类遮挡类型，K为大于1的自然数。如以眼镜遮挡为例，此处K＝2，输出结果为有眼镜和无眼镜。

步骤340：针对训练样本集中的每一图像提取识别特征。

在该步骤，将训练样本集分为模板图像和测试图像，组成模板-测试图像对，该图像对存在K*K种遮挡类型组合。对所有图像中的每一图像都提取用于识别的N种识别特征，N为大于1的自然数，识别特征例如是局部二元模式特征(LBP)、Gabor特征等。该步骤的提取识别特征与传统人脸识别方法中提取识别特征是相同的，该识别特征不包括遮挡特征。

步骤350：根据所提取的识别特征构造权值训练集。

针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，即一种识别特征对应一幅模板图像。当N幅模板图像都为同一人时，该测试图像和N幅模板图像可用于训练，否则抛弃，即该测试图像以及与其对应的N幅模板图像不用于训练。其中的N幅模板图像有可能重复有可能不重复。

对N幅模板图像求取融合特征，采用对N幅模板图像进行平均得到融合图像再提取遮挡特征，或者对N幅模板图像的遮挡特征进行平均的方法，得到融合遮挡特征，输入到步骤330中得到的遮挡模型进行遮挡分类，得到分类结果。并且对与该N幅模板图像对应的上述测试图像进行遮挡分类。由该测试图像的遮挡特征分类结果与该N幅模板图像的融合遮挡特征的分类结果组成的该组分类结果必定对应K*K种遮挡组合中的一种。遍历测试图像，将所有符合条件的样本组合加入到对应的遮挡组合中去，所谓符合条件的样本组合是指上述提到的可用于训练的一个测试图像与对应的N幅模板图像组成的样本组合，该样本组合构成权值训练集。

步骤360：利用步骤350中得到的权值训练集构造权值函数。在该步骤，利用上述得到的权值训练集构造权值函数，较简单的方式是对各个特征的距离得分直接进行加权融合。具体地，在将权值训练集中的每个测试图像的识别特征与模板图像的识别特征进行比对时，选取N种特征的首选距离得分{s₀，s₁，…，s_N-1}。首选距离得分指该识别特征下，测试图像与距离最近的模板图像之间的距离值。基于首选距离得分构造综合得分s＝f_ω(s_i)，f_ω为权值函数。综合得分例如为：s＝ω₀*s₀+ω₁*s₁+…+ω_N-1*s_N-1。

在综合得分的构造中，也可以引入其他参数，以增强综合得分的鉴别力。比如，引入选取N种特征的次选距离得分{s₀′，s₁′，…，s_N-1′}。次选距离得分是指该识别特征下，待识别图像与距离最近的且与首选模板图像不属于同一个人的模板图像之间的距离得分。构造综合得分s＝f_ω(s_i，s_i′)，f_ω为权值函数。举例综合得分：

s＝(ω₀*s₀+ω₁*s₁+…+ω_N-1*s_N-1)/((s₀′-s₀)+(s₁′-s₁)+…+(s_N-1′-s_N-1))

在该种情况下，当首选距离得分对应的模板图像与测试图像是同一人时，首选距离一般较小，而次选由于是错误匹配结果，一般与首选距离相差较大。反之，当首选得分对应的模板图像与测试图像不是同一人时，首选距离一般较大，而次选距离与首选距离的相差较小。因此首选模板与测试图像是同一人时，构造公式的分子部分小而分母部分大，不是同一人时，分子部分大而分母部分小，提高了鉴别性。

将N种识别特征投票与上述综合距离公式结合进行人脸识别，可以大大降低误识情况。

步骤370：计算步骤360中综合得分公式中权值参数的最佳值。

在该步骤，分别对K*K种遮挡组合计算出最佳权值参数。最佳权值可通过衡量各类样本的最大化识别率、最小化等错率、最大化通过率等方式获取。本发明采用识别率最大时的权值作为最佳权值。

以计算模板图像的遮挡因素为第k₁(k₁＝1，…，K)类，测试图像的遮挡因素为第k₂(k₂＝1，…，K)类的最佳权值为例。假设步骤350中获取到属于该类别的样本共P个，每个样本均由一幅测试图像和N幅模板图像组成，对应标签为label_n(n＝1，…，P)。模板图像与测试图像为同一人时认为是正样本，标签为1，否则标签为0，对于权值训练集，每组样本对应的标签值是已知的。

根据本发明提出的权值函数，在给定权值参数和阈值threshold的情况下，可以得到：

识别正确样本数为： $\mathrm{CorrectNum}={\mathrm{\&Sigma;}}_{n=1}^P({\mathrm{label}}_n=1)|s_n<\mathrm{threshold};$

识别率为：CorrectRate＝CorrectNum/P*100％；

识别错误样本数： $\mathrm{FalseNum}={\mathrm{\&Sigma;}}_{n=1}^P({\mathrm{label}}_n=0)|s_n<\mathrm{threshold};$

误识率为：FalseRate＝FalseNum/P*100％

按给定步长遍历权值组合参数，计算固定错误接受率(如0.1％)时的识别率。选取最大的识别率对应的权值组合记为该类最佳权值参数，因为不同的权值组合在0.1％错误接受率时都能计算出相应的不同的识别率，选取最大的识别率对应的那组权值即可。

每一种遮挡组合对应的最佳权值参数不同，该步骤的目的就是获取这个最佳值。以计算其中一种遮挡组合的权值为例，采用遍历的方法，即尝试各种不同组合的权值条件下，计算在给定错误接受率的情况下，哪种权值的组合对应的识别率最大，就将该权值作为最佳权值，同时将该错误接受率对应的阈值作为最佳阈值。其他类训练样本的最佳权值均可由此获得。

步骤380：根据权值训练集中样本组合的遮挡类别训练得分修正函数。

以模板集无遮挡，测试集无遮挡的综合得分分布为准，对其他类情况下的综合得分进行修正，如模板集无遮挡而测试集有遮挡的情况。将不同分类的情况下的得分调整到同一种分布下。最终的综合得分为s_new＝f_g(f_ω(s_i))或s_new＝f_g(f_ω(s_i，s_i′))。使用修正得分步骤后，各遮挡类别使用的阈值为模板集无遮挡测试集无遮挡类别的阈值。

继续参照图3，识别过程包括以下各步骤：

步骤300’：采集待识别图像，对待识别图像进行预处理，预处理的方式与上述步骤310中的方式一致。。

步骤310’：针对经预处理的待识别图像提取N个识别特征，与训练过程中的识别特征提取方式一致。

步骤320’：计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像。当N幅模板图像都为同一人时，则执行步骤330’，对该待识别图像和N幅模板图像进行下一步融合，否则拒绝识别。

步骤330’：根据步骤320’中对比得到的N幅模板图像，对待识别图像进行遮挡分类，计算综合得分并进行得分修正。

在该步骤，对步骤320’中对比得到的N幅模板图像求取融合特征，即采用对N幅模板图像进行平均得到融合图像再提取遮挡特征，或者对N幅模板图像的遮挡特征进行平均的方法，得到融合遮挡特征，将得到的融合遮挡特征输入到遮挡模型进行遮挡分类得到一分类结果。对待识别图像提取遮挡特征并将之输入到遮挡模型进行遮挡分类得到一分类结果。得到的两个分类结果构成的分类结果组合必定对应K*K种遮挡组合中的一种。根据该遮挡组合，找到在步骤370中确定的与该遮挡组合对应的最佳权值参数，利用步骤360中构建的权值函数，以及步骤380中得到的得分修正函数，对待识别图象的N个识别特征的得分进行进行加权融合得到综合得分，并对该综合得分进行修正，当经修正的综合得分低于阈值时，则识别通过。

本发明提出的基于遮挡分类的动态多特征权值设定规则，这种规则涵盖了不同遮挡条件下人脸识别的多特征权值设定方案，并构造了具有很强鉴别能力的距离得分公式。对于新的测试样例，通过多特征投票，并判断模板-测试图像组合的遮挡类别来自适应的选择多特征权值和修正函数，降低误识，提高识别能力。

图4为本发明人脸识别多特征权值融合方法在考虑不同光源条件下的详细流程图。

参照图4，该方法包括训练过程和识别过程。训练过程进一步包括以下步骤：

步骤400，根据在不同光源条件下采集的样本构造训练样本集。

在该步骤，训练样本集需要涵盖各样光源条件下的样本，保证不同光源条件下都有对应的人脸图片集，并且每种光源条件下样本图片数据量基本一致。可采集自然光、红外光下人脸图片，对光源情况进行标记。

步骤410：对步骤400构造的训练样本集中的每一个图像进行预处理。

在该步骤，对训练样本集中的原始人脸图像进行预处理，主要包括人脸定位、图像对齐、尺寸调整、图像的灰度及方差的归一化处理。经过预处理后，所有图像尺寸相同，灰度统一到标准水平，且灰度层次比较分明。

步骤420：针对步骤410中预处理后的训练样本集提取光源信息特征。

在该步骤，将预处理后的各训练样本输入，针对每一个样本提取与光源相关的特征。如颜色特征、梯度特征、Gabor特征等特征。

步骤430：根据所提取的光源信息特征训练光源模型。

在该步骤，根据在步骤420提取的训练集的光源信息特征，采用统计学习模型，如支持向量机SVM、神经网络模型等方法，训练K分类器，输出K类光源类型，K为大于1的自然数。此处K＝2，输出结果为自然光和红外光。

步骤440：针对训练样本集中的每一图像提取识别特征。

在该步骤，将训练样本集分为模板图像和测试图像，对所有图像中的每一图像都提取用于识别的N种识别特征，N为大于1的自然数，识别特征例如是局部二元模式特征(LBP)、Gabor特征等。该步骤的提取识别特征与传统人脸识别方法中提取识别特征是相同的，该识别特征不包括光源特征。

步骤450：根据所提取的识别特征构造权值训练集。

针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，即一种识别特征对应一幅模板图像。当N幅模板图像都为同一人时，该测试图像和N幅模板图像可用于训练，否则抛弃，即该测试图像以及与其对应的N幅模板图像不用于训练。其中的N幅模板图像有可能重复有可能不重复。

对N幅模板图像求取融合特征，采用对N幅模板图像进行平均得到融合图像再提取光源特征，或者对N幅模板图像的光源特征进行平均的方法，得到融合光源特征，输入到步骤430中得到的光源模型进行光源分类，得到分类结果。并且对与该N幅模板图像对应的上述测试图像进行光源分类。由该测试图像的光源特征分类结果与该N幅模板图像的融合光源特征的分类结果组成的该组分类结果必定对应K*K种光源组合中的一种。遍历测试图像，将所有符合条件的样本组合加入到对应的光源组合中去，所谓符合条件的样本组合是指上述提到的可用于训练的一个测试图像与对应的N幅模板图像组成的样本组合，该样本组合构成权值训练集。

步骤460：利用步骤450中得到的权值训练集构造权值函数。在该步骤，利用上述得到的权值训练集构造权值函数，较简单的方式是对各个特征的距离得分直接进行加权融合。具体地，在将权值训练集中的每个测试图像的识别特征与模板图像的识别特征进行比对时，选取N种特征的首选距离得分{s₀，s₁，…，s_N-1}。首选距离得分指该识别特征下，测试图像与距离最近的模板图像之间的距离值。基于首选距离得分构造综合得分s＝f_ω(s_i)，f_ω为权值函数。综合得分例如为：s＝ω₀*s₀+ω₁*s₁+…+ω_N-1*s_N-1。

在综合得分的构造中，也可以引入其他参数，以增强综合得分的鉴别力。比如，引入选取N种特征的次选距离得分{s₀′，s₁′，…，s_N-1′}。次选距离得分是指该识别特征下，待识别图像与距离最近的且与首选模板图像不属于同一个人的模板图像之间的距离得分。构造综合得分s＝f_ω(s_i，s_i′)，f_ω为权值函数。举例综合得分：

s＝(ω₀*s₀+ω₁*s₁+…+ω_N-1*s_N-1)/((s₀′-s₀)+(s₁′-s₁)+…+(s_N-1′-s_N-1))

在该种情况下，当首选距离得分对应的模板图像与测试图像是同一人时，首选距离一般较小，而次选由于是错误匹配结果，一般与首选距离相差较大。反之，当首选得分对应的模板图像与测试图像不是同一人时，首选距离一般较大，而次选距离与首选距离的相差较小。因此首选模板与测试图像是同一人时，构造公式的分子部分小而分母部分大，不是同一人时，分子部分大而分母部分小，提高了鉴别性。

将N种识别特征投票与上述综合距离公式结合进行人脸识别，可以大大降低误识情况。

步骤470：计算步骤460中综合得分公式中权值参数的最佳值。

在该步骤，分别对K*K种光源组合计算出最佳权值参数。最佳权值可通过衡量各类样本的最大化识别率、最小化等错率、最大化通过率等方式获取。本发明采用识别率最大时的权值作为最佳权值。

以计算模板图像的光源条件为第k₁(k₁＝1，…，K)类，测试图像的光源条件为第k₂(k₂＝1，…，K)类的最佳权值为例。假设步骤450中获取到属于该光源组合类别的样本共P个，每个样本均由一幅测试图像和N幅模板图像组成，对应标签为label_n(n＝1，…，P)。模板图像与测试图像为同一人时认为是正样本，标签为1，否则标签为0，对于权值训练集，每组样本对应的标签值是已知的。

根据本发明提出的权值函数，在给定权值参数和阈值threshold的情况下，可以得到：

识别正确样本数为： $\mathrm{CorrectNum}={\mathrm{\&Sigma;}}_{n=1}^P({\mathrm{label}}_n=1)|s_n<\mathrm{threshold};$

识别率为：CorrectRate＝CorrectNum/P*100％；

识别错误样本数： $\mathrm{FalseNum}={\mathrm{\&Sigma;}}_{n=1}^P({\mathrm{label}}_n=0)|s_n<\mathrm{threshold};$

误识率为：FalseRate＝FalseNum/P*100％

按给定步长遍历权值组合参数，计算固定错误接受率(如0.1％)时的识别率。选取最大的识别率对应的权值组合记为该类最佳权值参数，因为不同的权值组合在0.1％错误接受率时都能计算出相应的不同的识别率，选取最大的识别率对应的那组权值即可。

每一种光源组合对应的最佳权值参数不同，该步骤的目的就是获取这个最佳值。以计算其中一种光源组合的权值为例，采用遍历的方法，即尝试各种不同组合的权值条件下，计算在给定错误接受率的情况下，哪种权值的组合对应的识别率最大，就将该权值作为最佳权值，同时将该错误接受率对应的阈值作为最佳阈值。其他类训练样本的最佳权值均可由此获得。

步骤480：根据权值训练集中样本组合的光源类别训练得分修正函数。

以模板集为红外光图像，测试集为红外光图像的综合得分分布为准，对其他类情况下的综合得分进行修正，如模板集为红外光图像而测试集为自然光图像的情况。将不同分类的情况下的得分调整到同一种分布下。最终的综合得分为s_new＝f_g(f_ω(s_i))或s_new＝f_g(f_ω(s_i，s_i′))。

将不同分类的情况下的得分调整到同一种分布下。最终的综合得分为s_new＝f_g(f_ω(s_i))或s_new＝f_g(f_ω(s_i，s_i′))。使用修正得分步骤后，各光源条件使用的阈值为模板集为红外光图像，测试集为红外光图像的阈值。

继续参照图3，识别过程包括以下各步骤：

步骤400’：采集待识别图像，对待识别图像进行预处理，预处理的方式与上述步骤410中的方式一致。

步骤410’：针对经预处理的待识别图像提取N个识别特征，与训练过程中的识别特征提取方式一致。

步骤420’：计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像。当N幅模板图像都为同一人时，则执行步骤430’，对该待识别图像和N幅模板图像进行下一步融合，否则拒绝识别。

步骤430’：根据步骤420’中对比得到的N幅模板图像，对待识别图像进行光源分类，计算综合得分并进行得分修正。

在该步骤，对步骤420’中对比得到的N幅模板图像求取融合特征，即采用对N幅模板图像进行平均得到融合图像再提取光源特征，或者对N幅模板图像的光源特征进行平均的方法，得到融合光源特征，将得到的融合光源特征输入到光源模型进行光源分类得到一分类结果。对待识别图像提取光源特征并将之输入到光源模型进行光源分类得到一分类结果。得到的两个分类结果构成的分类结果组合必定对应K*K种光源组合中的一种。根据该光源组合，找到在步骤470中确定的与该光源组合对应的最佳权值参数，利用步骤460中构建的权值函数，以及步骤480中得到的得分修正函数，对待识别图象的N个识别特征的得分进行进行加权融合得到综合得分，并对该综合得分进行修正，当经修正的综合得分低于阈值时，则识别通过。

本发明提出的基于光源挡分类的动态多特征权值设定规则，这种规则涵盖了不同光源条件下人脸识别的多特征权值设定方案，并构造了具有很强鉴别能力的距离得分公式。对于新的测试样例，通过多特征投票，并判断模板-测试图像组合的光源类别来自适应的选择多特征权值和修正函数，降低误识，提高识别能力。

根据本发明的另外一实施例，还提出了一种人脸识别多特征权值融合装置，该装置包括：训练样本集构造单元500，用于获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；遮挡模型或光源模型训练单元510，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；权值训练集构造单元520，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；最佳权值确定单元530，基于所述权值训练集对N种识别特征构造权值函数以进行加权融合，并确定各加权参数的最佳权值；图像识别单元540，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合；得分修正单元550，用于根据所述权值训练集中的模板图像和测试图像的遮挡类别或光源类别训练修正得分函数，并根据所述待识别图像和N幅模板图像的遮挡类别或光源类别使用所述修改得分函数对识别得分进行修正。

其中权值训练集中的样本组合按照遮挡类别或光源类别被分为K*K种，每种类别包括一定数量的样本组合，每组样本由N幅模板图像和一幅测试图像组成。

其中最佳权值确定单元进一步用于：将所述权值训练集中测试图像的N种识别特征与模板图像的识别特征进行比较时，选取N种特征的首选距离得分{s₀，s₁，…，s_N-1}，基于首选距离得分构造综合得分s＝f_ω(s_i)，f_ω为权值函数；针对K*K种类别的每种类别中的每组样本组合，如果模板图像与测试图像为同一人则认为是正样本，否则是负样本；在给定权值参数和阈值的条件下计算该类别中的样本识别率；按给定步长遍历权值组合参数，计算固定错误接受率时的识别率，选取最大的识别率对应的权值组合为该种类别的最佳权值参数，并将该错误接受率对应的阈值作为最佳阈值。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸识别多特征权值融合方法，该方法包括步骤：

步骤1，获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；

步骤2，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；

步骤3，将训练样本集中的样本分为测试图像和模板图像，针对每一幅图像提取N种识别特征，N为大于1的自然数，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；

步骤4，基于所述权值训练集对N种识别特征构造权值函数以进行多特征融合，并确定权值函数中各加权参数的最佳值；

步骤5，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值参数对N种识别特征进行加权融合，得到该待识别图像的综合识别得分。

2.根据权利要求1所述的方法，其特征在于，在步骤4之后，进一步包括：根据所述权值训练集中的模板图像和测试图像的遮挡类别或光源类别训练得分修正函数，步骤5进一步包括根据所述待识别图像和N幅模板图像的遮挡类别或光源类别使用所述得分修正函数对综合识别得分进行修正。

3.根据权利要求1所述的方法，其特征在于，所述权值训练集中的样本组合按照遮挡类别或光源类别被分为K*K种，每种类别包括一定数量的样本组合，每组样本由N幅模板图像和一幅测试图像组成，其中K指测试图像和模板图像各自的遮挡类别数量。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中构造权值函数进一步包括：将所述权值训练集中测试图像的N种识别特征与模板图像的识别特征进行比较时，选取N种特征的首选距离得分{s₀，s₁，…，s_N-1}，基于所述首选距离得分构造综合得分s＝f_ω(s_i)，_fω为权值函数。

5.根据权利要求4所述的方法，其特征在于，所述步骤4中确定各加权参数的最佳权值进一步包括：

步骤4.1，针对K*K种类别的每种类别中的每组样本组合，如果模板图像与测试图像为同一人则认为是正样本，否则是负样本；

步骤4.2，在给定权值参数和阈值的条件下计算该类别中的样本识别率；

步骤4.3，按给定步长遍历权值组合参数，计算固定错误接受率时的识别率，选取最大的识别率对应的权值组合为该类别的最佳权值参数，并将该错误接受率对应的阈值作为最佳阈值。

6.一种人脸识别多特征权值融合装置，该装置包括：

训练样本集构造单元，用于获取不同遮挡条件下或不同光源条件下的人脸图像，构造训练样本集；

遮挡模型或光源模型训练单元，利用所述训练样本集训练遮挡模型或光源模型，用于判断人脸图片的遮挡类型或光源类型；

权值训练集构造单元，将训练样本集中的样本分为测试图像和模板图像，针对每一图像提取N种识别特征，针对每一幅测试图像，分别计算在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，该测试图像和N幅模板图像用于构造权值训练集；

最佳权值确定单元，基于所述权值训练集对N种识别特征构造权值函数以进行多特征融合，并确定各加权参数的最佳值；

图像识别单元，针对待识别图像，计算待识别图像在N种识别特征下对应的距离最近的N幅模板图像，当N幅模板图像都为同一人时，利用所述权值函数以及最佳权值对N种识别特征进行加权融合，得到综合识别得分。

7.根据权利要求6所述的装置，其特征在于，该装置还包括得分修正单元，用于根据所述权值训练集中的模板图像和测试图像的遮挡类别或光源类别训练修正得分函数，并根据所述待识别图像和N幅模板图像的遮挡类别或光源类别使用所述修正得分函数对综合识别得分进行修正。

8.根据权利要求6所述的装置，其特征在于，所述权值训练集中的样本组合按照遮挡类别或光源类别被分为K*K种，每种类别包括一定数量的样本组合，每组样本由N幅模板图像和一幅测试图像组成，其中K指测试图像和模板图像各自的遮挡类别数量。

9.根据权利要求6所述的装置，其特征在于，最佳权值确定单元进一步用于：将所述权值训练集中测试图像的N种识别特征与模板图像的识别特征进行比较时，选取N种特征的首选距离得分{s₀，s₁，…，s_N-1}，基于首选距离得分构造综合得分s＝f_ω(s_i)，f_ω为权值函数。

10.根据权利要求9所述的装置，其特征在于，最佳权值确定单元进一步用于：针对K*K种类别的每种类别中的每组样本组合，如果模板图像与测试图像为同一人则认为是正样本，否则是负样本；在给定权值参数和阈值的条件下计算该类别中的样本识别率；按给定步长遍历权值组合参数，计算固定错误接受率时的识别率，选取最大的识别率对应的权值组合为该种类别的最佳权值参数，并将该错误接受率对应的阈值作为最佳阈值。

Images