CN112418078B - 分数调制方法、人脸识别方法、装置及介质 - Google Patents

Abstract

本发明涉及人脸识别技术领域，具体涉及分数调制方法、人脸识别方法以及相应的装置。旨在解决目前阈值设置不便、不同领域的识别模型应用到其他领域不能达到预期效果的问题。为此，本发明的分数调制方法，通过少量的训练数据构建分数调制模型，对不同领域的人脸图像的比对分数进行调制，使调制后的分数处于相同的分布，对不同领域人脸特征比对结果进行分数补偿，不同领域人脸特征的比对使用补偿后的分数可以保持分数分布的一致，便于使用过程中阈值的设置且能在不同领域的人脸图像中达到预期且稳定的误警率和通过率指标，提升了人脸识别技术在实际场景中应用的性能和用户体验。

Description

分数调制方法、人脸识别方法、装置及介质

技术领域

本发明涉及人脸识别技术领域，具体涉及一种分数调制方法、人脸识别方法、装置、介质以及终端设备。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。人脸识别在现实生活中有很广的应用前景。如安保门禁系统、公安刑侦破案、摄像监视系统、网络应用、身份辨识、支付系统中均需用到人脸识别。

现有的人脸识别技术主要通过计算待识别人员的人脸图像与存储在数据库中的各个注册用户的人脸图像之间的匹配度来进行人脸识别。对于以比对分数表示的匹配度而言，分数越高表示匹配度就越高。如果表示匹配度的分数大于或等于某一阈值，则认为待识别人员与存储在数据库中的相应的用户是同一个人。

但现有的基于大量数据训练的人脸识别技术，往往存在偏见的问题。由于训练数据往往是有偏见的：1)人种集中，比如公开的大规模人脸数据集MS1M主要集中于欧美人；2)年龄集中，比如成年人；3)场景集中，比如网络高清图片等等。因此，这些数据训练出来的人脸特征模型也带有偏见。具体表现在以下两个方面：1)对非主要领域的人脸图像识别效果较差；2)不同领域的人脸图像的比对分数分布差异大。其中“领域”是指按照不同的人种、年龄、场景等进行划分的人脸识别的应用领域。由于人脸数据量大，采集、标注比较困难，很难从人脸特征模型的训练数据方面做到平衡以解决上述问题。

并且，对于不同领域的人脸图像的比对分数分布差异大的情形，如果在实际人脸识别中使用统一的阈值，则在该阈值下，不同领域的人脸比对结果将会表现出不同的陌生人误警率和注册人员通过率，任何单一的阈值都很难达到其预想的误警率和通过率指标，其表现往往为在一些领域上性能尚可，但在另一些领域上性能很差，极大的影响人脸识别技术的识别效果。同时，这也增加了用户设置阈值的难度，用户只能根据人的直观感受来不断调整阈值，用户体验差。

发明内容

本发明的目的是提供一种分数调制方法、人脸识别方法、装置、介质以及终端设备，以解决或部分地解决如何通过比对分数调制而设置比对阈值，以使得所述阈值设置更容易且满足不同领域的人脸识别的技术问题。

第一方面，本发明提供一种人脸识别中的分数调制方法，包括：获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数；在每个领域中选取多对人脸特征向量对应的相似度分数作为样本点，获取每个领域的每一样本点在所有领域中的相对目标比对分数，以及根据样本点对应的相似度分数和所述目标比对分数计算出各领域中每一样本点对应的分数偏移量；由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制。

其中，所述目标比对分数的获取过程包括：基于每个领域对应的相似度分数构成领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布；针对每一领域，查找出各样本点对应在所述领域分布中的相对位置，以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数。

其中，所述“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”，具体包括：合并所有不同领域的不同人脸特征向量；将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；根据所有的所述目标比对分数，统计其中正例样本的目标比对分数的分布作为正例样本的目标分布，以及，统计其中负例样本的目标比对分数的分布作为负例样本的目标分布；所述“每个领域对应的相似度分数构成领域分布”具体包括：根据每个领域对应的相似度分数，统计其中正例样本对应的相似度分数作为正例样本的领域分布，统计其中负例样本对应的相似度分数作为负例样本的领域分布；其中，每个领域中选取的所述样本点包括：从正例样本的领域分布中选取的正例样本、或者从负例样本的领域分布中选取的负例样本；其中，获取的每一样本点在所有领域中的相对目标比对分数包括：对于所述正例样本，从正例样本的目标分布中获取相对的目标比对分数；对于所述负例样本，从负例样本的目标分布中获取相对的目标比对分数；其中，一张人脸图像的人脸特征向量与其对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个正例样本；一张人脸图像的人脸特征向量与任何一张非对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个负例样本。

其中，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，具体包括：将训练样本集合中的每个训练样本中的人脸特征向量对作为模型输入，输入到待训练的分数调制模型M中，将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签，训练所述分数调制模型M；其中，所述分数调制模型M为单一的或组合的神经网络模型。

其中，所述人脸特征向量由存在领域偏见的人脸特征模型E对所采集的人脸图像进行提取得到；所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；所述领域至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境。

其中，所述每对进行两两比对的人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，并且，S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本；所述正例样本的领域分布和目标分布，用集合{S_i,j,i＝j}表示；所述负例样本的领域分布和目标分布，用集合{S_i,j,i≠j}表示；所述分数偏移量用ΔS_i,j表示，其中，ΔS_i,j＝A-B，A是所述相似度分数，B是所述相应的目标比对分数；所述训练样本集用集合{〈f_i,f_j,ΔS_i,j〉}表示。

第二方面，本发明提供另一种人脸识别中的分数调制方法，包括：获取基于每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数构成的领域分布、以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布；基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量；根据多个不同领域的人脸特征向量及其人脸特征向量所属的领域，训练基于人脸特征向量的领域分类模型C；在人脸识别时通过加载训练好的所述领域分类模型C，确定进行两两比对的两个人脸特征向量各自所属的领域，以获得各自所属领域的所述分数偏移量；利用融合函数F将各自所属领域的所述分数偏移量融合为所述两个人脸特征向量的补偿分数偏移量，以便将所述补偿分数偏移量补偿到所述两个人脸特征向量的比对得到的原始相似度分数中而得到所述两个人脸特征向量对应的最终相似度分数；其中，所述进行两两比对的两个人脸特征向量分别为待识别的人脸图像的人脸特征向量和注册目标人员数据库中的人脸特征向量。

其中，所述“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”，具体包括：合并所有不同领域的不同人脸特征向量；将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；统计所有目标比对分数构成对应所有领域的目标分布；所述“领域分布”的构成，具体包括：对每个领域中的相似度分数进行统计，构成所述领域对应的领域分布。

其中，所述“基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每一个领域的整体分数偏移量”，具体包括：利用每个领域对应的所述领域分布的相似度分数的平均值与所述目标分布的目标比对分数的平均值计算对应每个领域的分数偏移而获得相应所述领域的分数偏移量。

其中，利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取，所述人脸特征模型E存在领域偏见；所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；所述领域是至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境；所述每对比较的人脸特征的相似度分数表示为：向量fi与fj比较的相似度分数Si,j；其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，所述样本的相似度分数分布用集合{S_i,j}表示；所述每一个领域的整体分数偏移量表示为ΔS_l，l∈{1,...k}，l为领域索引。

第三方面，本发明提供一种基于分数调制的人脸识别方法，包括：在人脸识别初始化时，加载训练好的分数调制模型M或领域分类模型C；输入待识别的人脸图像作为检索图像并提取所述检索图像的人脸特征向量；提取注册的目标人员人脸图像的人脸特征向量；将检索图像的人脸特征向量与所有所述目标人员人脸图像的人脸特征向量进行两两比对得到原始相似度分数的集合；根据前述第一方面所述的方法中的所述分数调制模型M或前述第二方面所述的方法中的所述领域分类模型C和融合函数F，获得所有进行两两比对的每对人脸特征向量的相应的补偿分数偏移量；利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿，得到最终相似度分数的集合；对最终相似度分数的集合中的分数进行排序以及与阈值进行比较；从所述目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。

其中，对最终相似度分数的集合中的分数进行排序以及与阈值进行比较，具体包括：将最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较；当所述最大值大于或等于所述阈值时，判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的所述目标人员相匹配；利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿，具体包括：在每个所述原始相似度分数上加上相应的所述补偿分数偏移量

第四方面，本发明提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行前述第一方面和第二方面中任一项所述的人脸识别中的分数调制方法；或者，所述程序代码适于由所述处理器加载并运行以执行前述第三方面中任一项所述的基于分数调制的人脸识别方法。

第五方面，本发明提供一种控制装置，包括处理器和存储器，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行前述第一方面和第二方面中任一项所述的人脸识别中的分数调制方法；或者，所述程序代码适于由所述处理器加载并运行以执行前述第三方面中任一项所述的基于分数调制的人脸识别方法。

第六方面，本发明提供一种人脸识别中的分数调制装置，包括：模型训练单元，用于训练分数调制模型M，具体包括：第一单元，用于获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数；第二单元，用于在每个领域中选取多对人脸特征向量对应的相似度分数作为样本点，获取每个领域的每一样本点在所有领域中的相对目标比对分数，以及根据样本点对应的相似度分数和所述目标比对分数计算出各领域中每一样本点对应的分数偏移量；第三单元，用于由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制。

所述第二单元，执行获取所述“目标比对分数”的操作包括：基于每个领域对应的相似度分数构成领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布；针对每一领域，查找出各样本点对应在所述领域分布中的相对位置，以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数

所述第二单元执行“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”的操作，具体包括：合并所有不同领域的不同人脸特征向量；将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；根据所有的所述目标比对分数，统计其中正例样本的目标比对分数的分布作为正例样本的目标分布，以及，统计其中负例样本的目标比对分数的分布作为负例样本的目标分布；所述第二单元执行“基于每个领域对应的相似度分数构成领域分布”的操作具体包括：根据每个领域对应的相似度分数，统计其中正例样本对应的相似度分数作为正例样本的领域分布，统计其中负例样本对应的相似度分数作为负例样本的领域分布；其中，每个领域中选取的所述样本点包括：从正例样本的领域分布中选取的正例样本、或者从负例样本的领域分布中选取的负例样本；其中，每一样本点在所有领域中的相对目标比对分数的获取包括：对于所述正例样本，从正例样本的目标分布中获取相对的目标比对分数；对于所述负例样本，从负例样本的目标分布中获取相对的目标比对分数；其中，一张人脸图像的人脸特征向量与其对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个正例样本；一张人脸图像的人脸特征向量与任何一张非对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个负例样本。

所述第三单元具体执行如下操作：以所述训练样本集合中的人脸特征向量对作为模型输入，输入到待训练的分数调制模型M中，将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签，训练所述分数调制模型M；其中，所述分数调制模型M为单一的或组合的神经网络模型。

其中，利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取，所述人脸特征模型E存在领域偏见；所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；所述领域至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境；所述每对进行两两比对的人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，并且，S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本；所述正例样本的领域分布和目标分布用集合{S_i,j,i＝j}表示；所述负例样本的领域分布和目标分布用集合{S_i,j,i≠j}表示；所述分数偏移量用ΔS_i,j表示，其中，ΔS_i,j＝A-B，A是所述相似度分数，B是所述相应的目标比对分数；所述训练样本集用集合{〈f_i,f_j,ΔS_i,j〉}表示。

第七方面，本发明提供一种人脸识别中的分数调制装置，包括：第一模块，用于获取基于每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数构成的领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布；第二模块，用于基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量；第三模块，用于根据多个不同领域的人脸特征向量及其人脸特征向量所属的领域，训练基于人脸特征向量的领域分类模型C；第四模块，用于在人脸识别时通过加载训练好的所述领域分类模型C，确定进行两两比对的两个人脸特征向量各自所属的领域，以获得各自所属领域的所述分数偏移量；第五模块，用于利用融合函数F将各自所属领域的所述分数偏移量融合为所述两个人脸特征向量的补偿分数偏移量，以便将所述补偿分数偏移量补偿到所述两个人脸特征向量比对得到的原始相似度分数中而得到所述两个人脸特征向量对应的最终相似度分数；其中，所述进行两两比对的两个人脸特征向量分别为待识别的人脸图像的人脸特征向量和注册目标人员数据库中的人脸特征向量。。

其中，所述第一模块中执行所述“基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布”的操作，具体包括：合并所有不同领域的不同人脸特征向量；将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；统计所有目标比对分数构成对应所有领域的目标分布；所述第一模块中执行所述“领域分布”的构成操作，具体包括：对每个领域中的相似度分数进行统计，构成所述领域对应的领域分布；所述第二模块中执行“基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每一个领域的整体分数偏移量”的操作，具体包括：利用每个领域对应的所述领域分布的相似度分数的平均值与所述目标分布的目标比对分数的平均值计算对应每个领域的分数偏移而获得相应所述领域的分数偏移量。

其中，利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取，所述人脸特征模型E存在领域偏见；所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；所述领域至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境；所述每对比较的人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}；所述样本的相似度分数分布用集合{S_i,j}表示；所述每一个领域的整体分数偏移量表示为ΔS_l，l∈{1,...k}，l为领域索引。

第八方面，本发明提供一种基于分数调制的人脸识别装置，包括：识别单元，在人脸识别初始化时，加载训练好的分数调制模型M或领域分类模型C；输入单元，输入待识别的人脸图像作为检索图像并提取所述检索图像的人脸特征向量；提取单元，提取注册的目标人员人脸图像的人脸特征向量；原始比对单元，将检索图像的人脸特征向量与所有所述目标人员人脸图像的人脸特征向量进行比对得到原始相似度分数的集合；分数调制单元，根据前述第六方面中任一项所述的装置中的所述分数调制模型M或前述第七方面中任一项所述的装置中的所述领域分类模型C和融合函数F，获得所有进行两两比对的每对人脸特征向量的相应的补偿分数偏移量；补偿单元，利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿，得到最终相似度分数的集合；输出单元，对最终相似度分数的集合中的分数进行排序以及与阈值进行比较，并且，从所述目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。

其中，所述补偿单元具体执行如下操作：在每个所述原始相似度分数上加上相应的所述补偿分数偏移量；所述输出单元具体执行如下操作：将最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较；当所述最大值大于或等于所述阈值时，判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的所述目标人员相匹配。

根据本发明的技术方案，本发明针对目前人脸识别系统中不同领域人脸图像的比对分数分布差异大的缺陷，提出了一种分数调制方法、人脸识别方法、装置、介质以及终端设备，能够基于人脸内容的分数调制，仅通过少量的训练数据对不同领域的人脸图像的比对分数进行调制，使调制后的分数处于相同的分布，对不同领域人脸特征比对结果进行分数补偿，这样，不同领域人脸特征的比对使用补偿后的分数可以保持分数分布的一致，便于使用过程中阈值的设置；通过分数调制后设置的统一的阈值，也能在不同领域的人脸图像中达到预期且稳定的误警率和通过率指标，同时阈值的设置也变得更为容易，提升了人脸识别技术在实际场景中应用的性能和用户体验。

附图说明

下面参照附图来描述本发明的具体实施方式，附图中：

图1是根据本发明的基于分数调制的人脸识别方法的一个实施例的应用示意图；

图2是根据本发明的人脸识别中的分数调制方法的一个实施例的主要步骤流程示意图；

图3是根据本发明的基于人脸识别的分数调制装置的一个实施例的结构框图；

图4是根据本发明的基于分数调制的人脸识别方法的另一个实施例的主要步骤流程示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

先对下面用到的名词的解释：

正例样本：一张现场抓拍图像的特征，和其对应的注册照的特征，构成一个正例样本即正样本。

负例样本：一张现场抓拍图像的特征，和任何一张非对应的注册照的特征，构成一个负例样本即负样本。

这里先描述一下本发明的方案的一个主要实现过程：获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数以及基于该相似度分数构成的领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布；针对每一领域，选取多对人脸特征向量对应的相似度分数作为样本点，并查找出各样本点对应在所述领域分布中的相对位置，以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数；根据所述对应的相似度分数以及对应在所述目标分布中的目标比对分数计算出每对人脸特征向量对应的分数偏移量；由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制。

下面通过本发明的一个实施方式的应用场景的一个例子对本发明的实现进行说明。在线上进行人脸识别时，

S11、初始化人脸识别装置：加载训练好的分数调制模型M、加载任意一个训练好的人脸特征模型E。

S12、注册目标人员或者调出注册目标人员数据库，该数据库中保存注册的目标人员的人脸图像的人脸特征，这些人脸特征在目标人员注册时也可以使用人脸特征模型比如模型E提取目标人员人脸图像的人脸特征。

S13、在需要对现场的人员进行识别时，人脸识别装置会不断的抓取现场待识别的人脸图像(采集单元：摄像头、相机等)，即检索图像，并且使用人脸特征模型，提取检索图像的人脸特征例如特征向量f_q。

S14、将检索图像的人脸特征f_q和数据库中的注册目标人员的特征模板(人脸特征的特征向量f_i)进行比对，得到检索图像和所有注册目标的相似度分数{S_i}，其中，i是注册的目标的人脸图像的人脸特征的索引；这里特征比对的方式包括但不限于余弦距离，欧式距离以及基于模型的特征比对；比对后每对进行比较的特征向量都会有一个相似度分数S_i，这是原始相似度分数。

S15、使用训练得到的分数调制模型计算每个相似度分数偏移量即补偿分数偏移量ΔS_q,i，具体地，把检索图像特征f_q和每一个注册目标的特征f_i构成一个输入<f_q,f_i>，即每对进行比对的特征向量，都同时输入分数调制模型M，模型M根据此输入，将输出一个对应的分数偏移量ΔS_q,i。依此可以计算检索图像与所有注册目标的分数偏移量{ΔS_q,i}。

S16、使用分数偏移量对原始相似度分数S_i进行补偿，检索特征f_q和注册目标的最终的相似度分数

这里补偿操作包括但不限于加法操作。

S17、进行后续的相似度分数排序(补偿后的)并与阈值比对确定识别结果，例如：分数最大的超过了阈值，那与最大分数对应的那个注册目标的人脸图像就是该检索图像对应的识别结果，可以将相应的身份信息等输出。这个实施例中用到的分数调制模型，是在线下训练得到的。

下面说明一下在该应用场景的例子中，离线训练模型M的过程：

S21，提取人脸特征：获取不同领域的成对的人脸图像，成对是指同时包含注册用的证件照和现场抓拍照片，比如每个领域的数据获取1000对数据即可，和人脸特征模型训练所需的数据相比微乎其微；然后利用已经完成训练的人脸特征模型比如模型E，对收集的不同领域人脸图像提取人脸特征；这里，模型E一般可以是由于训练数据很难做到各领域平衡而存在偏见的已有模型。

S22、合并所有这些不同领域的人脸特征，将所有领域的人脸特征合并后，统计正例样本和负例样本的分数分布，分别为正样本目标分布和负样本目标分布：假如给定N对人脸图像(一对是指一张现场抓拍图像及其对应的注册图像)，将N对人脸图像逐一比对得到N²个比对分数S_i,j；其中，i∈{1,...,N}，为抓拍照的图片索引，j∈{1,...,N}，为注册照的图片索引；S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本，由于S_i,j＝S_j,i，二者只取其一；对所有正例样本(或负例样本)，统计直方图，即为上述中的分数分布{S_i,j}。

S23、单独对每一个领域内的人脸特征进行正例样本和负例样本的分数分布{S_i,j}，如S22的方式，只是在各自单独的每一个领域中进行，然后在每一个领域的正/负例样本的分布中进行数据采样(可以设定不同采样规则，从正例分布和负例分布中采样多个样本点)，由于希望每一个领域的正例样本的分布和正例样本的目标分布一致，负例样本的分布和负例样本的目标分布一致，对每个采样的样本点计算其相对目标分布的分数偏移量ΔS_i,j(例如S_2,3与目标分布的S_2,3差值的绝对值等)。

S24、对多个样本点，取出样本点对应的人脸特征向量f_i,f_j和算出的分数偏移量ΔS_i，j,构成一个训练样本<f_i,f_j,ΔS_i,j>，进而构造训练样本集{<f_i,f_j,ΔS_i,j>}。

S25、利用训练样本集合，将<f_i,f_j>作为模型输入，ΔS_i,j为模型回归的目标标签(输出)训练分数调制模型M，模型M可以选神经网络模型或其他回归模型等；训练完成后，将模型M保存至硬盘等存储单元(设备)，在部署阶段加载至人脸识别装置中使用，调整人脸识别的相似度分数。训练模型M中用的训练数据量少，又采用的是不用领域的分数分布为目标进行的训练，这样适应对不同领域的人脸图像的比对分数进行调制，从而使调制后的分数尽可能处于相同的分布，这样便于人脸识别时的分数阈值设置(一看分布就大致能确定阈值设置在哪儿比较合适)，阈值的设置也变得更为容易，而且，统一的阈值也能在不同领域的人脸图像中达到预期且稳定的误警率和通过率指标，比如分数最高值来与阈值比较等。

在本发明的另一个实施方式的应用场景的一个例子中，有一些区别，在线上进行人脸识别时，在S11、初始化时加载的是训练好的领域分类模型C、加载任意一个训练好的人脸特征模型E。在S15、使用训练得到的领域分类模型C来确定检索图像特征f_q和进行比对的注册目标的特征f_i的领域，用领域的分数偏移量ΔS_x和ΔS_y(x、y是领域索引号、均为正整数)来融合成ΔS_q,i，作为这对比对的特征向量f_q和f_i对应的补偿分数偏移量。这个实施例中用到的领域分类模型C，是在线下训练得到的，其可以为常规的分类模型，利用人脸特征进行模型训练，这样，训练好的模型在输入人脸特征时即可判定其所属的领域，例如基于人脸特征向量的属性(即领域)分类器(支持向量机SVM、深度学习网络等模型)：以人脸特征向量作为训练样本输入、已知其所属的领域作为输出，训练模型；并且，通过计算或学习一个整体的每一个领域分数偏移量来作为该领域中的每个人脸特征的分数偏移量，比如前面例子中S22的目标分布，可以取平均值，与单个领域的平均值做差等运算得到；也可以通过其他各种规则和模型通过目标分布和单个领域的分布中的取值、直方图观察等确定该分数偏移量。

本发明的基于分数调制的人脸识别方法的一个实施例，至少包括：在人脸识别初始化时，加载训练好的分数调制模型M，或者，加载训练好的基于人脸特征的领域分类模型C；输入待识别的人脸图像作为检索图像并提取人脸特征；提取注册的目标人员人脸图像的人脸特征；将检索图像的人脸特征与所有目标人员人脸图像的人脸特征进行比对得到原始相似度分数集合；将进行比对的所述待识别的人脸图像的人脸特征的向量和所述注册目标人员数据库中的人脸特征的向量，构成成对的人脸特征向量，根据人脸识别中的分数调制方法的一个实施例的训练好的分数调制模型M或领域分类模型C(领域分类模型包括融合函数)，获得补偿分数偏移量；利用所述补偿分数偏移量补偿所述原始相似度分数集合得到最终相似度分数的集合，并对最终相似度分数的集合中的分数进行排序以及与阈值比较，从注册的目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。

识别具体例如：最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较；当所述最大值大于或等于所述阈值时，判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的目标人员相匹配。

本发明的人脸识别中的分数调制方法的一个实施例，至少包括：合并提取的分属于多个不同领域的人脸图像的人脸特征，以统计人脸特征比对后的相似度分数分布作为目标分布；分别统计每一个领域的人脸图像的人脸特征比对后的相似度分数分布，并分别从每一个领域的所述相似度分数分布中采样数据，得到多个样本点；根据每个所述样本点及其对应的目标分布，计算样本点的分数偏移量，并将多个样本点各自的人脸特征向量对和对应的分数偏移量构成训练样本集合；以训练样本集合中的人脸特征向量对为输入、所述人脸特征向量对所对应的分数偏移量为输出，训练分数调制模型M；在人脸识别时加载所述训练好的所述分数调制模型M，进行相似度分数调制。

其中，合并统计主要是：提取采集的分属于多个不同领域的人脸图像的人脸特征，并将所述多个不同领域的人脸图像的人脸特征合并到一起；将每对人脸图像的人脸特征进行比对，以获得每对人脸图像的相似度分数；统计正例样本的相似度分数分布和负例样本的相似度分数分布，分别作为正例样本目标分布和负例样本目标分布。

其中，分别统计主要是：对提取的单属于每一个领域的人脸图像的人脸特征并进行比对后得到每对人脸图像的相似度分数；对单属于每一个领域的人脸图像的人脸特征，统计正例样本的相似度分数分布和负例样本的相似度分数分布；从单属于每一个领域的所述正例样本和/或所述负例样本的所述相似度分数分布中进行数据采样得到多个样本点。

其中，得到训练样本集主要是：根据每个所述样本点的相似度分数及所述样本点对应的目标分布，计算分数偏移量；提取所述样本点对应的人脸特征向量对和分数偏移量，以构成训练样本；将多个所述样本点构成的训练样本构成训练样本集合。

其中模型M的训练主要是：将训练样本集合中的每个训练样本中的人脸特征向量对作为模型输入，输入到待训练的分数调制模型M中，将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签，训练所述分数调制模型M；其中，所述分数调制模型M为单一的或组合的神经网络模型。

本发明的人脸识别中的分数调制方法的另一个实施例中，主要是模型不同，其根据所述目标分布和每一个领域的相似度分数分布，为每一个领域学习一个整体的分数偏移而得到每一个领域的分数偏移量；训练一个基于人脸特征的领域分类模型C，并在人脸识别时加载所述训练好的所述领域分类模型C，主要将人脸识别时比对的一对人脸特征向量进行领域判断，为其中每个向量赋予对应领域的分数偏移量再经融合函数形成融合后的该对向量的分数偏移量来对该对向量的原始相似度分数进行补偿。

本发明的基于分数调制的人脸识别装置的一个实施例，至少包括：识别单元，在人脸识别初始化时，加载训练好的分数调制模型M，或者，加载训练好的基于人脸特征的领域分类模型C；输入单元，输入待识别的人脸图像作为检索图像并提取人脸特征；提取单元，提取注册的目标人员人脸图像的人脸特征；原始比对单元，将检索图像的人脸特征与所有目标人员人脸图像的人脸特征进行比对得到原始相似度分数集合；分数调制单元，将进行比对的所述待识别的人脸图像的人脸特征的向量和所述注册目标人员数据库中的人脸特征的向量，构成成对的人脸特征向量，根据人脸识别中的分数调制方法的一个实施例的训练好的分数调制模型M或领域分类模型C(领域分类模型包括融合函数)，获得补偿分数偏移量；补偿单元，利用所述补偿分数偏移量补偿所述原始相似度分数集合得到最终相似度分数的集合；输出单元，对最终相似度分数的集合中的分数进行排序以及与阈值比较，从注册的目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。

输出单元具体例如：最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较；当所述最大值大于或等于所述阈值时，判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的目标人员相匹配。

本发明的人脸识别中的分数调制装置的一个实施例，至少包括模型训练单元，用于训练分数调制模型M，具体地：合并提取的分属于多个不同领域的人脸图像的人脸特征，以统计人脸特征比对后的相似度分数分布作为目标分布；分别统计每一个领域的人脸图像的人脸特征比对后的相似度分数分布，并分别从每一个领域的所述相似度分数分布中采样数据，得到多个样本点；根据每个所述样本点及其对应的目标分布，计算样本点的分数偏移量，并将多个样本点各自的人脸特征向量对和对应的分数偏移量构成训练样本集合；以训练样本集合中的人脸特征向量对为输入、所述人脸特征向量对所对应的分数偏移量为输出，训练分数调制模型M，存储单元中存储该训练好的模型M，以便在人脸识别时加载所述训练好的所述分数调制模型M，进行相似度分数调制。

其中，合并统计主要是：提取采集的分属于多个不同领域的人脸图像的人脸特征，并将所述多个不同领域的人脸图像的人脸特征合并到一起；将每对人脸图像的人脸特征进行比对，以获得每对人脸图像的相似度分数；统计正例样本的相似度分数分布和负例样本的相似度分数分布，分别作为正例样本目标分布和负例样本目标分布。

其中，分别统计主要是：对提取的单属于每一个领域的人脸图像的人脸特征并进行比对后得到每对人脸图像的相似度分数；对单属于每一个领域的人脸图像的人脸特征，统计正例样本的相似度分数分布和负例样本的相似度分数分布；从单属于每一个领域的所述正例样本和/或所述负例样本的所述相似度分数分布中进行数据采样得到多个样本点。

其中，得到训练样本集主要是：根据每个所述样本点的相似度分数及所述样本点对应的目标分布，计算分数偏移量；提取所述样本点对应的人脸特征向量对和分数偏移量，以构成训练样本；将多个所述样本点构成的训练样本构成训练样本集合。

其中模型M的训练主要是：将训练样本集合中的每个训练样本中的人脸特征向量对作为模型输入，输入到待训练的分数调制模型M中，将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签，训练所述分数调制模型M；其中，所述分数调制模型M为单一的或组合的神经网络模型。

本发明的人脸识别中的分数调制装置的另一个实施例中，主要是模型不同，即模型训练单元主要根据所述目标分布和每一个领域的相似度分数分布，为每一个领域学习一个整体的分数偏移而得到每一个领域的分数偏移量；训练一个基于人脸特征的领域分类模型C，并在人脸识别时加载所述训练好的所述领域分类模型C，主要将人脸识别时比对的一对人脸特征向量进行领域判断，为其中每个向量赋予对应领域的分数偏移量再经融合函数形成融合后的该对向量的分数偏移量来对该对向量的原始相似度分数进行补偿。

具体地，一个算法应用的实施例例如：具有k个不同领域，k为正整数，采集的N对人脸图像分属于所述k个不同领域；将从所有k个不同领域的N对人脸图像的人脸特征f_i与f_j，合并到一起，逐一对比，得到N²个比对的相似度分数S_i,j；分别统计所有正例样本和所有负例样本的直方图，得到对应的相似度分数分布{S_i,j,i＝j}和{S_i,j,i≠j}，分别作为正例样本的目标分布和负例样本的目标分布；针对单属于k个不同领域中每一个领域1/k的人脸特征f_i与f_j也进行逐一对比后得到的相似度分数S_i,j，同样统计所有正例样本S_{i,j,i＝j,1/k}和负例样本S_{i,j,i≠j,1/k}的直方图，得到对应的相似度分数分布{S_i,j,i＝j}_1/k和{S_i,j,i≠j}_1/k；其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，并且，S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本；在每一个领域1/k的正例样本和/或负例样本的分布中进行数据采样，根据采样得到的每一个样本点S_i,j,1/k与具有相对应的图片索引i和j所指示的目标分布中的S_i,j计算一个分数偏移量ΔS_i,j，同时取出比对得到所述样本点S_i,j,1/k的人脸特征向量f_i和f_j，构成一个训练样本〈f_i，f_j，ΔS_i,j〉；根据从正例样本的相似度分数分布{S_i,j,i＝j}_1/k和/或从负例样本的相似度分数分布{S_i,j,i≠j}_1/k中采样的多个样本点，构造训练样本集{〈f_i，f_j，ΔS_i,j〉}；根据所述训练样本集{〈f_i，f_j，ΔS_i,j〉}来训练分数调制模型M，其中〈f_i，f_j〉为模型输入，ΔS_i,j为模型回归的目标标签；保存训练好的所述分数调制模型M；在进行人脸识别时，初始化阶段加载训练好的人脸特征模型E和训练好的分数调制模型M，并输入待识别人员的人脸图像作为检索图像；通过所述人脸特征模型E提取所述检索图像的人脸特征f_q、以及注册目标人员数据库中的目标人员人脸图像的人脸特征f_i，其中，i是目标人员人脸图像的图片索引，q是检索图像的图片索引，i、q为正整数；将检索图像的人脸特征f_q与目标人员人脸图像的人脸特征f_i逐一进行比对，并计算每张检索图像q和所有目标人员人脸图像i的相似度分数{S_i}，作为原始相似度分数；将检索图像的人脸特征f_q的向量和每一个目标人员人脸图像的人脸特征f_i的向量构成一对输入〈f_q，f_i〉，分数调制模型M根据此输入，输出一个补偿分数偏移量ΔS_q,i，并依此由分数调制模型M输出检索图像q的人脸特征f_q的向量与所有目标人员人脸图像i的人脸特征f_i的向量所对应的补偿分数偏移量集合{ΔS_q,i}；将输出的补偿分数偏移量集合{ΔS_q,i}中的所述补偿分数偏移量ΔS_q,i，补偿到相应的每对进行比对的人脸特征的原始相似度分数S_i中，以对所述原始相似度分数S_i进行调整，得到相应的进行比对的检索图像q的人脸特征f_q和目标人员人脸图像i的人脸特征f_i最终的相似度分数

将所述原始的相似度分数S_i加上相应的所述补偿分数偏移量ΔS_q,i，得到相应的最终的相似度分数

具体地，另一个算法应用实施例如：具有k个不同领域，k为正整数，采集的N对人脸图像分属于所述k个不同领域；将从所有k个不同领域的N对人脸图像的人脸特征f_i与f_j，合并到一起，逐一对比，得到N²个比对的相似度分数S_i,j；统计所有样本的直方图，得到对应的相似度分数分布{S_i,j}，作为目标分布；针对单属于k个不同领域中每一个领域1/k的人脸特征f_i与f_j也进行逐一对比后得到的相似度分数S_i,j，同样统计所有样本S_i,,1/k的直方图，得到对应的相似度分数分布{S_i,j}_1/k；其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}；计算目标分布{S_i,j}的平均值与每一个领域相似度分数分布{S_i,j}_1/k的平均值之间的分数偏移量作为每一个领域的整体分数偏移量ΔS_l，l∈{1,...k}，l为领域索引；训练一个基于人脸特征的领域分类模型C并保存；在人脸识别时，初始化阶段加载所述训练好的所述领域分类模型C和人脸特征模型E；输入待识别人员的人脸图像作为检索图像；通过所述人脸特征模型E提取所述检索图像的人脸特征f_q、以及注册目标人员数据库中的目标人员人脸图像的人脸特征f_i，其中，i是目标人员人脸图像的图片索引，q是检索图像的图片索引，i、q为正整数；将检索图像的人脸特征f_q与目标人员人脸图像的人脸特征f_i逐一进行比对，并计算每张检索图像q和所有目标人员人脸图像i的相似度分数{S_i}，作为原始相似度分数；通过所述领域分类模型C确定检索图像的人脸特征f_q与目标人员人脸图像的人脸特征f_i各自所属的领域，并获得各自所属领域的所述分数偏移量ΔS_lq，ΔS_li；利用融合函数F将各自所属的领域的分数偏移量融合为进行比对的检索图像的人脸特征f_q与目标人员人脸图像的人脸特征f_i的补偿分数偏移量ΔS_q,i＝F(ΔS_lq,ΔS_li)；将所述补偿分数偏移量ΔS_q,i补偿到相应的每对进行比对的人脸特征的原始相似度分数S_i中，以对所述原始相似度分数S_i进行调整，得到相应的进行比对的检索图像q的人脸特征f_q和目标人员人脸图像i的人脸特征f_i最终的相似度分数

将所述原始的相似度分数S_i加上相应的所述补偿分数偏移量ΔS_q,i，得到相应的最终的相似度分数

下面再结合图1表示本发明的基于分数调制的人脸识别方法的一个实施例的主要步骤流程示意图，对本发明优选的人脸识别中的分数调制方法以及应用于人脸识别的例子进行具体说明。

该方法主要分为两个阶段：离线训练阶段和在线部署阶段。

a)离线训练阶段

离线训练阶段对每个领域的人脸特征分别统计正例样本和负例样本的分数分布，然后在分布中进行采样，计算每个采样样本相对目标分布的偏移量，并使用从所有领域的采样样本的人脸特征作为训练样本，其相对目标分布的偏移量作为回归目标，训练分数调制模型M。

所述不同领域的的人脸数据，其领域划分包括但不限于人种、年龄、场景，其他导致比对分数分布不一致的情况都可认为是不同领域数据，比如性别，是否因戴墨镜、口罩等遮掩面部、人脸尺寸、人脸朝向、照明环境等。

离线训练阶段的具体实现步骤如下：

步骤S101，获取人脸特征模型E。

在离线训练阶段，预先提供一个已经训练完成的人脸特征模型E，该模型包含多个领域的人脸图像。

步骤S102，获取成对的人脸图像数据。

针对每个领域，所述离线训练阶段预先获取N个人的成对的人脸图像数据，所述成对的人脸图像一个是指包含在人脸识别系统中注册时所使用的人脸图像(后面简称注册照)，另一个可以是现场采集的待识别的人脸图像。其中，现场采集的人脸图像可以是在现场采集的视频中截取的图像，也可以是现场直接拍摄的人脸照片。在一个具体实施例中，所述注册时所使用的人脸图像是证件照。在一个具体实施例中，所述注册时所使用的人脸图像是身份证照片。

每个领域获取N对数据即可。其中N为正整数，N远小于人脸特征模型训练所需的数据。在一个具体实施例中，N为1000。

步骤S103，对所述人脸图像数据做进一步的图像预处理。

获取人脸图像数据后，还需要对所述人脸图像数据做进一步的图像预处理。对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。例如去除源图像中的背景区域和干扰区域、人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

在一个特定实施例中，所述图像预处理包括关键点定位。所述关键点定位是指在人脸图像中定位出面部器官的关键特征点，包括眼角点、眼中心点、嘴角点、鼻尖点、面部轮廓点等特征部位。这一步骤可以采用基于主动形状模型(Active Shape Model)的关键点定位方法实现。

在一个特定实施例中，所述图像预处理包括图像归一化。所述图像归一化是指根据检查出的关键点对人脸区域的位置、大小、平面角度等归一化到同一个标准。

步骤S104，提取人脸特征。

人脸特征提取是对人脸进行特征建模的过程。通过所述已经训练完成的人脸特征模型E对收集的不同领域的所有人脸图像提取人脸特征。所述的人脸特征既可能是图像上每个像素点的亮度值，也可能是经过某一特征提取器提取的特征，如形状特征、纹理特征、Gabor小波变换特征，或者是上述特征的组合。人脸特征提取时，具体选用何种特征可根据实际情况而定。

每个用户对应至少一个人脸特征，不同的用户的人脸特征的个数可以不同。

可以采用现有的人脸特征提取算法来提取人脸图像的人脸特征，例如采用深度神经网络算法、LBP、Sobel梯度、二值特征等特征提取方法进行人脸特征的提取。

步骤S105，统计目标分数分布。

对收集的不同领域的所有人脸图像提取人脸特征后，将所有领域的人脸特征合并到一起，统计所有正例样本和负例样本的分数分布，分别为正例样本目标分布和负例样本目标分布。

其中，一张待识别人员的人脸图像的人脸特征与其对应的注册时所使用的人脸图像的人脸特征的比对分数，构成一个正例样本；一张待识别人员的人脸图像的人脸特征，与任何一张非对应的注册时所使用的人脸图像的人脸特征的比对分数，构成一个负例样本。

例如，正例样本为同一个人的身份证图像和现场采集的人脸图像，负例样本为不同人的身份证图像和现场采集的人脸图像。

具体来说，假如给定N对人脸图像(1对是指一张现场采集的人脸图像及这个人对应的注册图像)，其中N为正整数，将上述N对人脸图像一一比对，得到N²个比对分数S_i,j；其中，i∈{1,…,N}，为待识别人员的人脸图像(例如抓拍照)的图片索引，j∈{1,…,N}，为注册照的图片索引。S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本，由于S_i,j＝S_j,i，二者只取其一。

对收集的所有领域的所有正例样本(或负例样本)，统计直方图，即为上述的分数分布。

步骤S106，统计每个领域的分数分布；

根据与步骤S105相同的操作，对每一个领域内的人脸特征，分别统计各个领域正例样本和负例样本的分数分布。

步骤S107，采样训练数据。

在每一个领域的正例样本/负例样本的分布中进行数据采样，采样训练数据。由于目的是希望每一个领域的正例样本分数分布和正例样本目标分布一致，负例样本分数分布和负例样本目标分布一致；因此对于每一个样本点，可以计算得到一个分数偏移量ΔS_i,j，同时取出其对应的人脸特征向量f_i，f_j，构成一个训练样本〈f_i，f_j，ΔS_i,j〉。其中人脸特征向量f_i是从待识别人员的人脸图像提取的人脸特征向量，人脸特征向量f_j是从注册照片提取的人脸特征向量。

通过设定不同的采样规则，可以从正例分布和负例分布中采样多个样本点，构造训练样本集{〈f_i，f_j，ΔS_i,j〉}。

步骤S108，训练分数调制模型M。

根据步骤S107构造的训练样本集合来训练分数调制模型M，其中〈f_i，f_j〉为模型输入，ΔS_i,j为模型回归的目标标签。训练完成后，可将分数调制模型M保存至硬盘等储存系统中，在在线部署阶段加载至人脸识别装置中。

另一个实施例中，如果训练领域分类模型C则不以步骤S107和S108的方式采样和训练，可以通过每个领域的人脸特征结合训练一个分类模型C，得到领域和人脸特对应的领域分类模型C识别每个人脸特征所属领域；而利用领域分类模型C调制分数，则具体可以利用如前述应用场景的另一个例子中所述的根据目标分布和每一个领域的分数分布来计算/学习每一个领域整体的分数偏移量提供给属于该领域的每个人脸特征，在线上识别时候再使用并融合得到比对的每对人脸特征的分数偏移量来进行原始比对分数的补偿。

所述离线训练阶段用于在训练样本集合上通过统计机器学习的方法来获得与领域相关的分数偏移量，从而使得处于不同领域下的人脸图像特征能够变换到一个与领域无关空间中，即同一个人在不同领域下的人脸图片，可以看作是由一个在理想的身份空间中的个体通过不同的变换或映射而得到。在身份空间中个体不随领域变化而变化。

b)在线部署阶段

该阶段具体实现步骤如下：

步骤S201,初始化。

所述初始化步骤，包括加载人脸特征模型E和分数调制模型M或领域分类模型C。

步骤S202，注册目标人员。

使用所述人脸特征模型E，提取目标人员的人脸图像特征，然后作为模板保存到数据库(目标人员模板库)中，用于后续的身份验证。

在注册过程中，首先采集人脸图像，并采用与训练过程中相同的方法对采集的人脸图像预处理，以供生成注册数据。

步骤S203，提取人脸特征。

在线部署阶段会不断的采集待识别人员的人脸图像，即检索图像，并采用与训练过程中相同的方法对采集的人脸图像预处理，然后使用人脸特征模型E，提取检索图像的人脸特征f_q。

步骤S204，特征比对。

将检索图像的人脸特征与存储在数据库中的目标人员的特征模板逐一进行比较，并计算每次检索图像和所有注册目标的相似度分数{S_i}，即原始分数，其中，i是注册目标的索引，i为正整数。

特征比对的方式包括但不限于余弦距离，欧式距离以及基于模型的特征比对。

步骤S205，计算分数偏移量。

使用训练得到的分数调制模型M，检索图像特征f_q和每一个注册目标的特征f_i构成一个输入〈f_q，f_i〉，分数调制模型M根据此输入，将输出一个分数偏移量ΔS_q，i。依此可以计算检索图像与所有注册目标的比对分数的分数偏移量{ΔS_q，i}。

若使用领域分类模型C则会判断f_q、f_i各自所属的领域并赋予两个领域的分数偏移量，如前述应用场景的另一个例子描述的一样，经融合函数F融合ΔS_q,i＝F(ΔS_q,ΔS_i)后得到这对〈f_q，f_i〉的补偿分数偏移量ΔS_q，i。依此可以计算检索图像与所有注册目标的比对分数的分数偏移量{ΔS_q，i}。

步骤S206，分数补偿。

将每对原始的相似度分数S_i加上分数调制模型M输出的分数偏移量ΔS_q，i，对原始的相似度分数S_i进行补偿，得到检索特征f_q和注册目标最终的相似度分数

即这一对特征的最终比对分数。

所述补偿操作包括但不限于加法操作。

进一步的，本发明还提供了一种人脸识别方法的实施例，在前述分数调制方法得出所述检索特征f_q和注册目标最终的相似度分数

的基础上，进一步包括下述步骤：

步骤S207，在线识别。

对于输入的检索图像，根据所述计算得到的最终比对分数，进行后续的分数排序和阈值比对，从已注册的目标人员数据库中选择与输入的检索图像相似度最高的已知人脸图像，并返回该目标人员的身份信息作为识别结果。

具体的，将各个最终比对分数中的最大值与一预先设置的阈值进行比较。当所述最大值大于或等于所述阈值时，可以判定待识别人员和与所述最大值对应的存储在数据库中的目标用户相匹配。

下面对基于分数调制的人脸识别装置及其用到的人脸识别中的分数调制装置的一个实施例对本发明的实现做进一步说明。

该基于分数调制的人脸识别装置主要分为两个阶段的处理：离线训练阶段和在线部署阶段。

a)离线训练阶段主要是模型训练单元的模型训练

对每个领域的人脸特征分别统计正例样本和负例样本的分数分布，然后在分布中进行采样，计算每个采样样本相对目标分布的偏移量，并使用从所有领域的采样样本的人脸特征作为训练样本，其相对目标分布的偏移量作为回归目标，训练分数调制模型M。

所述不同领域的的人脸数据，其领域划分包括但不限于人种、年龄、场景，其他导致比对分数分布不一致的情况都可认为是不同领域数据，比如性别，是否因戴墨镜、口罩等遮掩面部、人脸尺寸、人脸朝向、照明环境等。

(1)获取人脸特征模型E。具体地，预先提供一个已经训练完成的人脸特征模型E，该模型包含多个领域的人脸图像。

(2)获取成对的人脸图像数据。针对每个领域，采集单元预先获取N个人的成对的人脸图像数据，并将所述成对的人脸图像数据发送给第一图像预处理单元。所述成对的人脸图像一个是指包含在人脸识别系统中注册时所使用的人脸图像，另一个可以是现场采集的待识别的人脸图像。其中，现场采集的人脸图像可以是在现场采集的视频中截取的图像，也可以是现场直接拍摄的人脸照片。在一个具体实施例中，所述注册时所使用的人脸图像是证件照。在一个具体实施例中，所述注册时所使用的人脸图像是身份证照片。

每个领域获取N对数据即可。其中N为正整数，N远小于人脸特征模型训练所需的数据。在一个具体实施例中，N为1000。

(3)对所述人脸图像数据做进一步的图像预处理。

获取人脸图像数据后，还需要对所述人脸图像数据做进一步的图像预处理。对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。例如去除源图像中的背景区域和干扰区域、人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

在一个特定实施例中，所述图像预处理包括关键点定位。所述关键点定位是指在人脸图像中定位出面部器官的关键特征点，包括眼角点、眼中心点、嘴角点、鼻尖点、面部轮廓点等特征部位。这一步骤可以采用基于主动形状模型(Active Shape Model)的关键点定位方法实现。

在一个特定实施例中，所述图像预处理包括图像归一化。所述图像归一化是指根据检查出的关键点对人脸区域的位置、大小、平面角度等归一化到同一个标准。

(4)提取人脸特征。接收图像预处理后的人脸数据，提取人脸特征。人脸特征提取是对人脸进行特征建模的过程。通过所述已经训练完成的人脸特征模型E对收集的不同领域的所有人脸图像提取人脸特征。所述的人脸特征既可能是图像上每个像素点的亮度值，也可能是经过某一特征提取器提取的特征，如形状特征、纹理特征、Gabor小波变换特征，或者是上述特征的组合。人脸特征提取时，具体选用何种特征可根据实际情况而定。

每个用户对应至少一个人脸特征，不同的用户的人脸特征的个数可以不同。

可以采用现有的人脸特征提取算法来提取人脸图像的人脸特征，人脸特征模型E例如采用深度神经网络算法、LBP、Sobel梯度、二值特征等特征提取方法进行人脸特征的提取。

(5)统计目标分数分布。对收集的所有领域的所有人脸图像提取人脸特征后，所述目标分数分布统计单元将所有领域的人脸特征合并到一起，统计所有正例样本和负例样本的分数分布，分别为正例样本目标分布和负例样本目标分布。参见步骤S105。

对收集的所有正例样本(或负例样本)，统计直方图，即为上述的分数分布。

其中，一张待识别人员的人脸图像的人脸特征与其对应的注册时所使用的人脸图像的人脸特征的比对分数，构成一个正例样本；一张待识别人员的人脸图像的人脸特征，与任何一张非对应的注册时所使用的人脸图像的人脸特征的比对分数，构成一个负例样本。

例如，正例样本为同一个人的身份证图像和现场采集的人脸图像，负例样本为不同人的身份证图像和现场采集的人脸图像。

具体来说，假如给定N对人脸图像(1对是指一张现场采集的人脸图像及其对应的注册图像)，其中N为正整数，将上述N对人脸图像一一比对，得到N²个比对分数S_i,j；其中，i∈{1,…,N}，为现场采集的图片索引，j∈{1,…,N}，为注册照的图片索引。S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本，由于S_i,j＝S_j,i，二者只取其一。

对收集的不同领域的所有正例样本(或负例样本)，统计直方图，即为上述中的分数分布。

(6)统计每个领域的分数分布。与所述目标分数分布统计相同的方式，对每一个领域内的人脸特征，分别统计各个领域正例样本和负例样本的分数分布。

(7)采样训练数据。接收所述正例样本目标分布和负例样本目标分布、以及所述各个领域正例样本和负例样本的分数分布，在每一个领域的正例样本/负例样本的分布中进行数据采样，采样训练数据。由于目的是希望每一个领域的正例样本分数分布和正例样本目标分布一致，负例样本分数分布和负例样本目标分布一致；因此对于每一个样本点，可以计算得到一个分数偏移量ΔS_i,j，同时取出其对应的人脸特征向量f_i，f_j，构成一个训练样本〈f_i，f_j，ΔS_i,j〉。

通过设定不同采样规则，可以从正例分布和负例分布中采样多个样本点，构造训练样本集{〈f_i，f_j，ΔS_i,j〉}。

(8)训练分数调制模型M。根据所述构造的训练样本集来训练分数调制模型M，其中〈f_i，f_j〉为模型输入，ΔS_i,j为模型回归的目标标签。训练完成后，可将分数调制模型M保存至硬盘等储存系统中，在在线部署阶段加载至人脸识别装置中。

另一个实施例中，如果训练领域分类模型C则不以(7)和(8)的方式采样和训练，可以通过每个领域的人脸特征结合训练一个分类模型C，得到领域和人脸特对应的领域分类模型C识别每个人脸特征所属领域；而利用领域分类模型C调制分数，则具体可以利用如前述应用场景的另一个例子中所述的根据目标分布和每一个领域的分数分布来计算/学习每一个领域整体的分数偏移量提供给属于该领域的每个人脸特征，在线上识别时候再使用并融合得到比对的每对人脸特征的分数偏移量来进行原始比对分数的补偿。

b)在线部署阶段主要是前述的人脸识别装置现场识别

识别单元，初始化整体装置，包括加载人脸特征模型E，以及分数调制模型M或领域分类模型C两个分数调制用的模型。

在线部署阶段，输入单元，输入待识别的人脸图像作为检索图像并使用所述人脸特征模型E提取人脸特征。该装置在现场通过采集单元(相机等)会不断的采集待识别人员的人脸图像，即检索图像。还可以对图像进行预处理(采用与训练过程中相同的方法)，再使用提取单元的模型E也提取该检索图像的人脸特征f_q。

提取单元，可以使用模型E对注册的目标人员的人脸图像特征进行提取，这些注册的目标人员的人脸图像的人脸特征是作为模板保存到数据库(目标人员模板库)中，用于后续的身份验证。在注册过程中，首先采集人脸图像，并采用与训练过程中相同的方法对采集的人脸图像预处理，以供生成注册数据。

原始比对单元，将检索图像的人脸特征与存储在数据库中的目标人员的特征模板逐一进行比较，并计算每次检索图像和所有注册目标的相似度分数{S_i}，即原始分数，其中，i是注册目标的索引。特征比对的方式包括但不限于余弦距离，欧式距离以及基于模型的特征比对。

分数调制单元，使用训练得到的分数调制模型M，检索图像特征f_q和每一个注册目标的特征f_i构成一个输入〈f_q，f_i〉，分数调制模型M根据此输入，将输出一个分数偏移量ΔS_q，i。依此可以计算检索图像与所有注册目标的比对分数的分数偏移量{ΔS_q，i}。

若使用领域分类模型C则会判断f_q、f_i各自所属的领域并赋予两个领域的分数偏移量而无需单独的正负例样本和特征向量的分数偏移量了。如前述应用场景的另一个例子描述的一样，经融合函数F融合ΔS_q,i＝F(ΔS_q,ΔS_i)后得到这对〈f_q，f_i〉的补偿分数偏移量ΔS_q，i。依此可以计算检索图像与所有注册目标的比对分数的分数偏移量{ΔS_q，i}。

补偿单元，将每对原始的相似度分数S_i加上分数调制模型M输出的分数偏移量ΔS_q，i，对原始的相似度分数S_i进行补偿，得到检索特征f_q和注册目标最终的相似度分数

即这一对特征的最终比对分数。

所述补偿操作包括但不限于加法操作。

输出单元，在前述分数调制方法得出所述检索特征f_q和注册目标最终的相似度分数

的基础上输出在线识别结果。对于输入的检索图像，根据所述计算得到的最终比对分数，进行后续的分数排序和阈值比对，从已注册的目标人员数据库中选择与输入的检索图像相似度最高的已知人脸图像，并返回该目标人员的身份信息作为识别结果。具体的，将各个最终比对分数中的最大值与一预先设置的阈值进行比较。当所述最大值大于或等于所述阈值时，可以判定待识别人员和与所述最大值对应的存储在数据库中的目标用户相匹配。

本发明针对目前人脸识别系统中不同领域人脸图像的比对分数分布差异大的问题，提出了一种人脸识别中的分数调制方法，通过少量的训练数据，对不同领域的人脸图像的比对分数进行调制，使调制后的分数处于相同的分布，便于人脸识别过程中阈值的设置，统一的阈值也能在不同领域的人脸图像中达到预期且稳定的误警率和通过率指标，同时阈值的设置也变得更为容易。

本发明仅需少量训练数据，极大的降低了数据获取和标注的难度的。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行前述的人脸识别中的分数调制方法的步骤；或者，所述程序代码适于由所述处理器加载并运行以执行前述的基于分数调制的人脸识别方法的步骤。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该存储装置可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中存储是非暂时性的计算机可读存储介质。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种控制装置。在根据本发明的一个终端设备实施例中，其包括处理器和存储器，存储器可以被配置成存储多条程序代码，所述程序代码适于由该处理器加载并运行以执行前述人脸识别中的分数调制方法的步骤，或者，前述基于分数调制的人脸识别方法的步骤。

进一步，应该理解的是，由于各个模块(单元)的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

由此，本发明的方案达到从比对分数分布的角度对原始的比对分数进行调制而使分数分布一致，使得后续的阈值设置更加容易且能在不同领域的人脸图像中达到预期且稳定的误警率和通过率指标，提升人脸识别系统在实际场景中的性能和体验。

本领域技术人员能够理解的是，可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (22)

1.一种人脸识别中的分数调制方法，其特征在于，包括：

获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数；

在每个领域中选取多对人脸特征向量对应的相似度分数作为样本点，获取每个领域的每一样本点在所有领域中的相对目标比对分数，以及根据样本点对应的相似度分数和所述目标比对分数计算出各领域中每一样本点对应的分数偏移量；

由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制；

所述相对目标比对分数的获取过程包括：

基于每个领域对应的相似度分数构成领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布；

针对每一领域，查找出各样本点对应在所述领域分布中的相对位置，以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数。

2.如权利要求1所述的方法，其特征在于，

所述基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布，具体包括：

合并所有不同领域的不同人脸特征向量；

将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；

根据所有的所述目标比对分数，统计其中正例样本的目标比对分数的分布作为正例样本的目标分布，以及，统计其中负例样本的目标比对分数的分布作为负例样本的目标分布；

所述每个领域对应的相似度分数构成领域分布具体包括：

根据每个领域对应的相似度分数，统计其中正例样本对应的相似度分数作为正例样本的领域分布，统计其中负例样本对应的相似度分数作为负例样本的领域分布；

其中，每个领域中选取的所述样本点包括：从正例样本的领域分布中选取的正例样本、或者从负例样本的领域分布中选取的负例样本；

其中，获取的每一样本点在所有领域中的相对目标比对分数包括：对于所述正例样本，从正例样本的目标分布中获取相对的目标比对分数；对于所述负例样本，从负例样本的目标分布中获取相对的目标比对分数；

其中，一张人脸图像的人脸特征向量与其对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个正例样本；一张人脸图像的人脸特征向量与任何一张非对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个负例样本。

3.如权利要求1所述的方法，其特征在于，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，具体包括：

将训练样本集合中的每个训练样本中的人脸特征向量对作为模型输入，输入到待训练的分数调制模型M中，将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签，训练所述分数调制模型M；

其中，所述分数调制模型M为单一的或组合的神经网络模型。

4.如权利要求1所述的方法，其特征在于，

所述人脸特征向量由存在领域偏见的人脸特征模型E对所采集的人脸图像进行提取得到；

所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；

通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；

所述领域至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境。

5.如权利要求2所述的方法，其特征在于，

所述将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；

其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，并且，S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本；

所述正例样本的领域分布和目标分布，用集合{S_i,j,i＝j}表示；

所述负例样本的领域分布和目标分布，用集合{S_i,j,i≠j}表示；

所述分数偏移量用ΔS_i,j表示，其中，ΔS_i,j＝A-B，A是所述相似度分数，B是相应的目标比对分数；

所述训练样本集用集合{〈f_i,f_j,ΔS_i,j〉}表示。

6.一种人脸识别中的分数调制方法，其特征在于，包括：

获取基于每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数构成的领域分布、以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布；

基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量；

根据多个不同领域的人脸特征向量及其人脸特征向量所属的领域，训练基于人脸特征向量的领域分类模型C；

在人脸识别时通过加载训练好的所述领域分类模型C，确定进行两两比对的两个人脸特征向量各自所属的领域，以获得各自所属领域的所述分数偏移量；

利用融合函数F将各自所属领域的所述分数偏移量融合为所述两个人脸特征向量的补偿分数偏移量，以便将所述补偿分数偏移量补偿到所述两个人脸特征向量的比对得到的原始相似度分数中而得到所述两个人脸特征向量对应的最终相似度分数；

其中，所述进行两两比对的两个人脸特征向量分别为待识别的人脸图像的人脸特征向量和注册目标人员数据库中的人脸特征向量。

7.如权利要求6所述的方法，其特征在于，

所述基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布，具体包括：

合并所有不同领域的不同人脸特征向量；

将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；

统计所有目标比对分数构成对应所有领域的目标分布；

所述领域分布的构成，具体包括：

对每个领域中的相似度分数进行统计，构成所述领域对应的领域分布。

8.如权利要求7所述的方法，其特征在于，

所述基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量，具体包括：

利用每个领域对应的所述领域分布的相似度分数的平均值与所述目标分布的目标比对分数的平均值计算对应每个领域的分数偏移而获得相应所述领域的分数偏移量。

9.如权利要求8所述的方法，其特征在于，

利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取，所述人脸特征模型E存在领域偏见；

所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；

通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；

所述领域是至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境；

所述将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；

其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，并且，所述相似度分数分布用集合{S_i,j}表示；

所述每个领域的整体分数偏移量表示为ΔS_l，l∈{1,...k}，l为领域索引。

10.一种基于分数调制的人脸识别方法，其特征在于，包括：

在人脸识别初始化时，加载训练好的分数调制模型M或领域分类模型C；

输入待识别的人脸图像作为检索图像并提取所述检索图像的人脸特征向量；

提取注册的目标人员人脸图像的人脸特征向量；

将检索图像的人脸特征向量与所有所述目标人员人脸图像的人脸特征向量进行两两比对得到原始相似度分数的集合；

根据如权利要求1至5任一项所述的方法中的所述分数调制模型M或者根据如权利要求6至9任一项所述的方法中的所述领域分类模型C和融合函数F，获得所有进行两两比对的每对人脸特征向量的相应的补偿分数偏移量；

利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿，得到最终相似度分数的集合；

对最终相似度分数的集合中的分数进行排序以及与阈值进行比较；

从所述目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。

11.如权利要求10所述的方法，其特征在于，

对最终相似度分数的集合中的分数进行排序以及与阈值进行比较，具体包括：

将最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较；

当所述最大值大于或等于所述阈值时，判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的所述目标人员相匹配；

利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿，具体包括：

在每个所述原始相似度分数上加上相应的所述补偿分数偏移量。

12.一种计算机可读存储介质，所述存储介质中存储有多条程序代码，其特征在于，所述程序代码适用于由处理器加载并运行以执行权利要求1至9中任一项所述的人脸识别中的分数调制方法；或者，所述程序代码适于由所述处理器加载并运行以执行权利要求10或11所述的基于分数调制的人脸识别方法。

13.一种控制装置，包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至9中任一项所述的人脸识别中的分数调制方法；或者，所述程序代码适于由所述处理器加载并运行以执行权利要求10或11所述的基于分数调制的人脸识别方法。

14.一种人脸识别中的分数调制装置，其特征在于，包括：

模型训练单元，用于训练分数调制模型M，具体包括：

第一单元，用于获取每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数；

第二单元，用于在每个领域中选取多对人脸特征向量对应的相似度分数作为样本点，获取每个领域的每一样本点在所有领域中的相对目标比对分数，以及根据样本点对应的相似度分数和所述目标比对分数计算出各领域中每一样本点对应的分数偏移量；

第三单元，用于由各领域对应的样本点以及各样本点对应的分数偏移量形成训练样本集合，以所述训练样本集合中的人脸特征向量对作为输入、所述人脸特征向量对所对应的分数偏移量作为输出，训练分数调制模型M，以在人脸识别时通过训练好的所述分数调制模型M进行相似度分数调制；

所述第二单元，执行获取所述相对目标比对分数的操作包括：

基于每个领域对应的相似度分数构成领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布；

针对每一领域，查找出各样本点对应在所述领域分布中的相对位置，以及基于所述相对位置查找出各样本点在所述目标分布中具有相同相对位置对应的目标比对分数。

15.如权利要求14所述的装置，其特征在于，

所述第二单元执行基于所有领域合并的不同人脸特征向量之间的相似度分数构成目标分布的操作，具体包括：

合并所有不同领域的不同人脸特征向量；

将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；

根据所有的所述目标比对分数，统计其中正例样本的目标比对分数的分布作为正例样本的目标分布，以及，统计其中负例样本的目标比对分数的分布作为负例样本的目标分布；

所述第二单元执行基于每个领域对应的相似度分数构成领域分布的操作具体包括：

根据每个领域对应的相似度分数，统计其中正例样本对应的相似度分数作为正例样本的领域分布，统计其中负例样本对应的相似度分数作为负例样本的领域分布；

其中，每个领域中选取的所述样本点包括：

从正例样本的领域分布中选取的正例样本、或者从负例样本的领域分布中选取的负例样本；

其中，每一样本点在所有领域中的相对目标比对分数的获取包括：

对于所述正例样本，从正例样本的目标分布中获取相对的目标比对分数；

对于所述负例样本，从负例样本的目标分布中获取相对的目标比对分数；

其中，一张人脸图像的人脸特征向量与其对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个正例样本；一张人脸图像的人脸特征向量与任何一张非对应的注册时所使用的人脸图像的人脸特征向量相互比对后的相似度分数，构成一个负例样本。

16.如权利要求15所述的装置，其特征在于，其特征在于，所述第三单元具体执行如下操作：

以所述训练样本集合中的人脸特征向量对作为模型输入，输入到待训练的分数调制模型M中，将每个训练样本中人脸特征向量对所对应的分数偏移量作为模型回归的目标标签，训练所述分数调制模型M；

其中，所述分数调制模型M为单一的或组合的神经网络模型。

17.如权利要求15所述的装置，其特征在于，其中，

利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取，所述人脸特征模型E存在领域偏见；

所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；

通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；

所述领域至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境；

所述将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；

其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，并且，S_i,j,i＝j为正例样本，S_i,j,i≠j为负例样本；

所述正例样本的领域分布和目标分布用集合{S_i,j,i＝j}表示；

所述负例样本的领域分布和目标分布用集合{S_i,j,i≠j}表示；

所述分数偏移量用ΔS_i,j表示，其中，ΔS_i,j＝A-B，A是所述相似度分数，B是相应的目标比对分数；

所述训练样本集用集合{〈f_i,f_j,ΔS_i,j〉}表示。

18.一种人脸识别中的分数调制装置，其特征在于，包括：

第一模块，用于获取基于每个领域中的多个不同人脸特征向量之间经过两两比对的相似度分数构成的领域分布，以及基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布；

第二模块，用于基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量；

第三模块，用于根据多个不同领域的人脸特征向量及其人脸特征向量所属的领域，训练基于人脸特征向量的领域分类模型C；

第四模块，用于在人脸识别时通过加载训练好的所述领域分类模型C，确定进行两两比对的两个人脸特征向量各自所属的领域，以获得各自所属领域的所述分数偏移量；

第五模块，用于利用融合函数F将各自所属领域的所述分数偏移量融合为所述两个人脸特征向量的补偿分数偏移量，以便将所述补偿分数偏移量补偿到所述两个人脸特征向量比对得到的原始相似度分数中而得到所述两个人脸特征向量对应的最终相似度分数；

其中，所述进行两两比对的两个人脸特征向量分别为待识别的人脸图像的人脸特征向量和注册目标人员数据库中的人脸特征向量。

19.如权利要求18所述的装置，其特征在于，

所述第一模块中执行所述基于所有领域合并的不同人脸特征向量之间的相似度分数构成的目标分布的操作，具体包括：

合并所有不同领域的不同人脸特征向量；

将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数，作为目标比对分数；

统计所有目标比对分数构成对应所有领域的目标分布；

所述第一模块中执行所述领域分布的构成操作，具体包括：

对每个领域中的相似度分数进行统计，构成所述领域对应的领域分布；

所述第二模块中执行基于所述目标分布和领域分布，为每个领域学习一个整体的分数偏移而得到对应所述每个领域的整体分数偏移量的操作，具体包括：

利用每个领域对应的所述领域分布的相似度分数的平均值与所述目标分布的目标比对分数的平均值计算对应每个领域的分数偏移而获得相应所述领域的分数偏移量。

20.如权利要求19所述的装置，其特征在于，其中，

利用训练好的人脸特征模型E对所采集的人脸图像进行人脸特征向量提取，所述人脸特征模型E存在领域偏见；

所述人脸特征向量之间进行两两比对为基于余弦距离、欧式距离或者基于模型的比对；

通过统计每个领域的多个相似度分数的直方图来获得每个领域对应的领域分布、以及统计多个目标比对分数的直方图来获得目标分布；

所述领域至少包括以下一种或多种：人种、年龄、性别、场景、是否遮掩面部、人脸尺寸、人脸朝向、或照明环境；

所述将合并后的所有不同人脸特征向量之间进行两两比对后得到每对人脸特征向量的相似度分数表示为：向量f_i与f_j比较的相似度分数S_i,j；

其中，i代表待识别的人脸图像的图片索引，i∈{1,...N}，j代表注册目标人员数据库中人脸图像的图片索引，j∈{1,...N}，

所述相似度分数分布用集合{S_i,j}表示；

所述每个领域的整体分数偏移量表示为ΔS_l，l∈{1,...k}，l为领域索引。

21.一种基于分数调制的人脸识别装置，其特征在于，包括：

识别单元，用于在人脸识别初始化时，加载训练好的分数调制模型M或领域分类模型C；

输入单元，用于输入待识别的人脸图像作为检索图像并提取所述检索图像的人脸特征向量；

提取单元，用于提取注册的目标人员人脸图像的人脸特征向量；

原始比对单元，用于将检索图像的人脸特征向量与所有所述目标人员人脸图像的人脸特征向量进行两两比对得到原始相似度分数的集合；

分数调制单元，用于根据如权利要求14至17中任一项所述的装置中的所述分数调制模型M或权利要求18至20中任一项所述的装置中的所述领域分类模型C和融合函数F，获得所有进行两两比对的每对人脸特征向量的相应的补偿分数偏移量；

补偿单元，用于利用所述补偿分数偏移量对所述原始相似度分数集合中的相应的原始相似度分数进行补偿，得到最终相似度分数的集合；

输出单元，用于对最终相似度分数的集合中的分数进行排序以及与阈值进行比较，并且，从所述目标人员数据库中选择与检索图像相似度最高的目标人员人脸图像并返回对应的目标人员的身份信息作为识别结果。

22.根据权利要求21所述的装置，其特征在于，

所述补偿单元具体执行如下操作：在每个所述原始相似度分数上加上相应的所述补偿分数偏移量；

所述输出单元具体执行如下操作：将最终相似度分数的集合中的分数最大值与一预先设置的阈值进行比较；当所述最大值大于或等于所述阈值时，判定所述检索图像对应的待识别人员与所述最大值对应的注册目标人员数据库中的所述目标人员相匹配。

Images