CN102622590B

CN102622590B - 基于人脸-指纹协同的身份识别方法

Info

Publication number: CN102622590B
Application number: CN201210065455.2A
Authority: CN
Inventors: 刘欢喜
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2012-03-13
Filing date: 2012-03-13
Publication date: 2015-01-21
Anticipated expiration: 2032-03-13
Also published as: CN102622590A

Abstract

一种基于人脸-指纹协同的身份识别方法，属于利用机器视觉和模式识别领域，通过模拟人类能够综合利用多种信息以及异类信息之间的内在联系来认知世界的能力，试图寻找人脸与指纹特征之间的关联性，在自行构建的人脸-指纹协同数据库上，利用人脸、指纹及其两者之间的关联性，来进行多模态生物特征识别的方法。具体包含以下步骤：1)图像低层视觉特征选择与融合；2)图像高层语义特征表述；3)人脸与指纹特征之间的关联分析；4)高层语义特征的多模态信息交互；5)建立人脸-指纹协同数据库。本方法在包含同一个人的人脸和指纹的大型的数据库进行验证，具有较高的准确性和较强的鲁棒性。

Description

基于人脸-指纹协同的身份识别方法

技术领域

本发明涉及一种利用机器视觉和模式识别技术，更具体的说，涉及一种基于人脸-指纹协同的身份识别方法。

背景技术

生物特征识别技术能提供一个方便、安全、可靠的身份认证解决方案，是当前信息安全、图像处理、模式识别等学术领域极为关注的热点问题。但是，由于生物特征识别技术的研究还处于初始发展阶段，如何提高识别系统的准确性和鲁棒性也是信息安全、图像处理、模式识别等学术领域极为关注的难点问题。近几年来人脸识别、指纹识别等单模态生物特征识别技术的研究取得了飞跃性进展，目前一些先进的识别算法在理想的实验室环境下已经达到了满意的效果。但是，面对越来越复杂的实际应用场景，识别准确率远远达不到鉴别专家用肉眼进行识别的正确率，还有许多关键问题亟待解决。并且，每一种单一的生物特征都不是完美的，都具有局限性和不足之处，充分利用其它生物特征的优势，将多种生物特征结合使用，实现优势互补，是生物特征识别技术的未来发展方向。因此，利用两个或者两个以上的生物特征构建的多模态生物特征识别系统相继出现。多模态生物特征识别系统在一定程度上解决了单模态生物特征识别系统的鲁棒性差、冒充问题和小样本问题等。但是，在以往的研究中，多模态生物特征识别技术中使用的多种生物特征都不是来自同一个人的，而是在如下假设下随便组合的，即假设同一个人的各种生物特征在统计上是相互独立的。这种假设忽略了同一个人各种生物特征之间的内在联系，因而不能从根本上提高生物特征识别技术的性能，从而使多模态生物特征识别技术的发展处于瓶颈状态。面对社会各领域越来越复杂的实际应用场景，为了满足识别系统准确性、鲁棒性、快速性等多方面的要求，国内外对多模态生物特征识别技术的需求日益高涨，多模态生物特征识别技术的发展已经成为一个亟待解决的现实性问题，并且具有极其重要的理论价值和应用价值。

发明内容

针对上述现有技术中存在的技术问题，本发明提出一种基于人脸-指纹协同的身份识别方法，该方法可以提高生物特征识别系统的准确性和鲁棒性，解决制约多模态生物特征识别技术发展的疑难问题，为多模态生物特征识别技术跻身世界前列发挥重要作用，也为图像处理、模式识别、认知科学等领域的难点问题提供新方法和新理论。

为达到上述目的，本发明所采用的技术方案如下：

一种基于人脸-指纹协同的身份识别方法，用于机器视觉和模式识别领域中的身份识别，具体步骤如下：

1)图像低层视觉特征选择与融合，是以识别为目标，使用全局特征向量与局部特征向量相融合的方法来提取人脸图像和指纹图像的高效低层视觉特征；

2)建立图像高层语义特征表述模型，是对图像的低层视觉特征与高层语义之间的内在联系进行分析，通过函数关系实现低层视觉特征到高层语义之间的映射；

3)分析人脸与指纹特征之间的关联性，是基于非参数模型的方法，采用联合分布来表示不同模态信息之间的关联性，把不同模态信息的联合特征向量映射到一个低维的特征子空间，然后在低维子空间里估计不同模态信息的联合分布；

4)解决多分类器在训练阶段以及决策阶段的协同，实现高层语义特征的多模态信息交互，是依据协同训练算法，在人脸所包含的信息构成的视图以及指纹所包含的信息构成的视图上，首先利用有标记数据分别训练出多个分类器，然后，利用每个分类器对未标识数据进行预测，并对预测结果进行融合，最后，依据融合结果将其中具有较高置信度的数据添加到对方的标识数据集中，以便对方用扩大的数据集来进行下一轮训练，此过程不断叠代进行，直到满足终止条件；

5)建立人脸-指纹协同数据库，包含同一个人的人脸和指纹图像的数据库。

所述步骤1)中，以识别为目标，通过进一步合理选择Gabor、尺度不变特征转换(Scale-invariant feature transform，SIFT)以及局部二值模式(Local Binary Pattern，LBP)等的有效成分，研究更有效的局部特征提取方式，从而得到对局部形变、尺度、光照、视角等构成一定程度不变量的高效低层视觉特征，最后，通过融合全局特征和局部特征来实现图像表征。

所述步骤2)中，采用构造监督视觉词，消除图像特征表达中冗余的特征维度，而加强对分类有帮助的维度，从而极大地增强最终得到的高层语义特征表述的分类能力。

所述步骤3)中，对于不同模态信息之间的关联性，可以用联合分布来表示。基于参数模型的方法表达能力比较弱，无法准确描述出不同模态信息之间的联合分布。基于非参数模型的新方法，有效克服了基于参数模型方法的缺陷。该方法首先把不同模态信息的联合特征向量映射到一个低维的特征子空间，然后在低维子空间里估计不同模态信息的联合分布。

所述步骤4)中，对融合工具的研究是实现决策系统中各分类器交互作用的关键。由于模糊集理论可以更好地描述由不确定性导致的不确定现象，使数学模型更贴近实际情况，因此基于模糊集理论的决策融合方法得到了广泛应用。其中的模糊积分方法不仅考虑了各分类器识别对象时输出的客观结果，而且考虑了各分类器在决策系统中的重要性，因而更能体现决策系统中各分类器的交互作用，在许多领域用它作为融合工具取得了较好的效果。

5)建立人脸-指纹协同数据库，该数据库包含同一个人的人脸和指纹图像的数据库。

本发明相对于现有的身份识别方法的显著效果在于，同时应用同一对象的人脸和指纹，并将两者融合起来进行身份识别。提出图像低层视觉特征选择与融合算法、建立图像高层语义表述模型、分析人脸与指纹特征之间的关联性、解决多分类器在训练阶段以及决策阶段的协同，从而提高多模态生物特征识别系统的准确性和鲁棒性。

附图说明

图1本发明提供的身份识别方法流程图；

图2是采用本发明方法所建立的数据库中某女性的部分样本图像：

(a)是人脸图像；

(b)～(f)是右手从小指依次到拇指的指纹图像；

(g)～(k)是左手从拇指依次到小指的指纹图像；

图3是采用本发明方法所建立的数据库中某男性的部分样本图像：

(a)是人脸图像；

(b)～(f)是右手从小指依次到拇指的指纹图像；

(g)～(k)是左手从拇指依次到小指的指纹图像。

具体实施方式

以下结合附图以及实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明提出的身份识别方法流程图如图1所示，本实施例具体实施步骤如下：

1)图像低层视觉特征选择与融合。全局特征向量虽然提供了图像的整体描述，但是缺乏对图像中不同组份的描述并且忽略了各组份之间的关系，因此很难保证在环境变化下的相对不变性。指纹图像结构是具有一定流势的峰谷交替的纹理结构，在一定区域内具有特定的频率并呈现方向一致性，可以使用Gabor滤波器的方法提取指纹图像的纹理特征，并且，Gabor小波变换能够有效地屏蔽光照变化对特征提取的影响；SIFT特征具有尺度不变性，也是目前公认比较有效的局部特征，其对光照和遮挡具有良好的鲁棒性；LBP在人脸识别中凸显了其优越的性能。由于某些局部特征中包含许多冗余的特征维度，从而导致这些局部特征的判别能力下降。因此，本方法以识别为目标，进一步合理选择Gabor、SIFT以及LBP等的有效成分，研究更有效的局部特征提取方式，从而得到对局部形变、尺度、光照、视角等构成一定程度不变量的高效低层视觉特征。最后，通过融合全局特征和局部特征来实现图像表征。

2)图像高层语义特征表述。图像的语义信息非常丰富，直接使用原始词汇库构建高层语义特征表述，学习工作量将非常之大。受文本分类中“词袋”(Bag of Words)思想的启发，大多数研究者们使用“视觉词袋”(Bag of Visual-words)语义模型，来实现对图像内容的理解。在本方法中，我们也使用“词袋模型”(Bag-of-Words Model)来分别对人脸和指纹图像进行高层语义特征表述。这种“词袋模型”的基本成分是视觉词。通常的视觉词(Normal Words)把每个局部块看作为整个图像中的独立部分，而忽略了各局部块之间的内在联系；并且，从每个局部块提取的视觉词通常包含许多冗余的维度，这给识别过程带来了降低识别性能的噪声。对一个具体的分类问题而言，如果在一个更高的层次上考虑局部块之间的内在联系，那么就可以获得更好的图像高层语义特征表述。因此，本方法采用一种新的有监督的方法来构造视觉词，使用该方法得到的视觉词消除了图像特征表达中冗余的特征维度，而加强了对分类有帮助的维度，从而极大地增强了最终得到的高层语义特征表述的分类能力。进一步地，我们把在该方法下得到的视觉词称作监督视觉词(Supervised Words)。

假设图像为I，图像块集为对每个图像块提取其低层视觉特征，则可以得到局部特征其中V_j∈R^e×1。图像I的全局特征可表示为其中，1≤i≤H，H表示训练样本的总数。通过线性支持向量机，可以得到区分训练样本集中正、负样本的决策超平面的法向量其中，支持向量S_f(1≤f≤F，F表示支持向量的个数)和通过优化下面的目标函数得到，即

L_{D} = Σ_{i = 1}^{H} μ_{i} - \frac{1}{2} Σ_{i = 1}^{H} Σ_{g = 1}^{H} μ_{i} μ_{g} y_{i} y_{g} X_{i}^{T} X_{g}

s.t. 0≤μ_i≤r，

Σ_{i = 1}^{H} μ_{i} y_{i} = 0

式中，y_i是X_i的类别标签，y_i∈{-1，1}，并且y_i＝-1表示负样本，否则表示正样本；是由非零的μ_i组成的列向量。事实上，法向量中的每个元素度量了X_i中对应维度对分类的贡献，并且X_i的对应于中绝对值越大元素的维度对视觉词构造越重要。因此，依据法向量中的元素大小，重新排列X_i的维度，从而得到图像新的全局特征在上，我们重新构造图像I的局部特征集合其中，表示局部特征集合中的第n个局部特征，并且每个局部特征的维度为l。注意，通常参数n和l的选择要满足一定的约束条件，即N×l≤e×s。此时，图像I由一组新的局部特征表示，即然后，通过矢量量化将局部特征指定到某类视觉词上，实现对图像内容的理解。假设用K-means算法将所有图像的所有新的局部特征聚成C类，每类对应一个聚类中心，并且，将聚类产生的C类分别用整数1，2，·，C表示。如果图像I的某局部特征属于聚类中心c(即离c最近)，1≤c≤C，则该局部特征对应的视觉词为c(总共C类视觉词)。最终，图像I可以表示为向量W_i＝(m₁，·，m_c，·，m_C)^T，从而完成了对图像内容的理解，后续的学习、识别等任务均在以图像的视觉词表示的W_i上进行。这里，m_c(1≤c≤C)表示图像I有m_c个第c类视觉词，且为整数。注意到图像I的视觉词个数(即新局部特征个数)为N，因此始终满足m₁+m₂+·+m_C＝N。

3)人脸与指纹特征之间的关联分析。对于不同模态信息之间的关联性，可以用联合分布来表示。假设用f₁，f₂，…，f_M表示从指纹图像中提取的M个有判别力的特征，并且，这M个特征弱相关；类似地，用p₁，p₂，…，p_N表示从人脸图像中提取的N个有判别力的特征，并且，这N个特征也弱相关，那么，同一人的指纹和其人脸的关联性可以用联合分布J(f₁，f₂，·，f_M，p₁，p₂，·，p_N)来表示。基于参数模型的方法表达能力比较弱，无法准确描述出不同模态信息之间的联合分布。基于非参数模型的新方法，有效克服了基于参数模型方法的缺陷。该方法首先把不同模态信息的联合特征向量映射到一个低维的特征子空间，然后在低维子空间里估计不同模态信息的联合分布。

4)高层语义特征的多模态信息交互。如何获取数据集中多个充分冗余的视图是多视图的协同学习方法所要解决的关键技术问题。由于人脸和指纹这两种特征(模态)从两个不同的角度描述人体，因此，人脸所包含的信息可以构成一个视图，指纹所包含的信息可以构成另一个视图。依据协同训练算法，在这两个视图上，首先利用有标记数据分别训练出多个分类器，然后，利用每个分类器对未标识数据进行预测，并对预测结果进行融合，最后，依据融合结果将其中具有较高置信度的数据添加到对方的标识数据集中，以便对方用扩大的数据集来进行下一轮训练。此过程不断叠代进行，直到满足终止条件。

基于协同训练算法的分类器使用未标记数据进行训练时，有时会引入噪声而使分类器的性能下降，因此，在训练的过程中加入噪声过滤机制和人机交互过程，进一步提高分类器的性能，获得具有良好性能和泛化能力的学习器。

对融合工具的研究是实现决策系统中各分类器交互作用的关键。常用的融合工具有投票法、D-S证据理论法、贝叶斯方法(Bayes)、神经网络法以及模糊数学法等。由于模糊集理论可以更好地描述由不确定性导致的不确定现象，使数学模型更贴近实际情况，因此基于模糊集理论的决策融合方法得到了广泛应用。其中的模糊积分方法不仅考虑了各分类器识别对象时输出的客观结果，而且考虑了各分类器在决策系统中的重要性，因而更能体现决策系统中各分类器的交互作用，在许多领域用它作为融合工具取得了较好的效果。

采用本发明方法所建立的一个数据库，包含197个女性和201个男性，都是中国人，年龄在10岁到70岁之间变化。对于数据库中的每一个人，至少都有一幅1280×1024像素的正面彩色人脸图像和10幅328×356像素的灰度指纹图像(即，每个手指一幅指纹图像)。如图2和图3所示，为该数据库中的某女性和某男性的部分样本图像。图中的(a)是人脸图像；(b)～(f)是右手从小指依次到拇指的指纹图像；(g)～(k)是左手从拇指依次到小指的指纹图像。

Claims

1.一种基于人脸—指纹协同的身份识别方法，用于机器视觉和模式识别领域中的身份识别，具体步骤如下：

4)解决多分类器在训练阶段以及决策阶段的协同，实现高层语义特征的多模态信息交互，是依据协同训练算法，在人脸所包含的信息构成的视图以及指纹所包含的信息构成视图上，首先利用有标记数据分别训练出多个分类器，然后，利用每个分类器对未标识数据进行预测，并对预测结果进行融合，最后，依据融合结果将其中具有较高置信度的数据添加到对方的标识数据集中，以便对方用扩大的数据集来进行下一轮训练，此过程不断叠代进行，直到满足终止条件；

5)建立人脸-指纹协同数据库，包含同一个人的人脸和指纹图像的数据库；

所述步骤1)中，是以识别为目标，合理选择Gabor滤波器、SIFT以及LBP有效成分，研究更有效的局部特征提取方式，从而得到对局部形变、尺度、光照、视角构成不变量的高效低层视觉特征，最后，通过融合全局特征和局部特征来实现图像表征；

所述步骤2)中，所述通过函数关系实现低层视觉特征到高层语义之间的映射，具体为：

假设图像为I，图像块集为对每个图像块提取其低层视觉特征，则得到局部特征其中V_j∈R^e×1，图像I的全局特征表示为其中，1≤i≤H，H表示训练样本的总数，通过线性支持向量机，得到区分训练样本集中正、负样本的决策超平面的法向量其中，支持向量S_f(1≤f≤F，F表示支持向量的个数)和通过优化下面的目标函数得到，即

\begin{matrix} L_{D} = Σ_{i = 1}^{H} μ_{i} - \frac{1}{2} Σ_{i = 1}^{H} Σ_{g = 1}^{H} μ_{i} μ_{g} y_{i} y_{g} X_{i}^{T} X_{g} \\ s . t . 0 \leq μ_{i} \leq r, Σ_{i = 1}^{H} μ_{i} y_{i} = 0 \end{matrix}

式中，y_i是X_i的类别标签，y_i∈{-1,1}，并且y_i＝-1表示负样本，否则表示正样本；是由非零的μ_i组成的列向量，事实上，法向量中的每个元素度量了X_i中对应维度对分类的贡献，并且X_i的对应于中绝对值越大元素的维度对视觉词构造越重要，因此，依据法向量中的元素大小，重新排列X_i的维度，从而得到图像新的全局特征在上，重新构造图像I的局部特征集合其中，表示局部特征集合中的第n个局部特征，并且每个局部特征的维度为l，参数n和l的选择要满足约束条件：n×l≤e×s，此时，图像I由一组新的局部特征表示，即然后，通过矢量量化将局部特征指定到某类视觉词上，实现对图像内容的理解，假设用K-means算法将所有图像的所有新的局部特征聚成C类，每类对应一个聚类中心，并且，将聚类产生的C类分别用整数1,2,…,C表示，如果图像I的某局部特征属于聚类中心c，1≤c≤C，则该局部特征对应的视觉词为c，最终，图像I表示为向量W_i＝(m₁,…,m_c,…,m_C)^T，从而完成了对图像内容的理解，后续的学习、识别任务均在以图像的视觉词表示的W_i上进行，这里，m_c(1≤c≤C)表示图像I有m_c个第c类视觉词，且为整数，图像I的视觉词个数为N，所述视觉词个数即为新局部特征个数，因此始终满足m₁+m₂+…+m_C＝N。

2.根据权利要求1所述的基于人脸—指纹协同的身份识别方法，其特征在于，所述步骤2)中，通过构造监督视觉词，消除图像特征表达中冗余的特征维度，加强对分类有帮助的维度，从而极大地增强最终得到的高层语义特征表述的分类能力。

3.根据权利要求1所述的基于人脸—指纹协同的身份识别方法，其特征在于，所述步骤4)中，基于协同训练算法的分类器使用未标记数据进行训练时，在训练的过程中加入噪声过滤机制和人机交互过程，进一步提高分类器的性能，获得具有良好性能和泛化能力的学习器。

4.根据权利要求3所述的基于人脸—指纹协同的身份识别方法，其特征在于，所述各分类器交互作用是基于模糊集理论的决策融合方法来实现，采用模糊积分方法作为融合的工具。