CN102266241B

CN102266241B - 融合人脸和指纹视觉信息的协同性别识别方法

Info

Publication number: CN102266241B
Application number: CN 201110223831
Authority: CN
Inventors: 刘欢喜; 吴哲; 朱俊; 李雄; 赵杰
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2011-08-05
Filing date: 2011-08-05
Publication date: 2013-04-17
Anticipated expiration: 2031-08-05
Also published as: CN102266241A

Abstract

本发明涉及一种利用机器视觉和模式识别技术，基于人脸和指纹的性别识别方法。具体方法如下：1)基于词袋模型来表示图像特征，提出一种新的创建视觉词的监督方法，消除冗余的特征维数，加强了对性别分类有帮助的维度；2）提出改进的LDA模型，将分类间距最大化，来加强整个模型的识别能力；3）将人脸和指纹两种可视化形态的决策融合，分别训练模型，最终的决策通过最小化决策风险来得到。本方法具有很好的鲁棒性和区别能力，并在包含同一个人的人脸和指纹的大型的数据库进行验证，结果表明本方法能够很好的完成性别识别工作，能够应用于性别识别的各个方面。

Description

融合人脸和指纹视觉信息的协同性别识别方法

技术领域

本发明涉及性别识别方法，具体涉及一种融合人脸和指纹视觉信息的协同性别识别方法。

背景技术

近年来，性别识别逐渐吸引了计算机视觉和模式识别领域中越来越多的研究者的关注。生理学家和疑犯鉴别专家主要通过人类的生理特征来进行性别识别，其中，人脸的视觉信息是他们最常用的生理特征。目前，现有的许多方法也主要利用人脸信息来进行性别识别，通常，这些方法都是基于人脸的全局特征（如原始像素）和判别分类算法（如SVM，Boosting）。指纹的视觉信息也被广泛地应用于性别识别。与人脸相比，由于指纹采集设备的特殊的传感器结构，指纹对光照和姿态变化具有更强的鲁棒性，因此，使用指纹进行性别识别相对简单且鲁棒性好。然而，在以前的使用指纹进行性别识别的方法中，研究者们都利用指纹的某种具体特征来进行性别识别，如脊的密度、脊线数、脊和谷的宽度、手指大小，以及白线数等。与人脸特征相比，指纹的这些特征通常比较难提取并且缺乏判别能力。

除人脸和指纹外，其他生物特征的视觉信息也被广泛地应用于性别识别，如手的形状、脚的形状、牙齿、步态以及体型等。值得注意的是，融合不同的生物特征对提高性别识别的性能是非常有益的，这一事实已经得到证实。Shan等人在特征层（Feature Level）通过典型相关分析（Canonical Correlation Analysis）融合人脸和步态来进行性别识别，其识别性能得到了显著提高。Zhang等人通过融合人脸和多视角步态（Multi-view Gait）来进行性别识别。Shan等人和Zhang等人都使用SVM进行分类。在生物特征的视觉信息提取方面，Jain和Patr通过融合提取的人脸和指纹信息来进行身份识别，并且，他们使用的人脸—指纹对不是来自同一个人的，而是在如下假设下随便组合的，即假设同一个人的人脸图像和指纹在统计上是相互独立的。本发明应用了一个包含来自一个人的人脸和相关指纹的大型数据库，该数据库是国际上迄今为止第一个包含同一个人的指纹和人脸图像的数据库。

发明内容

本发明的目的在于对越来越被关注的性别识别问题，提出一种新的融合人脸和指纹信息的性别识别方法。该方法能获得有鲁棒性和很强识别能力的能够用于性别识别的特征表示。

为实现上述目的，本发明设计了一种新的用于创建视觉词来加强图像表示的识别能力的监督方法。使用该方法得到的视觉词消除了图像特征表达中冗余的特征维度，加强了对性别分类有帮助的维度，从而极大的加强了最终得到的图像特征表达的分类能力。

进一步地，这种图像特征表示可以自然的潜入到一个生成框架Latent Dirichlet Allocation(LDA)中，用来进行性别识别。目标的性别通过不同的由一组视觉词组成的潜在研究对象的结合决定。本方法对于男性和女性的类别都进行了生成模型的训练。一般的LDA方法单独作用于每个类别，而不利用类之间的联系。本方法利用类之间的联系来加强提出模型的识别能力，通过最大化类之间的组间距来实现。最后，在决策层，通过融合不同模态下得到的性别估计来获得最终的识别结果。

根据本发明的一个方面，提供一种融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，包括如下步骤：

步骤A：基于词袋模型的图像特征表示步骤，其包括通过常规的图像网格获得图像块；通过在每个所述图像块中提取局特征获得特征集，使用训练样本中的男性和女性类别间决策超平面来得到标准向量，其中，所述标准向量的每个成分用来测量相关特征用于分类的贡献；重新按照所述贡献对特征的维数进行重新排列并得到新的特征；重新得到图像的词袋模型；

步骤B：使用识别性潜在狄利克雷分布（D-LDA）的性别识别针对人脸和指纹两种模态分别建立模型并进行模型推断得到模型参数，其中，所述模型推断步骤包括：对所述词袋模型最大的下界进行估计；将分类间距最大化；

步骤C：性别决策融合步骤，其包括针对给出的样本，分别得到两种模态的标签；建立融合两种模态的综合风险函数，最终的决策通过最小化综合决策风险来得到。

优选地，所述步骤A包括如下步骤：

步骤A1：对图像的每个所述图像块提取局部二值模式可以得到局部特征，并得到区分训练样本集中男性和女性的决策超平面的法向量；

步骤A2：根据所述法向量中的元素大小，重新排列图像全局特征的维度，从而得到新的图像特征，在此基础上，重新构造图像的视觉词集；

步骤A3：在得到所述视觉词集之后，通过规则的词袋模型（Bag-of –Words Model）得到最终的图像特征表达。

优选地，所述步骤B包括如下步骤：

步骤B1：对性别和指纹两种形式的男性和女性分别建立潜在狄利克雷分布的生成式模型所描述的后验概率模型；

步骤B2：使用变分推断对所述步骤B1中所描述的后验概率模型，由KL发散原理进行推断；

步骤B3：通过最大化模型对数似然概率的下界和类间最大分类阈值训练模型，得到所建立的各个模型的参数。

优选地，所述步骤C包括如下步骤：

步骤C1：对每个带有提取视觉词的测试样本，对两种性别和指纹两种模式的似然函数计算，通过变分推断分别得到两种模式的类别标签；

步骤C2：定义模式的决策值，建立对性别和指纹模式的融合的决策贝叶斯风险函数：

步骤C3：通过最小化融合风险函数，得到最终的决策。

本发明相对于现有的性别识别方法的显著效果在于，同时应用同一样本的人脸和指纹，并将两者融合来进行性别识别。本方法具有很好的鲁棒性和区别能力，并在包含同一个人的人脸和指纹的大型的数据库进行验证，结果表明本方法能够很好地完成性别识别工作，能够应用于性别识别的各个方面。

附图说明

图1为根据本发明提供的性别识别方法的流程图；

图2为在所有训练样本上分别由决策超平面的法向量生成的指纹图像；

图3为识别性潜在狄利克雷分布的模型的图形表示和参考模型示意图；

图4为在所有训练样本上分别由决策超平面的法向量生成的人脸图像。

具体实施方式

以下结合附图以及实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

在本发明的一个实施例中，根据本发明提供的性别识别方法的流程图如图1所示，本实施例具体实施包括如下步骤：

步骤A：基于词袋模型的图像特征表示：

假设图像为

，图像块集为，则对每个图像块提取局部二值模式（Local Binary Pattern，LBP）可以得到局部特征

，其中

。图像

的全局特征可表示为

，其中，

，

表示训练样本的总数。通过线性支持向量机，可以得到区分训练样本集中男性和女性的决策超平面的法向量

，其中，支持向量

（

，

表示支持向量的个数）和通过优化下面的目标函数得到，即

式中，

是

的类别标签，

，并且

表示负样本（女性），否则表示正样本（男性）；

是由非零的组成的列向量。事实上，法向量

中的每个元素度量了

中对应维度对分类的贡献，并且的对应于

中绝对值越大元素的维度对视觉词构造越重要。因此，依据法向量

中的元素大小，重新排列

的维度，从而得到新的图像特征

。在

上，我们重新构造图像

的视觉词集

，其中，

表示视觉词集中的第

个视觉词，并且视觉词的长度为

。注意，通常参数和

的选择要满足一定的约束条件，即

。

更进一步地，参数

和

的选择对分类性能有着至关重要的影响：

选择得过小（即视觉词的长度过短），将会降低视觉词的判别能力和分类性能；

选择得过大，在固定全局特征

中得到的视觉词的数量就会减少，同样会降低分类性能的稳定性，因此参数和

的选择需要折衷考虑。为了处理这种情况，我们首先选择较大的

值，并保持该

值不变，然后每次在训练样本集中随机地选择一个样本子集来构造视觉词，重复这个过程，就会得到更多的视觉词，从而扩大了视觉词集的规模。但是这样做也有一个缺点，那就是每次得到的决策超平面会随着样本子集的变化而变化，这将会降低形成的视觉词集的分类性能。为了克服这个问题，我们将所有的决策超平面都调整成一个法向量为

的决策超平面，其中，

表示决策超平面的维数。同样地，每一个训练子集中的训练样本也要作相应的变换，以保持其和该训练子集下得到的决策超平面之间不变的几何关系。假设随机选择了

个训练样本子集，则可以得到

个决策超平面的向量

，并且第

个训练样本子集的变换矩阵

满足如下的约束条件：

在得到视觉词集之后，通过规则的“词袋模型”（Bag-of –Words Model）就可以得到最终的图像特征表达，如图1所示。图2通过指纹图像说明了图像特征表达中不同维度对分类的贡献，图4通过人脸图像说明了图像特征表达中不同维度对分类的贡献。图2和图4都与原始图像具有相同的维数，并且图中每个像素都直接采用对应的决策超平面的法向量

中的值，为简单起见，直接将原始图像中的像素作为图像特征。

步骤B：使用LDA的性别识别模型：

对于类别

，LDA描述了从，到

逐步的生成过程：

（1）

其中：

其中Dir表示参数为

的狄利克雷分布，Mult表示以矩阵为参数的多项式分布，并且和

分别表示主题数以及编码本（Code Book）中的编码中心数。通过对中间变量

和

进行积分，可以得到式（1）的似然分布，即：

对模型最大的下界进行估计，估计的模型有最大的下界L，这样KL发散

。有

其中为可变分布。这个估计为线面的工作奠定了基础。改进LDA模型的参数估计过程能够满足KL的发散，通过1）初始化阶段，参数使用估计的LDA参数初始化，如图3所示；2）在估计的阶段，通过下面方程满足：

（2）

接下来将分类间距M最大化，可在训练阶段完成，总的间距M可以通过在训练阶段分别在样本上最大化和在

样本上最大化

。这样有区别能力的信息就可以通过分类间距来表示。本方法通过对训练

模型的第一项最大化和训练

模型的第二项最大化就可以将分类间距引入本模型。然后本方法通过最大化对数似然比

和分类间距项

来训练类别模型。并使用可变的方法用于参数的推断和估计，对图像概率上的参数

和

，基于约束最大化方程（2），可得

步骤C：性别决策融合：

人脸和指纹是本发明框架中的两种可视化形态，对于每种形态

，为女性

和男性

分别训练模型。已知样本对于两种形态的的词组

，两种模型

的似然比可以通过可变推断来对性别进行决策。定义对于形态m的决策值为

用表示u的决策向量，那么最终决策的贝叶斯风险为

其中

表示决策代价，

可以使用非参数方法从训练结果得到。最终的决策通过最小化决策风险来得到。

在本发明的另一个实施例中，所述融合人脸和指纹视觉信息的协同性别识别方法通过以下具体步骤实现：

步骤A：基于词袋模型的图像特征表示。本方法使用基于局部块来表示图像的方法，此方法能够方便的获取人脸用于性别识别的很有区别能力的部分。这些局部块通过常规的图像网格来获得，每个局部块用LBP特征来表述，该特征是迄今为止在人脸识别领域公认具有很好的表现。本方法通过考虑本地特征间的联系来获得相对于一般词袋模型更好的图像特征表示。对于一幅图像，本方法首先通过在每个局部块中提取局部而至特征来获得特征集。然后使用训练样本中的男性和女性类别间决策超平面来得到标准的向量。该标准向量的每个成分用来测量相关特征用于分类的贡献。接下来，本方法重新按照这个贡献对特征的维数进行重新排列并得到新的特征。并重新得到图像的词袋模型。

步骤B：使用LDA的性别识别模型。本方法首先对模型最大的下界进行估计。然后改进LDA模型的参数估计过程能够满足KL的发散。接下来将分类间距最大化，可在训练阶段完成。这样有区别能力的信息就可以通过分类间距来表示。本方法通过对我们提出的改进LDA模型进行优化就可以将分类间距引入本模型。然后本方法通过最大化对数似然比和分类间距来训练类别模型。并使用可变的方法用于参数的推断和估计。

步骤C：性别决策融合。人脸和指纹是本发明框架中的两种可视化形态，对于每种形态都分别训练模型。已知样本对于两种形态的的词组，两种模型的似然比可以通过可变推断来对性别进行决策。最终的决策通过最小化决策风险来得到。

新的创建视觉词的监督方法，消除冗余的特征维数，加强了对性别分类有帮助的维度，并建立新的LDA模型来加强整个模型的识别能力。可广泛用于性别识别的各个领域，具有较好的鲁棒性，属于模式识别的分类领域。

本实施例可以被理解为上述第一个实施例的一个具体实施方式或者一个优选例。

Claims

1.一种融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，包括如下步骤：

步骤A：基于词袋模型的图像特征表示步骤，其包括通过常规的图像网格获得图像块；通过在每个所述图像块中提取局部特征获得特征集，使用训练样本中的男性和女性类别间决策超平面来得到标准向量，其中，所述标准向量的每个成分用来测量相关特征用于分类的贡献；重新按照所述贡献对特征的维数进行重新排列并得到新的特征；重新得到图像的词袋模型；

步骤B：使用识别性潜在狄利克雷分布的性别识别针对人脸和指纹两种模态分别建立模型并进行模型推断得到模型参数，其中，所述模型推断步骤包括：对所述词袋模型最大的下界进行估计；将分类间距最大化；

步骤C：性别决策融合步骤，其包括针对给出的样本，分别得到两种模态的标签；建立融合两种模态的综合风险函数，最终的决策通过最小化综合决策风险来得到，

所述步骤A包括如下步骤：

步骤A2：根据所述法向量中的元素大小，重新排列图像全部局部特征，从而得到新的图像特征，在此基础上，重新构造图像的视觉词集；

步骤A3：在得到所述视觉词集之后，通过规则的词袋模型就可以得到最终的图像特征表达，

所述步骤B包括如下步骤：

步骤B1：对性别和指纹两种模态的男性和女性分别建立潜在狄利克雷分布的生成式模型所描述的后验概率模型；

步骤B3：通过最大化模型对数似然概率的下界和类间最大分类阈值训练模型，得到所建立的各个模型的参数，

所述步骤C包括如下步骤：

步骤C1：对每个带有提取视觉词的测试样本，分别对性别和指纹两种模态的似然函数计算，通过变分推断分别得到两种模态的类别标签；

步骤C2：定义模态的决策值，建立对性别和指纹模态的融合的决策贝叶斯风险函数：

步骤C3：通过最小化融合风险函数，得到最终的决策。