CN103942545A - 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置 - Google Patents

Abstract

本发明公开了一种基于双线压缩数据空间维度缩减的人脸识别方法和装置，属于模式识别技术领域。本发明采用欧氏距离模糊判定方法计算隶属度描述两两样本之间近邻关系，采用惩罚机制对不同模式类间的离散度和同一模式类内的离散度同时进行约束，得到的特征空间具有更强的代表性和判别性。此外，本发明基于图像二维矩阵直接进行处理，对图像矩阵的行方向和列方向分别进行维数压缩，避免了矩阵分解奇异值和维数过高等问题，在保证识别精度的基础上降低计算量和计算复杂度。

Description

一种基于双向压缩数据空间维度缩减的人脸识别方法和装置

技术领域

本发明属于模式识别领域，涉及一种用于图像的人脸识别方法和装置，尤其涉及一种基于二维图像矩阵的双向压缩数据空间维度缩减的人脸识别方法和装置。 

背景技术

人脸识别属于智能计算机领域中的研究内容，是近三十年里模式识别和图像理解中最热门的研究主题之一。人脸识别以其直接性，唯一性，方便性等特点，多年来一直受到许多研究者的关注。自动人脸识别是利用计算机分析人脸图像,进而从中提取出有效的识别信息,用来识别或验证一个或者多个人脸。它涉及到模式识别、图像处理、计算机视觉、人工智能、优化理论等诸多学科的知识，同时和认知学、神经科学、生理心理学以及计算机人机感知交互的研究领域都有密切联系。人脸识别技术在公安，海关，交通，金融，社会保险，医疗及其它民用安全控制系统等领域具有广阔的发展前景和很高的社会经济效益。 

在我们生存的这个地球上，居住着近65亿人。每个人的面孔都由额头、眉毛、眼睛、鼻子、嘴巴、双颊等少数几个区域组合而成，它们之间的大体位置关系也是固定的，并且每张脸的大小不过七八寸见方。然而，它们居然就形成了那么复杂的模式，即使是面容极其相似的双胞胎，其家人通常也能够非常容易地根据他们面孔上的细微差异将他们区分开来。又比如，我们对某一个人的认知，并不会受其在不同光照，表情，姿态，或者年龄等诸多因素的影响而改变。这使得我们不得不承认这个世界上找不出两张完全相同的人脸。那么，区分和识别如此众多的不同人脸的“不变特征”到底是什么，能否设计出具有与人类一样的人脸识别能力的自动机器，这种自动机器的人脸识别能力是否能够超越人类自身？对这些问题的分析和解答无疑具有重要的理论和应用价值，这正是众多从事自动人脸识别研究的研究人员所面临的挑战。 

人脸面部特征提取是影响人脸识别效果的重要环节。研究表明，好的特征提取方法可以减小分类器对人脸识别系统的影响。特征提取的目的在于分析人脸图像之间的相关性和差异性，挖掘面部图像的特性。一般来说，人脸面部图像的维数较高，特征提取可以适当降低表征图像特征的维数，从而降低计算量和计算复杂度。 

常用的提取人脸图像特征的方法可分为基于几何特征的方法、基于表观特征的方法、基于模版的方法、基于神经网络的方法等。当前主流类方法是基于表观特征的特征提取算法。常用的基于表观的特征提取方法主要包括主成分分析法、线性判别分析法、局部线性映射法、 近邻保留映射法等。主成分分析法和线性判别分析法只能反映人脸空间的全局结构，而局部线性映射法、近邻保留映射法则保留了人脸图像空间的局部结构。局部线性映射算法通过构造邻域间相似度加权矩阵，近似求解Laplacian-Beltrami算子的特征函数，并将其运用在人脸识别领域，这就是著名的“拉普拉斯脸”(Laplacianfaces)。局部线性映射算法在人脸识别领域取得了较好的应用效果。然而，局部线性映射算法存在以下不足之处： 

(1)局部线性映射算法是基于向量的降维方法，需将二维图像矩阵拉伸成一维向量进行各种变换处理，而这个一维向量的维数一般都很高，进行各种矩阵变换的计算量和计算复杂度是相当大的。此外，由于特征向量维数过于庞大而样本数相对过少，从而导致矩阵奇异问题，导致优化问题的求解过程精度不够。 

(2)局部线性映射算法在构建权重矩阵的过程中，将每个样本精确归类到对应基础人脸类别，而人脸图像通常包含多种外部干扰信息，硬性归类往往会忽略影响人脸分类的一些外在环境因素。 

(3)局部线性映射的优化函数原则是，将样本投影到线性子空间中，使得原样本空间中的近邻点经过投影后样本点之间的距离尽可能的小。可以看出，局部线性映射算法只强调了投影后近邻点间的距离尽可能小，而忽视了不同类别间的判别信息。从而使得距离较远的类别分类效果较好，而距离较近的不同类别之间容易出现较大混叠。 

发明内容

为了解决上述问题，本发明公开了一种基于双向压缩的数据空间维度缩减的人脸特征空间提取方法和装置。本发明直接对二维图像矩阵进行信息挖掘处理，不需要将二维图像矩阵拉伸成一维向量进行各种变换处理，避免了矩阵变换中维数高、计算量大的缺点，得到的特征表示更为精确，计算量也大大减少。进而，从图像矩阵的行方向和列方向进行双向维数压缩，在保证精度的基础上降低了特征维数和计算复杂度。 

本发明的目的是通过如下技术方案实现的。 

一种基于双向压缩数据空间维度缩减的人脸特征提取装置，包括：预处理单元，接收输入的原始人脸图像，其中该原始人脸图像是只包含人脸面部信息的二维图像，预处理单元对输入的二维人脸图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，将该二维图像矩阵输入到模糊矩阵构建单元；模糊矩阵构建单元，采用欧氏距离模糊判定法计算每个图像样本归属于不同被试者的隶属度，并依据模糊隶属度构建模糊权重矩阵；函数优化单元，利用惩罚因子制约投影后特征子空间中不同人脸样本之间的离散关系，并同时约束相同人图像样本之间的近邻关系及不同人图像样本之间的离散关系，采用广义特征值分解方 法求目标函数最优解，得到最优函数所对应的特征向量；特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始人脸图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的人脸特征空间；模式分类单元，将已知图像样本提取后的面部特征作为训练数据，未知图像样本的面部特征作为测试数据，同时输入模式分类单元进行类别归属判断，输出人脸类别决策结果。 

本发明还提供了一种基于双向压缩数据空间维度缩减的人脸特征提取方法，包括：输入原始人脸图像，该原始人脸图像只包含人脸面部信息，对输入的二维人脸图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，作为下一步的数据输入；采用欧氏距离模糊判定法计算每个图像样本归属于不同被试者的隶属度，并依据模糊隶属度构建模糊权重矩阵；利用惩罚因子制约投影后特征子空间中不同人脸样本之间的离散关系，并同时约束相同人图像样本之间的近邻关系及不同人图像样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；利用特征向量分别从图像矩阵行方向和列方向对原始人脸图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的人脸特征空间；将已知图像样本提取后的面部特征作为训练数据，未知图像样本的面部特征作为测试数据，同时输入模式分类器进行类别归属判断，输出人脸类别决策结果。 

本发明利用欧氏距离模糊判定法对每个样本的类别归属进行隶属度确定，从而分散相似类别之间的近似特征，减弱影响图像识别的外在因素影响，这种软分类方式可以加强样本归属于不同被试者类别的程度。 

本发明利用样本本身的近邻关系以及已知样本类别之间的离散性对特征提取进行约束，增加模型构建中的样本先验知识，以监督型实施模式保留原图像样本类别信息并增强图像特征的有效性。此外，采用惩罚机制对不同模式类间的离散度和同一模式类内的离散度同时进行约束，如果原图像空间的近邻点经投影后被分离的很远，则权重矩阵会产生很大的惩罚。同时在目标优化函数中同时考虑类内离散度和类间离散度的约束，使图像特征尽可能满足使类内离散度小而类间离散度大的条件。既保留了相邻样本之间的近邻关系，也保留了不同类别之间样本的分散性，因此得到的特征空间具有更强的代表性和判别性。 

附图说明

图1是本发明图像识别流程关键环节的示意图； 

图2是利用本发明的计算方法进行面部特征提取的流程图； 

图3是不同特征提取算法在人脸识别中的比较结果示意图。 

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。 

根据技术方案，我们可以将本发明应用于人脸识别问题中，对人脸图像样本进行特征空间提取，用精简后的特征表示人脸图像的有效信息。 

本发明实施例提供一种基于双向压缩数据空间维度缩减的面部特征提取装置，主要包括预处理单元、模糊矩阵构建单元、函数优化单元、特征提取单元和模式分类单元。将图像输入到预处理单元，经过预处理获得规范化的二维图像矩阵；模糊矩阵构建单元采用欧氏距离模糊判定法计算每个图像样本的类别归属的模糊隶属度，并依据模糊隶属度构建模糊权重矩阵；函数优化单元利用惩罚因子制约投影后特征子空间中不同人脸样本之间的离散关系，并同时约束相同人图像样本之间的近邻关系及不同人图像样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始人脸图像进行线性映射，从而压缩图像数据维数，构建双向空间维数简约的面部特征空间；模式分类单元输出人脸类别决策结果。 

下面结合附图1和附图2，具体说明利用本发明的计算方法对人脸图像进行特征提取的步骤。 

一、图像输入与预处理 

本发明是针对二维人脸图像进行特征空间提取的方法，因此要求输入的人脸图像样本仅包括人脸面部信息，可预先通过人脸检测得到人脸面部图像。针对输入图像样本的不同条件，可对图像样本进行不同的图像预处理。 

若图像为彩色图像，则进行灰度归一化处理，转化成灰度图像后进行分析； 

若图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响； 

若图像受到光照影响，则采用光线补偿、边缘提取、商图像、灰度归一化等方法，减弱光照不均匀的影响； 

若图像有旋转、角度变化等因素影响，则采用仿射变换消除干扰；若对图像尺寸大小有特殊要求，则采用尺度归一化方法对图像大小进行规范。 

二、模糊权重矩阵的构建 

本发明采用模糊类别标识方法代替传统的两类标识方法(“属于”和“不属于”)，每个样本归属于各类别的隶属度通过欧氏距离模糊判定法得到。 

令A_i和A_j分别表示w×h大小的图像矩阵，隶属度矩阵用U＝{μ_ij}表示，其中i＝1,2,…,c，j＝1,2,…,N。c代表模式类别数，N代表图像样本总数。μ_ij表示样本j归属于类别i的程度，μ_ij值越大，表示样本j归属于类别i的程度越高。 

具体实施步骤为： 

1)计算两个图像样本矩阵A_i和A_j之间的欧氏距离：dis(A_i,A_j)＝||A_i-A_j||₂，相同样本之间的欧氏距离设为无穷大； 

2)两两样本之间的相似度按从小到大排序，选择距离该样本最近的k个近邻样本，统计k个近邻样本中属于每个模式类别的个数； 

3)计算第j个样本归属于类别i的程度，即 

其中n_ij代表样本j的近邻点中属于类别i的样本数。若n_ij＝k，则代表所有近邻点都属于同一个类别，这时μ_ij的值为1。 

4)根据每个样本归属于各被试者的隶属度系数构建模糊权重矩阵对于样本j，样本j和样本k之间的权重系数表示为则(样本k属于类别i) 

5)计算对角矩阵及模糊拉普拉斯矩阵： 

$\tilde{L}=\tilde{D}-\tilde{S}$

其中是对角矩阵，其对角线元素是模糊权重矩阵每行的和，即

三、优化映射目标函数 

模糊拉普拉斯矩阵通过第二步已经得到，仍需计算不同类别样本的均值矩阵F，代表不同类别之间关联性的权重矩阵W等，进而求解目标函数的最优解。具体步骤如下： 

(1)计算不同模式类别间的惩罚因子，计算方法为： 

W_ij＝exp(-||F_i-F_j||²/t？？？(其中t为经验常数值) 

模式类间权重矩阵W由每两个类别均值矩阵之间的惩罚因子组成。计算权重矩阵W的每行(或每列)元素之和，令则E是对角矩阵，H＝E-W。 

(2)计算不同类别样本的均值矩阵：令F_i表示第i类的均值矩阵，则

(3)利用矩阵分解方法对优化目标函数的广义特征值进行求解： 

$A^T(\tilde{L}\⊗I_w)\mathrm{AQ}=\mathrm{\λ}{F}^T(H\⊗I_w)\mathrm{FQ}$

得到上式的前d个最小特征值对应的特征向量Q＝[q₁,q₂,…,q_d]，该特征向量组成了对图像矩阵进行行方向降维的线性映射方向。 

(4)求解下面的广义特征值分解问题： 

$A(\tilde{L}\⊗I_h)A^{T}U=\mathrm{\λF}(H\⊗I_h)F^{T}U$

求解上式得到的前q个最小特征值对应的特征向量组成了映射矩阵U＝[u₁,u₂,…,u_q]，该特征向量组成了对图像矩阵进行列方向降维的线性映射方向。 

四、构建双向维数压缩后的特征空间 

通过行方向的线性映射可将w×h大小的图像投影到w×d的低维特征空间，而列方向的线性映射可将w×h的图像投影到q×h的低维特征空间。同时将图像进行行方向和列方向的维数压缩，即得到双向降维的模糊判别性保局映射算法。 

对经过预处理后的已知图像样本，同时投影到U和Q方向，通过下面的线性变换映射到本发明得到的特征空间： 

A_i→P_i＝U^TA_iQ 

Q＝[q₁,q₂,…,qd]，U＝[u₁,u₂,…,u_q] 

P_i为投影到特征空间后的图像矩阵，大小为q×d，用以表征原始图像的特征，可直接输入分类器应用于下一步的模式分类。 

对于经过预处理后的待测图像样本A′，同样利用线性变换将其投影到特征空间：P′＝U^TA′Q，即可得到待测图像样本的特征表达。 

五、模式分类结果输出 

对经过特征提取后的图像样本进行比较，依据不同的判别标准对待测图像样本的类别归属进行判断。由于本发明所提取的面部特征向量性能较好，因此本发明在分类器的选取方面具有较高的灵活性。以识别速度高、计算复杂度小为选择依据，建议选取最近邻分类器。本发明以最近邻分类器说明具体分类方法。 

对于待测图像样本P′和训练图像样本P_i，计算待测图像样本与训练图像样本之间的相似度d(P_i,P_j)： 

$d(P^{\′},P_i)=\sqrt{\underset{k=1}{\overset{q}{\mathrm{\Σ}}}\underset{l=1}{\overset{d}{\mathrm{\Σ}}}{(P_{\mathrm{kl}}^{\′}-P_{\mathrm{kl}}^i)}^2}$

若g_i(P′)＝mind(P′,P_i)，样本P_i属于类别k，则测试样本P′被决策为类别k。 

本发明所提出的特征提取算法的实施例是基于图像的模式识别问题的关键环节，直接影响模式识别的效果。好的特征提取方法可以减小分类器对识别系统性能的影响。特征提取的目的在于分析图像样本之间的相关性和差异性，尽可能地从原始图像信息中挖掘可以有效表征图像样本间差异性的信息。另一方面，基于图像的模式识别问题通常维数较高，特征提取可以适当降低图像特征的维数，从而降低计算量和计算复杂度。 

本发明可广泛应用于基于图像的模式识别问题，如人脸识别、手写字识别、表情识别、车牌识别、遥感图像识别等。为了验证本发明的有效性，将本发明和其他线性子空间特征提取方法在ORL人脸库上进行方法比较验证。人脸图像被归一化为统一大小，原始图像的背景被消除。实验结果表明，本发明的特征提取算法可以得到比传统线性子空间算法更有效的识别效果，面部特征可以在一定程度上消除外部影响因素对模式判别的影响，可以容忍一定的图像平移、旋转、缩放等因素。 

以上所述仅是本发明的较优实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，根据本发明做出的各种相应的改变和变形，都应属于本发明所附的权利要求的保护范围。 

Claims (12)

1.一种基于双向压缩数据空间维度缩减的人脸识别装置，包括： 

预处理单元，接收输入的原始人脸图像，其中该原始人脸图像是只包含人脸面部信息的二维表情图像，预处理单元对输入的二维人脸图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，将该二维图像矩阵输入到模糊矩阵构建单元； 

模糊矩阵构建单元，采用欧氏距离模糊判定法计算每个图像样本归属于不同被试者的隶属度，并依据模糊隶属度构建模糊权重矩阵； 

函数优化单元，利用惩罚因子制约投影后特征子空间中不同人脸样本之间的离散关系，并同时约束相同人图像样本之间的近邻关系及不同人图像样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量； 

特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始人脸图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的面部特征空间； 

模式分类单元，将已知图像样本提取后的面部特征作为训练数据，未知图像样本的面部特征作为测试数据，同时输入模式分类单元进行类别归属判断，输出人脸类别决策结果。 

2.根据权利要求1所述的基于双向压缩数据空间维度缩减的人脸识别装置，其特征在于该装置直接对二维图像矩阵进行信息挖掘处理，不需要将图像数据拉伸成一维数据向量，避免了维数过高带来的计算复杂度高，也消除了矩阵分解中的奇异值问题。 

3.根据权利要求1所述的基于双向压缩数据空间维度缩减的人脸识别装置，其特征在于模糊矩阵构建单元采用欧氏距离模糊判定法计算隶属度，具体包括：利用图像样本A_i和A_j之间的欧氏距离dis(A_i,A_j)＝||A_i-A_j||₂计算样本之间的相似度，并采用模糊判定法计算第j个样本归属于类别i的程度，若样本j归属于类别i，则μ_ij＝0.51+0.49(n_ij/k)；若样本j不归属于类别i，则μi_j＝0.49(n_ij/k)，根据欧氏距离判定法得到的隶属度构建模糊权重矩阵，样本j和样本k之间的权重系数表示为则(样本k属于类别i)。 

4.根据权利要求1所述的基于双向压缩数据空间维度缩减的人脸识别装置，其特征在于函数优化单元采用惩罚机制对投影后归属于不同人图像样本之间的关联性进行制约，惩罚因子由两两人脸类别均值矩阵之间的权重系数组成，即W_ij＝exp(-||F_i-F_j||²/t)，相应的对角线矩阵为E，对角线元素为

5.根据权利要求1所述的基于双向压缩数据空间维度缩减的人脸识别装置，其特征在于函数优化单元同时约束类内近邻关系和类间离散关系，采用广义特征值分解方法求解目标函数的 最优解，分别求解行方向降维的最优函数FQ的前d个最小特征值，对应的特征向量组成映射矩阵Q＝[q₁,q₂,…,q_d]；以及列方向降维的最优函数 的前q个最小特征值，对应的特征向量组成映射矩阵U＝[u₁,u₂,…,u_q]。 

6.根据权利要求1所述的基于双向压缩数据空间维度缩减的人脸识别装置，其特征在于特征提取单元将预处理后的原始图像样本，分别通过行方向和列方向进行线性变换，A_i→P_i＝U^TA_iQ，投影后的特征向量用于输入模式分类单元应用于模式决策。 

7.一种基于双向压缩数据空间维度缩减的人脸识别方法，其特征在于包含以下步骤： 

(1)输入原始人脸图像，该原始人脸图像只包含人脸面部信息，对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，作为下一步的数据输入； 

(2)采用欧氏距离模糊判定法计算每个图像样本归属于不同被试者的隶属度，并依据模糊隶属度构建模糊权重矩阵； 

(3)利用惩罚因子制约投影后特征子空间中不同人图像样本之间的离散关系，并同时约束相同人图像样本之间的近邻关系及不同人图像样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量； 

(4)利用特征向量分别从图像矩阵行方向和列方向对原始人脸图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的面部特征空间； 

(5)将已知图像样本提取后的面部特征作为训练数据，未知图像样本的面部特征作为测试数据，同时输入模式分类器进行类别归属判断，输出人脸类别决策结果。 

8.根据权利要求7所述的基于双向压缩数据空间维度缩减的人脸识别方法，其特征在于直接对二维图像矩阵进行信息挖掘处理，不需要将图像数据拉伸成一维数据向量，避免了维数过高带来的计算复杂度高，也消除了矩阵分解中的奇异值问题。 

9.根据权利要求7所述的基于双向压缩数据空间维度缩减的人脸识别方法，其特征在于步骤(2)中包括利用图像样本A_i和A_j之间的欧氏距离dis(A_i,A_j)＝||A_i-A_j||₂计算样本之间的相似度，并采用模糊判定法计算第j个样本归属于类别i的程度，若样本j归属于类别i，则μi_j＝0.51+0.49(n_ij/k)；若样本j不归属于类别i，则μi_j＝0.49(n_ij/k)，根据欧氏距离判定法得到的隶属度构建模糊权重矩阵，样本j和样本k之间的权重系数表示为则 (样本k属于类别i)。 

10.根据权利要求7所述的基于双向压缩数据空间维度缩减的人脸识别方法，其特征在于步骤(3)中包括采用惩罚机制对投影后归属于不同人图像样本之间的关联性进行制约，惩罚因子由两两人脸类别均值矩阵之间的权重系数组成，即W_ij＝exp(-||F_i-F_j||²/t)，相应的对角线矩阵为E，对角线元素为

11.根据权利要求7所述的基于双向压缩数据空间维度缩减的人脸识别方法，其特征在于步骤(3)中还包括同时约束类内近邻关系和类间离散关系，采用广义特征值分解方法求解目标函数的最优解，分别求解行方向降维的最优函数的前d个最小特征值，对应的特征向量组成映射矩阵Q＝[q₁,q₂,…,q_d]；以及列方向降维的最优函数 的前q个最小特征值，对应的特征向量组成映射矩阵U＝[u₁,u₂,…,u_q]。 

12.根据权利要求7所述的基于双向压缩数据空间维度缩减的人脸识别方法，其特征在于步骤(4)中包括将预处理后的原始图像样本，分别通过行方向和列方向进行线性变换，A_i→P_i＝U^TA_iQ，投影后的特征向量用于输入模式分类单元应用于模式决策。