CN108268814A - 一种基于全局和局部特征模糊融合的人脸识别方法及装置 - Google Patents

Abstract

本发明公开一种基于全局和局部特征模糊融合的人脸识别方法，其包括：步骤a：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集；步骤b：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；步骤c：求训练样本的全局和局部估计特征向量；步骤d，求训练样本隶属度Sigmond函数的中心值和宽度；步骤e，求测试样本图像集全局和局部特征向量；步骤f，求测试样本全局和局部特征通道的隶属度矩阵；步骤g，计算到判别隶属度矩阵；步骤h，对测试图像集进行识别分类。这样，可以提高识别正确率，有效避开有关因素变化的干扰，有利于提高识别的鲁棒性和准确性，降低时间复杂度和计算复杂度。

Description

一种基于全局和局部特征模糊融合的人脸识别方法及装置

技术领域

本发明属于图像识别技术领域，具体涉及一种基于全局和局部特征模糊融合的人脸识别方法及装置。

背景技术

人脸识别是基于人的脸部特征信息，通过计算机来分析人脸面部图像，用来辨识身份的一门自动处理技术。当给定一张待识别人脸时，通过人脸识别算法在人脸数据库中进行查找，匹配出与待识别人脸最为相似的人脸，则待识别人脸的身份为匹配出的人脸所对应的身份。近几年，人脸识别及相关技术被广泛身份验证领域、信息安全领域和智能视频监控领域等。

奇异值分解(SVD)运用在人脸识别中，提取出人脸特征的全局代数特征，该特征反映了结构的一种内在属性或者相关性，具有几何和代数不变性。然而由于人脸图像的奇异值特征向量与图像本身并不存在一一对应关系，在人脸识别使用SVD提取特征这一方法的识别正确率特别低。人脸特征包括全局和局部特征，仅使用其中之一的人脸特征可能会丟失大量的有用和有效鉴别特征信息，故识别效果不理想，有时会导致识别失败。

鉴于上述需求，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术需求，本发明采用的技术方案在于，提供一种基于全局和局部特征模糊融合的人脸识别方法，其包括：

步骤a：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集，形成由训练样本图像集和测试样本图像集组成的人脸图像集；

步骤b：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；

步骤c：用改进的基于类估计基空间SVD方法，对训练样本图像集的每一类图像的原图像和子区域图像分别求原图像的全局估计特征向量和子区域图像的局部估计特征向量；

步骤d，用Sigmond函数求训练样本每一类图像对应的全局和局部特征向量的均值和标准差，分别作为隶属度Sigmond函数的中心值和宽度；

步骤e，用SVD方法求测试样本图像集的原图像全局特征向量和子区域图像局部特征向量；

步骤f，对于测试样本图像集中的每一张图像对应的全局和局部特征向量，使用Sigmond函数求全局和局部特征通道的隶属度矩阵。

步骤g，对全局或局部特征通道的隶属度矩阵对应位置上的隶属度值进行加权求平均值，得到判别隶属度矩阵；

步骤h，根据判别隶属度矩阵和取最大隶属度值的规则，对测试图像集进行识别分类。

较佳的，所述步骤b包括

步骤b1，对训练样本和测试样本图像集的每一张人脸图像进行灰度处理，包括灰度归一化、灰度拉伸；

步骤b2，对人脸位置进行对正和裁切，裁成一定像素的图像；

步骤b3，确定双眼位置后，计算双眼位置连线与水平线的夹角为旋转角，以图像中心为旋转中心，对图像按旋转角旋转，最后得到标准的人脸图像。

较佳的，步骤c包括：

步骤c1，将预处理后训练样本图像集人脸图像进行图像分割，得到包括未分割图像和分割后眉、眼、鼻和嘴6个子区域；

步骤c2：计算类别模板矩阵；

步骤c3：运用SVD方法求类别模板矩阵的左右正交矩阵；

步骤c4：计算全局估计奇异值特征向量和局部估计奇异值特征向量；

步骤c5：计算每幅图像的全局和局部估计特征向量。

较佳的，步骤c1包括：

步骤c11，根据“三庭五眼”规则，初步确定眼睛眉毛的大致范围；

步骤c12，由于灰度化后的图像眼睛、眉毛与人脸其他区域的灰度差别较为明显，因此采取一种垂直方向和水平方向相结合的灰度投影法确定眼睛的位置；

步骤c13，根据眼睛精确范围，采用灰度积分投影的方法确定鼻子和嘴巴的位置；

步骤c14，所有子区域定位好，分割裁取出相应的子区域。

较佳的，步骤c12包括：

步骤c121，计算sx₁、ex₁之间的区域在垂直方向上的灰度投影projH

步骤c122，对灰度投影projH作差分运算，差分投影表示为projH′：

projH′(y)＝projH(y-2)+projH(y-2)-2*projH(y),2≤y≤h-2

步骤c123，对差分投影进行高斯拟合，将projH′中的每一只用其本身和相邻的值经过加权平均后替代，如下式所示：

其中*是卷积符号，T(i)是卷积核；

步骤c124，根据projH″绘出投影曲线图；

步骤c125，由于左眼的纵坐标已确定，因此计算LY-C/2、LY+C/2间区域在水平方向的sx₁、ex₁之间区域的灰度投影projW，C为左眼高的估计值；

步骤c126，根据projW绘出图9下方的投影曲线图。

较佳的，步骤e包括：

步骤e1，将预处理后测试样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域和未分割图像；

步骤e2，计算测试样本每张图像每个区域的奇异值特征向量；

步骤e3，计算测试样本图像集的全局和局部估计特征向量。

一种与以上任一所述的基于全局和局部特征模糊融合的人脸识别方法相对应的装置，其特征在于，所述基于全局和局部特征模糊融合的人脸识别装置包括：

人脸图像集划分单元1：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集，形成由训练样本图像集和测试样本图像集组成的人脸图像集；

人脸图像集预处理单元2：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；

训练样本全局和局部估计特征向量求取单元3：用改进的基于类估计基空间SVD方法，对训练样本图像集的每一类图像的原图像和子区域图像分别求原图像的全局估计特征向量和子区域图像的局部估计特征向量；

训练样本隶属度函数的中心值和宽度求取单元4：用Sigmond函数求训练样本每一类图像对应的全局和局部特征向量的均值和标准差，分别作为隶属度Sigmond函数的中心值和宽度；

测试样本全局和局部估计特征向量求取单元5：用SVD方法求测试样本图像集的原图像全局特征向量和子区域图像局部特征向量；

测试样本全局和局部特征通道的隶属度矩阵求取单元6：对于测试样本图像集中的每一张图像对应的全局和局部特征向量，使用Sigmond函数求全局和局部特征通道的隶属度矩阵；

判别隶属度矩阵求取单元7：全局或局部特征通道的隶属度矩阵对应位置上的隶属度值进行加权求平均值，得到判别隶属度矩阵；

测试图像集识别分类单元8：根据判别隶属度矩阵和取最大隶属度值的规则，对测试图像集进行识别分类。

较佳的，所述人脸图像集预处理单元包括：

人脸图像灰度处理子单元21，对训练样本和测试样本图像集的每一张人脸图像进行灰度处理，包括灰度归一化、灰度拉伸；

人脸图像对正和裁切子单元22，对人脸位置进行对正和裁切，裁成一定像素的图像；

人脸图像旋转子单元23，确定双眼位置后，计算双眼位置连线与水平线的夹角为旋转角，以图像中心为旋转中心，对图像按旋转角旋转，最后得到标准的人脸图像。

较佳的，所述训练样本图像集全局和局部估计特征向量求取单元包括：

人脸图像集分割子单元，将预处理后训练样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域和未分割图像；

类别模板矩阵计算子单元，计算类别模板矩阵；

类别模板矩阵的左右正交矩阵求取子单元：运用SVD方法求类别模板矩阵的左右正交矩阵；

全局和局部估计奇异值特征向量计算子单元，计算全局估计奇异值特征向量和局部估计奇异值特征向量；

全局和局部估计特征向量计算子单元，计算每幅图像的全局和局部估计特征向量。

较佳的，所述测试样本图像集全局和局部估计特征向量求取单元包括：

测试样本图像集分割子单元，将预处理后测试样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域和未分割图像；

测试样本图像集奇异值特征向量计算子单元，计算测试样本每张图像每个区域的奇异值特征向量；

测试样本图像集全局和局部估计特征向量计算子单元，计算全局和局部估计特征向量。

与现有技术比较本发明的有益效果在于：运用改进的基于类估计基空间的主要思路，可以避免不同图像基空间特征不同缺点，有效提高特征表述能力，提高识别正确率；利用人脸图像的全局和局部特征，更有效地避开因人脸受到光照、表情、拍摄角度等因素变化的干扰，有利于提高识别的鲁棒性和准确性；运用模糊集理论对待识别图像分类识别，不仅在语义和理解上符合人类的逻辑思路，而且时间复杂度和计算复杂度都大幅度的降低。

附图说明

为了更清楚地说明本发明各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本发明实施例一的一种基于全局和局部特征模糊融合的人脸识别方法的流程图1；

图2为本发明实施例一的一种基于全局和局部特征模糊融合的人脸识别方法的流程图2；

图3为本发明实施例二的步骤b的流程图；

图4为本发明实施例三的步骤c的流程图1；

图5为本发明实施例三的步骤c的流程图2；

图6为本发明实施例四的步骤c1的流程图；

图7为本发明实施例四的步骤c12确定的眼睛位置图；

图8为本发明实施例五的步骤c12的流程图；

图9为本发明实施例五的步骤c124的曲线图；

图10为本发明实施例六的步骤e的流程图；

图11为本发明实施例七的一种基于全局和局部特征模糊融合的人脸识别装置的框架图；

图12为本发明实施例八的人脸图像集预处理单元的框架图；

图13为本发明实施例九的训练样本图像集全局和局部估计特征向量求取单元的框架图；

图14为本发明实施例十的人脸图像集分割子单元的框架图；

图15为本发明实施例十一的测试样本图像集全局和局部估计特征向量求取单元的框架图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

实施例一

图1和图2为一种基于全局和局部特征模糊融合的人脸识别方法的流程图，其包括：

步骤a：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集，形成由训练样本图像集和测试样本图像集组成的人脸图像集；

步骤b：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；

步骤c：用改进的基于类估计基空间SVD方法，对训练样本图像集的每一类图像的原图像和子区域图像分别求原图像的全局估计特征向量和子区域图像的局部估计特征向量；

步骤d，用Sigmond函数求训练样本每一类图像对应的全局和局部特征向量的均值和标准差，分别作为隶属度Sigmond函数的中心值和宽度；Sigmond函数为：其中c和b是中心值和宽度，x是求得的特诊向量，|| ||是向量的欧式距离)；

步骤e，用SVD方法求测试样本图像集的原图像全局特征向量和子区域图像局部特征向量；

步骤f，对于测试样本图像集中的每一张图像对应的全局和局部特征向量，使用Sigmond函数求全局和局部特征通道的隶属度矩阵；

步骤g，对全局或局部特征通道的隶属度矩阵对应位置上的隶属度值进行加权求平均值，得到判别的隶属度矩阵；

步骤h，根据判别隶属度矩阵和取最大隶属度值的规则，对测试图像集进行识别分类。

(1)改进的基于类估计基空间的主要思路：认为同类图像间的左右奇异向量正交矩阵相似性比较大，避免不同图像基空间特征不同缺点，有效提高特征表述能力，提高识别正确率。

(2)利用人脸图像的全局和局部特征，更有效地避开因人脸受到光照、表情、拍摄角度等因素变化的干扰，既考虑到人脸整体构型的全局信息，又兼顾每一局部区域的个性信息，特别是人脸特征的几何特征，这将有利于提高识别的鲁棒性和准确性。

(3)运用模糊集理论对待识别图像分类识别，不仅在语义和理解上符合人类的逻辑思路，而且在分类准确性的评价标准上，相对于大部分的分类器，比如神经网络、K-近邻、SVM等，时间复杂度和计算复杂度都大幅度的降低。

实施例二

如上所述的基于全局和局部特征模糊融合的人脸识别方法，本实施例与其不同之处在于，其中步骤b的流程图如图3所示，其包括：

步骤b1，对训练样本和测试样本图像集的每一张人脸图像进行灰度处理，包括灰度归一化、灰度拉伸；

步骤b2，对人脸位置进行对正和裁切，裁成一定像素的图像，如统一裁剪成像素大小为64×64的图像，包括能表征人脸几何特征的眉毛、眼睛、鼻子、嘴6个子区域；

步骤b3，确定双眼位置后，计算双眼位置连线与水平线的夹角为旋转角，以图像中心为旋转中心，对图像按旋转角旋转，最后得到标准的人脸图像。

实施例三

如上所述的基于全局和局部特征模糊融合的人脸识别方法，本实施例与其不同之处在于，其中步骤c的流程图如图4和图5所示，其包括：

步骤c1，将预处理后训练样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域，因此每一类人脸图像有7个区域的图像集，包括未分割图像和分割后6个子区域。

步骤c2：计算类别模板矩阵

计算训练样本每类图像每个区域的图像均值，组合成类别模板矩阵如公式(2)，其中表示第j类图像第k区域的第p幅图像数据

j＝1,2,Λ,C p＝1,2,Λ,N_j k＝1,2,Λ,7，其中C是类别数，Nj是第j类中图像数，类别模板矩阵为

步骤c3：运用SVD方法求类别模板矩阵的左右正交矩阵

设是一个实矩阵，其中m*n中上标是矩阵的维数，下标r是矩阵的秩，为矩阵的秩，则存在m阶左正交阵和n阶右正交阵使得

其中∑_r×r＝diag(σ₁,σ₂,L,σ_r)，σ_i,i＝1,2,Λ,r表示的特征值，称(σ₁,σ₂,Λσ_r)为奇异值特征向量。

步骤c4：计算全局估计奇异值特征向量和局部估计奇异值特征向量

图像的奇异值矩阵为 提取主对角线上非零元素构成向量为的估计奇异特征向量。

步骤c5：计算每幅图像的全局和局部估计特征向量

若k＝1代表未分割图像，则为第j类图像的第p副图像全局估计特征向量，级联在一起构成第j类图像的第p副图像局部特征估计向量，k＝2...7是子区域的图想的特征向量。

实施例四

如上所述的基于全局和局部特征模糊融合的人脸识别方法，本实施例与其不同之处在于，步骤c1的流程图如图6所示，其包括：

步骤c11，根据“三庭五眼”规则，初步确定眼睛眉毛的大致范围；

具体为(1)脸部的长度(三庭)从额头发际线倒下颚为脸的长度，将其分为三等分:由发际线到眉毛，眉毛到鼻尖，鼻尖倒下颚为三庭(2)脸确定眼睛眉毛的大致范围的宽度(五眼)理想脸型的宽度为五个眼睛的长度，就是以一个眼睛的长度为标准，从发际线到眼尾(外眼角)为一眼，从外眼角到内眼角为二眼，两个内眼角的距离为三眼，从内眼角到外眼角，又一个眼睛的长度为四眼，从外眼角再到发际线称为五眼。

步骤c12，由于灰度化后的图像眼睛、眉毛与人脸其他区域的灰度差别较为明显，因此采取一种垂直方向和水平方向相结合的灰度投影法确定眼睛的位置；

假设图像为g(x,y)，宽为w，高为h，根据“三庭五眼”的规则，左右眼粗定位置为矩形区域(sx₁,sy,ex₁,ey)、矩形区域(sx₂,sy,ex₂,ey)，其中sx₁＝w/2-w/5、ex₁＝w/2-w/25、sx₂＝w/2+w/5，ex₂＝w/2+w/5,sy＝h/4，ey＝h/4+h/3，如图7所示。

步骤c13，根据眼睛精确范围，采用灰度积分投影的方法确定鼻子和嘴巴的位置，与灰度投影法的原理类似，眼睛范围确定后，更易确定确定好鼻子和嘴巴的大致位置，因为鼻子和嘴巴是位于两眼中间的下方，然后计算在大致范围内灰度投影步骤中的第一步，根据水平和垂直方向得到灰度投影函数值；再直接到第六步，得到水平和垂直的投影曲线图，曲线上有一个峰值或波谷，峰值或波谷的范围即为鼻子和嘴巴的更精确位置。用不一样的方法确定子区域的范围，是因为眼睛的灰度值更明显，且眼睛划分的精确程度会影响标准人脸图像的获取，从而影响最终的分类结果。

步骤c14，所有子区域定位好，分割裁取出相应的子区域。

全局和局部特征通道的隶属度矩阵的表示，设待识别图像A_U的全局特征向量x_U和局部特征向量y_U，分别计算该测试样本用两类特征表示的属于第j类图像的隶属度：

其中和j＝1,2,Λ,C是第j类图像的全局或局部特征向量的中心和宽度，其中C是类别数，是第j类图像的全局特征向量的中心和宽度，是第j类图像的局部特征向量的中心和宽度，同理和t＝1表示全局的，t＝2局部的：

即全局和局部特征通道的隶属度矩阵分别为：

R₁＝{μ₁(i,j)|i＝1,2,L,s,j＝1,2,L,C}

R₂＝{μ₂(i,j)|i＝1,2,L,s,j＝1,2,L,C}

C是类别数，s是测试样本图像的图像个数。

实施例五

如上所述的基于全局和局部特征模糊融合的人脸识别方法，本实施例与其不同之处在于，步骤c12的流程图如图8所示，首先通过分析垂直方向上的灰度投影确定左右眼的纵坐标，然后通过水平方向上的灰度投影确定左右眼的横坐标，下面以左眼定位为例介绍具体步骤(右眼和左眼定位方法步骤一样)：

步骤c121，计算sx₁、ex₁之间的区域在垂直方向上的灰度投影projH

步骤c122，为了能够突出图像的局部灰度变化，即在局部灰度显著变化的区域响应较大(如眼睛、眉毛等周边区域)，对灰度投影projH作差分运算，差分投影表示为projH′：

projH′(y)＝projH(y-2)+projH(y-2)-2*projH(y),2≤y≤h-2

步骤c123，对差分投影进行高斯拟合，将projH′中的每一只用其本身和相邻的值经过加权平均后替代，如下式所示：

其中*是卷积符号，T(i)是卷积核，表示如下

并令σ＝1,x₀＝0。

步骤c124，根据projH″绘出投影曲线图

绘出的投影曲线图如图9所示，在sy、ey区域内，求峰值projH″最大的位置pos，该位置可能是眼睛也可能是眉毛，需进一步作出判断。首先计算位置pos的上一个波峰峰值和下一个波峰峰值，再结合眼睛与眉毛在垂直方向上的间距以及位置关系得出以下结论：如果上部峰值大于下部峰值，则位置pos是眼睛，位置pos-1是眉毛；如果上部峰值小于下部峰值，则位置pos+1是眼睛，位置pos是眉毛。至此，垂直方向上左右眼纵坐标确定，为LY、RY。

步骤c125，由于左眼的纵坐标已确定，因此计算LY-C/2、LY+C/2间区域在水平方向的sx₁、ex₁之间区域的灰度投影projW，C为左眼高的估计值。

步骤c126，根据projW绘出图9下方的投影曲线图，由于该区域仅存在灰度值较小的虹膜与灰度值较大的虹膜与皮肤，因此仅存在一个最大的波谷，该波谷位置即为左眼的横坐标。至此，水平上左右眼横坐标确定，分别为LX、RX，根据大致范围精确确定眼睛眉毛位置。

实施例六

如上所述的基于全局和局部特征模糊融合的人脸识别方法，本实施例与其不同之处在于，步骤e的流程图如图10所示，其包括：

步骤e1，将预处理后测试样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域，因此每一类人脸图像有7个区域的图像集，包括未分割图像和分割后6个子区域。

步骤e2，计算测试样本每张图像每个区域的奇异值特征向量

A_pk,p＝1,2,Λ,s k＝1,2,Λ,7表示第p幅图像的第k区域的矩阵，根据正交分解定理，存在正交阵U和V，使得A_pk＝UDV^T。D中的奇异值是A_pk(A_pk)^T的特征值，U和V是特征值的特征向量构成的正交阵。因而有特征值构成的向量x_pk是奇异值特征向量。

步骤e3，计算测试样本图像集的全局和局部估计特征向量

若k＝1代表未分割图像，则x_p1为第p副图像全局估计特征向量，级联在一起构成第p副图像局部特征估计向量。

实施例七

本实施例为一种基于全局和局部特征模糊融合的人脸识别装置，其与基于全局和局部特征模糊融合的人脸识别方法相对应，其框图如图11所示，其包括：

人脸图像集划分单元1：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集，形成由训练样本图像集和测试样本图像集组成的人脸图像集；

人脸图像集预处理单元2：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；

训练样本全局和局部估计特征向量求取单元3：用改进的基于类估计基空间SVD方法，对训练样本图像集的每一类图像的原图像和子区域图像分别求原图像的全局估计特征向量和子区域图像的局部估计特征向量；

训练样本隶属度函数的中心值和宽度求取单元4：用Sigmond函数求训练样本每一类图像对应的全局和局部特征向量的均值和标准差，分别作为隶属度Sigmond函数的中心值和宽度。Sigmond函数为：其中c和b是中心值和宽度，x是求得的特诊向量，|| ||是向量的欧式距离；

测试样本全局和局部估计特征向量求取单元5：用SVD方法求测试样本图像集的原图像全局特征向量和子区域图像局部特征向量；

测试样本全局和局部特征通道的隶属度矩阵求取单元6：对于测试样本图像集中的每一张图像对应的全局和局部特征向量，使用Sigmond函数求全局和局部特征通道的隶属度矩阵；

判别隶属度矩阵求取单元7：全局或局部特征通道的隶属度矩阵对应位置上的隶属度值进行加权求平均值，得到判别的隶属度矩阵；

测试图像集识别分类单元8：根据判别隶属度矩阵和取最大隶属度值的规则，对测试图像集进行识别分类。

基于全局和局部特征模糊融合的人脸识别装置具有以下有益效果：

(1)改进的基于类估计基空间方法，避免不同图像基空间特征不同缺点，有效提高特征表述能力，提高识别正确率。

(2)利用人脸图像的全局和局部特征，更有效地避开因人脸受到光照、表情、拍摄角度等因素变化的干扰，既考虑到人脸整体构型的全局信息，又兼顾每一局部区域的个性信息，特别是人脸特征的几何特征，这将有利于提高识别的鲁棒性和准确性。

(3)运用模糊集理论对待识别图像分类识别，不仅在语义和理解上符合人类的逻辑思路，而且在分类准确性的评价标准上，相对于大部分的分类器，比如神经网络、K-近邻、SVM等，时间复杂度和计算复杂度都大幅度的降低。

实施例八

如上所述的基于全局和局部特征模糊融合的人脸识别装置，本实施例与其不同之处在于，其中人脸图像集预处理单元2的框架图如图12所示，其包括：

人脸图像灰度处理子单元21，对训练样本和测试样本图像集的每一张人脸图像进行灰度处理，包括灰度归一化、灰度拉伸、人脸位置的对正和裁切；

人脸图像对正和裁切子单元22，对人脸位置进行对正和裁切，裁成一定像素的图像，如统一裁剪成像素大小为64×64的图像，包括能表征人脸几何特征的眉毛、眼睛、鼻子、嘴6个子区域；

人脸图像旋转子单元23，确定双眼位置后，计算双眼位置连线与水平线的夹角为旋转角，以图像中心为旋转中心，对图像按旋转角旋转，最后得到标准的人脸图像。

实施例九

如上所述的基于全局和局部特征模糊融合的人脸识别装置，本实施例与其不同之处在于，其中训练样本图像集全局和局部估计特征向量求取单元3的框架图如图13所示，其包括：

人脸图像集分割子单元31，将预处理后训练样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域，因此每一类人脸图像有7个区域的图像集，包括未分割图像和分割后6个子区域,；

类别模板矩阵计算子单元32，计算类别模板矩阵；

计算训练样本每类图像每个区域的图像均值，组合成类别模板矩阵如公式(2)，其中表示第j类图像第k区域的第p幅图像数据

j＝1,2,Λ,C p＝1,2,Λ,N_j k＝1,2,Λ,7，其中C是类别数，Nj是第j类中图像数，类别模板矩阵为

类别模板矩阵的左右正交矩阵求取子单元33：运用SVD方法求类别模板矩阵的左右正交矩阵

设是一个实矩阵，其中m*n中上标是矩阵的维数，下标r是矩阵的秩，为矩阵的秩，则存在m阶左正交阵和n阶右正交阵使得

其中∑_r×r＝diag(σ₁,σ₂,L,σ_r)，σ_i,i＝1,2,Λ,r表示的特征值，称(σ₁,σ₂,Λσ_r)为奇异值特征向量。

全局和局部估计奇异值特征向量计算子单元34，计算全局估计奇异值特征向量和局部估计奇异值特征向量；

图像的奇异值矩阵为 提取主对角线上非零元素构成向量为的估计奇异特征向量。

全局和局部估计特征向量计算子单元35，得到每幅图像的全局和局部估计特征向量

若k＝1代表未分割图像，则为第j类图像的第p副图像全局估计特征向量，级联在一起构成第j类图像的第p副图像局部特征估计向量，k＝2...7是子区域的图想的特征向量。

实施例十

如上所述的基于全局和局部特征模糊融合的人脸识别方法，本实施例与其不同之处在于，人脸图像集分割子单元31的框架图如图14所示，其包括：

眼睛眉毛大致范围确定次子单元311，根据“三庭五眼”规则，初步确定眼睛眉毛的大致范围；

具体为(1)脸部的长度(三庭)从额头发际线倒下颚为脸的长度，将其分为三等分:由发际线到眉毛，眉毛到鼻尖，鼻尖倒下颚为三庭(2)脸确定眼睛眉毛的大致范围的宽度(五眼)理想脸型的宽度为五个眼睛的长度，就是以一个眼睛的长度为标准，从发际线到眼尾(外眼角)为一眼，从外眼角到内眼角为二眼，两个内眼角的距离为三眼，从内眼角到外眼角，又一个眼睛的长度为四眼，从外眼角再到发际线称为五眼。

眼睛位置确定次子单元312，由于灰度化后的图像眼睛、眉毛与人脸其他区域的灰度差别较为明显，因此采取一种垂直方向和水平方向相结合的灰度投影法确定眼睛的位置；

假设图像为g(x,y)，宽为w，高为h，根据“三庭五眼”的规则，左右眼粗定位置为矩形区域(sx₁,sy,ex₁,ey)、矩形区域(sx₂,sy,ex₂,ey)，其中sx₁＝w/2-w/5、ex₁＝w/2-w/25、sx₂＝w/2+w/5，ex₂＝w/2+w/5,sy＝h/4，ey＝h/4+h/3，如图7所示。

鼻子和嘴巴位置确定次子单元313，根据眼睛精确范围，采用灰度积分投影的方法确定鼻子和嘴巴的位置，与灰度投影法的原理类似，眼睛范围确定后，更易确定确定好鼻子和嘴巴的大致位置，因为鼻子和嘴巴是位于两眼中间的下方，然后计算在大致范围内灰度投影步骤中的第一步，根据水平和垂直方向得到灰度投影函数值；再直接到第六步，得到水平和垂直的投影曲线图，曲线上有一个峰值或波谷，峰值或波谷的范围即为鼻子和嘴巴的更精确位置。用不一样的方法确定子区域的范围，是因为眼睛的灰度值更明显，且眼睛划分的精确程度会影响标准人脸图像的获取，从而影响最终的分类结果。

子区域分割次子单元314，所有子区域定位好，分割裁取出相应的子区域。全局和局部特征通道的隶属度矩阵的表示，设待识别图像A_U的全局特征向量x_U和局部特征向量y_U，分别计算该测试样本用两类特征表示的属于第j类图像的隶属度：

其中和j＝1,2,Λ,C是第j类图像的全局或局部特征向量的中心和宽度，其中C是类别数，是第j类图像的全局特征向量的中心和宽度，是第j类图像的局部特征向量的中心和宽度，同理和t＝1表示全局的，t＝2局部的：

即全局和局部特征通道的隶属度矩阵分别为：

R₁＝{μ₁(i,j)|i＝1,2,L,s,j＝1,2,L,C}

R₂＝{μ₂(i,j)|i＝1,2,L,s,j＝1,2,L,C}

C是类别数，s是测试样本图像的图像个数。

实施例十一

如上所述的基于全局和局部特征模糊融合的人脸识别装置，本实施例与其不同之处在于，测试样本图像集全局和局部估计特征向量求取单元5的框架图如图15所示，其包括：

测试样本图像集分割子单元51，将预处理后测试样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域，因此每一类人脸图像有7个区域的图像集，包括未分割图像和分割后6个子区域。

测试样本图像集奇异值特征向量计算子单元52，计算测试样本每张图像每个区域的奇异值特征向量，A_pk,p＝1,2,Λ,s k＝1,2,Λ,7表示第p幅图像的第k区域的矩阵，根据正交分解定理，存在正交阵U和V，使得A_pk＝UDV^T。D中的奇异值是A_pk(A_pk)^T的特征值，U和V是特征值的特征向量构成的正交阵。因而有特征值构成的向量x_pk是奇异值特征向量。

测试样本图像集全局和局部估计特征向量计算子单元53，计算全局和局部估计特征向量；

若k＝1代表未分割图像，则x_p1为第p副图像全局估计特征向量，级联在一起构成第p副图像局部特征估计向量。

以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种基于全局和局部特征模糊融合的人脸识别方法，其特征在于，其包括：

步骤a：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集，形成由训练样本图像集和测试样本图像集组成的人脸图像集；

步骤b：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；

步骤c：用改进的基于类估计基空间SVD方法，对训练样本图像集的每一类图像的原图像和子区域图像分别求原图像的全局估计特征向量和子区域图像的局部估计特征向量；

步骤d，用Sigmond函数求训练样本每一类图像对应的全局和局部特征向量的均值和标准差，分别作为隶属度Sigmond函数的中心值和宽度；

步骤e，用SVD方法求测试样本图像集的原图像全局特征向量和子区域图像局部特征向量；

步骤f，对于测试样本图像集中的每一张图像对应的全局和局部特征向量，使用Sigmond函数求全局和局部特征通道的隶属度矩阵。

步骤g，对全局或局部特征通道的隶属度矩阵对应位置上的隶属度值进行加权求平均值，得到判别隶属度矩阵；

步骤h，根据判别隶属度矩阵和取最大隶属度值的规则，对测试图像集进行识别分类。

2.根据权利要求1所述的基于全局和局部特征模糊融合的人脸识别方法，其特征在于，所述步骤b包括

步骤b1，对训练样本和测试样本图像集的每一张人脸图像进行灰度处理，包括灰度归一化、灰度拉伸；

步骤b2，对人脸位置进行对正和裁切，裁成一定像素的图像；

步骤b3，确定双眼位置后，计算双眼位置连线与水平线的夹角为旋转角，以图像中心为旋转中心，对图像按旋转角旋转，最后得到标准的人脸图像。

3.根据权利要求2所述的基于全局和局部特征模糊融合的人脸识别方法，其特征在于，步骤c包括：

步骤c1，将预处理后训练样本图像集人脸图像进行图像分割，得到包括未分割图像和分割后眉、眼、鼻和嘴6个子区域；

步骤c2：计算类别模板矩阵；

步骤c3：运用SVD方法求类别模板矩阵的左右正交矩阵；

步骤c4：计算全局估计奇异值特征向量和局部估计奇异值特征向量；

步骤c5：计算每幅图像的全局和局部估计特征向量。

4.根据权利要求3所述的基于全局和局部特征模糊融合的人脸识别方法，其特征在于，步骤c1包括：

步骤c11，根据“三庭五眼”规则，初步确定眼睛眉毛的大致范围；

步骤c12，由于灰度化后的图像眼睛、眉毛与人脸其他区域的灰度差别较为明显，因此采取一种垂直方向和水平方向相结合的灰度投影法确定眼睛的位置；

步骤c13，根据眼睛精确范围，采用灰度积分投影的方法确定鼻子和嘴巴的位置；

步骤c14，所有子区域定位好，分割裁取出相应的子区域。

5.根据权利要求4所述的基于全局和局部特征模糊融合的人脸识别方法，其特征在于，步骤c12包括：

步骤c121，计算sx₁、ex₁之间的区域在垂直方向上的灰度投影projH

步骤c122，对灰度投影projH作差分运算，差分投影表示为projH′：

projH′(y)＝projH(y-2)+projH(y-2)-2*projH(y),2≤y≤h-2

步骤c123，对差分投影进行高斯拟合，将projH′中的每一只用其本身和相邻的值经过加权平均后替代，如下式所示：

其中*是卷积符号，T(i)是卷积核；

步骤c124，根据projH″绘出投影曲线图；

步骤c125，由于左眼的纵坐标已确定，因此计算LY-C/2、LY+C/2间区域在水平方向的sx₁、ex₁之间区域的灰度投影projW，C为左眼高的估计值；

步骤c126，根据projW绘出图9下方的投影曲线图。

6.根据权利要求5所述的基于全局和局部特征模糊融合的人脸识别方法，其特征在于，步骤e包括：

步骤e1，将预处理后测试样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域和未分割图像；

步骤e2，计算测试样本每张图像每个区域的奇异值特征向量；

步骤e3，计算测试样本图像集的全局和局部估计特征向量。

7.一种与权利要求1-6中任一所述的与基于全局和局部特征模糊融合的人脸识别方法相对应的装置，其特征在于，所述基于全局和局部特征模糊融合的人脸识别装置包括：

人脸图像集划分单元1：将人脸数据库中每一类人脸图像划分为训练样本图像集和测试样本图像集，形成由训练样本图像集和测试样本图像集组成的人脸图像集；

人脸图像集预处理单元2：分别对由训练样本图像集和测试样本图像集组成的人脸图像集进行预处理，得到人脸标准图像；

训练样本全局和局部估计特征向量求取单元3：用改进的基于类估计基空间SVD方法，对训练样本图像集的每一类图像的原图像和子区域图像分别求原图像的全局估计特征向量和子区域图像的局部估计特征向量；

训练样本隶属度函数的中心值和宽度求取单元4：用Sigmond函数求训练样本每一类图像对应的全局和局部特征向量的均值和标准差，分别作为隶属度Sigmond函数的中心值和宽度；

测试样本全局和局部估计特征向量求取单元5：用SVD方法求测试样本图像集的原图像全局特征向量和子区域图像局部特征向量；

测试样本全局和局部特征通道的隶属度矩阵求取单元6：对于测试样本图像集中的每一张图像对应的全局和局部特征向量，使用Sigmond函数求全局和局部特征通道的隶属度矩阵；

判别隶属度矩阵求取单元7：全局或局部特征通道的隶属度矩阵对应位置上的隶属度值进行加权求平均值，得到判别隶属度矩阵；

测试图像集识别分类单元8：根据判别隶属度矩阵和取最大隶属度值的规则，对测试图像集进行识别分类。

8.根据权利要求7所述的基于全局和局部特征模糊融合的人脸识别装置，其特征在于，所述人脸图像集预处理单元包括：

人脸图像灰度处理子单元21，对训练样本和测试样本图像集的每一张人脸图像进行灰度处理，包括灰度归一化、灰度拉伸；

人脸图像对正和裁切子单元22，对人脸位置进行对正和裁切，裁成一定像素的图像；

人脸图像旋转子单元23，确定双眼位置后，计算双眼位置连线与水平线的夹角为旋转角，以图像中心为旋转中心，对图像按旋转角旋转，最后得到标准的人脸图像。

9.根据权利要求8所述的基于全局和局部特征模糊融合的人脸识别装置，其特征在于，所述训练样本图像集全局和局部估计特征向量求取单元包括：

人脸图像集分割子单元，将预处理后训练样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域和未分割图像；

类别模板矩阵计算子单元，计算类别模板矩阵；

类别模板矩阵的左右正交矩阵求取子单元：运用SVD方法求类别模板矩阵的左右正交矩阵；

全局和局部估计奇异值特征向量计算子单元，计算全局估计奇异值特征向量和局部估计奇异值特征向量；

全局和局部估计特征向量计算子单元，计算每幅图像的全局和局部估计特征向量。

10.根据权利要求9所述的基于全局和局部特征模糊融合的人脸识别装置，其特征在于，所述测试样本图像集全局和局部估计特征向量求取单元包括：

测试样本图像集分割子单元，将预处理后测试样本图像集人脸图像进行图像分割，得到眉、眼、鼻和嘴6个子区域和未分割图像；

测试样本图像集奇异值特征向量计算子单元，计算测试样本每张图像每个区域的奇异值特征向量；

测试样本图像集全局和局部估计特征向量计算子单元，计算全局和局部估计特征向量。