CN108399396A - 一种基于核方法和线性回归的人脸识别方法 - Google Patents

Abstract

本发明提供了一种基于核方法和线性回归的人脸识别方法，包括步骤：首先通过非线性映射将训练样本和测试样本映射到一个高维核空间中；然后利用训练样本之间的协同表示构造核类间重构误差和核类内重构误差；通过最大化核类间重构误差和核类内重构误差的差值来求解最优投影矩阵；利用求得的投影矩阵对核特征空间中的高维样本数据进行降维；最后求解回归系数，对测试样本进行分类。本发明利用了不同类样本之间的协同表示作用，在高维核特征空间中构造投影矩阵，对样本数据进行降维的同时提取特征，能有效增强非线性处理能力，提高分类效率。

Description

一种基于核方法和线性回归的人脸识别方法

技术领域

本发明涉及计算机视觉和模式识别领域，具体涉及一种基于核方法和线性回归的人脸识别方法。

背景技术

人脸识别技术具有丰富的理论研究价值与实用价值，已然成为科研学界与社会企业共同关注的热点技术。从广义上说，人脸识别框架可以由两个环节组成：特征提取与分类器。特征提取是指利用线性或者非线性的投影变换，挖掘隐藏在高维数据中有鉴别意义的特征。特征提取决定了人脸识别系统性能的优劣，因此研究意义重大。

一方面，由于人脸模式常常受光照、表情以及角度等因素影响而体现出高度的非线性特性，而线性的人脸识别方法，对人脸图像的非线性结构信息不能形成有效映射和鉴别。另一方面，将样本数据经过非线性映射到高维核空间后，这个核特征空间的维数非常高甚至可能是无限的。即使可以找到恰当的非线性映射，位于核空间的高维数据计算量庞大，降低了分类的效率。因此对高维核空间的数据进行降维同时提取特征十分必要。

发明内容

本发明要解决的技术问题在于：了解决现有技术中的上述缺陷，提供一种基于核方法和线性回归的人脸识别方法，利用了不同类样本之间的协同表示作用，在高维核特征空间中构造投影矩阵，对样本数据进行降维的同时提取特征，增强了非线性处理能力，提高了分类的效率。

为了解决上述技术问题，本发明提出以下技术方案：一种基于核方法和线性回归的人脸识别方法，所述人脸识别方法包括下列步骤：

S1、获取训练样本集和测试样本，通过一个非线性映射将训练样本集和测试样本映射到一个高维核特征空间中；

S2、利用训练样本之间的协同表示构造核类间重构误差和核类内重构误差，通过最大化目标函数来求解最优投影矩阵。

S3、利用最优投影矩阵对核特征空间的高维样本数据进行降维；

S4、求解高维核特征空间中的回归系数，对测试样本进行重构，将测试样本分到具有最小重构误差的类别中。

进一步地，步骤S2所述利用训练样本之间的协同表示构造核类间重构误差和核类内重构误差，具体过程如下：

获取来自c个类的训练样本集合其中L表示每个训练样本的特征维数，m_i表示第i类训练样本的数量，m₁+m₂+...+m_c＝M。测试样本y∈R^L。通过一个非线性映射函数φ将原始样本空间R^L映射到一个高维特征空间R^Z中(L<Z)，即：y→φ(y),X_i→φ(X_i)。则有，φ(X_i)＝[φ(x_i,1),φ(x_i,2),...,φ(x_i,mi)]。

假设期望得到的最优投影矩阵U＝[U₁,...,U_h,...,U_d]，h＝1,2,...,d，。

定义核类间重构误差和核类内重构误差分别为：

其中是φ(X)中去掉φ(X_i)后剩余的模式，是φ(X_i)中去掉φ(x_i,j)后剩余的模式。和分别是类间重构系数和类内重构系数。

对E_BC和E_WC进一步展开并应用算子，可得，

根据再生核理论，对任意的特征向量U_h，都存在系数向量α_h，使得它被核空间中的训练样本线性表示：

定义Α＝[α₁,...,α_h,...,α_d]^T为伪投影矩阵，令Φ＝φ[X]＝[φ(x₁),φ(x₂),...,φ(x_M)]，则有U＝ΦΑ。

将φ(x_i,j)往U上作投影：

同理，将除去第i类样本φ(X_i)后的剩余样本集合向U上作投影，可以表示为：

同理：

将上式代入E_BC和E_WC中，

定义K_b为核类间重构散布矩阵，K_w为核类内重构散布矩阵，分别为：

代入E_BC和E_WC中可得，

E_BC＝tr(Α^TK_bΑ)

E_WC＝tr(Α^TK_wΑ)

进一步地，步骤S2所述通过最大化目标函数求解最优投影矩阵，具体过程如下：

本发明采用核最大间距准则来构造目标函数，避免因小样本问题导致的算法性能下降。

目标函数如下式：

投影矩阵U的求解转变为求解伪投影矩阵Α＝[α₁,...,α_h,...,α_d]^T，可通过解如下的广义特征方程得到：

(K_b-K_w)α_k＝λ_kα_k，k＝1,2,…,d

其中λ₁≥…≥λ_k≥…≥λ_d。

进一步地，所述步骤S4，具体包括：

(1)求解回归系数：

利用最小二乘法，解得回归系数

经推导化简可得，

其中，K_i＝<φ(X)^T,φ(X_i)>，K_y＝<φ(X)^T,φ(y)>，Λ＝Α·Α^T。

(2)计算重构误差：

(3)分类：

将测试样本分到具有最小重构误差的类别中：

本发明相对于现有技术具有如下的优点及效果：

1、本发明将数据非线性地映射到一个高维核空间，而后在这个高维核空间中进行重构鉴别分析，如此就隐含地实现了原始样本空间的非线性判别，增强了非线性处理能力。

2、本发明利用其他类的样本的协同表示得到的全局类间重构误差，比每一类单独的类间重构误差都要小，可以看做是单个类的类间重构误差的下界，并且在很大程度上放大了一些小的类间重构误差的作用，避免某些大的类间重构误差支配全局类间重构误差，使得不同类别的样本之间的分离效果更明显而同类样本能达到更好的聚类，提高了分类效果。

附图说明

图1是本发明针对人脸识别提出的基于核方法和线性回归的人脸识别方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例公开了一种基于核方法和线性回归的人脸识别方法，具体包含以下步骤：

1)获取训练数据集测试样本y∈R^L×1。

2)选定高斯径向基函数作为核函数，参数γ设为的中间值，其中为所有训练样本的均值。

3)构造核类间重构误差和核类内重构重构误差，包括：

假设期望得到的最优投影矩阵U＝[U₁,...,U_h,...,U_d]，h＝1,2,...,d，。

定义核类间重构误差和核类内重构误差分别为：

其中是φ(X)中去掉φ(X_i)后剩余的模式，是φ(X_i)中去掉φ(x_i,j)后剩余的模式。和分别是类间重构系数和类内重构系数。

对E_BC和E_WC进一步展开并应用tr算子，可得，

根据再生核理论，对任意的特征向量U_h，都存在系数向量α_h，使得它被核空间中的训练样本线性表示：

定义Α＝[α₁,...,α_h,...,α_d]^T为伪投影矩阵，令Φ＝φ[X]＝[φ(x₁),φ(x₂),...,φ(x_M)]，则有U＝ΦΑ。

将φ(x_i,j)往U上作投影：

同理，将除去第i类样本φ(X_i)后的剩余样本集合向U上作投影，可以表示为：

同理：

将上式代入E_BC和E_WC中，

定义K_b为核类间重构散布矩阵，K_w为核类内重构散布矩阵，分别为：

代入E_BC和E_WC中可得，

E_BC＝tr(Α^TK_bΑ)

E_WC＝tr(Α^TK_wΑ)

4)构造目标函数，求解最优投影矩阵

本发明采用核最大间距准则来构造目标函数，避免因小样本问题导致的算法性能下降。

目标函数如下式：

可通过解如下的广义特征方程得到：

(K_b-K_w)α_k＝λ_kα_k，k＝1,2,…,d

其中λ₁≥…≥λ_k≥…≥λ_d。

5)利用最优投影矩阵对核特征空间的高维样本数据进行降维。

6)计算回归系数：

经推导化简可得，

其中，K_i＝<φ(X)^T,φ(X_i)>，K_y＝<φ(X)^T,φ(y)>，Λ＝Α·Α^T。

7)计算重构误差：

8)分类：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于核方法和线性回归的人脸识别方法，其特征在于，其包括下列步骤：

获取训练样本集和测试样本，通过一个非线性映射将训练样本集和测试样本映射到一个高维核特征空间中；

利用训练样本之间的协同表示构造核类间重构误差和核类内重构误差，通过最大化目标函数求解最优投影矩阵；

利用最优投影矩阵对核特征空间的高维样本数据进行降维；

求解高维核特征空间中的回归系数，对测试样本进行重构，将测试样本分到具有最小重构误差的类别中。

2.根据权利要求1所述的一种基于核方法和线性回归的人脸识别方法，其特征在于，所述利用训练样本之间的协同表示构造核类间重构误差和核类内重构误差，具体过程如下：

假设有来自c个类的训练样本集合其中L表示每个训练样本的特征维数，m_i表示第i类训练样本的数量，m₁+m₂+...+m_c＝M，测试样本y∈R^L，假设存在一个非线性映射函数φ将原始样本空间R^L映射到一个高维特征空间R^Z中(L<Z)，即：y→φ(y),X_i→φ(X_i)，则有，

假设期望得到的最优投影矩阵U＝[U₁,...,U_h,...,U_d]，h＝1,2,...,d，

定义核类间重构误差和核类内重构误差分别为：

其中是φ(X)中去掉φ(X_i)后剩余的模式，是φ(X_i)中去掉φ(x_i,j)后剩余的模式，和分别是类间重构系数和类内重构系数；

根据再生核理论，对任意的特征向量U_h，都存在系数向量α_h，使得它被核空间中的训练样本线性表示：

定义Α＝[α₁,...,α_h,...,α_d]^T为伪投影矩阵，令Φ＝φ[X]＝[φ(x₁),φ(x₂),...,φ(x_M)]，则有U＝ΦΑ；

推导化简，最后可得

E_BC＝tr(Α^TK_bΑ)

E_WC＝tr(Α^TK_wΑ)

其中，K_b为核类间重构散布矩阵，K_w为核类内重构散布矩阵。

3.根据权利要求1所述的一种基于核方法和线性回归的人脸识别方法，其特征在于，所述通过最大化目标函数求解最优投影矩阵，具体过程如下：

采用核最大间距准则构造目标函数，避免因小样本问题导致的算法性能下降，如下式：

投影矩阵U的求解转变为求解伪投影矩阵Α＝[α₁,...,α_h,...,α_d]^T，可通过解如下的广义特征方程得到：

(K_b-K_w)α_k＝λ_kα_k，k＝1,2,…,d

其中λ₁≥…≥λ_k≥…≥λ_d。

4.根据权利要求1所述的一种基于核方法和线性回归的人脸识别方法，其特征在于，所述求解高维核特征空间中的回归系数，包括：

利用最小二乘法，回归系数可通过下式得到：

其中，K_i＝<φ(X)^T,φ(X_i)>，K_y＝<φ(X)^T,φ(y)>，Λ＝Α·Α^T，Α是伪投影矩阵。