CN105678261A - 基于有监督图的直推式数据降维方法 - Google Patents

Abstract

本发明公开了一种直推式局部保持投影数据降维方法，主要解决现有基于半监督学习的数据降维方法仅利用欧氏距离进行构图，识别结果不理想的问题。其实现步骤是：(1)输入数据并归一化；(2)计算归一化后的原始矩阵及类标向量；(3)由原始数据计算第一拉普拉斯矩阵L；(4)由类标向量计算第二拉普拉斯矩阵L^l；(5)由第一拉普拉斯矩阵L和第二拉普拉斯矩阵L^l计算相似度矩阵S；(6)由类标向量计算样本的类间权重矩阵W^c；(7)由相似度矩阵S和类间权重矩阵W^c构建广义特征值公式并求解，得到投影矩阵E；(8)由投影矩阵E计算出降维后的样本。本发明能有效地对数据进行特征提取与降维，提高了数据分类识别的准确率，可用于数据与图像处理。

Description

基于有监督图的直推式数据降维方法

技术领域

本发明属于图像处理技术领域，特别涉及一种高维数据降维方法，可用于数据与计算机图像识别。

背景技术

近些年来，随着计算机技术和制造业的发展，智能设备已经全面普及，比如智能手机，智能手环等等。几乎每台智能设备都有大量的传感器，从而采集各方面的数据。大量智能设备的普及随之而来的是原始数据的爆炸性增长。当我们获得越来越多的数据，如何充分利用数据中的信息，已经成为学术界研究的焦点。数据降维就是用于解决这些问题的有效手段。数据降维旨在利用普及的计算机自动的探索原始数据中的信息，发现潜藏在大量的混乱数据背后的本质特征。数据降维的主要代表方法有主成分分析PCA，局部保持投影LPP，线性判别分析LDA等。

随着信息技术以及传感器技术的发展，通过传感器可直接获取的大量无标记样本，相比之下，有标记的样本则难以获得。比如医学图像处理，通过现代化的仪器获取数量庞大的医学影像是容易的，但是让医生人工标注全部图像，需要耗费昂贵的人力物力。而直推式降维方法最显著的优点是自动地结合少量的标记样本和大量的未标记样本进行训练来完成数据降维，明显的提高了效率并且降低了人力成本，具有重要的现实意义。目前，直推式降维方法已经成功地应用于人脸识别、图像分类、图像检索等领域中。

直推式降维方法的基本模型如下：给定一个d维随机向量x，它的n个观察值被记作x_j(j＝1,2,...n)，构成矩阵X＝(x₁,x₂,...,x_n)。其中有标记数据集为V＝{(x₁,k₁),(x₂,k₂),...,(x_l,k_l)}，无标记数据集为U＝{x_l+1,x_l+2,...,x_n}，并有X＝V∪U，其中，k_j是数据x_j的类标，l是有标记样本数量。将矩阵X投影到r(r＜＜d)维的子空间中去，并且有Y＝XE。其中Y∈R^n×r降维后的矩阵，E∈R^d×r是投影矩阵。这种方法通过选择合适投影矩阵可以压缩原始数据的维度，找出数据的本质特征。

Sugiyama等人于2010年提出了半监督局部费舍尔判别分析SELF方法，SELF的基本思想是用基于全局分布结构的PCA来惩罚LFDA在标记样本很少的情况下地过度拟合。但是该方法没有考虑全部样本的局部结构信息。

刘威等人提出了一种同时训练标记样本和预测样本的直推式成分分析TCA。该TCA方法是利用双重优化准则来训练基于几何图框架的特征子空间。但是该方法在投影k近邻图时没有考虑样本的类标信息。

因此，上述SELF和TCA方法降维后数据的分类识别效果均不理想。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于有监督图的直推式数据降维方法，以在无标记样本数量较多和有标记样本数量较少的情况下，有效地实现对数据的特征提取及降维，进而提高后续的数据分类效果。

本发明的技术思路是：通过在全部样本上构建一个K近邻图，并利用样本类标信息构建类间无向图与类内无向图，以K近邻图和类内无向图作为约束，将样本投影到新的特征空间中去，得到具有更好分布结构的有监督投影图，通过在保持有监督图结构信息时加入类间无向图作为约束，有效地实现对数据的特征提取及降维。其实现方案包括如下：

(1)输入n＝F×P幅原始图像，对这些图像进行校准和对齐，将其裁剪为相同尺寸，其中F为原始图像类别数，P为每一类图像的张数；

(2)将每幅图像像素点的灰度特征值按行取出并顺序排列形成一个d维行向量x_j，组成一个n×d的矩阵，对该矩阵的每一行进行归一化，得到原始矩阵X＝(x₁,x₂,...,x_n)；

(3)将每幅图像的类标顺序排列形成一个n维列向量，即类标向量G，其中无标记样本的类标为0；

(4)根据原始矩阵X，计算第一拉普拉斯矩阵L；

(5)根据类标向量G，计算第二拉普拉斯矩阵L^l；

(6)根据第一拉普拉斯矩阵L和第二拉普拉斯矩阵L^l，计算有监督图的相似度矩阵S：

S＝(I+αL+βL^l)^-1(αL+βL^l)，

其中，I为单位矩阵，α是K近邻图影响因子，β是类内无向图影响因子；

(7)根据类标向量G，计算类间权重矩阵W^c；

(8)根据有监督图的相似度矩阵S和类间权重矩阵W^c，计算投影矩阵E：

选取特征维数r＝{5,10,...,50}，利用下式求解广义特征值：

X^ΤSXa＝λX^Τ(D-γW^c)Xa，

其中，a是特征向量，λ是特征值，γ是类间无向图影响因子；

将求解得到的特征值按绝对值从大到小的顺序排列，选择前r个绝对值大的特征值对应的特征向量a_i，顺序排列得到投影矩阵E＝(a₁,a₂,...,a_i,...a_r)；

(9)根据投影矩阵E计算降维后的矩阵Y＝XE。

本发明与现有技术对比，具有如下优点：

第一，本发明利用类标信息构建有监督图，有效地兼顾了样本的分布信息和类标信息，提高了识别性能。

第二，本发明以类间无向图作为约束，使得相邻的不同类样本在分布空间中更加疏远，提高后续数据分类效果。

附图说明

图1为本发明的实现流程图；

图2为本发明仿真使用的ORL人脸库的图像样本；

图3为本发明与现有三种方法在ORL人脸库中选择2个标记样本时分类准确率随维数变化曲线；

图4为本发明与现有三种方法在ORL人脸库中选择3个标记样本时分类准确率随维数变化曲线；

图5为本发明仿真使用的BANCA人脸库的图像样本；

图6为本发明与现有三种方法在BANCA人脸库中选择3个标记样本时分类准确率随维数变化曲线；

图7为本发明与现有三种方法在BANCA人脸库中选择4个标记样本时分类准确率随维数变化曲线；

图8为本发明仿真使用的雷达辐射源信号模糊函数特征数据库中的样本；

图9为本发明与现有三种方法在雷达辐射源信号模糊函数特征数据库中选择4个标记样本时分类准确率随维数变化曲线；

图10为本发明与现有三种方法在雷达辐射源信号模糊函数特征数据库中选择8个标记样本时分类准确率随维数变化曲线；

具体实施方式

下面结合附图对本发明的具体实施步骤和效果做进一步的详细描述。

参照图1，本发明的实现步骤如下：

步骤1.输入原始图像。

输入n＝F×P幅原始图像，并对这些图像进行校准和对齐后，裁剪为大小相同的尺寸，其中F为原始图像类别数，P为每一类图像的张数。

步骤2.利用原始图像得到原始矩阵X。

将每幅原始图像像素点的灰度特征值按行取出，并顺序排列形成一个d维行向量，组成一个n×d的矩阵X'，对矩阵X'的每一行进行归一化，使得矩阵X'的每一行各元素的和等于1即：其中，v'_j是矩阵X'的第j行向量，x'_i是行向量v'_j第i个元素，v_j是归一化后矩阵X的第j行，j＝1,2…,n；

将归一化后的行向量v_j按顺序排列构成原始矩阵X，即X＝{v₁,…,v_j,…,v_n}。

步骤3.利用原始图像得到类标向量G。

每类图像有P个样本，从中随机选择m个样本作为有标记样本，余下的为无标记样本，其中无标记样本的类标为0，将每幅图像的类标顺序排列形成一个n维列向量，即类标向量G。

步骤4.根据原始矩阵X计算第一拉普拉斯矩阵L。

(4.1)选取最近邻系数K＝5，计算K近邻图的权重矩阵

其中w(x_i,x_j)是W中第i行，第j列的元素项，

$w(x_i,x_j)=\exp (-\frac{\left|\right|x_i-x_j|{|}^2}{{\mathrm{\σ}}^2}),$

其中，σ是平滑因子；

(4.2)根据K近邻图的权重矩阵W，计算第一拉普拉斯矩阵L＝D-W，D为对角矩阵，该对角矩阵的第j行第j列元素D_jj＝Σ_lw_jl；

步骤5.根据类标向量G计算第二拉普拉斯矩阵L^l。

(5.1)在不同数据库下每类图像随机选取2～10幅作为标记样本，计算类内无向图的权重矩阵

其中w^l(x_i,x_j)是W^l中第i行，第j列的元素项：

其中，C_i是样本点x_i所在类别；

(5.2)根据类内无向图的权重矩阵W^l，计算第二拉普拉斯矩阵L^l＝D^l-W^l，D^l为对角矩阵，该对角矩阵的第j行第j列元素D^l _jj＝Σ_lw^l _jl。

步骤6.计算有监督图的相似度矩阵S。

(6.1)由第一拉普拉斯矩阵L和第二拉普拉斯矩阵L^l，构建原始矩阵X的有监督投影目标函数：

J(h,f)＝||X^Τh-f||²+αf^ΤLf+βf^ΤL^lf<1>

其中，f是投影函数，α是近邻图影响因子，β是类内无向图影响因子，h是投影向量；

(6.2)由投影的目标函数推导出相似度矩阵：

对<1>式计算投影函数f的偏导数并令结果等于零，得到：

$\frac{\&part;J(h,f)}{\&part;f}{|}_{f=f^{*}}=2(f^{*}-X^{T}h+{\mathrm{\&alpha;Lf}}^{*}+{\mathrm{\&beta;L}}^l{f}^{*})=0---<2>$

根据<2>式求解得到：

$f^{*}=\frac{X^{T}h}{I+\mathrm{\&alpha;}L+{\mathrm{\&beta;L}}^l}---<3>$

其中，I为单位矩阵，α是K近邻图影响因子，β是类内无向图影响因子；

将f^*代入<1>式中消除f，得到：

J(h)＝J(h,f^*)＝||(αL+βL^l)f^*||²+αf^*ΤLf^*+βf^*ΤL^lf^*

＝f^*Τ(αL)(I+αL+βL^l)f^*+f^*Τ(βL^l)(I+αL+βL^l)f^*<4>

＝h^ΤX(I+αL+βL^l)^-1(αL+βL^l)X^Τh＝h^ΤXSX^Τh

由<4>得到相似度矩阵S：

S＝(I+αL+βL^l)^-1(αL+βL^l)

步骤7.根据类标向量G计算类间权重矩阵W^c。

根据类标向量G，计算类间权重矩阵其中W^c中第i行，第j列的元素项w^c(x_i,x_j)：

步骤8.计算投影矩阵E＝(a_n,a_n-1,...a_n-r+1)。

选取特征维数r＝{5,10,...,50}，求解广义特征值公式：

X^ΤSXa＝λX^Τ(D-γW^c)Xa，

其中，a是特征向量，λ是特征值，γ是类间无向图影响因子；

将求解得到的特征值按绝对值从大到小的顺序排列，选择前r个绝对值大的特征值对应的特征向量a_i，顺序排列得到投影矩阵E＝(a₁,a₂,...,a_i,...a_r)；

步骤9.计算降维后的矩阵Y。

利用Y＝XE计算原始矩阵X降维后的矩阵Y，完成对原始矩阵X的降维。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件：

实验在HpCompaq6280ProMTPC，4G内存的计算机上进行，应用MATLAB2010a软件进行仿真。

仿真对象为ORL人脸库、BANCA人脸库和雷达辐射源信号模糊函数特征数据库。

所述ORL标准人脸数据库是由Olivetti实验室创建的，该数据库总共含有400幅图像，每个人有十幅共40个人的面部图像，并且其中一些图像获取时间是不同的。这些图像规模全部都是112×92维，包含256个灰度级并且背景全部是黑色。这些灰度图像包括了面部表情，即笑或者不笑，光照条件和面部细节即带眼镜或者没有眼镜，以及睁眼或者闭眼等不同。图2为ORL人脸库的图像样本。从图2中可以看出，数据库中人脸图像有表情，脸部方位以及光照等变化。

所述BANCA人脸库是由欧洲BANCA项目创建的，拍摄了208个人不同时间，不同状态，不同质量，不同光照，不同表情的标准人脸图像。从中随机选择52个人的人脸图像，这中间包含不同年龄、不同性别的对象。每人10幅图组成一个520幅图的数据集，其中每幅图都为56×46维。这些图像包括脸部表情，光照条件与脸部细节(有眼镜或没眼镜)的变化。图5所示为BANCA数据库的图像样本。

所述雷达辐射源信号模糊函数特征数据库是通过如下实验手段所获取的数据库：

用民航应答信号作为雷达信号，求取雷达信号的模糊函数，提取模糊函数代表性切片特征，形成雷达辐射源信号特征数据库，该数据库中共有13类，每类80个样本，共计1040个样本组成，原始维数为1024维。图8给出了该数据库中1-6类样本信号的模糊函数特征波形。

2.仿真内容：

实验1：用本发明和现有半监督局部费舍尔判别分析方法SELF、直推式成分分析方法TCA、半监督判别分析方法SDA对ORL人脸库进行仿真。

在ORL人脸库中，取每一类的10个样本，从中随机选择{2,3}个样本形成有标记样本集。本实验分别采用本发明与SDA、SELF、TCA方法对ORL数据库中样本进行降维，得到10个降维后的矩阵Y_r，矩阵Y_r的大小为n×r，r＝5,10,15...,50。

本发明在对ORL人脸库样本降维的过程中，参数选择如下：近邻图影响因子α＝0.1，类内无向图影响因子β＝5，类间无向图影响因子γ＝1，平滑因子σ＝1。

SDA方法在对ORL人脸库样本降维的过程中，参数选择如下：惩罚因子θ＝0.1，平滑因子σ＝1。

SELF方法在对ORL人脸库样本降维的过程中，参数选择如下：平衡因子ψ＝0.9，平滑因子σ＝1。

TCA方法在对ORL人脸库样本降维的过程中，参数选择如下：光滑因子η＝0.1，距离影响因子μ＝1，平滑因子σ＝1。

本实验通过1近邻分类器分别对维数r＝5,10,15...,50的10个矩阵Y_r中各行向量进行分类，得到估计类标，计算该矩阵Y_r的分类准确率。实验结果取20次平均，在2个标记样本时降维结果如图3，在3个标记样本时降维结果如图4。

从图3和图4可以得到如下结论：

1)本发明在包含2个标记样本时都比其他方法平均高出7％的识别率。总体上，本发明性能始终优于SDA、SELF和TCA方法，取得了最好的分类识别准确率；

2)在构图过程中加入样本的类标信息要比仅仅采用欧式距离描述样本间的相似性更加合理。

实验2：用本发明和现有半监督局部费舍尔判别分析方法SELF、直推式成分分析方法TCA、半监督判别分析方法SDA对BANCA人脸库进行仿真。

在BANCA人脸库中，取每一类的10个样本，从中随机选择{3,4}个样本形成有标记样本集。本实验分别采用本发明与SDA、SELF、TCA方法对BANCA数据库中样本进行降维，得到10个降维后的矩阵Y_r，矩阵Y_r的大小为n×r，r＝5,10,15...,50。

本发明在对BANCA人脸库样本降维的过程中，参数选择如下：近邻图影响因子α＝0.05，类内无向图影响因子β＝10，类间无向图影响因子γ＝0.1，平滑因子σ＝1。

SDA方法在对BANCA人脸库样本降维的过程中，参数选择如下：惩罚因子θ＝0.1，平滑因子σ＝1。

SELF方法在对BANCA人脸库样本降维的过程中，参数选择如下：平衡因子ψ＝0.9，平滑因子σ＝1。

TCA方法在对BANCA人脸库样本降维的过程中，参数选择如下：光滑因子η＝0.05，距离影响因子μ＝1，平滑因子σ＝1。

本实验通过1近邻分类器分别对维数r＝5,10,15...,50的10个矩阵Y_r中各行向量进行分类，得到估计类标，计算该矩阵Y_r的分类准确率。实验结果取20次平均，在3个标记样本时降维结果如图6，在4个标记样本时降维结果如图7。

从图6和图7可见，在BANCA数据库上，本发明性能总体上优于SDA方法、SELF方法和TCA方法，且本发明相比于TCA方法平均分类准确率提高了2％以上。

实验3：用本发明和现有半监督局部费舍尔判别分析方法SELF、直推式成分分析方法TCA、半监督判别分析方法SDA对雷达辐射源信号模糊函数特征数据库进行仿真。

在雷达辐射源信号模糊函数特征数据库中，每一类的模糊函数零切片特征有20个，从中随机选择{4,8}个样本形成有标记样本集。本实验分别采用本发明与SDA、SELF、TCA方法对雷达辐射源信号模糊函数特征数据库中样本进行降维，得到8个降维后的矩阵Y_r，矩阵Y_r的大小为n×r，r＝5,10,15...,40。

本发明在对雷达辐射源信号模糊函数特征数据库样本降维的过程中，参数选择如下：近邻图影响因子α＝0.01，类内无向图影响因子β＝0.5，类间无向图影响因子γ＝0.1，平滑因子σ＝1。

SDA方法在对雷达辐射源信号模糊函数特征数据库样本降维的过程中，参数选择如下：惩罚因子θ＝0.7，平滑因子σ＝1。

SELF方法在对雷达辐射源信号模糊函数特征数据库样本降维的过程中，参数选择如下：平衡因子ψ＝0.5，平滑因子σ＝1。

TCA方法在对雷达辐射源信号模糊函数特征数据库样本降维的过程中，参数选择如下：光滑因子η＝0.1，距离影响因子μ＝30，平滑因子σ＝1。

本实验通过1近邻分类器分别对维数r＝5,10,15...,40的10个矩阵Y_r中各行向量进行分类，得到估计类标，计算该矩阵Y_r的分类准确率。实验结果取20次平均，在4个标记样本时降维结果如图9，在8个标记样本时降维结果如图10。

从图9和图10中可以看出，在雷达辐射源信号模糊函数特征数据库上，本发明总体上优于现有的SDA方法、SELF方法和TCA方法。

以上仿真结果表明，采用本发明，能有效地提升对数据降维后的分类效果。

Claims (3)

1.一种基于有监督图的直推式数据降维方法，包括如下步骤：

(1)输入n＝F×P幅原始图像，对这些图像进行校准和对齐，将其裁剪为相同尺寸，其中F为原始图像类别数，P为每一类图像的张数；

(2)将每幅图像像素点的灰度特征值按行取出并顺序排列形成一个d维行向量x_j，组成一个n×d的矩阵，对该矩阵的每一行进行归一化，得到原始矩阵X＝(x₁,x₂,...,x_n)；

(3)将每幅图像的类标顺序排列形成一个n维列向量，即类标向量G，其中无标记样本的类标为0；

(4)根据原始矩阵X，计算第一拉普拉斯矩阵L；

(5)根据类标向量G，计算第二拉普拉斯矩阵L^l；

(6)根据第一拉普拉斯矩阵L和第二拉普拉斯矩阵L^l，计算有监督图的相似度矩阵S：

S＝(I+αL+βL^l)^-1(αL+βL^l)，

其中，I为单位矩阵，α是K近邻图影响因子，β是类内无向图影响因子；

(7)根据类标向量G，计算类间权重矩阵W^c；

(8)根据有监督图的相似度矩阵S和类间权重矩阵W^c，计算投影矩阵E：

选取特征维数r＝{5,10,...,50}，利用下式求解广义特征值：

X^ΤSXa＝λX^Τ(D-γW^c)Xa，

其中，a是特征向量，λ是特征值，γ是类间无向图影响因子；

将求解得到的特征值按绝对值从大到小的顺序排列，选择前r个绝对值大的特征值对应的特征向量a_i，顺序排列得到投影矩阵E＝(a₁,a₂,...,a_i,...a_r)；

(9)根据投影矩阵E计算降维后的矩阵Y＝XE。

2.根据权利要求1所述的基于有监督图的直推式数据降维方法，其特征在于，

步骤(5)中计算第二拉普拉斯矩阵L^l，按如下步骤进行：

(5.1)在不同数据库下每类图像随机选取2～10幅作为标记样本，计算类内无向图的权重矩阵

其中w^l(x_i,x_j)是W^l中第i行，第j列的元素项，

其中，C_i是样本点x_i所在类别；

(5.2)计算第二拉普拉斯矩阵L^l＝D^l-W^l，D^l为对角矩阵，该对角矩阵的第j行第j列元素D^l _jj＝Σ_lw^l _jl。

3.根据权利要求1所述的基于有监督图的直推式数据降维方法，其特征在于，

步骤(7)中计算类间权重矩阵W^c，按如下公式计算：

其中w^c(x_i,x_j)是W^c中第i行，第j列的元素项，