CN109934270B - 一种基于局部流形判别分析投影网络的分类方法 - Google Patents

Abstract

本发明公开了一种基于局部流形判别分析投影网络的分类方法，它对卷积核进行改造，经过改造之后的卷积核能够发现图像流形潜在的局部结构，同时具有高敏感的判别能力。在小样本的情况下，该方法也能表现出较好的判别性和适应性。输入图像与改造之后的卷积核进行卷积并学习到具有代表性的特征，经过多尺度特征分析层输出特征，完成特征提取之后，特征表达被送入分类模型完成分类。本发明具有较小的训练时间、较高的识别准确度，同时具有自适应性和良好的扩展性。

Description

一种基于局部流形判别分析投影网络的分类方法

技术领域

本发明涉及图像处理的模式识别技术领域，属于机器学习中流形学习的范畴，具体来说涉及了一种基于局部流形判别分析投影网络的分类方法。

背景技术

在模式识别领域，提取有效的特征表达是解决分类任务的关键，同时，有效的特征表达可以提高图像识别算法的精度和鲁棒性。早期的特征提取方法可以分为两种：基于局部的和基于全局的，比如，基于局部特征的尺度不变特征转换SIFT和局部二值模式LBP；基于全局特征的主成分分析PCA、线性判别分析LDA以及这些方法的变体。虽然这些特征提取方法在提取图像特征时取得了不错的效果，但它们很难能够抓住图像潜在的局部流形判别信息。最近几年，基于深度学习的特征提取方法在一系列分类任务中取得了巨大的成功，由于其先进的网络结构，其分类精度达到了前所未有的水平。因此，大量的研究人员纷纷将视角转向了深度学习提取特征的方法。

深度学习提取特征的方法一般是指深度神经网络，它由多层神经网络构成，可以学习到不同层次特征表达，且不需要大量领域先验知识。自从1989年Yan Lecun等人在前人的基础上提出了具有BP结构的卷积神经网络(CNN)，关于CNN模型的研究逐渐成为热点。在2012年Krizhevsky等人将CNN改造成深度卷积神经网络(AlexNet)，在具有挑战性的ImageNet标准数据库取得了不错的结果。后续出现了类似于AlexNet的深度网络模型，这些网络相比之前的卷积神经网络具有更深的层次，更复杂的网络结构和更大规模的参数。

然而，卷积神经网络的“黑盒子”性质意味着人们不知道神经网络如何以及为什么产生某种输出。例如，当我们将狗的图像放入神经网络并将其预测为汽车时，很难理解是什么导致它产生这种预测，并且训练过程中涉及了大量的参数，而参数的调整又需要特别的调参技巧。为了提高模型的学习能力，Karen Simonyan等人在“ICLR 2015”发表的“Verydeep convolutional networks for large-scale image recognition”，ChristianSzegedy等人在“CVPR2015”会议上发表的“Going deeper with convolutions”，以及Kaiming He等人的“Deep Residual Learning for Image Recognition”(arXiv：1512.03385)文章都传达一个共同点，即通过增加网络的深度或宽度来增加网络的学习能力。但学习能力不断提升则使模型容易出现过拟合的问题。Nitish Srivastava等人在“Dropout：A Simple Way to Prevent Neural Networks from Overfitting”一文中提出使用“Dropout”解决过拟合问题。后续一些学者提出了其他的策略来解决过拟合问题，比如Zeiler在“ICLR 2013”提出随机卷积策略的思想来代替传统的卷积过程。除了过拟合问题之外，深层卷积神经网络模型非常耗费计算资源，这样会导致在终端部署和低延迟需求场景下难以应用的问题，因此，Song Han等人在“ICLR 2016”发表的“Deep compression：Compressing deep neural network with pruning，trained quantization and huffmancoding”一文中提到三种方式(网络剪枝、共享量化权重矩阵、量化值进行huffman编码)对深度神经网络进行压缩，Forrest N.Iandola1等人在“SqueezeNet：AlexNet-levelaccuracy with 50x fewer parameters and<0.5MB model size”文章中提出一个新的模型压缩方法，通过提出的压缩层(Squeeze Layer)和file module单元将CNN模型参数降低50倍，但压缩之后的模型参数依然很大。

上述的深度学习模型可以看作由多层可参数化可微分的非线性模块所组成，通过BP算法来训练整个模型，网络的深度决定模型的复杂度和计算资源的消耗。因此，深度神经网络之所以能够成功离不了以下几个关键因素：1)逐层处理的过程；2)特征的不同层次的内部变化；3)模型要有足够的复杂度；4)拥有更大的训练数据和计算资源。

虽然深度神经网络在相应的分类任务中取得了不错的成绩，但本身固有的结构使其不得不面对由计算复杂度带来的时间消耗。上述也提及了一些模型压缩的方法，但压缩之后的模型参数量依然很大，因此需要找到这样一个模型使其能够在计算机复杂度和计算机资源之间取得一个平衡。

发明内容

本发明的目的是提出一种基于局部流形判别分析投影网络的分类方法，该方法充分利用了样本的已知标签信息和样本点之间的局部结构，找到具有高敏感性的卷积核。本发明由若干阶段的特征卷积层和多尺度特征分析层、特征分类层构成，具体的实施步骤如下：

步骤1：给定N_train个训练样本，学习判别嵌入空间V

a)根据训练样本x_i的标签l(x_i)将训练集N(x_i)分为两个子集：N_w(x_i)和N_b(x_i)，N_w(x_i)是由与x_i具有相同标签的k个最近邻训练样本构成，N_b(x_i)则包含了与x_i不同标签的k个最近邻训练样本；即：

b)构建N_w(x_i)和N_b(x_i)子集对应的类内子图G_w和类间子图G_b的权重矩阵：

和

权重的选择如下所示：

对于每一类别c，

在不同类别之间引进了一个惩罚因子，使得不同类别的样本之间有更大的边界，

则通过赋予同一类样本之间更大的权重，加强了同一类样本之间的紧凑性；

首先计算类内子图的散度矩阵S_w：

其中，v为投影向量，v^T是v的转置；X是由

构成的矩阵，X^T为X的转置，

和

分别是x_i和x_i的转置；

为对角矩阵，其主对角线元素为

是图

的类内拉普拉斯矩阵；

同理，计算类间子图的散度矩阵S_b：

因此，判别嵌入空间V通过最小化目标函数

得到，即对矩阵L_w和L_b的广义特征分解：

XL_bX^Tv＝λXL_wX^Tv

其中，L_b是类间拉普拉斯矩阵；最大的l个特征值λ＝[λ₁，λ₂，…，λ_l]对应的特征矩阵V＝[v₁，v₂，…v_l]为学习到的判别嵌入空间；在学习到的判别嵌入空间V中，最显著的特征被保留下来，即在低维判别嵌入空间中，同一类的相邻点彼此接近，不同类别的邻近点相距的更远；

步骤2：构造特征卷积层

a)构建邻接图

设M_i是样本x_i的k个最近邻集合

位于的流形，为了使同一类的样本更紧凑的表示，通过仿射弧(affine hull)来模型化流形M_i，则x_i的仿射弧h_i定义为：h_i＝{x_i＝μ_i+U_iδ_i|δ_i∈R^D}，其中x_i∈R^D，u_i表示集合

的均值向量，δ_i是x_i在仿射弧中的自由参数向量；U_i是横跨整个affine hull的标准正交基，其通过对

进行奇异值分解得到；

其中，上述构建的仿射弧是所要构建邻接图中的节点，在这里使用最近邻算法来构建邻接图；由于欧式距离不能很好的表示流形之间的距离，在寻找k个最近邻的时候使用定义的子空间到子空间的距离度量d_SSD，d_SSD定义如下：

其中，V是由步骤1中学习到的判别嵌入空间，V^T为V的转置，β为合适的约束常数，U_i和U_j是横跨整个affine hull的标准正交基，U′_j为U_j的转置；

为Frobenius范数；

b)选择权重W

为了使局部保留映射之后，属于同一类的仿射弧离得更近，不同的类别的仿射弧离得更远，选择类内-类间的局部判别矩阵

作为构建权重矩阵热核(Heat Kernel)的输入；

其中，α、t为合适的约束常数；ε_i和ε_j是仿射弧所在流形的均值向量；U_m和U_n是横跨所有对应类别仿射弧的标准正交基，m、n为同一类别放射弧的个数，L_b为类间拉普拉斯矩阵，L_w为类内拉普拉斯矩阵；

c)优化线性嵌入

假设投影之后的集合是z，通过最小化下面的目标函数，来找合适的映射，在这个映射上属于同一个子空间的流形能够离得更近，不同子空间流形距离的更远；

上式可以化简为：

其中，

D为对角矩阵，即D_ii＝∑_jWij，D在不同的子空间之间建立了一个自然度量；A为投影矩阵，且z＝A^TD_MD，为了限制z在一个固定的尺度上，添加如下约束：

因此，具有约束的目标函数如下：

最后，求解投影向量，即：

设求解之后的最小的N_i个特征值

对应投影矩阵为

则

是要找的具有判别能力的卷积核；上标i代表每一阶段学到的卷积核，且i＝1，2；l＝1，2，…N_i；

步骤3：图像卷积

由步骤2学到的卷积核

和训练图像

进行卷积，分别得到第一阶段的N_train×N₁个特征图

以第一阶段的特征图作为第二阶段的输入，分别与第二阶段学习到的卷积核

卷积则得到第二阶段的N₁×N₂个特征图

步骤4：多尺度特征分析

a)二值哈希编码

对第二阶段得到的特征图

使用二进制哈希函数H(x)进行二值化，之后转换二进制向量为十进制向量，则得到一个整数值的图像

b)构建分块直方图

对于每一个特征图

将其分成B块，统计每一块中直方图的信息，并级联B块直方图为一维向量，在这里表示为：

最后，把所有的

串成一个向量，则得到输入图像x_i的最终特征f_i；

步骤5：图像分类

将测试集经过图像卷积、多尺度分析步骤之后得到的特征f_i，输入到由训练集训练得到SVM模型进行分类。

本发明提出了一种基于局部流形判别分析投影网络的分类方法，它对卷积核进行改造，经过改造之后的卷积核能够发现原始图像最有代表性的特征，同时具有高敏感的判别能力。在小样本的情况下，该方法也能表现出较好的判别性和适应性。输入图像与改造之后的卷积核进行卷积并学习到具有代表性的判别特征，经过多尺度特征分析层输出特征，完成特征提取之后，特征表达被送入分类模型进行分类。由于图像识别易受拍摄的光照、角度和等因素的影响，本发明建立了一个基于仿射弧的子空间流形模型，使同一类的图像更紧凑的位于同一个流形上，不同类别的图像位于不同的流形上，在此基础上提出了一个新的流形子空间图像距离度量d_SSD，为子空间在构建邻接图提供了距离度量，同时判别嵌入空间V和类内-类间的局部判别矩阵G_IiWDM引入，增加了卷积核对不同类别的敏感度。

本发明与现有的技术相比具有较小的训练时间、较高的识别准确度，同时具有自适应性和良好的扩展性。

附图说明

图1为本发明卷积之后不同流形之间的空间关系图；

图2为本发明的流程图。

具体实施方式

以下结合附图对本发明进行详细说明，实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明的基于局部流形判别分析投影网络的分类方法，首先，对输入图像构建判别嵌入空间V，设{(x_i，l_i)i＝1，2，…，N_train}是训练集图像的集合，x_i∈R^m×n表示第i个训练图像，l_i＝1，2，…，C代表训练图像x_i的类别标签，从分类的角度考虑，本发明利用原始图像已知的标签信息构建一个类内-类间图的局部判别矩阵G_IiWDM，在这里构建的G_IiWDM和拉普拉斯特征映射找到最佳的投影向量不同，这里的类内-类间图的判别矩阵G_IiWDM保留了流形之间的结构信息，并在不同类样本点之间赋予了不同的权重因子，同时新定义一个子空间到子空间的度量距离d_SSD，具体的步骤如下：

根据训练样本x_i的标签l(x_i)将训练集N(x_i)分为两个子集：N_b(x_i)和N_w(x_i)，N_w(x_i)是由与x_i具有相同标签的k个最近邻训练样本构成，N_b(x_i)则包含了与x_i不同标签的k近邻训练样本。即，

其中N_b(x_i)∩N_w(x_i)＝φ，N_b(x_i)∪N_w(x_i)＝N(x_i)。假设两个子集N_b(x_i)和N_w(x_i)构成的子图为

和

构建上述类内子图

和类间子图

的权重矩阵；

和

权重的选择如下所示：

首先计算类内子图的散度矩阵S_w：

其中，D_w为对角矩阵，即

可以看作是图

的拉普拉斯矩阵。

同理，计算类间子图的的散度矩阵S_b：

因此，判别嵌入空间V可以通过最大化目标函数

得到，即对矩阵L_w和L_b的广义特征分解：

XL_bX^Tv＝λXL_wX^Tv

在这里定义类内-类间的局部判别矩阵G_IiWDM如下：

本发明使用改进的局部保留映射(Locality Preserving Projecting，LPP)来构造卷积核。与从全局统计角度考虑的主成分分析(principle component analysis，PCA)和线性判别分析(Linear Discriminat Analysis，LDA)不同，本发明能够发现外围空间的子流形的潜在结构并保持原始空间数据点的局部信息，同时保持敏感的判别性。本发明构造的卷积核能够学习到数据低维流形的内在几何分布，对小样本同样具有适应性，由于判别嵌入空间V和类内-类间的局部判别矩阵G_IiWDM引入，使卷积核的具有了判别能力，同时本发明提出了一个新的距离度量d_SSD，与使用欧式距离作为距离度量相比，该距离度量增强了卷积核对不同类别样本之间的判别能力。

具体的构造卷积核的步骤如下：

设样本点x_i最近的k个样本点N_w位于的子空间流形为M_i，为了更清楚的表示，图1描述了卷积之后不同流形之间的空间关系。在这里使用类内-类间图的判别矩阵G_IiWDM作为LPP的热核(Heat Kernel)输入，从而使同类流形之间的距离能够离得更近，不同类别流形之间的距离更远。

设M_i是样本x_i的k个最近邻集合

位于的流形，为了使同一类的样本更紧凑的表示，通过仿射弧(affine hull)来模型化流形M_i，则x_i的仿射弧h_i定义为：h_i＝{x_i＝μ_i+U_iδ_i|δ_i∈R^D}，其中x_i∈R^D，u_i表示集合

的均值向量，δ_i是x_i在仿射弧中的自由参数向量；U_i是横跨整个affine hull的标准正交基，其通过对

进行奇异值分解得到。

假设投影之后的集合是z，通过最小化下面的目标函数，来找的合适的映射，在这个映射上属于同一个子空间的流形能够离得更近，不同的子空间流形距离的更远。

上述可以化简为：

其中，

D为对角矩阵，即D_ii＝∑_jWij，D在不同的子空间之间建立了一个自然度量。为了限制z在一个固定的尺度上，添加如下约束：

因此，得到具有约束的目标函数：

最后，求解投影向量，即：

设求解之后的最小的N_i个特征值

对应投影矩阵为

则

是要找具有判别能力的卷积核；上标i代表每一阶段学到的卷积核，且i＝1，2；l＝1，2，…N_i；

图像卷积：

由学到的卷积核

和训练图像

进行卷积，分别得到第一阶段的N_train×N₁个特征图

以第一阶段的特征图作为第二阶段的输入，分别与第二阶段学习到的卷积核

卷积则得到第二阶段的N₁×N₂个特征图

多尺度特征分析：

a.二值哈希编码：

对第二阶段得到的特征图

使用二进制哈希函数H(x)进行二值化，转换二进制向量为十进制向量，因此，可以得到一个整数值的图像

b.构建分块直方图

对于每一个特征图

将其分成B块，统计每一块中直方图的信息，并级联B块直方图为一维向量，在这里表示为：

最后，把所有的

串成一个向量，则得到输入图像的最终特征f_i。

图像分类步骤：

将测试集经过图像卷积、多尺度分析步骤之后得到的特征f_i，输入到由训练集训练得到SVM模型进行分类。

实施例

以下结合具体实施例对本发明技术方案做详细说明。

如图2所示，本发明提出的模型包含了卷积层、多尺度特征分析层、特征分类层。但本模型只需要一次的前向的传播过程即可以学到合适的卷积核，简化了深度神经网络调参的过程，同时减少了模型的运行时间。

假设有N_train个训练样本图像

模型的运行如下。

1)第一阶段(构造图像集)：对训练图像x_j进行预处理生成多个原始图像的副本(Image Sets)，在这里将Image Sets表示为

为

中的第p行，其中

是按照大小为k₁×k₂对x_i采样得到的m×n区块矩阵。

2)第一阶段(构造卷积核)：将N_train个训练样本图像，按照本发明给出的构造卷积核的方法得到第一阶段的N₁卷积核

3)第一阶段(卷积操作)由第一阶段学到的卷积核为

与训练图像

进行卷积，得到第一阶段的N_train×N₁个特征图

4)第二阶段(构造卷积核)：与第一阶段构造卷积核过程类似，将N_train×N₁个特征图

按照本发明给出的构造卷积核的方法得到第二阶段的N₂卷积核

5)第二阶段(卷积操作)由第二阶段学到的卷积核为

和N_train×N₁个特征图

进行卷积，得到第二阶段的N₁×N₂个特征图

6)输出阶段(多尺度特征分析)：对于第二阶段输出的特征图

使用二值哈希函数H(x)进行二值化，则特征图被映射成由0或1构成的二值向量，之后将二值向量转化成每个位置像素值为[0，255]之间的十进制数的图像

7)将于每一个特征图

划分成B块，构建不同尺度下的网格(

个bins)，统计不同尺度下每个小块中词出现的次数，并级联B块直方图为一维向量，在这里表示为：

最后，把所有的

串成一个向量，则得到输入图像x_i的最终特征f_i：

8)将步骤7到的多尺度特征f_i训练SVM模型。

9)对利用训练阶段得到的SVM模型对测试样本进行分类。

Claims (1)

1.一种基于局部流形判别分析投影网络的分类方法，其特征在于，该方法包括以下具体步骤：

步骤1：给定N_train个训练样本，学习判别嵌入空间V

a)根据训练样本x_i的标签l(x_i)将训练集N(x_i)分为两个子集：N_w(x_i)和N_b(x_i)，N_w(x_i)是由与x_i具有相同标签的k个最近邻训练样本构成，N_b(x_i)则包含了与x_i不同标签的k个最近邻训练样本；即：

b)构建N_w(x_i)和N_b(x_i)子集对应的类内子图G_w和类间子图G_b的权重矩阵：和权重的选择如下所示：

对于每一类别c，在不同类别之间引进了一个惩罚因子，使得不同类别的样本之间有更大的边界，则通过赋予同一类样本之间更大的权重，加强了同一类样本之间的紧凑性；

首先计算类内子图的散度矩阵S_w：

其中，v为投影向量，v^T是v的转置；X是由构成的矩阵，X^T为X的转置，和分别是x_i和x_j的转置；为对角矩阵，其主对角线元素为 是图的类内拉普拉斯矩阵；

同理，计算类间子图的散度矩阵S_b：

因此，判别嵌入空间V通过最小化目标函数得到，即对矩阵L_w和L_b的广义特征分解：

XL_bX^Tv＝λXL_wX^Tv

其中，L_b是类间拉普拉斯矩阵；最大的ι个特征值λ＝[λ₁,λ₂,…,λ_ι]对应的特征矩阵V＝[v₁,v₂,…v_ι]为学习到的判别嵌入空间；在学习到的判别嵌入空间V中，最显著的特征被保留下来，即在低维判别嵌入空间中，同一类的相邻点彼此接近，不同类别的邻近点相距的更远；

步骤2：构造特征卷积层

a)构建邻接图

设M_i是样本x_i的k个最近邻集合位于的流形，为了使同一类的样本更紧凑的表示，通过仿射弧即affine hull来模型化流形M_i，则x_i的仿射弧h_i定义为：h_i＝{x_i＝μ_i+U_iδ_i|δ_i∈R^D}，其中x_i∈R^D，u_i表示集合的均值向量，δ_i是x_i在仿射弧中的自由参数向量；U_i是横跨整个affine hull的标准正交基，其通过对进行奇异值分解得到；

其中，上述构建的仿射弧是所要构建邻接图中的节点，在这里使用最近邻算法来构建邻接图；由于欧式距离不能很好的表示流形之间的距离，在寻找k个最近邻的时候使用定义的子空间到子空间的距离度量d_SSD，d_SSD定义如下：

其中，V是由步骤1中学习到的判别嵌入空间，V^T为V的转置，β为合适的约束常数，U_i和U_j是横跨整个affine hull的标准正交基，U'_j为U_j的转置；为Frobenius范数；

b)选择权重W

为了使局部保留映射之后，属于同一类的仿射弧离得更近，不同的类别的仿射弧离得更远，选择类内-类间的局部判别矩阵作为构建权重矩阵热核即HeatKernel的输入；

其中，α、t为合适的约束常数；ε_i和ε_j是仿射弧所在流形的均值向量；U_m和U_n是横跨所有对应类别仿射弧的标准正交基，m、n为同一类别放射弧的个数，L_b为类间拉普拉斯矩阵，L_w为类内拉普拉斯矩阵；

c)优化线性嵌入

假设投影之后的集合是z，通过最小化下面的目标函数，来找合适的映射，在这个映射上属于同一个子空间的流形能够离得更近，不同子空间流形距离的更远；

上式可以化简为：

其中，D为对角矩阵，即D_ii＝∑_jWij，D在不同的子空间之间建立了一个自然度量；A为投影矩阵，且z＝A^TD_MD，为了限制z在一个固定的尺度上，添加如下约束：

因此，具有约束的目标函数如下：

最后，求解投影向量，即：

设求解之后的最小的N_i个特征值对应投影矩阵为则是要找的具有判别能力的卷积核；上标i代表每一阶段学到的卷积核，且i＝1,2；l＝1,2,…N_i；

步骤3：图像卷积

由步骤2学到的卷积核和训练图像进行卷积，分别得到第一阶段的N_train×N₁个特征图

以第一阶段的特征图作为第二阶段的输入，分别与第二阶段学习到的卷积核卷积则得到第二阶段的N₁×N₂个特征图

步骤4：多尺度特征分析

a)二值哈希编码

对第二阶段得到的特征图使用二进制哈希函数H(x)进行二值化，之后转换二进制向量为十进制向量，则得到一个整数值的图像

b)构建分块直方图

对于每一个特征图将其分成B块，统计每一块中直方图的信息，并级联B块直方图为一维向量，在这里表示为：最后，把所有的串成一个向量，则得到输入图像x_i的最终特征f_i；

步骤5：图像分类

将测试集经过图像卷积、多尺度分析步骤之后得到的特征f_i，输入到由训练集训练得到SVM模型进行分类。

Images