CN109711461A - 基于主成分分析的迁移学习图片分类方法及其装置 - Google Patents

Abstract

本申请公开了一种基于主成分分析的迁移学习图片分类方法及其装置，该方法包括以下步骤：步骤S100：采用主成分分析法对小样本数据集中的各样本进行特征向量降维，得到降维后的特征向量；步骤S200：用降维后的特征向量训练深度卷积神经网络中的全连接层神经网络，得到分类器；步骤S300：提取待分类图片的特征向量，将待分类图片的特征向量投影到低维空间，得到降维结果，将降维结果输入分类器中，输出分类结果；小样本数据集中每类样本总数≤15个。该方法通过将样本特征向量投影到低维空间，从而增加样本密度，减小噪声对图片识别的影响，提高分类准确率。本申请的又一方面还提供了一种基于主成分分析的迁移学习图片分类装置。

Description

基于主成分分析的迁移学习图片分类方法及其装置

技术领域

本申请涉及一种基于主成分分析的迁移学习图片分类方法及其装置，属于图片分类领域。

背景技术

图片分类，是指识别出只有一个主要目标图片中的目标的过程。现有技术中，常用深度卷积神经网络被进行图片分类。由于深度卷积神经网络的训练需要海量样本，但待识别目标所能构成的训练库，样本数量较少时，深度卷积神经网络的训练结果易过拟合。

针对这一问题，现有方法多采用“微调”的迁移学习方法解决，但现有“微调”分类方法识别能力较差，分类准确性较低。

发明内容

根据本申请的一个方面，提供了一种基于主成分分析的迁移学习图片分类方法，该方法通过将样本特征向量投影到低维空间，从而增加样本密度，减小噪声对图片识别的影响，提高分类准确率。

参见图1，所述基于主成分分析的迁移学习图片分类方法，其特征在于，包括以下步骤：

步骤S100：采用主成分分析法对小样本数据集中的各样本进行特征向量降维，得到降维后的特征向量；

步骤S200：用所述降维后的特征向量训练深度卷积神经网络中的全连接层神经网络，得到分类器；

步骤S300：提取待分类图片的特征向量，将所述待分类图片的特征向量投影到低维空间，得到降维结果，将所述降维结果输入所述分类器中，输出分类结果；

所述小样本数据集中每类样本总数≤15个。

该方法中，可以采用各类现有方法提取特征向量，例如采用深度卷积神经网络。所用深度卷积神经网络可以为经过公开数据集训练过的深度卷积神经网络。小样本数据集为样本数量较少的数据集，符合后续处理的待分类图片的特点的样本数据集。

采用主成分分析(PCA)法进行降维处理，能增加样本密度，减小噪声影响，从而提高分类准确率。仅需训练深度卷积神经网络中的全连接层参数，能避免网络的过拟合问题。

可选地，所述“提取待分类图片的特征向量”步骤为通过训练过的深度卷积神经网络提取特征向量，所述训练过的深度卷积神经网络在提取特征向量时，保持瓶颈层参数不变。

可选地，还包括对所述小样本数据集中各样本特征向量的提取步骤，采用训练过的深度卷积神经网络对所述各样本进行特征向量提取，所述训练过的深度卷积神经网络在提取特征向量时，保持瓶颈层参数不变

可选地，所述公开数据集为ImageNet数据集。该方法尤其适用于利用此类数据集，对深度神经网络进行训练，使其训练后所得瓶颈层能具有较好的特征向量提取能力。

可选地，所述深度卷积神经网络包括多个卷积层、多个池化层、全连接层、Softmax层和输出层，所述卷积层和所述池化层组成瓶颈层，所述瓶颈层用于提取图像特征；

所述全连接层和所述Softmax层组成第二层，所述第二层用于特征向量的分类；

所述输出层，用于输出图片属于各分类类别的概率。

可选地，所述步骤S100包括以下步骤：

步骤S110：构建p×n维的所述小样本数据集的特征向量矩阵X₀，对所述小样本数据集中所有样本特征向量中心化，得到小样本数据集特征向量中心化矩阵X；

步骤S120：计算所述中心化的小样本数据集特征向量的p×p维协方差矩阵XX^T，对所述协方差矩阵XX^T进行特征值分解，得到特征值λ₁,λ₂,...,λ_p及所述特征值对应的特征向量u₁,u₂,...,u_p；

步骤S130：构建投影矩阵U＝(u₁,u₂,...,u_k)^T，其中u₁,u₂,...,u_k为所述特征值中最大的k个特征值所对应的特征向量，所述k由预设主成分百分比确定，所述投影矩阵U左乘所述小样本数据集特征向量中心化矩阵X，得到k×n维降维向量UX。

可选地，所述最大的k个特征值的k为：

其中，τ为预设主成分百分比。

可选地，所述步骤S110包括以下步骤：

构建p×n维的所述小样本数据集特征向量矩阵X₀：

其中，n为所述小样本数据集中的样本个数，n个样本的特征向量，记为{x₁,x₂,...,x_n}，每个特征向量由p个特征构成，即p个坐标轴，记为z₁,z₂,...,z_p，p为每个特征向量包含特征数，也就是特征向量的维数，特征向量x_i在z₁,z₂,...,z_p这p个坐标轴上的分量分别为x_i1,x_i2,...,x_ip，i＝1,2,…,n；

按下式对所述小样本数据集中所有样本特征向量中心化：

该式表示对,x_i,i＝1,2,…,n的中心化变换，将每个x_i减去它们的平均值得到新的x_i，并保存x，新的x_i构成的特征向量矩阵称为小样本数据集特征向量中心化矩阵，记为X。

可选地，所述降维结果按以下步骤得到：

按得到所述降维结果，

其中，x_test为所述待分类图片的特征向量，U为所述投影矩阵，为上述保存的小样本数据集中样本特征向量平均值。

参见图7，根据本申请的又一个方面，提供了一种基于主成分分析的迁移学习图片分类装置，包括：

样本降维模块，用于采用主成分分析法对小样本数据集中的各样本进行特征向量降维，得到降维后的特征向量；

训练模块，用于用所述降维后的特征向量训练深度卷积神经网络中的全连接层参数，得到分类器；

分类模块，用于提取待分类图片的特征向量，将所述待分类图片的特征向量投影到低维空间，得到降维结果，将所述降维结果输入所述分类器中，输出分类结果。

可选地，所述样本降维模块包括：

样本中心化模块，用于构建p×n维的所述小样本数据集的特征向量矩阵X₀，对所述小样本数据集中所有样本特征向量中心化，得到小样本数据集特征向量中心化矩阵X；

投影矩阵模块，用于计算所述中心化的小样本数据集特征向量的p×p维协方差矩阵XX^T，对所述协方差矩阵XX^T进行特征值分解，得到特征值λ₁,λ₂,...,λ_p及所述特征值对应的特征向量u₁,u₂,...,u_p，构建投影矩阵U＝(u₁,u₂,...,u_k)^T，其中u₁,u₂,...,u_k为所述特征值中最大的k个特征值所对应的特征向量，所述k由预设主成分百分比按下式确定：

其中，τ为预设主成分百分比；

降维提取模块，用于计算所述投影矩阵U左乘所述小样本数据集特征向量中心化矩阵X，得到k×n维降维向量UX。

具体的，本申请提供的方法包括以下步骤：

步骤S100：采用公开数据集训练深度卷积神经网络，得到训练后的深度卷积神经网络；

步骤S200：对于训练后的深度卷积神经网络，保持瓶颈层参数不变，利用瓶颈层计算出小样本数据集中各样本的特征向量。

(当前的深度卷积神经网络，通常可以分成两部分，第一部分由若干卷积层、池化层构成，用于提取图像特征，第二部分是全连接层和Softmax层，用于对特征分类，最终输出图片属于各个类别的概率。全连接层之前的网络称为瓶颈层，保持瓶颈层参数不变，利用瓶颈层计算出现有样本的特征向量)

步骤S300：采用主成分分析法对样本的特征向量降维，得到降维后的样本特征向量；

S400：降维后需保存投影矩阵U和原样本特征向量均值对于测试样本特征向量x_test，仅需通过即可投影到低维空间。

S500：用降维后的特征向量训练全连接神经网络，得到分类器。

S600:使用瓶颈层计算出待分类图片的特征向量，然后将该特征向量投影到低维空间，采用所述分类器对待分类图片进行分类。

本申请能产生的有益效果包括：

1)本申请所提供的基于主成分分析的迁移学习图片分类方法及其装置，通过将样本特征向量投影到低维空间，从而增加样本密度，减小噪声对图片识别的影响，提高分类准确率。

2)本申请所提供的基于主成分分析的迁移学习图片分类方法及其装置，算法简单快捷，便于工程实现。

附图说明

图1为本申请一种实施方式中基于主成分分析的迁移学习图片分类方法流程示意图；

图2为本申请一种实施例中待分类花朵图片示例图片，其中a)为雏菊示例图片，b)为蒲公英示例图，c)为玫瑰示例图，d)为向日葵示例图，e)为郁金香示例图；

图3为本申请一种实施例中各类花朵图片在各样本数下的迁移学习分类准确率曲线示意图；

图4为本申请一种实施例中处理1～100个样本时，PCA(0.95)降维后的特征维数-各组样本数量的曲线示意图；

图5为本申请一种实施例和对比例中处理1～100个样本时，分类准确率-各组样本数量的曲线示意图；

图6为本申请一种实施例和对比例中处理1～20个样本时，分类准确率-各组样本数量的曲线示意图；

图7为本申请一种实施方式中基于主成分分析的迁移学习图片分类装置结构示意图。

具体实施方式

下面结合实施例详述本申请，但本申请并不局限于这些实施例。

以下结合具体实施例对本申请提供的方法进行详细说明。

以经典花朵分类问题作为小样本数据集，分别以本申请提供的分类方法作为实施例(图例降维迁移学习)，未进行降维处理直接采用深度卷积神经网络进行分类的对比例(图例未降维)。数据集为来源：http://download.tensorflow.org/example_image/flower_photos.tgz。

该花朵数据集中包括如图2所示的5种花朵的样本图片，各样本图片中包含花朵不同背景、不同光照、不同角度的图片，每张图片都是RGB彩色图片，图片大小各不相同，样本情况如表1所示。

表1经典花朵分类问题数据集情况表

对比例和实施例中：迁移学习使用的网络为谷歌Inception V4网络，瓶颈层使用的参数由谷歌公司使用ImageNet数据集训练。

对比例中：使用训练好的Inception V4网络，已有研究表明，该网络对ImageNet数据集的图片分类准确率超过95％，远优于传统图像处理算法。

对比例和实施例中均包括：通过迁移学习的方法固定瓶颈层参数，重新训练全连接层系数。

实施例中按以下步骤进行：

步骤S100：采用公开数据集训练深度卷积神经网络，得到训练后的深度卷积神经网络；

步骤S200：对于训练后的深度卷积神经网络，保持瓶颈层参数不变，利用瓶颈层计算出小样本数据集中各样本的特征向量。

(当前的深度卷积神经网络，通常可以分成两部分，第一部分由若干卷积层、池化层构成，用于提取图像特征，第二部分是全连接层和Softmax层，用于对特征分类，最终输出图片属于各个类别的概率。全连接层之前的网络称为瓶颈层，保持瓶颈层参数不变，利用瓶颈层计算出现有样本的特征向量)

步骤S300：采用主成分分析法对样本的特征向量降维，得到降维后的样本特征向量；

S400：降维后需保存投影矩阵U和原样本特征向量均值对于测试样本特征向量x_test，仅需通过即可投影到低维空间。

S500：用降维后的特征向量训练全连接神经网络，得到分类器。

S600：使用瓶颈层计算出待分类图片的特征向量，然后将该特征向量投影到低维空间，采用所述分类器对待分类图片进行分类。

首先考察不同样本数下的迁移学习效果。

从每类花朵图片样本中随机取100张组成待分类图片的测试集，然后从小样本数据集剩下的样本中每类花朵图片随机取1,2,3,4,5,6,7,8,9,10,20,30,…,100,200,300,400张，用迁移学习方法训练全连接层系数，并用测试集测试所得分类器。计算分类器对测试集的分类准确率，重复10次，求取准确率平均值，可得到图3。

可以看到，随着每类样本数的增加，准确率曲线先是迅速升高，之后趋于平缓，即使每类仅有1个样本，测试集上的准确率也有52.8％，当每类样本数达到10时，准确率就迅速提高到了75％左右，可见每类样本在特征空间中的维度之低。

当每类样本数达到20时，准确率即有80％左右，之后样本数再增加，准确率提高非常缓慢。

取每类样本数为1,2,3,4,5,6,7,8,9,10,20,30,…,100，使用本申请提出的降维迁移学习方法。预设PCA(0.95)进行降维，各样本特征向量初始维数是1536维，降维后的每类样本数对应维数如图4所示。

可以看到，样本数越少，特征向量的维数减小的程度越大。说明采用本申请提供方法能有效对小样本数据集进行降维。

使用本申请提供的降维迁移学习方法训练全连接层系数，得到分类器，用测试集测试所得分类器，得到的准确率如图5所示，并将图3中所得曲线与本申请提供方法所得曲线显示在图5中进行比较。

从图5中可以看到，当每类花朵样本数少于15时，降维迁移学习的准确率要优于对比例所得结果，随着样本数增加到15，准确率开始小于原先的结果。这也与预期一致，小样本更容易受到噪声的干扰，而随着样本数的增加，噪声的影响也逐渐减小。

同时可以看到，虽然通过降维使特征向量的维数大大减小，但是即使样本数增加后，准确率始终在原先结果附近，样本在特征向量空间确实是稀疏低秩的，采用本申请提供的方法处理后，降维后仍然能保留大部分有用的信息。

着重考察每类花朵1～20个样本的情况，所得结果如图6，由图6可见，当每类花朵样本数少于15时，统计得到低维迁移学习可以将分类正确率提高1％～2％。

以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.一种基于主成分分析的迁移学习图片分类方法，其特征在于，包括以下步骤：

步骤S100：采用主成分分析法对小样本数据集中的各样本进行特征向量降维，得到降维后的特征向量；

步骤S200：用所述降维后的特征向量训练深度卷积神经网络中的全连接层神经网络，得到分类器；

步骤S300：提取待分类图片的特征向量，将所述待分类图片的特征向量投影到低维空间，得到降维结果，将所述降维结果输入所述分类器中，输出分类结果；

所述小样本数据集中每类样本总数≤15个。

2.根据权利要求1所述的基于主成分分析的迁移学习图片分类方法，其特征在于，所述“提取待分类图片的特征向量”步骤为通过训练过的深度卷积神经网络提取特征向量，所述训练过的深度卷积神经网络在提取特征向量时，保持瓶颈层参数不变。

3.根据权利要求1所述的基于主成分分析的迁移学习图片分类方法，其特征在于，还包括对所述小样本数据集中各样本特征向量的提取步骤，采用训练过的深度卷积神经网络对所述各样本进行特征向量提取，所述训练过的深度卷积神经网络在提取特征向量时，保持瓶颈层参数不变。

4.根据权利要求1所述的基于主成分分析的迁移学习图片分类方法，其特征在于，所述深度卷积神经网络包括多个卷积层、多个池化层、全连接层、Softmax层和输出层，所述卷积层和所述池化层组成瓶颈层，所述瓶颈层用于提取图像特征；

所述全连接层和所述Softmax层组成第二层，所述第二层用于特征向量的分类；

所述输出层，用于输出图片属于各分类类别的概率。

5.根据权利要求1所述的基于主成分分析的迁移学习图片分类方法，其特征在于，所述步骤S100包括以下步骤：

步骤S110：构建p×n维的所述小样本数据集的特征向量矩阵X₀，对所述小样本数据集中所有样本特征向量中心化，得到小样本数据集特征向量中心化矩阵X；

步骤S120：计算所述中心化的小样本数据集特征向量的p×p维协方差矩阵XX^T，对所述协方差矩阵XX^T进行特征值分解，得到特征值λ₁,λ₂,...,λ_p及所述特征值对应的特征向量u₁,u₂,...,u_p；

步骤S130：构建投影矩阵U＝(u₁,u₂,...,u_k)^T，其中u₁,u₂,...,u_k为所述特征值中最大的k个特征值所对应的特征向量，所述k由预设主成分百分比确定，所述投影矩阵U左乘所述小样本数据集特征向量中心化矩阵X，得到k×n维降维向量UX。

6.根据权利要求5所述的基于主成分分析的迁移学习图片分类方法，其特征在于，所述最大的k个特征值的k为：

其中，τ为预设主成分百分比。

7.根据权利要求5所述的基于主成分分析的迁移学习图片分类方法，其特征在于，所述步骤S110包括以下步骤：

构建p×n维的所述小样本数据集特征向量矩阵X₀：

其中，n为所述小样本数据集中的样本个数，n个样本的特征向量，记为{x₁,x₂,...,x_n}，每个特征向量由p个特征构成，即p个坐标轴，记为z₁,z₂,...,z_p，p为每个特征向量包含特征数，也就是特征向量的维数，特征向量x_i在z₁,z₂,...,z_p这p个坐标轴上的分量分别为x_i1,x_i2,...,x_ip，i＝1,2,…,n；

按下式对所述小样本数据集中所有样本特征向量中心化：

该式表示对,x_i,i＝1,2,…,n的中心化变换，将每个x_i减去它们的平均值得到新的x_i，并保存新的x_i构成的特征向量矩阵称为小样本数据集特征向量中心化矩阵，记为X。

8.根据权利要求6所述的基于主成分分析的迁移学习图片分类方法，其特征在于，所述降维结果按以下步骤得到：

按得到所述降维结果，

其中，x_test为所述待分类图片的特征向量，U为所述投影矩阵，为所述小样本数据集中样本特征向量平均值。

9.一种基于主成分分析的迁移学习图片分类装置，其特征在于，包括：

样本降维模块，用于采用主成分分析法对小样本数据集中的各样本进行特征向量降维，得到降维后的特征向量；

训练模块，用于用所述降维后的特征向量训练深度卷积神经网络中的全连接层参数，得到分类器；

分类模块，用于提取待分类图片的特征向量，将所述待分类图片的特征向量投影到低维空间，得到降维结果，将所述降维结果输入所述分类器中，输出分类结果。

10.根据权利要求9所述的基于主成分分析的迁移学习图片分类装置，其特征在于，所述样本降维模块包括：

样本中心化模块，用于构建p×n维的所述小样本数据集的特征向量矩阵X₀，对所述小样本数据集中所有样本特征向量中心化，得到小样本数据集特征向量中心化矩阵X；

投影矩阵模块，用于计算所述中心化的小样本数据集特征向量的p×p维协方差矩阵XX^T，对所述协方差矩阵XX^T进行特征值分解，得到特征值λ₁,λ₂,...,λ_p及所述特征值对应的特征向量u₁,u₂,...,u_p，构建投影矩阵U＝(u₁,u₂,...,u_k)^T，其中u₁,u₂,...,u_k为所述特征值中最大的k个特征值所对应的特征向量，所述k由预设主成分百分比按下式确定：

其中，τ为预设主成分百分比；

降维提取模块，用于计算所述投影矩阵U左乘所述小样本数据集特征向量中心化矩阵X，得到k×n维降维向量UX。