CN111222559A - 对小样本图像进行分类的主成分分析网络的训练方法 - Google Patents

Abstract

本公开描述了一种对小样本图像进行分类的主成分分析网络的训练方法，包括：向第一层网络输入N幅训练图像，将图像块向量化，将图像块进行拼接，对于N幅训练图像得到矩阵X；基于N幅训练图像得到第一数量的第一类聚类，并获取各个第一聚类的协方差矩阵，得到第一层网络的PCA滤波器，基于第一层网络的PCA滤波器得到第一层输出图像的第cl个滤波器的输出；将第一层输出图像输入至第二层网络，提取第一层输出图像的图像块并进行拼接；基于第一层输出图像得到第二数量的第二类聚类，并得到第二层网络的PCA滤波器，接着对第二层输出图像进行二值化、灰度化处理等得到N幅训练图像的特征。由此，能够准确的对小样本图像进行特征提取以及分类。

Description

对小样本图像进行分类的主成分分析网络的训练方法

技术领域

本公开大体涉及一种对小样本图像进行分类的主成分分析网络的训练方法。

背景技术

现有的基于人工神经网络对图像的分类方法包括如下四种：(1) 基于手工设计的特征提取算子对图像进行特征提取，然后进行分类；(2) 采用深度学习方法学得特征提取算子，然后进行分类；(3)采用前向学习方法学得特征提取算子，然后进行分类；(4)采用额外数据和预训练方法，先预训练得到一个深度网络，利用预训练的深度网络提取特征，然后进行分类。

上述四类方法，都可以用于小样本图像分类，但是分别都存在一些局限性：

(1)基于手工设计特征的方法适用范围有限。某一种手工设计的特征往往适用于某一类图像，例如LBP特征适用于纹理分类的场合。很多情况下需要专家知识重新设计特征，才能用于新的数据。如果直接采用手工设计特征进行小样本分类，则学得的分类器推广性较弱，不能很好地用于小样本图像分类。

(2)基于深度学习的方法需要大量样本。由于网络参数数量庞大，如果训练样本数量不足，则很容易过拟合。现有的深度学习方法无法直接用于小样本图像分类。

(3)现有的前向网络在小样本学习上表现较好。例如 PCANet可以直接用于单样本人脸识别，且不需要额外数据。但是 PCANet在复杂数据的小样本图像分类问题上表现不佳，其提取的特征有待进一步改进。

(4)预训练方法适用范围有限。预训练方法必须利用额外数据，并且额外数据和已有数据必须相似，且任务必须相关。同时满足这些条件往往比较困难。例如在人脸欺诈检测中，需要判断人脸图像是真实人脸还是照片。该任务与通常的人脸识别任务不同，如果采用人脸识别的数据进行迁移，则效果不好，也即人脸识别数据无法直接用于人脸欺诈检测任务中。

发明内容

本发明有鉴于上述现有的状况，其目的在于提供一种能够准确地对小样本图像进行分类的训练方法。

为此，本公开提供一种对小样本图像进行分类的主成分分析网络的训练方法，所述主成分分析网络包括第一层网络和与所述第一层网络连接的第二层网络，其特征在于，包括：向所述第一层网络输入N 幅训练图像

对第i幅图像，提取预定大小为k₁×k₂的图像块，并将所述图像块向量化得到x_i,1,x_i,2,…,x_i,m'n'，将所述图像块进行拼接得到X_i＝[x_i,1,x_i,2,…,x_i,m'n']，对于所述N幅训练图像得到矩阵X＝[X₁, X₂,…,X_N]；基于所述N幅训练图像得到第一数量的第一类聚类

并获取各个所述第一类聚类的协方差矩阵：

计算所述第一类聚类的协方差矩阵的前L₁个特征向量，得到所述第一层网络的PCA滤波器：

l＝1,2,...L₁,c＝1,2,...,C₁，基于所述第一层网络的 PCA滤波器得到第一层输出图像的第cl个滤波器的输出

i＝1,2,...N；将所述第一层输出图像输入至第二层网络，提取所述第一层输出图像的第cl个滤波器的图像块并进行拼接得到

提取所述第一层输出图像的所有滤波器的图像块并进行拼接得到矩阵

基于所述第一层输出图像得到第二数量的第二类聚类

并获取各个所述第二类聚类的协方差矩阵：

计算所述第二类聚类的协方差矩阵的前 L₂个特征向量，得到所述第二层网络的PCA滤波器：

k＝1,2,...L₂,u＝1,2,...,C₂，基于所述第二层网络的PCA滤波器得到第二层输出图像第cul个滤波器的输出

c＝1,2,...C₁,u＝1,2,...C₂,l＝1,2,...,L₁；并且将第二层输出图像二值化得到

将L₂个所述第二层输出图像进行加权求和得到输出图像

接着将各个所述输出图像分别分为B个图像块，计算每个图像块的灰度直方图，并将各个所述输出图像的图像块的所述灰度直方图进行拼接得到

将所述输出图像的直方图进行拼接，得到所述N幅训练图像的特征

其中，m'n'为第i幅图像中提取的总图像块数，C₁表示所述第一层网络中的第一数量，C₂表示所述第二层网络中的第二数量，

表示

的转置，“*”表示卷积，函数H(·)表示单位阶跃函数，非负数取值为1，负数取值为0。

在本公开中，通过向第一层网络输入N幅训练图像，并对N幅训练图像中的图像块进行聚类以得到第一聚类，并计算第一聚类的协方差矩阵的特征向量得到第一层网络的PCA滤波器，并对N幅训练图像和第一层网络的PCA滤波器进行卷积得到第一层输出图像；接着将第一层输出图像输入第二层网络，并根据第二层网络对第一层输出图像中的图像块进行聚类以得到第二聚类，并计算第二聚类的协方差矩阵的特征向量得到第二层网络的PCA滤波器，并对第一层输出图像和第二层网络的PCA滤波器进行卷积得到第二层输出图像，接着对第二层输出图像进行二值化、灰度化处理等得到N幅训练图像的特征。由此，能够准确地对N幅训练图像进行特征提取以及分类。

另外，在本公开所涉及的对小样本图像进行分类的主成分分析网络的训练方法中，可选地，所述第一聚类的所述第一数量和/或所述第二聚类的所述第二数量由人工输入。由此，能够方便地得到第一数量和第二数量。

另外，在本公开所涉及的对小样本图像进行分类的主成分分析网络的训练方法中，可选地，根据所述矩阵X中的图像块的特性自动确认所述第一数量；根据所述矩阵Y中的图像块的特性自动确认所述第二数量。由此，能够准确地得到第一数量和第二数量。

另外，在本公开所涉及的对小样本图像进行分类的主成分分析网络的训练方法中，可选地，所述自动确认的方法为：预选聚类个数为K_max，从所述矩阵X或所述矩阵Y中随机选择预定数量的向量用于初始化K_max个聚类中每一聚类的均值并表示为μ_j，j＝1,...,K_max，将输入聚类个数K_t初始化为所述聚类个数K_max；并采用欧氏距离判定每一样本 x_n的类别，若所述均值μ_j中的某一均值μ_k与所述样本x_n的距离相比其他均值与所述样本x_n的距离更近，则将所述样本x_n的类别判定为属于第k个聚类，即

计算得第k个聚类的样本数量

第k个聚类的均值向量

以及第k个聚类的协方差矩阵

协方差矩阵的基于范数的矩阵条件数

所有聚类的协方差矩阵的最大条件数 C_max＝max{C_k,k＝1,...,K_t}，最小条件数C_min＝min{C_k，k＝1,...,K_t}；预设第一阈值C₀，若所述最大条件数C_max＞C₀，则删除具有所述最大条件数的聚类，并将所述聚类分配到第k个聚类外的其他聚类中，预设阈值R₀，如果C_max/C_min＞R₀，则删除具有所述最大条件数的聚类。由此，能够准确地得到第一聚类数量和第二聚类数量。

另外，在本公开所涉及的对小样本图像进行分类的主成分分析网络的训练方法中，可选地，所述样本x_n为所述矩阵X或所述矩阵Y中提取的图像块。由此，能够方便地得到矩阵X或矩阵Y中的样本x_n。

另外，在本公开所涉及的对小样本图像进行分类的主成分分析网络的训练方法中，可选地，所述输入聚类个数K_t还包括没有任何所述样本的空聚类，实际聚类数量为所述输入聚类个数K_t减去所述空聚类的数量。由此，能够准确地得到实际聚类数量。

另外，在本公开所涉及的对小样本图像进行分类的主成分分析网络的训练方法中，可选地，还包括得到至少为两层的所述主成分分析网络。由此，能够得到一个更深的主成分分析网络。

根据本公开，能够准确地对N幅训练图像进行特征提取以及分类。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开的实施例，其中：

图1是示出了本实施方式所涉及的对小样本图像进行分类的主成分分析网络的训练方法的流程图。

图2是示出了本实施方式所涉及的主成分分析网络的结构示意图。

图3是示出了本实施方式所涉及的自动确认第一数量或第二数量的方法的流程图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。

图1是示出了本实施方式所涉及的对小样本图像进行分类的主成分分析网络的训练方法的流程图。图2是示出了本实施方式所涉及的主成分分析网络的结构示意图。

参照图1和图2，本公开对小样本图像进行分类的主成分分析网络的训练方法包括：提取N幅训练图像的图像块(步骤S100)；采用聚类算法将图像块进行聚类(步骤S200)；对每个聚类的协方差矩阵进行特征值分解，并将得到的向量作为滤波器(步骤S300)；采用上述滤波器对第一层网络的N幅训练图像进行滤波得到第一层输出图像(S400)；将第一层输出图像作为第二层网络的输入，并在第二层网络重复上述步骤S200-S400以得到第二层输出图像。

在步骤S100中，可以向第一层网络输入N幅训练图像

，对第i幅图像，可以提取预定大小为k₁×k₂的图像块，并将大小为k₁× k₂的图像块向量化得到x_i,1,x_i,2,…,x_i,m'n'，这些图像块之间可能会有一定的重叠，且其中m'n'为第i幅图像中提取的总图像块数。接着将图像块进行拼接得到X_i＝[x_i,1,x_i,2,…,x_i,m'n']，对于N幅训练图像中的每幅图像进行相同的操作得到矩阵X＝[X₁,X₂,…,X_N]，其中，X包含了N幅训练图像中的所有图像块。

在步骤S200中，可以采用聚类算法将图像块进行聚类。具体的，可以将上述所有图像块输入一个聚类算法，得到第一数量的第一类聚类

其中

表示X的第i个聚类，C₁表示第一层网络的聚类数量。

在步骤S300中，接着获取各个第一类聚类的协方差矩阵得到：

式中，

表示

的转置。

在步骤S400中，计算第一类聚类的协方差矩阵的前L₁个特征向量，得到所述第一层网络的PCA滤波器：

l＝1,2,...L₁,c＝1,2,...,C₁。第一层网络的PCA滤波可以提取不同聚类中图像块的特征。且采用多个聚类的主成分提取特征，可以提取图像块的细节特征。接着基于第一层网络的PCA滤波得到第一层输出图像第cl个滤波器的输出

i＝1,2,...N，其中“*”表示卷积。

在步骤S500中，可以将第一层输出图像作为第二层网络的输入，并在第二层网络重复上述步骤S200-S400以得到第二层输出图像。具体的，可以将第一层输出图像输入至第二层网络，提取第一层输出图像的图像块并进行拼接得到

对于第cl个滤波器的所有第一层输出图像得到矩阵

。接着基于第一层输出图像得到第二数量的第二类聚类

并获取各个第二类聚类的协方差矩阵得到：

接着计算第二类聚类的协方差矩阵的前L₂个特征向量，得到第二网络的PCA滤波器：

k＝1,2,...L₂,u＝1,2,...,C₂，对于第二层网络的每一幅输入图像

会得到C₂L₂个大小为m×n的图像。

接着将每一幅输出图像与

进行卷积，得到第二层输出图像第 cul个滤波器的输出

c＝1,2,...C₁,u＝1,2,...C₂,l＝1,2,...,L₁。此时输出图像个数是C₁C₂L₁L₂。

在一些示例中，可以重复上述得到第一层输出图像或第二层输出图像的步骤，以得到一个更深的主成分分析网络。

可以理解的是，第二层网络共有C₁L₁幅输入图像，每一幅图像有 C₂L₂幅输出图像

将这些图像二值化可以得到

其中函数H(·)表示一个单位阶跃函数，当变量为非负数时该函数取值为1，当变量为负数时取值为0。接着可以将L₂个第二层输出图像进行加权求和得输出图像

该图像的像素的取值范围为

其中，每一个整数值都可以看做一个灰度值。

经过二值化求和步骤后，共有C₁C₂L₁幅输出图像

接着将各个输出图像分别分为B 个图像块，计算每个图像块的灰度直方图，并将各个输出图像的图像块的灰度直方图进行拼接得到

将输出图像的直方图进行拼接，得到N幅训练图像的特征

在一些示例中，第一类聚类的第一数量和/或第二类聚类的第二数量可以由人工输入。由此，能够方便的得到第一数量和第二数量。

在另一些示例中，可以根据矩阵X中的图像块的特性自动确认所述第一数量。可以根据矩阵Y中的图像块的特性自动确认第二数量。由此，能够准确的得到第一数量和第二数量。

图3是示出了本实施方式所涉及的自动确认第一数量或第二数量的方法的流程图。

参照图3，在一些示例中，上述自动确认的方法包括：预选聚类个数为K_max，并初始化K_max个聚类中每一聚类的均值(步骤T100)；采用欧氏距离判定每一样本的类别，并判断其是否属于第k个聚类(步骤T200)；计算第k个聚类的协方差矩阵以及所有聚类的协方差矩阵的最大条件数C_max和最小条件数C_min(步骤T300)；采用这些滤波器对第一层网络的N幅训练图像进行滤波得到第一层输出图像(步骤T400)；预设阈值C0和阈值R0(步骤T500)；判断是否满足条件C_max＞C0或 C_max/C_min＞R0(步骤T600)；满足步骤T600的条件则删除具有最大条件数的聚类(步骤T700)，若不满足步骤T600的条件则返回步骤T200 重新进行判断。

在步骤T100中，可以先预选一个聚类个数为K_max，接着从矩阵X 或矩阵Y中随机选择预定数量的向量用于初始化K_max个聚类中每一聚类的均值并表示为μ_j，j＝1,...,K_max，并将输入聚类个数K_t初始化为聚类个数K_max。

在步骤T200中，可以采用欧氏距离判定每一样本x_n的类别，若均值μ_j中的某一均值μ_k与样本x_n的距离相比其他均值与样本x_n的距离更近，则将样本x_n的类别判定为属于第k个聚类，即

在一些示例中，因为一开始聚类个数比较多，输入聚类个数K_t还可能包括没有任何样本的空聚类，可以将这些空聚类删除。空聚类的个数可以通过算法M＝#(k；r_nk＝0,n＝1,…，N)实现。

在步骤T300中，计算得第k个聚类的样本数量

第k 个聚类的均值向量

以及第k个聚类的协方差矩阵

在聚类过程中，通过检验上述协方差矩阵来检验是否减少聚类个数。

协方差矩阵的基于范数的矩阵条件数

所有聚类的协方差矩阵的最大条件数C_max＝max{C_k,k＝1,...,K_t}，最小条件数 C_min＝min{C_k，k＝1,...,K_t}。

在步骤T400至步骤T600中，一方面，可以预设一个阈值C₀，若最大条件数C_max＞C₀，则删除具有最大条件数的聚类，并将属于该聚类的样本分配到其他聚类中。从条件数的特性中可以知道，当一个矩阵接近奇异时，那么该矩阵的条件数将非常大。如果最大条件数很大，则这一聚类接近奇异，说明该聚类中样本差异性过小。在这种情况下，删除这一聚类，将使得其他聚类得到更多样本。

另一方面，可以预设一个阈值R₀，如果C_max/C_min＞R₀，则删除具有最大条件数的聚类。因为要保证每一聚类都有一定数量的差异性样本，所以不同聚类的矩阵条件数应该接近。如果最大条件数和最小条件数差异太大，则必须减少聚类数量。

经过上述步骤，判断是否满足收敛条件，如果满足则停止，否则返回步骤T200进行迭代。通过使用上述方法，可以自动确定聚类个数 (包括第一数量和第二数量)，并且能够保证每一聚类都有一些差异性样本。且这一特性有利于后续的主成分分析，如果一个矩阵接近奇异，那么其中一些特征向量将可取任意值，因为对应的特征值为零。另一方面，通过使用所提的聚类算法，没有一个聚类会接近奇异，那么这些向量将不能随意取值。

为更直观的进行说明，以下列出了自动确定聚类个数的聚类算法：

输入：x_n,n＝1,...N，K_max,C₀,R₀

初始化：μ_j,j＝1,...,K_max,K_t＝K_max

for t＝1:T_max

M＝#(k；r_nk＝0,n＝1,...，N)，K_t'＝K_t-M

C_max＝max{C_k,k＝1,...,K_t}

C_min＝min{C_k，k＝1,...,K_t}

if C_max＞C₀ or C_max/C_min＞R₀

K_t'＝K_t-1

end

虽然以上结合附图和实施例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (7)

1.一种对小样本图像进行分类的主成分分析网络的训练方法，所述主成分分析网络包括第一层网络和与所述第一层网络连接的第二层网络，其特征在于，

包括：

向所述第一层网络输入N幅训练图像

对第i幅图像，提取预定大小为k₁×k₂的图像块，并将所述图像块向量化得到x_i,1,x_i,2,…,x_i,m'n'，将所述图像块进行拼接得到X_i＝[x_i,1,x_i,2,…,x_i,m'n']，对于所述N幅训练图像得到矩阵X＝[X₁,X₂,…,X_N]；

基于所述N幅训练图像得到第一数量的第一类聚类

并获取各个所述第一类聚类的协方差矩阵：

计算所述第一类聚类的协方差矩阵的前L₁个特征向量，得到所述第一层网络的PCA滤波器：

基于所述第一层网络的PCA滤波器得到第一层输出图像的第cl个滤波器的输出

将所述第一层输出图像输入至第二层网络，提取所述第一层输出图像的第cl个滤波器的图像块并进行拼接得到

提取所述第一层输出图像的所有滤波器的图像块并进行拼接得到矩阵

基于所述第一层输出图像得到第二数量的第二类聚类

并获取各个所述第二类聚类的协方差矩阵：

计算所述第二类聚类的协方差矩阵的前L₂个特征向量，得到所述第二层网络的PCA滤波器：

基于所述第二层网络的PCA滤波器得到第二层输出图像第cul个滤波器的输出

并且

将第二层输出图像二值化得到

将L₂个所述第二层输出图像进行加权求和得到输出图像

接着将各个所述输出图像分别分为B个图像块，计算每个图像块的灰度直方图，并将各个所述输出图像的图像块的所述灰度直方图进行拼接得到Bhist(T_i ^cul)，将所述输出图像的直方图进行拼接，得到所述N幅训练图像的特征

其中，m'n'为第i幅图像中提取的总图像块数，C₁表示所述第一层网络中的第一数量，C₂表示所述第二层网络中的第二数量，

表示

的转置，“*”表示卷积，函数H(·)表示单位阶跃函数，函数的变量为非负数时取值为1，为负数时取值为0。

2.如权利要求1所述的训练方法，其特征在于，

所述第一类聚类的所述第一数量和/或所述第二类聚类的所述第二数量由人工输入。

3.如权利要求1所述的训练方法，其特征在于，

根据所述矩阵X中的图像块的特性自动确认所述第一数量；

根据所述矩阵Y中的图像块的特性自动确认所述第二数量。

4.如权利要求3所述的训练方法，其特征在于，

所述自动确认的方法为：

预选聚类个数为K_max，从所述矩阵X或所述矩阵Y中随机选择预定数量的向量用于初始化K_max个聚类中每一聚类的均值并表示为μ_j，j＝1,...,K_max，将输入聚类个数K_t初始化为所述聚类个数K_max；

并采用欧氏距离判定每一样本x_n的类别，若所述均值μ_j中的某一均值μ_k与所述样本x_n的距离相比其他均值与所述样本x_n的距离更近，则将所述样本x_n的类别判定为属于第k个聚类，即

计算得第k个聚类的样本数量

第k个聚类的均值向量

以及第k个聚类的协方差矩阵

协方差矩阵的基于范数的矩阵条件数

所有聚类的协方差矩阵的最大条件数C_max＝max{C_k,k＝1,...,K_t}，最小条件数C_min＝min{C_k，k＝1,...,K_t}；

预设阈值C₀，若所述最大条件数C_max＞C₀，则删除具有所述最大条件数的聚类，并将所述聚类分配到第k个聚类外的其他聚类中，预设阈值R₀，如果C_max/C_min＞R₀，则删除具有所述最大条件数的聚类。

5.如权利要求4所述的训练方法，其特征在于，

所述样本x_n为所述矩阵X或所述矩阵Y中提取的图像块。

6.如权利要求4所述的训练方法，其特征在于，

所述输入聚类个数K_t还包括没有任何所述样本的空聚类，实际聚类数量为所述输入聚类个数K_t减去所述空聚类的数量。

7.如权利要求1所述的训练方法，其特征在于，

还包括得到至少为两层的所述主成分分析网络。

Images