CN109902720B - 基于子空间分解进行深度特征估计的图像分类识别方法 - Google Patents

Abstract

本发明涉及一种基于子空间分解进行深度特征估计的图像分类识别方法，包括：步骤S1：获取训练集的无遮挡图像和额外图像对；步骤S2：对于输入的每张图像提取深度特征向量；步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；步骤S5：基于级联字典计算系数矩阵；步骤S6：基于第一子空间的所有列向量训练分类器；步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别。与现有技术相比，本发明具有适用范围广等优点。

Description

基于子空间分解进行深度特征估计的图像分类识别方法

技术领域

本发明涉及一种图像分类识别方法，尤其是涉及一种基于子空间分解进行深度特征估计的图像分类识别方法。

背景技术

在现实生活中遮挡的现象时有发生。对于人类视觉系统来说，对遮挡图像进行分类并非难事。但是，在计算机视觉领域，即使对于最近在许多计算机视觉任务中取得巨大成功的深度卷积神经网络来说，仍然是一项极具挑战性的任务。最先进的卷积神经网络有数以千万计的参数，因此若想取得较好效果，即使是对于无遮挡图像的分类也通常需要大量的数据集做支撑。然而在实际应用当中，收集大量的遮挡图像数据无疑是十分困难的。一种比较流行的选择是直接在无遮挡图像的数据集或包含少量被遮挡图像的数据集上训练网络。但是遮挡对于大多数卷积神经网络生成的深度特征非常敏感。因此，对于被遮挡图像的分类问题只有十分有限的帮助。

本发明主要来源于基于云端的深度学习应用。基于卷积神经网络的特征提取由于其高计算复杂性所以需要在云端或服务器端进行，但是随着深度神经网络加速芯片的发展，正逐渐转移到终端或移动端。为了在这种情况下节省传输带宽，只有将具有较少带宽消耗且在保护私有信息方面更加安全的深度特征而不是源图像发送到云端进行进一步处理，例如分类问题。因此，如果要解决在终端实现对遮挡图像的分类，我们必须解决云端深度特征空间中的遮挡问题。因此，我们没有去除图像空间中的遮挡，而是尽量去减小遮挡在深度特征空间中对于分类的负面影响。

然而，从遮挡图像的深度特征中恢复无遮挡图像的深度特征是一项具有挑战性的工作。尽管之前已经有很多研究工作来研究深层特征，但是遮挡与深度特征向量的变化之间的对应关系还远未明确。卷积神经网络实际上是从图像空间到深度特征空间的一种非线性和整体变换。图像空间中的任何小的局部变化都可能导致深度特征空间中的大的整体变化。

在计算机视觉领域中用于遮挡图像分类的最受欢迎的方法是稀疏表示分类法，由Wright等提出。在他们的工作中，被遮挡的面部图像首先通过l1范数最小化编码为扩展字典的稀疏线性组合。然后，通过搜索哪种类型的训练样本可以通过稀疏编码的内容导致最小的重建错误来进行分类。在Wright的工作之后，许多研究人员致力于在各种条件下提高稀疏表示分类的准确性。但是这些工作的缺点在于他们只致力于图像空间和图像空间的线性转换，并且只在面部识别上取得了较好的成果，然而这仅仅是在图像分类中一个很小的子领域上，并且所使用的数据集也很小。因此还需要有一种方法能够在更大的领域应用。

随着深度学习的快速发展，很多工作都致力于使用生成模型来生成部分遮挡或者部分缺失的图像。在有关文献中，深度扩张卷积网络被用于基于生成对抗网络(GAN)的框架产生图像的缺失部分并结合了与重建误差有关的损失函数。在有关文献中，变分自动编码器和GAN被组合以生成图像的缺失部分。然而，这些方法需要预先知道缺失部分的形状和位置。在有关文献中，使用基于严格的Boltzman机器的模型来学习遮挡物的结构。在有关文献中，利用基于自动编码器的去噪模型将损坏的图像映射到无损图像。在有关文献中，一个稳定的LSTM自动编码器模型与GAN相结合产生相关的部分图像，用于人脸识别。但是这些工作也有几个缺点，在于以下几个方面。首先，这些工作仅在面部识别的结果得到了提升，但是对于一般的遮挡图像没有表现出好的结果。其次，这些工作不适合未来的基于云端的应用程序，因为它们试图对于图像进行恢复。第三，这些工作通常需要大量部分遮挡或丢失的图像以及耗费大量时间去训练生成模型。最后，对于新的遮挡模式，这些工作需要对生成模型进行重新训练或微调，通常是复杂且耗时的。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于子空间分解进行深度特征估计的图像分类识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于子空间分解进行深度特征估计的图像分类识别方法，包括：

步骤S1：获取训练集的无遮挡图像和额外图像对；

步骤S2：对于输入的每张图像提取深度特征向量；

步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；

步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；

步骤S5：基于级联字典计算系数矩阵；

步骤S6：基于第一子空间的所有列向量训练分类器；

步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别。

所述深度特征向量具体使用预训练好的用于分类任务的卷积神经网络提取。

所述系数矩阵具体为：

P＝(D^TD+λI)^-1D^T

其中：P为系数矩阵，D为级联字典，I为单位矩阵，λ为一个为正的超参数。

所述步骤S5具体包括：

步骤S51：把级联字典中所有列向量标准化得到平方范数；

步骤S52：基于级联字典计算系数矩阵。

所述步骤S6具体包括：

步骤S61：输入待识别图像；

步骤S62：提取待识别图像的深度特征向量；

步骤S63：标准化待识别图像的深度特征向量得到其平方范数；

步骤S64：确定得到叠加向量；

步骤S65：基于叠加向量处理待识别图像的深度特征向量；

步骤S66：将处理后的深度特征向量正则化，并利用分类器进行分类识别。

计算叠加向量的数学表达式为：

其中：

为叠加向量，

为与类别字典相关的分解系数，

为与遮挡误差相关的分解系数。

计算叠加向量的数学表达式为：

其中：

为叠加向量，v_i为待识别图像的深度特征向量，P为系数矩阵，

所述处理后的深度特征向量为：

其中：

为处理后的深度特征向量，A为类别字典，α为分解系数矩阵。

与现有技术相比，本发明具有以下有益效果：

1)灵活性高：需要使用CNN来提取深度特征向量。使用的CNN可以是目前已经有的任意一种预训练好的用于图像分类任务的模型，这使得我们可以选择一种模型小参数少处理速度快的模型来使用，不仅加快了整个遮挡图像的分类速度，提高处理效率，也节省了大量的计算资源，能够做到快速及时处理。

2)适用范围广：不仅仅能够对于遮挡图像有着很好的分类效果，同时也对于无遮挡图像有着很好的效果，因此使用此方法用于图像分类任务时，可以输入遮挡或者无遮挡图像判别其类别。

3)使用便捷：本方法在处理图像分类问题时，无需刻意因为输入图像为遮挡或者无遮挡情况而分别做特殊处理，只需输入需判别类别图像进入模型即可，使用起来比较方便。

附图说明

图1为本发明方法的主要步骤流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

我们观察到在深度特征空间中，ε_i是在无遮挡图像的深度特征向量的线性跨度类别子空间之外的结构化误差聚类。这表明ε_i位于一个低维子空间，称为遮挡误差子空间，几乎独立于类别子空间。受此观察的启发，我们提出了一种基于子空间分解的估计方法(SDBE)，通过将类别子空间中的遮挡图像深度特征的约束投影沿着遮挡误差子空间来提取无遮挡图像的深度特征。在实践中，我们使用训练集的深度特征向量的线性跨度命名为类字典(CD)，来近似类别子空间和额外图像对的误差向量的线性跨度；使用遮挡误差字典(OED)以粗略地表示遮挡误差子空间。使用l₁范数和平方l₂范数正则化，以约束投影和最小二乘(LS)优化，以计算约束投影。

基于发明的SDBE方法，我们发明了一种分类方案，在发明的基于分类方案SDBE算法中，使用一种基本的卷积神经网络将图像映射到可以将无遮挡图像线性分离的深度特征空间中，然后，使用发明的SDBE方法将深度特征向量投影到类别子空间上。基础卷积神经网络可以在公共可用的大规模数据集或指定任务的数据集上进行训练，并且SDBE适用于被遮挡的图像和无遮挡图像(对应于零遮挡)的分类问题。因此，所提出的基于SDBE的分类方案适用于在任何图像数据集上对包含遮挡图像和无遮挡图像进行统一的分类。

一种基于子空间分解进行深度特征估计的图像分类识别方法，如图1所示，包括：

步骤S1：获取训练集的无遮挡图像和额外图像对；

步骤S2：对于输入的每张图像提取深度特征向量，其中，深度特征向量具体使用预训练好的用于分类任务的卷积神经网络提取；

步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量；

步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典；

步骤S5：基于级联字典计算系数矩阵，具体包括：

步骤S51：把级联字典中所有列向量标准化得到平方范数；

步骤S52：基于级联字典计算系数矩阵P，P具体为：

P＝(D^TD+λI)^-1D^T

其中：P为系数矩阵，D为级联字典，I为单位矩阵，λ为一个为正的超参数。

步骤S6：基于第一子空间的所有列向量训练分类器，具体包括：

步骤S61：输入待识别图像；

步骤S62：提取待识别图像的深度特征向量；

步骤S63：标准化待识别图像的深度特征向量得到其平方范数；

步骤S64：确定得到叠加向量；

其中，计算叠加向量的数学表达式可以为：

其中：

为叠加向量，

为与类别字典相关的分解系数，

为与遮挡误差字典相关的分解系数。

计算叠加向量的数学表达式也可以为：

其中：

为叠加向量，v_i为待识别图像的深度特征向量，P为系数矩阵，

步骤S65：基于叠加向量处理待识别图像的深度特征向量；

步骤S66：将处理后的深度特征向量正则化，并利用分类器进行分类识别。

处理后的深度特征向量为：

其中：

为处理后的深度特征向量，A为类别字典，α为分解系数矩阵。

步骤S7：基于级联字典、系数矩阵P和分类器对待识别图像进行分类识别

设v_0i是第i个无遮挡图像y_0i的深度特征向量(DFV)，并且v_i是通过用连续的遮挡z结合图像y_0i而获得的遮挡图像y_i的深度特征向量。然后，我们有：

v_i＝v_0i+ε_i (1)

其中ε_i表示遮挡误差向量(OEV)，反映由于遮挡引起的变化。使用无遮挡图像训练的分类器来识别遮挡图像的简单和直观的解决方案是从v_i中估计v_0i，然后把v_0i的估计

喂入分类器来确定其类别。

使用基本的卷积神经网络(不包括概率层和原始卷积神经网络的最后完全连接的线性层)来提取深度特征向量。在训练阶段，通过使用分别从训练图像和额外图像对中提取的深度特征向量来构建CD和OED。在测试阶段，SDBE作为深度特征向量的后处理步骤，用于在CD和OED的帮助下减小由遮挡引起的深度特征向量v_i的误差。在SDBE之后，分类器将确定SDBE所估计的深度特征向量

的种类。

分类训练程序是可选择的，因为分类器可以是任何常用的分类器，支持向量机(SVM)，softmax和最近邻(NN)，使用CD的列向量和从指定任务的图像数据集中提取其他的深度特征向量进行训练，或者基本卷积神经网络的原始softmax分类器，实际上与基本卷积神经网络一起训练。

基础卷积神经网络可以在大规模公开可用数据集或指定任务的数据集上进行训练，以便更好地分离深度特征空间。它可以用任何现代网络结构构建，例如ResNet，GoogLe-Net和VGG，只要它经过很好的分类训练即可。设输入图像的大小和输出深度特征向量的通道数分别为h×w和m。基本卷积神经网络执行从三通道彩色图像空间到深度特征空间的非线性映射f:R^h×w×3→R^m。然后，我们有v_i＝f(y_i)，v_0i＝f(y_0i)，应该注意ε_i≠f(z)¹。其中z是特定模式的遮挡图像片。

假设我们有训练集，其具有从KA个类别收集的

图像和具有与KB种遮挡模式相关联的

图像对的额外图像对。这里，n_i是属于第i类别的训练图像的数量，p_i是与第i个遮挡模式相关联的额外图像对的数量。遮挡方式被定义为在图像上具有相同纹理，形状，大小和位置的遮挡。设u_ij∈R^m,j＝1,2,...,n_i是第i类中第j个训练图像的深度特征向量。每个额外图像对由无遮挡图像和遮挡图像组成。令

分别是与第i个遮挡图案相关联的第j个额外图像对的无遮挡图像和遮挡图像的深度特征向量。然后，

和

之间的误差向量由下式给出：

很容易观察到，从一个训练很好的的基本卷积神经网络从每个类别中提取的无遮挡图像的深度特征向量通常位于低维聚类中，成为类别聚类。让A_i表示第i类簇的线性范围，A＝∑_iA_i表示分类任务中使用的所有类别的总和。然后，A可以被视为低维子空间，称为类别子空间。此外，我们假设由相同遮挡方式引起的误差向量落入低维子空间。令B_i表示与第i个遮挡图案相关联的子空间，B＝∑_iB_i表示与额外图像对中涉及的遮挡图案相关联的所有子空间的总和。显然，B跨越一个子空间，称为遮挡误差子空间。为简单起见，在下文中，我们在上下文中没有模糊地重用子空间的符号来表示该子空间，例如，A也可以代表子空间A的基础。

假设线性A独立于B，查询图像的深度特征向量v_i位于子空间

中，其中

表示直接相加。然后，v_i有一个独特的分解形式[19，定理1.5]：

v_i＝Aα+Bβ (3)

其中α和β是分解系数向量。类别部分Aα，A到B的映射向量v_i等于v_0i。

然而，模型(3)在实际中几乎是是不可实现的。原因如下：首先，指明类别子空间和遮挡误差子空间的精确跨度在实际应用中是无法获得的；第二，对于真实图像数据，A和B并不完全独立。

因此我们没有去找到准确的跨度或者基数，我们使用了线性跨距

和线性跨距

来分别近似估计A_i和B_i。显然，通过这种近似，误差将被引入分解中。为明确说明误差，我们模型(3)中加入一个噪声项n。然后，我们有：

v_i＝Aα+Bβ+n (4)

和

是CD和OED，并且α_i和β_i分别是与A_i和B_i相关联的分解系数向量。那么，v_0i可以估计为：

用更简洁的方式，方程(4)可以被写作：

v_i＝Dω+n (6)

级联字典D＝[A B]，叠加矢量ω_i＝[α^T β^T]^T。

我们使用了一个来解释类别子空间和遮挡误差子空间。从中，我们可以很容易地观察到子空间A不同于子空间B，B具有细密的低维结构B_i，它们彼此分开。

由于缺乏合适的方法来衡量线性独立的程度，我们采用了两个向量之间的相关性来近似地表示线性独立性的程度，因为两个向量的不相关和独立性之间存在等价性。使用Pearson相关系数测量相关性。设

和

为两个矩阵，x_i＝[...,x_ki,...]^T和y_i＝[...,y_ki,...]^T分别是X和Y的第i个列向量。x_i和y_i之间的Pearson相关系数ρ_ij(X,Y)可以写成：

这里

和

分别是x_i和y_j采样的平均值。一个很高的ρ_ij(X,Y)值表示x_i和y_j之间有很强的线性相关性。

根据计算可以得到，ρ_ij(X,Y)位于零附近，平均值为0.0511。这表明A和B接近不相关且独立。相反，每个跨度内的相关性相对较强。ρ_ij(A_i,A_i)和ρ_ij(B_i,B_i)分布在0.4左右，平均值分别为0.4576和0.4222。这个结果印证了之前的假设深度特征向量和误差向量分布在不同的线性独立的低维子空间中。

求解方程(6)的一种常用方法是LS估计。通常，等式(6)具有多个解，但并非所有解都可以改善性能。然而，通过对分解系数施加适当的限制，可以得到类别部分Aα接近v_0i并落入正确的类簇的解，因为A和B在子空间和线性独立性上紧密地满足前述假设。正则化是约束系数的常用方法。通过正则化，等式(6)的解的一般形式可以写成：

λ是一个正的超参数，g(ω)是一个正则化方程。通过使用

我们可以通过方程(5)来估计v_0i。

l₁范数和平方l₂范数是两种常用的正则化函数。l₁范数导致稀疏解[51][52]，伴随着高计算成本，而平方l₂范数具有解析解和低计算复杂度。

对于l₁范数正则化，我们将方法命名为SDBE_L1，并且方程(8)变为：

最近已经提出了许多用于l₁范数正则化的快速实现LS估计，例如内点法[53]和DALM[54]。即使使用这些能够快速实现，但是l₁范数正则化LS估计仍然需要很大的计算量。

对于使用平方l₂范数正则化，我们把这种方法命名为SDBE_L2，并且方程8变为：

方程(10)有一个很容易推导出来的解析解为：

其中P＝(D^TD+λI)^-1D^T。显然，P与v_i无关，因此可以提前计算。公式(11)的计算复杂度与P的行数成正比，因此有O(n)。由于计算成本低，平方l₂范数正则化更适合于大规模CD和OED。

基于SDBE的分类算法实施细节在算法1中进行了总结。

对于某些分类器，例如SVM，输入特征向量需要具有单位l₂范数以实现更好的性能，而对于其他分类器，例如，ResNet-152网络的原始softmax分类器，其在非标准化特征向量上训练，输入特征向量不需要具有单位l₂范数。因此，训练阶段的步骤(5)和测试阶段的步骤(3)和(6)是可选择的。对于需要标准化输入的分类器，这些步骤则需要执行。否则，将跳过这些步骤。另外，由于在某些应用场景中，卷积神经网络的原始softmax分类器可以直接应用，训练阶段的步骤(7)是可选择的。

Claims (6)

1.一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，包括：

步骤S1：获取训练集的无遮挡图像和额外图像对，

步骤S2：对于输入的每张图像提取深度特征向量，

步骤S3：计算额外图像对中遮挡图像和无遮挡图像的深度特征向量之差得到误差向量，

步骤S4：将计算的所有无遮挡图像的深度特征向量组成第一子空间，误差向量组成第二子空间，并基于第一子空间和第二子空间构成级联字典，

步骤S5：基于级联字典计算系数矩阵，

步骤S6：基于第一子空间的所有列向量训练分类器，

步骤S7：基于级联字典、系数矩阵和分类器对待识别图像进行分类识别；

所述系数矩阵具体为：

P＝(D^TD+λI)^-1D^T

其中：P为系数矩阵，D为级联字典，I为单位矩阵，λ为一个为正的超参数；

所述步骤S6具体包括：

步骤S61：输入待识别图像，

步骤S62：提取待识别图像的深度特征向量，

步骤S63：标准化待识别图像的深度特征向量得到其平方范数，

步骤S64：确定得到叠加向量，

步骤S65：基于叠加向量处理待识别图像的深度特征向量，

步骤S66：将处理后的深度特征向量正则化，并利用分类器进行分类识别。

2.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，所述深度特征向量具体使用预训练好的用于分类任务的卷积神经网络提取。

3.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，所述步骤S5具体包括：

步骤S51：把级联字典中所有列向量标准化得到平方范数；

步骤S52：基于级联字典计算系数矩阵。

4.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，计算叠加向量的数学表达式为：

其中：

为叠加向量，

为与类别字典相关的分解系数，

为与遮挡误差字典相关的分解系数。

5.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，计算叠加向量的数学表达式为：

其中：

为叠加向量，v_i为待识别图像的深度特征向量，P为系数矩阵。

6.根据权利要求1所述的一种基于子空间分解进行深度特征估计的图像分类识别方法，其特征在于，所述处理后的深度特征向量为：

其中：

为处理后的深度特征向量，A为类别字典，α为分解系数矩阵。

Images