CN105404899A - 基于多方向上下文信息和稀疏编码模型的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于多方向上下文信息和改进的稀疏编码模型的图像分类方法包括如下步骤：步骤一：对于训练样本，采用SIFT特征提取方法得到图像的SIFT特征矩阵后，利用基于筛选的稀疏编码算法得到词汇表，并计算稀疏系数及多尺度最大池化得到图像的多方向上下文特征表达后，将所述特征表达作为支持向量机的输入，训练得到分类器的参数；步骤二：对于测试样本得到样本的SIFT特征矩阵后，利用所述的对应方向的词汇表直接计算稀疏系数并结合多尺度最大池化得到图像的多方向上下文特征，将该特征表达输入分类器得到分类结果。本发明通过基于筛选的稀疏编码提高计算时间复杂度，且利用图像空间上下文信息提高分类正确率。

Description

基于多方向上下文信息和稀疏编码模型的图像分类方法

技术领域

本发明涉及计算图像处理的模式识别技术领域，具体涉及一种基于多方向上下文信息和稀疏编码模型的图像分类方法。

背景技术

在计算机视觉和模式识别领域中，寻找到合适的特征来表达图像在解决分类问题中是非常关键的。近些年，利用视觉词袋模型结合空间金字塔匹配的图像特征表示，再用分类器进行预测分类在目标识别和图像分类方面取得了巨大的进展。视觉词袋模型将图像看做是若干个“视觉单词”的集合，图像中每个单词的出现都是独立的，不依赖与其他单词的出现。该模型的实现步骤包括三个方面：1、将图像分块并提取局部描述子；2、训练得到词汇表并用视觉词袋量化图像特征；3、利用空间金字塔模型表示图像。

具体来说，在分块提取特征描述子阶段，首先将图像分割成小块并提取局部块的局部特征描述子，如方向梯度直方图DalalN等人在2005年的IEEEComputerSociety会议上发表的文章“HistogramsofOrientedGradientsforHumanDetection”中的HOG(HistogramsofOrientedGradients)及LoweDG在2004发表在InternationalJournalofComputerVision的文章“DistinctiveImageFeaturesfromScale-InvariantKeypoints”中的尺度不变特征SIFT(ScaleInvariantFeatureTransform)等。

在训练词汇表阶段，利用整个训练集的所有视觉单词集合构造词汇表。S.Lazebnik等人在CVPR2006发表的文章“Beyondbagsoffeatures:Spatialpyramidmatchingforrecognizingnaturalscenecategories”中采用k-means算法构造词汇表，是基于样本间相似度度量将词义相近的词汇合并，作为词汇表中的基础词汇。接着利用视觉词袋量化图像特征，统计词汇表中每个单词出现的次数得到每幅图像的直方图特征表示。但是k-means算法中每个视觉词汇仅和词汇表中一个单词相关联，因此在重建误差和表示正确性方面表现较差。稀疏编码算法分为词汇表训练阶段和稀疏表示两个阶段，在词汇训练阶段寻找一组“超完备”基向量，对于一组输入向量，稀疏系数不再由唯一的视觉词汇表示，而是由尽可能少的几个远大于零的系数表示，最终一幅图像将由一个稀疏矩阵表示。

S.Lazebnik等人提出的空间金字塔匹配模型是将图像分为不同的尺度下的若干个块，统计多尺度特征作为图像的最终表示即分类器的输入。K-means与空间金字塔结合的过程是将各个尺度下的直方图特征串联起来得到图像的多尺度表示。J.Yang等在CVPR2009发表的论文“LinearSpatialPyramidMatchingusingSparseCodingforImageClassification”将稀疏编码与空间金字塔模型的结合。该算法将图像分为多个尺度，在每个对应图像块做maxpooling，最终将多尺度最大池化的空间金字塔模型特征串联得到图像的最终特征。胡正平等人提出多方向上下文特征与k-means聚类结合的自然场景图像分类算法，该方法在得到三方向的视觉词汇表后，将词汇表连接形成最终的视觉词汇表，利用该词汇表计算聚类标签及空间金字塔矩阵。

尽管视觉词袋模型结合空间金字塔匹配在图像分类应用中取得了很大的进步，但是在时间复杂度和识别效率方面还有很大的提升空间。因此，针对以上两方面的缺陷，本发明提出了一种基于多方向上下文信息和稀疏编码模型的图像分类算法。

发明内容

本发明提出了一种基于多方向上下文信息和改进的稀疏编码模型的图像分类方法，包括如下步骤：

步骤一：对于训练样本，提取图像块的SIFT方向特征后，将每个图像块的特征向量与其水平向右、垂直向下及对角线方向相邻的特征块合并得到三个方向的特征向量，每个方向分别进行筛选的稀疏编码得到词汇表，再计算稀疏系数及多尺度最大池化得到图像的特征表达后，将三方向的特征矩阵结合形成训练图像的最终特征表达——多方向上下文特征表达，将所述特征表达作为支持向量机的输入，训练得到分类器的参数；

步骤二：对于测试样本得到样本的SIFT特征矩阵后，利用所述的对应方向的词汇表直接计算稀疏系数并结合多尺度最大池化得到图像的多方向上下文特征，并将该特征表达输入分类器得到分类结果。

本发明提出的所述基于多方向上下文信息和改进的稀疏编码模型的图像分类方法中，得到稀疏编码的词汇表的方法包括如下步骤：

步骤A1：建立优化的目标函数，所述目标函数的变量包含词汇表和稀疏系数；

步骤A2：固定词汇表，调整稀疏系数使得目标函数的值直至最小值；

步骤A3：固定稀疏系数，调整词汇表使得所述目标函数的值直至最小值；

步骤A4：重复步骤A2和步骤A3，使得目标函数的的值收敛至最小值，此时获得所述系数编码的词汇表。

本发明提出的所述基于多方向上下文信息和改进的稀疏编码模型的图像分类方法中，其特征在于，所述多方向上下文特征表达的获取方法包括如下步骤：

步骤B1：将输入图像均匀划分为至少一个子块，对每个子块提取局部SIFT特征，将每个子块分别与其水平相邻的子块相结合形成水平超级块，与其垂直相邻的子块相结合形成垂直超级块，与其对角线相邻的子块相结合形成对角线超级块，并将当前子块的SIFT特征向量与所述水平超级块、所述垂直超级块和所述对角线超级块对应的子块的SIFT特征向量串联分别得到三方向信息特征：水平方向特征向量、垂直方向特征向量和对角线方向特征向量；

步骤B2：将所述三方向信息特征的矩阵,分别利用筛选的稀疏编码算法，通过DDP规则筛选出稀疏系数分量为零的项，并将对应单词从所述词汇表中剔除，利用剔除后的词汇表计算稀疏系数，得到三个方向的方向稀疏编码：

步骤B3：利用多尺度最大池化空间金字塔模型形成输入图像的三个稀疏表示；

步骤B4：将所述稀疏表示相结合形成输入图像的多方向上下文特征表达。

本发明提出的所述基于多方向上下文信息和改进的稀疏编码模型的图像分类方法中，所述DDP规则的过程如下：当固定词汇表后，计算稀疏系数的过程实际上是求解输入向量与稀疏系数间的Lasso问题的过程，所述Lasso问题的对偶问题是关于输入向量与对偶变量的求解问题。根据KKT条件，Lasso问题与其对偶问题的优化结果间存在一定关系，即当对偶结果与词汇表第m个向量乘积属于开区间(-1,1)之间时，则稀疏系数的第m维系数为0。根据所述DDP规则，可将稀疏系数为0的对应词汇从词汇表剔除，形成一个缩小的词汇表。

本发明提出的所述基于多方向上下文信息和改进的稀疏编码模型的图像分类方法中，将所述多方向上下文特征表达输入分类器后进行分类的步骤包括：对于训练样本，采用one-against-all方式进行训练，得到SVM分类器模型参数；对于测试样本，利用训练好的模型测试得到分类结果。由于所述多方向上下文特征充分利用图像块之间的上下文信息，并且是经过多次特征转换得到的特征，故其有效的改善了分类效果。

本发明与现有技术相比在计算复杂度和识别正确率方面均有很大的改善。本发明基于筛选的稀疏编码方法大大降低了计算复杂度，三方向特征计算流程可通过并行计算同时进行，而且最终的多方向上下文特征表达Z的大小与每个方向的稀疏表示等同，因此总的时间复杂度较现有其他技术相比有很大改善。本发明充分利用图像的上下文空间信息，与现有其他方法比分类正确率有了明显的改善。

附图说明

图1是本发明基于多方向上下文信息和改进的稀疏编码模型的图像分类方法的流程图。

图2是超级块的示意图。

图3是多方向上下文特征表达示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

如图1所示，本发明基于多方向上下文信息和改进的稀疏编码模型的图像分类方法包括：

步骤一：对于训练样本，提取上下文方向特征后，将每个图像块的特征向量与其水平向右、垂直向下及对角线方向相邻的特征块合并得到三个方向的特征向量，每个方向分别进行筛选的稀疏编码得到词汇表，再计算稀疏系数及多尺度最大池化得到图像的特征表达后，将三方向的特征矩阵结合形成训练图像的最终特征表达——多方向上下文特征表达，将所述特征表达作为支持向量机的输入，训练得到分类器的参数；

步骤二：对于测试样本，形成多方向上下文特征向量后，利用所述词汇表直接进行编码，并将多方向上下文特征表达输入分类器得到分类结果。其中在步骤一和步骤二中，通过利用筛选的稀疏编码提高计算时间复杂度。尤其在步骤二中首次利用图像空间上下文信息提高分类正确率。以下详细阐述改进的稀疏编码和多方向上下文特征的原理。

(改进的稀疏编码)

稀疏编码是K-means算法的变体其训练过程是基于EM算法的思想，对于一组图像样本所有图像块的SIFT特征向量集合X＝(x₁,x₂,...,x_N)∈R^D×N。优化的目标函数L(U，V)中包含两个变量，词汇表V＝(v₁，v₂，…，v_M)，以及输入样本X的稀疏系数U＝(u₁，u₂，…，u_N)。其中，x₁,x₂等表示图像块的SIFT特征，v₁,v₂等表示单词，u₁,u₂等表示对应图像块的稀疏系数。在步骤一训练词汇时，表先固定V，调整U使得目标函数L最小(即解Lasso问题)，然后再固定U，调整V使得L最小(即解凸QP问题)，不断交替迭代直至收敛，将目标函数L推向最小值，此时得到的一组可以良好的表示X基向量即为词汇表V。

$L(U,V)={\min }_{U,V}\frac{1}{2}\left|\right|X-V\×U|{|}^2+\mathrm{\λ}|U|---\left(1\right)$

在步骤二中，给定一个新的图像块方向特征x,由上面得到的词汇表V，通过解一个LASSO问题(公式2)得到稀疏向量u。这个稀疏向量就是这个输入向量x的一个稀疏表达。

$u^{*}\left(\mathrm{\λ}\right)=\arg {\min }_u\frac{1}{2}\left|\right|x-V\×u|{|}^2+\mathrm{\λ}|u|---\left(2\right)$

为了提高计算效率，本发明在稀疏编码过程中的解LASSO问题时引入用于筛选的方法：DDP(DualPolytopeProjections)规则。当固定词汇表后，计算稀疏系数的过程实际上是求解输入向量与稀疏系数间的Lasso问题的过程，所述Lasso问题的对偶问题是关于输入向量与对偶变量的优化问题，根据KKT条件可知所述Lasso问题与其对偶问题的优化结果间存在一定关系。具体来说，即利用公式(2)的对偶形式的优化目标θ与u的关系，在解LASSO问题之前先筛选出部分稀疏系数为0值，并在词汇表中将对应单词去掉，形成一个缩小的词汇表求解稀疏向量。具体过程如下：

假定θ为对偶变量，则公式(2)的对偶形式为：

${\mathrm{\θ}}^{*}\left(\mathrm{\λ}\right)=\arg {\min }_{\mathrm{\θ}}\frac{1}{2}\left|\right|x|{|}^2-\frac{{\mathrm{\λ}}^2}{2}||\mathrm{\θ}-\frac{x}{\mathrm{\λ}}|{|}^2---\left(3\right)$

$\begin{array}{cc}s.t.& \left|\right|v_m^T\mathrm{\θ}\left|\right|\≤1,\∀m=1,2,...,M\end{array}$

LASSO问题的KKT条件为：

${\left({\mathrm{\θ}}^{*}\right(\mathrm{\λ}\left)\right)}^T\·v_m\∈\left\{\begin{array}{c}sign\left({\[u^{*}\left(\mathrm{\λ}\right)\]}_m\right)if{\[u^{*}\left(\mathrm{\λ}\right)\]}_m\≠0\\ \[-1,1\]if{\[u^{*}\left(\mathrm{\λ}\right)\]}_m=0\end{array}\right.,m=1,2,...,M---\left(4\right)$

从KKT条件(公式4)中可以看出，若(θ^*(λ))^T·v_m属于开区间(-1,1)，则稀疏系数u^*(λ)的第m个分量[u^*(λ)]_m等于0，即相对应的单词v_m在表示x时属于无效的成分，在计算LASSO问题时无需进行计算。根据DDP筛选规则，将稀疏系数为0的对应词汇从词汇表剔除，形成一个缩小的词汇表。

对于公式(2)，DDP规则如下：令若λ＞λ_max,则[u^*(λ)]_m＝0；否则[u^*(λ)]_m＝0当公式8成立

$\left|v_m^T{\mathrm{\&theta;}}^{*}\left({\mathrm{\&lambda;}}_{max}\right)\right|=\left|v_m^T\frac{x_n}{{\mathrm{\&lambda;}}_{max}}\right|<1-\left|\right|v_m\left|{|}_2\right|\left|x_n\right|{|}_2(\frac{1}{\mathrm{\&lambda;}}-\frac{1}{{\mathrm{\&lambda;}}_{max}})---\left(5\right)$

当λ越接近λ_max,DDP规则越有效。

到目前为止，解LASSO问题的时间复杂度为O(D×M×min(D,M)),其中D是SIFT特征的维度，M是词汇表V中单词的数量.假设筛选的时间为O(D×M)并且有ΔM个单词被筛选掉,则基于筛选的解LASSO问题的时间复杂度为O(D×M)+O(D×(M-ΔM)×min(D,(M-ΔM)))。

本发明充分利用图像的上下文信息，提出多方向上下文特征表达方法，在提高物体识别分类正确率方面取得了很的改善。传统的视觉词袋模型将图像分块并提取每块的SIFT特征向量表示图像，然而事实上，每个小图像块之间依然存在密切的上下文信息。为弥补传统词袋模型的不足，本发明提出的多方向上下文特征的形成过程如下：

1)将图像均匀分成若干小块作为“子块”:p，提取每个子块对应的局部SIFT特征:f。然后我们引入“超级块”的概念，即对于一个子块P_i,j，分别与其右方相邻子块P_i,j+1、下方相邻子块P_i+1,j及对角线向下子块P_i+1,j+1结合，形成三个超级块P_h(i,j)、P_v(i,j)与P_d(i，j)，如附图2所示。

那么超级块对应的方向信息特征F_h(i,j),F_v(i,j)与F_d(i,j)则是将每个子块的局部SIFT特征串联得到：

F_h(i,j)＝(f_i,j,f_i+1,j),F_v(i,j)＝(f_i,j,f_i,j+1),F_d(i,j)＝(f_i,j,f_i+1,j+1)

式中f_i，j是子块P_i,j的局部SIFT特征,f_i+1,j,f_i,j+1,f_i+1，j+1分别是其邻近块P_i+1,j,P_i,j+1,P_i+1,j+1的局部SIFT特征。

2)得到超级块的方向信息特征后，如附图3所示，我们利用基于筛选的稀疏编码算法，分别计算得到三个方向的方向稀疏系数U_h,U_v与U_d，进一步采用多尺度最大池化空间金字塔模型，形成输入图像的三个稀疏表示Z_h，Z_v和Z_d，那么本发明中所说的多方向上下文特征表达Z是通过公式(6)计算得到：

$Z_{i,j}=\sqrt{{\left(Z_h\right)}_{i,j}^2+{\left(Z_v\right)}_{i,j}^2+{\left(Z_d\right)}_{i,j}^2}---\left(6\right)$

式中Z_i,j是特征表达Z的第i行第j列的元素。

以一幅输入图像为例，经过四个阶段形成多方向上下文特征表达。

1)将输入图像均匀划分为多个子块p，对每个子块提取局部SIFT特征：f。然后将每个子块与其水平、垂直和对角线方向的子块结合形成超级块P_h、P_v与P_d，相应地将对应子块的SIFT特征串联得到三个方向的方向信息:F_h,F_v与F_d。

2)对于三方向的特征矩阵，利用筛选的稀疏编码算法，在计算LASSO问题时，取λ＜λ_max,先通过DDP规则筛选出u＝0的稀疏系数分量，再将词汇表中对应的单词剔除，形成一个缩小的词汇表来计算稀疏系数，最终当词典V确定后，进行编码得到三方向的稀疏编码:U_h,U_v与U_d。

3)采用多尺度最大池化空间金字塔模型，假设空间金字塔模型的层数L＝3，则网格的总数为将21个网格的最大池化特征串联起来，得到三个方向的稀疏表示：Z_hZ_v和Z_d。

4)将三个方向的稀疏表示通过平方根函数sqrt结合起来形成输入图像的最终特征表示：多方向上下文特征表达Z。

将多方向上下文特征表达输入分类器后，对于训练样本，采用one-against-all方式进行训练，得到SVM分类器模型参数；对于测试样本，利用训练好的模型测试得到分类结果。由于所述多方向上下文特征充分利用图像块之间的上下文信息，并且是经过多次特征转换得到的特征，故其有效地改善了分类效果。

表1给出在计算一副图像的稀疏系数时，使用筛选和不使用筛选的时间复杂度比较。假设加速比speedup定义如下：

$Speedup=\frac{Timecomplexitywithoutscreening}{Timecomplexitywithscreening},$

那么在不同词典大小下的加速比如表1所示。

表1在不同词典大小下的加速比

本实施在三个数据集：CALTECH-101数据集、LAND-USE数据集及UIUC-SPORT数据集上进行了分类实验。由于小图像块的SIFT特征向量的维度为128，故结合方向信息的方向特征向量的维度为256。最大池化空间金子塔模型的层数为三层，故最大池化的总块数为每个数据集的训练样本的大小均参照经典算法的选择方法，其中CALTECH-101数据集训练样本为30、LAND-USE数据集训练样本为80及UIUC-SPORT数据集的训练样本为70。表2、表3和表4分别表示三个数据集与现有方法的分类结果的对比情况，其中MDSCSPM为本发明所述方法，当词典大小为1024时的实验结果分别为：84.50，90.27，89.26。从表格所示结果可知该结果比现有经典方法有了很大提高，在实验结果方面证明了本发明的有效性。

表2Caltech-101数据集识别结果比较

表3Land-Use数据集识别结果比较

表4UIUC-Sport数据集识别结果比较

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (5)

1.一种基于多方向上下文信息和改进的稀疏编码模型的图像分类方法，其特征在于，包括如下步骤：

步骤一：对于训练样本，提取图像块的SIFT方向特征后，将每个图像块的特征向量分别与其水平向右、垂直向下及对角线方向相邻的特征块合并得到三个方向的特征向量，每个方向分别进行筛选的稀疏编码得到词汇表，再计算稀疏系数及多尺度最大池化得到图像的特征表达后，将三方向的特征矩阵结合形成训练图像的多方向上下文特征表达，将所述特征表达作为支持向量机的输入，训练得到分类器的参数；

步骤二：对于测试样本得到样本的SIFT特征矩阵后，利用所述的对应方向的词汇表计算稀疏系数并结合多尺度最大池化得到图像的多方向上下文特征，并将该特征表达输入分类器得到分类结果。

2.如权利要求1所述的基于多方向上下文信息和改进的稀疏编码模型的图像分类方法，其特征在于，得到稀疏编码的词汇表的方法包括如下步骤：

步骤A1：建立优化的目标函数，所述目标函数的变量包含词汇表和稀疏系数；

步骤A2：固定词汇表，调整稀疏系数使得目标函数的值直至最小值；

步骤A3：固定稀疏系数，调整词汇表使得所述目标函数的值直至最小值；

步骤A4：重复步骤A2和步骤A3，使得目标函数的的值收敛至最小值，此时获得所述系数编码的词汇表。

3.如权利要求1所述的基于多方向上下文信息和改进的稀疏编码模型的图像分类方法，其特征在于，所述多方向上下文特征表达的获取方法包括如下步骤：

步骤B1：将输入图像均匀划分为至少一个子块，对每个子块提取局部SIFT特征，将每个子块分别与其水平相邻的子块相结合形成水平超级块，与其垂直相邻的子块相结合形成垂直超级块，与其对角线相邻的子块相结合形成对角线超级块，并将当前子块的SIFT特征向量与所述水平超级块、所述垂直超级块和所述对角线超级块对应的子块的SIFT特征向量串联分别得到三方向信息特征：水平方向特征向量、垂直方向特征向量和对角线方向特征向量；

步骤B2：将所述三方向信息特征的矩阵,分别利用筛选的稀疏编码算法，通过DDP规则筛选出稀疏系数分量为零的项，并将对应单词从所述词汇表中剔除，利用剔除后的词汇表计算稀疏系数，得到三个方向的方向稀疏编码：

步骤B3：利用多尺度最大池化空间金字塔模型形成输入图像的三个稀疏表示；

步骤B4：将所述稀疏表示相结合形成输入图像的多方向上下文特征表达。

4.如权利要求3所述的基于多方向上下文信息和改进的稀疏编码模型的图像分类方法，其特征在于，所述DDP规则的过程如下：当固定词汇表后，根据KKT条件，当对偶结果与词汇表第m个向量乘积属于开区间(-1,1)之间时，则稀疏系数的第m维系数为0，将稀疏系数为0的对应词汇从词汇表剔除，形成一个缩小的词汇表。

5.如权利要求3所述的基于多方向上下文信息和改进的稀疏编码模型的图像分类方法，其特征在于，将所述多方向上下文特征表达输入分类器后进行分类的步骤包括：对于训练样本，采用one-against-all方式进行训练，得到SVM分类器模型参数；对于测试样本，利用所述SVM分类器模型参数进行测试得到分类结果。