CN102122358A - 基于提升稀疏约束双线性模型的图像分类方法 - Google Patents

Abstract

本发明提出一种基于提升稀疏约束双线性模型的图像进行分类方法，该方法的图像分类步骤如下：步骤S1：在图像上提取图像的局部特征；步骤S2：从图像上密集的提取多个部件；步骤S3：将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表示按顺序排列起来，用一个矩阵的形式来表示图像；步骤S4：使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关系，从而达到对图像分类的目的。为了提高方法的判别力，我们加入了稀疏性的约束，并采用提升的策略来提高方法的鲁棒性。在三个数据库上的实验结果，证实了我们的方法的有效性。

Description

基于提升稀疏约束双线性模型的图像分类方法

技术领域

本发明属于图像处理领域，涉及一种基于提升稀疏约束双线性模型的图像分类方法。

背景技术

随着多媒体数据的爆炸性增涨，人工对图像进行分类越来越困难，基于图像内容的自动分类越来越受到重视。自动的图像分类技术能够通过对图像本身内容进行处理分析，从而预测图像的类别，避免了大量人工处理。然而由于图像中各种物体形态各异，出现位置也不固定，而且还有可能存在遮挡的现象，自动的学习一个鲁棒的图像特征表示和预测模型仍然是一个很有挑战的问题。

传统的图像分类方法大都是基于词袋模型。这种方法首先在图像上提取局部特征，对局部特征进行量化，生成码本，然后通过寻找最近邻的方法将局部特征量化到每个视觉词，并将图像表示成一个视觉词的直方图分布，最后通过训练分类器的方式来预测图像的类别。这种方法在一定程度上克服了全局特征的缺陷，但是，这种方法忽略了图像局部特征的空间位置信息和相互联系。为了在一定程度上考虑空间信息，一般采用空间金字塔的方式对图像进行划分。但是，这种方法划分金字塔的方式是一种经验性的，事先无法取得最有效地划分。另一方面，每个视觉词对于分类性能的影响是不同的，给予每个视觉词同样的权重也不利于最终的分类。

发明内容

为了解决吸纳有技术的问题，本发明的目的是对快速有效的图像分类，提出一个更有效的图像特征表示和分类模型，为此本发明提供一种基于提升稀疏约束双线性模型的图像分类方法。

为达成所述目的，本发明提供一种基于提升稀疏约束双线性模型的图像分类方法，该方法的图像分类步骤如下：

步骤S1：在图像上提取图像的局部特征；

步骤S2：从图像上密集的提取多个部件；

步骤S3：将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表示按顺序排列起来，用一个矩阵的形式来表示图像；

步骤S4：使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关系，从而达到对图像分类的目的。

优选实施例，基于部件的图像表示，综合考虑局部特征的空间信息；考虑部件本身的空间信息，用于增强部件表示方式的判别力。

优选实施例，设每个部件都对图像的类别预测有贡献，采用线性模型去拟合每个部件都对图像的类别预测的这种联系；同时，设每个部件中的每个视觉词对所述部件的类别也有贡献，也采用线性模型来拟合每个部件中的每个视觉词对所述部件的类别的这种联系，从而将图像类别预测问题转化为学习一个双线性模型的问题。

优选实施例，为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对双线性模型的两个系数向量施加稀疏性的约束，并通过组合多个双线性模型来增强图像分类的鲁棒性。

优选实施例，在学习单个稀疏约束的双线性模型时，采用交替优化的策略，先固定视觉词到部件的模型系数，去学习部件到图像类别的模型的系数；然后固定部件到图像类别的模型的系数，去学习视觉词到部件的模型系数。

优选实施例，所述优化的策略采用加权的系数符号搜索算法实现。

本发明的有益效果：本发明提出一种基于提升稀疏约束双线性模型对图像进行分类。通过部件来融合图像的空间信息，并通过双线性模型来进行图像分类，利用稀疏约束进行最有判别力的部件和视觉词的选择，并利用提升的方法来提高算法的性能和鲁棒性。本发明在三个数据库上的实验，证明了本发明的方法有更高的分类性能。

附图说明

图1提升稀疏约束双线性模型进行图像分类框图；

图2基于部件的图像表示示意图；

图3基于提升稀疏约束双线性模型的混淆矩阵；

图4提升稀疏约束双线性模型在Caltech-101数据库上的分类准确率；

图5提升稀疏约束双线性模型在Caltech-256数据库上的分类准确率。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明利用图像分块和稀疏约束，提出了一个行之有效的图像分类方法。图1示出本发明的系统提升稀疏约束双线性模型进行图像分类框架，包括图像局部特征提取、基于部件的图像表示、提升稀疏约束双线性模型，以及图像分类。

本发明主要包括两个部分：基于部件的图像表示和提升稀疏约束双线性模型。

(一)、基于部件的图像表示：

图像表示部分采用基于部件的表示方式，图2示出描述了基于部件的图像表示方法，这种方法同时考虑了局部特征的空间信息和部件之间的空间信息，从而可以得到有判别力的图像特征表示，为下一步的分类器训练提供便利。

本发明中，采用视觉词直方图来表示每个部件。先用k均值聚类方法获得1000个聚类中心，每个聚类中心对应一个视觉词；采用寻找最近邻的方法对图像局部特征的空间信息进行视觉词的量化。我们密集地抽取部件，在每幅图上抽取20×15个部件，每个部件是一个64×64像素的正方形区域。用部件内的视觉词的直方图来表示部件，将每个部件直方图的定义为：

h_j＝[h_1，j，h_2，j，…，h_N，j]^T    (1)

其中，N代表视觉词的个数，h_j是一个N×1的向量，其中每一维的元素h_i，j，i＝1，2，…，N正比于第i个视觉词在第j个部件里面出现的次数，j＝1，2，…，M，M代表部件的个数。并满足

在把每个部件用直方图表示以后，将各个部件h_j，j＝1，2，…，M按顺序排列起来，将第k个图像表示成一个N×M的矩阵H^k：

H^k＝[h₁，h₂，…，h_M]    (2)

这样，我们就得到了最终的基于部件的图像表示，k＝1，2，…，K。K代表训练图像的个数。

(二)、提升稀疏约束双线性模型：

在将图像用部件表示后，我们用提升稀疏约束双线性模型来进行图像类别的预测。首先，我们认为图像的每个部件都对图像的类别预测有贡献，我们采用线性模型去模拟；同时，对于每个部件，其中的每个视觉词对这个部件的类别也有贡献，本发明也采用线性模型来模拟，从而将图像类别预测问题转化为学习一个双线性模型的问题，即学习α，β，使得：

f(H^k)＝y^k＝α^TH^kβ        (3)

其中，y^k代表对第k个图像的预测值。F(H^k)＝α^TH^kβ代表要学习的双线性模型。α是一个N×1维的系数向量，β是一个M×1维的系数向量。

为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对于双线性模型的两个系数向量α，β施加稀疏性的约束。同时，通过组合多个双线性模型来增强本发明方法的鲁棒性。这是通过优化以下的目标函数实现：

$F_T\left(H\right)=\underset{F_T\left(H\right)}{\arg \min }{\mathrm{\Σ}}_{k=1}^K\exp [{-y}^k\×F_T\left(H^k\right)]+c_1{\mathrm{\Σ}}_{t=1}^T{\left|\right|{\mathrm{\α}}_t\left|\right|}_1+c_2{\mathrm{\Σ}}_{t=1}^T{\left|\right|{\mathrm{\β}}_t\left|\right|}_n---\left(4\right)$

其中，

T代表双线性模型的个数，K代表训练图像的个数。c₁，c₂是两个控制稀疏程度的系数。H代表训练图像f_t(H)代表要学习的第t个双线性模型，α_t和β_t是第t个双线性模型对应的参数，α_t ^T代表α_t的转置。

代表要学习的提升稀疏约束的双线性模型，它是由T个双线性模型组成。

我们采用提升的思想，通过T次循环，每次学习一个稀疏约束的双线性模型。本发明的算法如表1所示：

表(1)提升稀疏约束双线性模型算法

在算法的步骤2.(a)，我们的目标函数(4)可以简化为：

$({\mathrm{\α}}_t,{\mathrm{\β}}_t)=\underset{({\mathrm{\α}}_t,{\mathrm{\β}}_t)}{\arg \min }{\mathrm{\Σ}}_{k=1}^K{w}_{k,t}\×\exp [-y^k\×f_t\left(H^k\right)]+c_1{\left|\right|{\mathrm{\α}}_t\left|\right|}_1+c_2{\left|\right|{\mathrm{\β}}_t\left|\right|}_1---\left(5\right)$

在本发明中采用交替优化的方法，通过先固定β_t来求解α_t，然后固定α_t来求解β_t。当固定β_t来求解α_t时，目标函数(5)可进一步简化为：

${\mathrm{\α}}_t=\underset{{\mathrm{\α}}_t}{\arg \min }{\mathrm{\Σ}}_{k=1}^K{w}_{k,t}\×\exp [-y^k\×{\mathrm{\α}}_t^T{H}^k{\mathrm{\β}}_t]+c_1{\left|\right|{\mathrm{\α}}_t\left|\right|}_1---\left(6\right)$

在本发明中采用加权的系数符号搜索算法来优化目标函数α_t。本发明的算法流程图如下表(2)所示。为了简化表示，在不引起误解的前提下，我们忽略掉下标t。

表(2)加权的系数符号搜索算法

当固定α_t来求解β_t时，我们可以采取类似表(2)的策略。将α_t和c₁替换成β_t和c₂，并令

$\frac{\∂\exp (y^k\×{\mathrm{\α}}^T{H}^k\mathrm{\β})}{\∂\mathrm{\β}}=-y^k\×{\mathrm{\α}}^T{H}^k\×\exp (-y^k\×{\mathrm{\α}}^T{H}^k\mathrm{\β}).$

实施效果

在三个图像分类数据库上测试了本发明的提升稀疏约束双线性模型算法效果。在场景-15数据库上的图像分类效果如表(3)，每类训练图像个数为100，用剩余的图像进行测试，并重复10遍求均值和方差。其中稀疏约束的双线性模型是本发明提出的基于提升稀疏约束双线性模型的一个简化版本，在稀疏约束的双线性模型中并未使用提升的策略。图3给出了本发明提出的基于提升稀疏约束双线性模型方法在场景-15数据库上的混淆矩阵。图4示出提升稀疏约束双线性模型在加州理工学院-101数据库上的分类准确率，图中横轴：每类训练样本的个数，纵轴：分类准确率；图5示出提升稀疏约束双线性模型在加州理工学院-256数据库上的分类准确率，图中横轴：每类训练样本的个数，纵轴：分类准确率。

表(3)场景-15数据库上的分类准确率

方法	分类准确率(％)
		稀疏约束的双线性模型	85.6±1.5
提升稀疏约束双线性模型	90.5±1.6

从在三个数据库上的实验结果可以看出我们提出的基于提升稀疏约束双线性模型在图像分类应用中的有效性。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。

Claims (6)

1.一种基于提升稀疏约束双线性模型的图像分类方法，其特征在于，该方法图像分类的步骤如下：

步骤S1：在图像上提取图像的局部特征；

步骤S2：从图像上密集的提取多个部件；

步骤S3：将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表示按顺序排列起来，用一个矩阵的形式来表示图像；

步骤S4：使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关系，从而达到对图像分类的目的。

2.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在于，基于部件的图像表示，综合考虑局部特征的空间信息；考虑部件本身的空间信息，用于增强部件表示方式的判别力。

3.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在于，设每个部件都对图像的类别预测有贡献，采用线性模型去拟合每个部件都对图像的类别预测的这种联系；同时，设每个部件中的每个视觉词对所述部件的类别也有贡献，也采用线性模型来拟合每个部件中的每个视觉词对所述部件的类别的这种联系，从而将图像类别预测问题转化为学习一个双线性模型的问题。

4.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在于，为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对双线性模型的两个系数向量施加稀疏性的约束，并通过组合多个双线性模型来增强图像分类的鲁棒性。

5.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在于，在学习单个稀疏约束的双线性模型时，采用交替优化的策略，先固定视觉词到部件的模型系数，去学习部件到图像类别的模型的系数；然后固定部件到图像类别的模型的系数，去学习视觉词到部件的模型系数。

6.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在于，所述优化的策略采用加权的系数符号搜索算法实现。

Images