CN103761537B - 基于低秩优化特征字典模型的图像分类方法 - Google Patents

Abstract

本发明提出一种基于低秩优化特征字典模型的图像分类方法，该方法的图像分类步骤如下：步骤S1：在图像上做特征点的监测和特征点的特征描述；步骤S2：构造为L层的空间金字塔，每层图像划分为2^L‑1个子块；步骤S3：用事先构造好的特征字典描述所有子块，并将字典表示系数串连起来，形成描述该图像的特征向量，其中，向量量化方法采用稀疏编码方式；步骤S4：用以上构造方法得到的特征向量训练分类器，对新入图像特征向量，利用分类器进行分类。为提高特征字典描述图像特征的能力，我们采用了低秩优化的方法构造特征字典，使得特征字典在描述同类图像时形成的特征向量更相近。在两个领域内公测数据库上的实验结果，证实了我们的方法的有效性。

Description

基于低秩优化特征字典模型的图像分类方法

技术领域

本发明属于图像处理领域，具体涉及一种基于低秩优化特征字典模型的图像分类方法。

背景技术

随着计算机技术、互联网和数码科技的飞速发展，图像视频设备越来越多地融入到人们的日常生活和工作中，使得越来越多的图像信息变的可用，多媒体数据的数据量正以惊人的速度增长。如何更加快捷地利用好这些信息，使之为人们的日常工作和生活服务，是一项非常有意义的研究工作。图像分类是实现许多实际应用的前提，比如卫星遥感图像分类、自然场景分析、基于内容的图像/视频搜索等。自动图像分类是一种利用计算机程序自动分析图像内容从而识别图像类别的技术，可以极大地减少人工处理的工作量。然而，现实世界是由成千上万种的目标物体掺杂在一起的，各种目标还会受到角度变化、光照变化、遮挡，尺度变化、形变、背景干扰等情况的影响，因此自动图像分类仍是一个很有挑战的问题。

虽然不同的应用背景有着不同的分类目标与评价标准，然而所有的图像分类应用都需要首先进行图像的描述，并且针对不同的应用要选择不同的图像描述方法。目前，有关图像特征描述的方法很多，其中，字典模型是一种直方图式的统计特征描述方法，通过统计字典中特征单词出现的频次来描述一幅图像。字典模型因其较强的图像特征描述能力，在图像检索、分类、编码等领域得到广泛的应用。然而，特征字典的构造方法至关重要，一个好的特征字典可以保证图像重构误差最小的情况下，最大化图像描述的可分辨性。在传统特征字典构造方法中，一般通过对图像中检测到的特征进行聚类来获得特征字典，聚类中心的个数即为特征字典中单词个数。该方法在构造特征字典时没有用到图像的类别信息，无法实现字典在描述同类图像时形成的特征描述更加相近，因此形成的特征描述可分辨性不高，不利于图像的分类。

发明内容

为了克服已有技术的不足，本发明的目的在于设计一种快速有效的图像分类方法，提出一个更有效的特征字典构造方法和基于字典模型的图像表示模型，为此，本发明提供一种基于低秩优化特征字典模型的图像分类方法。

为达到所述目的，本发明提供一种基于低秩优化特征字典模型的图像分类方法，该方法的图像分类步骤如下：

步骤S1：在图像上做特征点的监测和特征点的特征描述；

步骤S2：将图像构造为L层的空间金字塔，每层图像划分为2^L-1个子块；

步骤S3：用低秩优化方法构造的特征字典来描述所有子块，并将各子块的字典表示系数串连起来，形成描述该图像的特征向量，其中，向量量化方法采用稀疏编码方式；

步骤S4：用以上构造方法得到的特征向量训练分类器，对新入图像特征向量，利用分类器进行分类。

本发明针对图像分类问题，通过低秩优化方法构造特征字典，并利用特征字典来描述多层次子块的特征情况，使用稀疏约束的向量量化方法，用稀疏个特征单词来表示特征向量，并将所有子块的特征向量用最大池方法拼接起来形成整幅图像的特征向量，然后通过分类器进行分类。在两个公测图像集上的实验结果表明，本发明的基于低秩优化特征字典的图像分类方法，有效提高了利用字典模型做图像分类的准确率。

附图说明

图1是本发明所述图像分类方法的分类框图；

图2是基于低秩优化特征字典模型在Caltech101数据库上的分类准确率；

图3是是基于低秩优化特征字典模型在Caltech256数据库上的分类准确率。

具体实施方式

为使得本发明的目的、技术方案和优势更加清楚，以下结合具体实施例子，并参照附图，对本发明进一步详细说明。

本发明利用低秩约束构造特征字典，提出了一个有效提升字典模型分类效果的图像分类方法。图1所示为本发明基于低秩优化特征字典图像分类方法的图像分类框架，主要包括图像多层次子块划分、子块中特征点检测与描述子描述、低秩优化特征字典构建、稀疏约束向量量化、最大池法向量合并、以及利用分类器分类几个模块。各模块可归为两大部分，一是低秩优化特征字典的构建，二是基于该低秩优化特征字典的图像分类，参照图1，具体实施步骤如下：

（一）低秩优化特征字典的构建

（1）对训练集中的图像，首先通过高斯差分法检测出图像中的潜在特征点，然后用尺度不变特征变换描述子来描述这些特征点，经过描述子描述后，假设特征点的特征描述维数为D，将图像中所有检测到的所有D维特征向量进行固定中心个数为K的聚类，得到大小为K的特征字典V=[v₁,...,v_K]^T∈R^K×D。

（2）本发明中，将特征字典V作为初始字典，输入低秩优化模块，进行特征字典的创建，即通过最小化同类图像字典描述下系数矩阵的秩，引入类别信息约束，使得同类图像的字典表示更相近。构造如下最优化问题，求解低秩约束特征字典D：

s.t.X_i=DZ_i+E_ii=1,2,...C （1）

其中，X_i为输入量，是属于第i类的多个图像的特征向量作为列向量构成的矩阵，||Z_i||_*为矩阵的核范数，定义为该矩阵奇异值之和，为l₂/l₁范数，是规则项，用于描述数据噪声，λ参数决定了对噪声部分的偏重程度，如果数据X_i中噪声较大，则λ取较大值。输入图像共C类，Z_i为第i类图像在字典D下的系数矩阵，不等式约束的作用是避免出现无意义结果。

采用增广型拉格朗日方法求解最优化式（1），过程如下：

低秩约束特征字典D的初始值为聚类得到的字典V。令Z_i=J_i，将式（1）转换为如下增广型拉格朗日乘子式：

其中，Β为对角矩阵。

更新J_i：

对J_i的更新转化为求解优化式（5）

式（5）可由奇异值阈值划分法求得，定义奇异值阈值划分操作如下：

其中x∈R并且ε>0，该方法容易扩展到向量和矩阵模式下的计算。式（5）中的优化问题可通过下式求解：

其中USV^T为W的SVD分解。

更新Z_i：

式（8）对Z_i求偏导，

得到

更新E_i：

式（12）根据如下引理求解：

给定矩阵Q=[q₁,q₂,...,q_i,...]，若W^*为下式的最优解：

则W^*的列向量可由下式求得：

更新D：

式（15）对D求偏导得：

求得D为：

更新乘子：

W_i=W_i+μ(Z_i-J_i)

Y_i=Y_I+μ(X_i-DZ_i-E_i) （18）

Β=Β+μ(D^TD-I)

（二）基于低秩优化特征字典的图像分类

（1）对于输入图像，首先通过高斯差分法检测出图像中的潜在特征点，然后用与前面构造特征字典部分相同的尺度不变特征变换描述子来描述这些特征点，并将待分类图像构造为L层的空间金字塔，每层图像划分为P=2^L-1个子块。用构造好的低秩优化特征字典D来描述每一层中每一个子块中特征点的特征向量x_m，得到字典表示系数u_m。求解过程中，在向量量化部分采用如下稀疏约束的方法，来求得表示系数向量u_m：

对每层中每个子块中特征字典表示系数U集合（由各系数向量u_m组成），采用最大化池的方法构造其特征向量，例如第l层中的第k个子块，其特征向量为F_l=[f₁,f₂,...f_k]，其中，

f_j=max{|u_1j|，|u_2j|,...,|u_Mj|} （20）

最后，将每一层中的每一个子块的特征描述拼接起来得到最终的待分类图像的特征向量。

（2）将图像测试库中的训练集图像，采用（1）中的方法得到每幅图像的特征向量，获得该特征向量后，根据其类别信息，便可采用机器学习中构建分类器的方法，如支持向量机、神经网络、级联分类器等创建分类器。对待分类图像，同样采用（1）中的方法得到其特征向量，然后输入分类器进行分类。

实施效果

为展示本发明的基于低秩优化特征字典的图像分类方法的效果，本实施方案中采用的测试图像集为Caltech-101和Caltech-256。Caltech-101图像库中包含了动物、花、车等101类图像，9144幅图片。每一类图像中有31到800幅图片不等，绝大部分图像为300×300像素。Caltech-256图像库有256类图像，30607张图片，相比Caltech-101库有更多的类别和图像的变化，每类有至少80张图片。分别在每类图像中选取部分图像做训练集，其他的为测试集进行实验。图2所示为在Caltech-101库上的图像分类效果，本发明所述加入低秩优化约束的特征字典图像分类方法为“方法A”，现有技术的未加入低秩优化约束的特征字典图像分类方法为“方法B”。图3是在Caltech-256库上的图像分类效果。实验中选择的分类器是支持向量机分类器。

以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围内。

Claims (1)

1.一种基于低秩优化特征字典模型的图像分类方法，其特征在于，该图像分类方法的步骤如下：

步骤S1：在图像上做特征点的监测和特征点的特征描述；

步骤S2：将图像构造为L层的空间金字塔，每层图像划分为2^L-1个子块；

步骤S3：用低秩优化方法构造的特征字典来描述所有子块，并将各子块的字典表示系数串连起来，形成描述该图像的特征向量，其中，向量量化方法采用稀疏编码方式；

步骤S4：用以上构造方法得到的特征向量训练分类器，对新入图像特征向量，利用分类器进行分类；

特征字典的构造方法采用低秩优化的方法来求解，使得字典在描述同类图像时，字典表示系数更相似，系数矩阵秩更低，优化表达式如下：

$min\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\left(\right|\left|Z_i\right|{|}_{*}+\mathrm{\λ}\left|\right|E_i\left|{|}_{2,1}\right)$

s.t. X_i＝DZ_i+E_i i＝1,2,...,C

$\underset{m=1}{\overset{p}{\Σ}}{d}_{mn}^2\≤1,n=1,2,...,k$

其中，X_i为输入量，是以属于第i类的多个图像的特征向量作为列向量构成的矩阵，||Z_i||_*为矩阵的核范数，定义为该矩阵奇异值之和，为l₂/l₁范数，是规则项，用于描述数据噪声，λ参数决定了对噪声部分的偏重程度，若数据X_i中噪声较大，则λ取较大值，输入图像共C类，Z_i为第i类图像在字典D下的系数矩阵；

基于多层次多粒度的图像表示，综合考虑图像各局部特征块之间的空间位置关系，提高图像描述的可分辨性；

利用低秩优化得到的特征字典进行图像描述，在利用字典进行特征向量量化时，采用特征字典中稀疏个单词来表示新的特征，从而在减少重构误差的同时，将能量集中，有利于提高特征向量的可分辨性；

对第l层中的第k个子块中特征描述子集合，采用最大化池的方法构造其特征向量如下：F_l＝[f₁,f₂,...,f_k]，其中，f_j＝max{|u_1j|,|u_2j|,...,|u_Mj|},然后，将每一层中的每一个子块的特征描述拼接起来得到最终的图像描述特征向量。