CN102156871A

CN102156871A - 基于类别相关的码本和分类器投票策略的图像分类方法

Info

Publication number: CN102156871A
Application number: CN 201010112518
Authority: CN
Inventors: 张琳波; 肖柏华; 王春恒
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2010-02-12
Filing date: 2010-02-12
Publication date: 2011-08-17
Anticipated expiration: 2030-02-12
Also published as: CN102156871B

Abstract

本发明为基于类别相关的码本和分类器投票策略的图像分类方法，首先图像数据集预处理模块将图像表示为局部显著区域图像块的集合；类别相关的码本生成模块生成类别相关的码本；图像向量化模块根据类别相关的码本，将图像表示为图像向量，类别相关分类器训练模块选择其中的训练图像向量和训练图像对应的类别标签训练任意两个类别之间的分类器；最后，基于分类器投票策略的测试图像分类模块根据各个分类器的投票结果，确定测试图像的类别标签。类别相关码本生成模块有效地解决了码本过大导致维数灾难与码本过小判别性不足的矛盾；同时类别相关的分类器训练模块也摆脱了多类别分类中样本不均衡产生的问题，提高了分类性能。

Description

基于类别相关的码本和分类器投票策略的图像分类方法

技术领域

本发明属与模式识别与信息处理技术领域，涉及基于类别相关的码本和分类器投票策略的图像分类方法，具体的是一种图像分类方法。

背景技术

由于数码相机等数码产品的低廉价格，图像、视频数据可以很方便的拍摄并保存成方便计算机处理的电子形式。同时，互联网资源的迅猛发展，使得广大用户开始面临一个庞大的数据资源。单纯的利用人力来维护和组织这些数据已经变得不现实。因此，开发一种技术来有效的组织这些个人或者企业图像、视频数据成为了一个热点问题。然而，计算机不能“看”的很清楚：它们不能像人一样把图像中的颜色像素转换为更高级语义表示形式，进而完成分类整理。

一个人可以分类识别10,000多种视觉对象。对我们人类来说，分类过程很快，毫不费力而且对视角、光亮、遮挡和背景混淆有很好的鲁棒性。而且，这个过程仅需要很少的监督和少量实例。经过了几十年的努力，研究者在特定目标(如，人脸，指纹识别)分类识别方面取得了很大进展，但是，到目前为止还没有开发出一种通用的目标识别技术，满足人们日常生活的需要。如何训练计算机来模拟人的形象思维，达到人类的识别能力，仍然面临着极大的挑战。是挑战，也是机会，因为这意味着这个领域还有着很大的发展空间。

图像分类的研究，大致可以追溯到60年代。在这个过程当中，图像分类研究者在这个领域做出了大量工作，其中包含很多具有里程碑意义的方法。总的来说，目前图像分类主要可以分为两个流派：其中之一是模仿人类的视觉器官，建立对应的分类子单元，以提高模仿程度来提高分类性能；另外一种就是模仿人类视觉的功能，而不刻意关注人实现过程中物理器官的反应。1964年，Neisser在中指出，人类的视觉系统的分类过程大致可以分为两个阶段：意识前阶段和意识阶段。在意识前阶段，目标上的突出的显著局部区域会首先捕获人的注意力；在意识阶段，人们的视觉系统开始建立这些显著部分的关系，进而识别出目标。这思路极大的影响了计算机视觉界(主要是通过马尔的工作)，一系列有效的研究纷至沓来。与Neisser提出的意识前阶段和意识阶段的功能相对应，目标识别的过程大致可以分为两个阶段：局部显著区域检测及描述和分类模型。在局部显著区域检测中，SIFT(尺度不变特征变换)以其稳定的性能，成为了局部显著区域检测和描述的首选。同时，为了组织这些局部显著区域以形成图像的向量化描述，产生了一系列的分类模型，有部分-结构模型，基于轮廓的模型，语境语义相关模型，仿生学模型，特征包模型。在这些模型当中，特征包模型以其优越的性能，简洁的计算方式，成为图像分类的主流模型。

然而，特征包模型需要产生一个可供所有图像局部区域映射的码本。为了满足这个需要，理想中的码本应该涵盖所有可能的局部显著区域图像块。但是，图像的变化时多样且连续的，我们不可能生成一个码本，能够涵盖所有的图像块。为了能够近似的逼近图像块的各种变化，研究者选择了聚类的方式，把多种类似的局部显著区域图像块的连续变化映射到中间某个典型的图像快上面。随着图像类别的增加，这种典型的局部区域图像块也会呈亚线性增长，由此带来的便是图像表示向量维数的增加，进而导致维数灾难。如何产生码本，使它技能满足多样性的要求，又在一定程度上避免维数灾难，成了目前困扰特征包模型研究者的热点问题。同时，对于多类别问题，如果按照普通的分类方法，每个分类器的训练过程，需要以本类别的训练样本为正样本，其他所有类别的样本作为负样本，这样就造成了分类器训练中严重的样本不均衡问题，使得正样本淹没在负样本当中。为了解决这个问题，有的研究者采用减少负样本的方法，但是，由于减少了负样本的多样性，使得分类器的性能反而大大降低；同时有的研究者使用负样本多次采样的方式，然而此方式没有认识到样本空间复杂度高才是问题的关键，因此虽然一定程度上提高了性能，但是也没有从根本上解决问题。

发明内容

为了解决现有技术对多类别分类问题存在的困难，本发明的目的是能够集合类别之间的具有判别力的局部显著区域图像块作为码本，又能有效的降低分类中图像表示的维数灾难问题的解决方法，为此，本发明提供一种基于类别相关的码本和分类器投票策略的图像分类方法。

为了达成所述目的，本发明基于类别相关的码本和分类器投票策略的图像分类方法，实现该方法的步骤包括：

步骤S1：图像数据集预处理模块对图像数据集I中的每一幅图像采用局部显著区域检测子检测图像中的局部显著区域图像块并表示为向量；这样，图像数据集中的所有图像都被表示成了局部显著区域图像块向量的集合，图像数据集I包括：训练图像集和测试图像集；

步骤S2：类别相关码本生成模块根据训练图像的局部显著区域图像块向量和训练图像的类别标签，产生类别相关的码本；

步骤S3：图像向量化模块将图像数据集中的图像映射到步骤S2生成的类别相关的码本上，形成图像向量；

步骤S4：类别相关分类器训练模块根据图像向量中训练图像对应的图像向量及类别标签，训练类别相关的分类器；

步骤S5：基于分类器投票策略的测试图像分类模块根据测试图像在每个分类器上的输出标签进行投票，给出测试图像的最终类别标签。

其中，所述图像数据集I＝{I₁，…，I_M+N}，包含训练图像集和测试图像集

M和N分别表示训练图像和测试图像的个数，I₁表示图像数据集I中第1幅图像，I_M+N表示图像数据集I中第M+N幅图像，I_train ¹是表示第1幅训练图像，I_train ^M是表示第M幅训练图像，I_test ¹是表示第1幅测试图像，I_test ^N是表示第N幅测试图像，train和test分别用来标示图像属于训练图像集和测试图像集；其中，训练图像集I_train用于类别相关的码本生成，基于投票策略的分类器训练；测试图像集I_test用于检验所述基于类别相关的码本和投票策略的图像分类方法的性能。

其中，所述类别相关码本生成模块，将训练图像的局部显著区域图像块向量，按照所属图像的类别标签进行归类，标签类别数为C，产生C组局部显著区域图像块向量集合；对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类，产生C个类别相关码本D＝{D₁，D₂，…，D_C}，每个码本包含K个聚类中心。

其中，所述图像向量化模块中第i幅图像I_i在第m个类别相关码本D_m上向量化的具体步骤如下：首先计算第i幅图像I_i内部第j个局部显著区域图像块向量x_i ^j与第m个类别相关码本D_m中第n个聚类中心D_m ⁿ的距离d(x_i ^j，D_m ⁿ)表示如下：

d (x_{i}^{j}, D_{m}^{n}) = \frac{1}{2} Σ_{t = 1}^{T} \frac{{(x_{i}^{j} (t) - D_{m}^{n} (t))}^{2}}{x_{i}^{j} (t) + D_{m}^{n} (t)},

其中，x_i ^j(t)表示x_i ^j向量的第t个分量，D_m ⁿ(t)表示第m个类别相关码本D_m中第n个聚类中心D_m ⁿ向量的第t个分量；然后，计算第j个局部显著区域图像块向量x_i ^j与第n个聚类中心D_m ⁿ之间的相似度s_ij ^mn：

其中σ是需要根据性能调整的参数；这样，图像中的局部显著区域图像块向量x_i ^j针对类别相关码本D_m产生K个相似度s_ij ^mn值，取

记为相似度向量，其中K表示每个类别相关码本中聚类中心的数目；将第i幅图像I_i内所有局部显著区域图像块在类别相关码本D_m产生的相似度向量累加，得到第i幅图像I_i在类别相关码本D_m上的图像向量为

其中J_i表示第i幅图像I_i当中包含的局部显著区域图像块的个数；

取i＝1，…，M+N，得到图像数据集中所有图像I_i在类别相关码本D_m上的图像向量，记为图像向量集合m；以此类推，基于C个类别相关码本，即取m＝1，…，C，则得到C个图像向量集合为：图像向量集合1，图像向量集合2，…，图像向量集合C。

其中，所述类别相关分类器训练模块，根据训练图像训练C个类别中任意两个类别之间的分类器；分类第i类图像与第j类图像的分类器ij训练过程如下：从图像向量化模块产生的图像向量集合i中选择第i类的训练图像在类别相关码本D_i上产生的向量，从图像向量集合j中选择第i类训练图像在类别相关码本D_j上产生的向量，然后把相同图像产生的向量链接成新的向量，作为第i类训练图像新的向量表示；同样的方式，从第i类图像向量集合和第j类图像向量集合中分别选择第j类训练图像在类别相关码本D_i和类别相关码本D_j上产生的向量并链接，作为第j类训练图像新的向量表示；然后利用新得到的第i类和第j类图像的表示向量，训练分类器ij；同样的方式，取i＝1，…，C，i＜j＜＝C，训练C个类别中任意两类之间的分类器。

其中，基于分类器投票策略的测试图像分类模块给定一幅测试图像，从图像向量集合i中选择该测试图像在类别相关码本D_i上面计算的向量，同时从图像向量集合j中选择该测试图像在类别相关码本D_j上得到的向量，然后链接两个向量为一个新向量，输入分类器ij，得到分类器ij的分类结果；取i＝1，…，C，i＜j＜＝C，得到训练阶段产生的任意分类器的分类结果；累加分类器i1，分类器i2，…，分类器iC的分类结果中分类结果为i类的个数，得到测试图像为第i类的投票结果，记为R_i；取i＝1，2，…，C，则得到判定测试图像为每个类别的投票结果；取R_i最大时对应的类别标签作为测试图像的最终类别标签。

本发明的有益效果：与现有的码本和分类方法相比，本方法具有如下特点：

1.与现有的码本相比，当图像类别较多时，本发明的类别相关的码本可以只有普通码本大小的十分之一甚至更小，有效的避免了维数灾难问题。

2.与现有的码本相比，随着图像类别的增多，本发明的码本可以保持着稳定的判别性，使得分类结果更加稳定。

3.与现有的分类器训练方法相比，本发明的训练过程总是在两个类别之间进行；即由于每个类别的训练样本个数相同，本发明的训练方法不存在样本不均衡问题。

本发明有效的解决了图像表示向量维数与码本多样性之间的矛盾，使得图像表示向量维数不大的情况下仍然有着较强的判别性。同时，基于本发明特殊的类别相关分类器训练方法，使得多类别中常见的样本不均衡问题不再存在，有效地挺高了图像分类的性能。

附图说明

图1示出本发明基于类别相关的码本和分类器投票策略的图像分类方法的流程；

图2示出本发明步骤S1类别相关的码本生成模块；

图3示出本发明步骤S3图像向量化模块；

图4示出本发明步骤S4类别相关的分类器训练模块中第i类与第j类分类器，分类器ij的训练方法；

图5出本发明步骤S5测试图像分类模块。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

类别相关码本生成方法对每种类别的图像产生一种特定的码本，使得相同类别的图像映射到此类码本上的系数值较大并呈现一定的规律性，而其它类别的图像映射到此类码本上的系数会比较小并呈现无规律性。

分类第i类图像与第j类图像的分类器ij，通过将第i类的训练图像在类别相关码本和类别相关码本上得到的向量链接作为第i类的训练图像向量，将第j类的训练图像在类别相关码本和类别相关码本上得到的向量链接作为第j类的训练图像向量，训练得到。这样得到的分类器ij对属于类别i和类别j的图像具有判别性，而对既不属于i类也不属于j类的图像分类结果呈现无规律性。

基于类别相关码本生成和类别相关分类器训练的特点，测试样本的分类采用投票的策略。对于第i类的测试图像，分类器ij，(j＝1，…，C)中绝大部分分类器会给出此图像属于i类的投票；而对于分类器kj，(k不等于i，j＝1，…，C)分类器会呈现极大的无规律性。这样，我们最后取得票最多的类别标签作为测试图像的最终类别。

本发明旨在设计基于类别相关的码本和分类器投票策略的图像分类方法，在有效的解决传统代码包模型对于多类别分类存在的图像表示向量维数与码本多样性之间的矛盾的同时，消除了多类别分类问题分类器训练过程中存在的样本不均衡问题对方法性能的影响。有效的提高了方法的分类性能。

基于类别相关的码本和分类器投票策略的图像分类方法，如图1示出，该方法利用图像数据集I，包括训练图像和测试图像，包括以下步骤：图像数据集预处理步骤S1、类别相关的码本生成步骤S2、图像向量化步骤S3、类别相关分类器训练步骤S4和基于分类器投票策略的测试图像分类步骤S5。

图像数据集I＝{I₁，…，I_M+N}，包含训练图像集

和测试图像集

M和N分别表示训练图像和测试图像的个数，I₁表示图像数据集I中第1幅图像，I_M+N表示第M+N幅图像，I_train ¹是表示第1幅训练图像，I_train ^M是表示第M幅训练图像，I_test ¹是表示第1幅测试图像，I_test ^N是表示第N幅测试图像，train和test分别用来标示图像属于训练图像集和测试图像集；其中，训练图像集I_train用于类别相关的码本生成，基于投票策略的分类器训练；测试图像集I_test用于检验所述基于类别相关的码本和投票策略的图像分类方法的性能。

步骤S1：图像数据集预处理模块对图像数据集I(包含训练图像和测试图像)中的每一幅图像采用尺度不变特征变换(SIFT)检测图像中的局部显著区域图像块并将这些局部显著区域图像块表示为128维向量。这样，数据集中的每一幅图像都被表示成了局部显著区域图像块向量的集合。

如图2示出步骤S2：类别相关码本生成模块将图像数据集预处理模块产生的局部显著区域图像块向量中，由训练图像集产生的部分，按照产生这些图像块向量的训练图像的类别标签(标签类别数为C)进行归类，即由第i类训练图像经图像数据集预处理得到的局部显著区域图像块向量集合，归为第i类局部显著区域图像块向量集合，取i＝1，…，C，得到C组局部显著区域图像块向量集合(第1类局部图像块向量集合，第2类局部图像块向量集合，…，第C类局部图像块向量集合)；对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类，产生C个类别相关的码本D＝{D₁，D₂，…，D_C}(例如图2中示出的类别相关码本D₁、类别相关码本D₂及类别相关码本D_C)，每个类别相关的码本包含K个聚类中心。

步骤S3：图像向量化模块计算图像数据集中的第i幅图像I_i在第m个类别相关码本D_m上得到的图像向量。从图像块向量集合中选择由第i幅图像I_i经图像数据集预处理得到的局部显著区域

其中x_i ^j表示第i幅图像I_i内部第j个局部显著区域图像块向量(j＝1，…，J_i)，J_i表示第i幅图像中包含的局部显著区域图像块的个数。第i幅图像I_i内部第j个局部显著区域图像块向量x_i ^j与D_m中第n个聚类中心D_m ⁿ的距离计算公式如下：

d (x_{i}^{j}, D_{m}^{n}) = \frac{1}{2} Σ_{t = 1}^{T} \frac{{(x_{i}^{j} (t) - D_{m}^{n})}^{2}}{x_{i}^{j} (t) + D_{m}^{n} (t)},

其中，x_i ^j(t)表示x_i ^j向量的第t个分量，D_m ⁿ(t)表示D_m ⁿ向量的第t个分量。然后，计算x_i ^j与D_m ⁿ之间的相似度：

s_{ij}^{mn} = \frac{1}{2 πσ} \exp {\frac{d {(x_{i}^{j}, D_{m}^{n})}^{2}}{σ^{2}}},

其中σ是根据性能调整的参数，试验中，σ＝100时，性能最好。这样，图像中的局部显著区域图像块x_i ^j针对码本D_m可以产生K个相似度值，取

记为相似度向量。将图像I_i内所有局部显著区域图像块在码本D_m产生的相似度向量累加，得到图像I_i在类别相关码本D_m上的图像向量

其中J_i表示第i幅图像中包含的局部显著区域图像块的个数。对类别相关码本D_m(例如类别相关码本D₁、类别相关码本D₂及类别相关码本D_C)，可以得到图像数据集中所有图像的图像向量，将所有在类别相关码本D_m上得到的图像向量集合记为图像向量集合m。以此类推，取m＝1，…，C，我们可以得到C个图像向量集合(如图3示出：图像向量集合1，图像向量集合2，…，图像向量集合C)。

步骤S4：类别相关分类器训练模块，根据训练图像训练C个类别中任意两个类别之间的支持向量机分类器。分类第i类图像与第j类图像的分类器ij训练过程如图4示出：从图像向量化模块产生的图像向量集合i中选择第i类的训练图像在码本D_i上产生的向量，从图像向量集合j中选择第i类训练图像在码本D_j上产生的向量，然后把同一图像产生的向量联接成新的向量，作为第i类训练图像新的图像向量。同样的方式，从第i类图像向量集合和第j类图像向量集合中分别选择第j类训练图像在码本D_i和码本D_j上产生的向量并联接，作为第j类训练图像新的图像向量。然后利用得到的第i类和第j类图像的新表示向量，训练分类器ij。同样的方式，训练C个类别中任意两类之间的支持向量机(SVM)分类器。支持向量机可以采用预先计算好的χ²核，计算方法如下：

任意两个图像向量l_i和l_j的χ²距离为：

χ^{2} (l_{i}, l_{j}) = \frac{1}{2} Σ_{t = 1}^{2 K} \frac{{(l_{i} (t) - l_{j} (t))}^{2}}{l_{i} (t) + l_{j} (t)},

其中，l_i(t)和l_j(t)分别表示图像向量l_i和l_j的第t个分量，K表示类别相关码本中聚类中心的数目；图像向量l_i和l_j的之间的χ²核值：Q(l_i，l_j)＝exp{-χ²(l_i，l_j)}。计算任意两个训练图像向量之间的χ²核值，训练支持向量机分类器，其中支持向量机分类器参数c＝8。

如图5示出，步骤S5：基于分类器投票策略的测试图像分类模块，给定一幅测试图像，从图像向量集合i中，选择该图像在类别相关码本D_i上面计算的向量，同时从图像向量集合j中选择该测试图像在类别相关码本D_j上得到的向量，然后联接两个向量为一个新向量，计算这个新向量与分类器ij对应的所有训练图像向量之间的χ²核值，输入分类器ij，得到分类器ij的分类结果。同样方式，可以得到训练阶段产生的任意分类器的分类结果。累加分类器i1，分类器i2，…，分类器iC中分类结果为i类的个数，得到测试图像为第i类的投票结果，记为R_i。取i＝1，2，…，C，我们可以得到判定测试图像为每个类别的投票结果。取R_i最大对应的类别标签作为测试图像的最终类别标签。如图5中符号

表示同名向量联接，符号

表示分类标签累加。

本发明效果可以通过以下实验进一步说明：

实验条件：实验数据集在由美国加州理工大学提供的Caltech-101数据集上面进行。每个类别分别选择3，5，10，20，30幅图像作为训练数据，剩余的图像作为测试数据。局部显著区域检测和表示采用流行的尺度不变特征变换(SIFT)方法。码本生成中，选择码本的大小k＝200，也就是每次聚类的聚类中心数目为200。向量化描述中，选择σ＝100。这里的任意两个类别之间的分类器采用SVM(支持向量机)分类器，分类器采用χ²核，分类器参数c＝8。

实验结果：本发明的方法为所有的测试图像给出预测标签。如果标签名称与测试图像的实际标签相同，则为分类正确，否则为分类错误。

对比试验是在这个数据集上面，采用传统特征包模型，单独利用SIFT局部特征所得的最好结果。

训练样本个数	3	5	10	20	30
						本发明性能	0.17％	12.65％	46.28％	58.44％	66.89％
传统方法性能	-	-	-	-	59.33％

上述表中的性能＝预测标签正确的测试图像个数/测试图像总数。

从实验数据可知，本发明采用类别相关的码本生成和类别相关的分类器投票策略的方法，有着更高的分类性能。

本发明的基于类别相关的码本和分类器投票策略的图像分类方法大致描述如下：首先利用尺度不变特征变换(SIFT)将训练图像集中所有图像表示为局部显著区域图像块的集合；对得到的局部显著区域图像块按照其所属训练图像的类别标签进行归类，得到C组局部显著区域图像块向量集合；对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类，产生C个类别相关的码本D＝{D₁，D₂，…，D_C}，每个类别相关的码本包含K个聚类中心；根据类别相关的码本，将训练图像集中所有图像表示为图像向量集合；然后利用得到的训练图像向量和训练图像对应的类别标签训练C个类别中任意两个类别之间的分类器。对测试图像，利用与训练图像相同的方式SIFT表示为局部显著区域图像块的集合；然后利用这些向量集合和训练阶段生成的类别相关码本，将测试图像表示为图像向量集合；然后将这些向量输入训练好的分类器；利用各个分类器的分类结果进行投票，确定测试图像的分类结果。

上述基于类别相关的码本和分类器投票策略的图像分类方法具有高度的实用性和应用价值。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.基于类别相关的码本和分类器投票策略的图像分类方法，其特征在于，实现该方法的步骤包括：

2.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法，其特征在于，所述图像数据集I＝{I₁，...，I_M+N}，包含训练图像集

和测试图像集M和N分别表示训练图像和测试图像的个数，I₁表示图像数据集I中第1幅图像，I_M+N表示图像数据集I中第M+N幅图像，I_train ¹是表示第1幅训练图像，I_train ^M是表示第M幅训练图像，I_test ¹是表示第1幅测试图像，I_test ^N是表示第N幅测试图像，train和test分别用来标示图像属于训练图像集和测试图像集；其中，训练图像集I_train用于类别相关的码本生成，基于投票策略的分类器训练；测试图像集I_test用于检验所述基于类别相关的码本和投票策略的图像分类方法的性能。

3.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法，其特征在于，所述类别相关码本生成模块，将训练图像的局部显著区域图像块向量，按照所属图像的类别标签进行归类，标签类别数为C，产生C组局部显著区域图像块向量集合；对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类，产生C个类别相关码本D＝{D₁，D₂，...，D_C}，每个码本包含K个聚类中心。

4.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法，其特征在于，所述图像向量化模块中第i幅图像I_i在第m个类别相关码本D_m上向量化的具体步骤如下：首先计算第i幅图像I_i内部第j个局部显著区域图像块向量x_i ^j与第m个类别相关码本D_m中第n个聚类中心D_m ⁿ的距离d(x_i ^j，D_m ⁿ)表示如下：

d = (x_{i}^{j}, D_{m}^{n}) = \frac{1}{2} Σ_{t = 1}^{T} \frac{{(x_{i}^{j} (t) - D_{m}^{n})}^{2}}{x_{i}^{j} (t) + D_{m}^{n} (t)},

其中，x_i ^j(t)表示x_i ^j向量的第t个分量，D_m ⁿ(t)表示第m个类别相关码本D_m中第n个聚类中心D_m ⁿ向量的第t个分量；然后，计算第j个局部显著区域图像块向量向量x_i ^j与第m个类别相关码本D_m中第n个聚类中心D_m ⁿ之间的相似度s_ij ^mn：

其中σ是需要根据性能调整的参数；这样，图像中的局部显著区域图像块x_i ^j针对类别相关码本D_m产生K个相似度s_ij ^mn值，取

记为相似度向量，其中K表示每个类别相关码本中聚类中心的数目；将第i幅图像I_i内所有局部显著区域图像块在类别相关码本D_m产生的相似度向量累加，得到第i幅图像I_i在类别相关码本D_m上的图像向量为其中J_i表示第i幅图像I_i当中包含的局部显著区域图像块的个数；

5.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法，其特征在于，所述类别相关分类器训练模块，根据训练图像训练C个类别中任意两个类别之间的分类器；分类第i类图像与第j类图像的分类器ij训练过程如下：从图像向量化模块产生的图像向量集合i中选择第i类的训练图像在类别相关码本D_i上产生的向量，从图像向量集合j中选择第i类训练图像在类别相关码本D_j上产生的向量，然后把相同图像产生的向量链接成新的向量，作为第i类训练图像新的向量表示；同样的方式，从第i类图像向量集合和第j类图像向量集合中分别选择第j类训练图像在类别相关码本D_i和类别相关码本D_j上产生的向量并链接，作为第j类训练图像新的向量表示；然后利用新得到的第i类和第j类图像的表示向量，训练分类器ij；同样的方式，取i＝1，…，C，i＜j＜＝C，训练C个类别中任意两类之间的分类器。

6.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法，其特征在于，基于分类器投票策略的测试图像分类模块给定一幅测试图像，从图像向量集合i中选择该测试图像在类别相关码本D_i上面计算的向量，同时从图像向量集合j中选择该测试图像在类别相关码本D_j上得到的向量，然后链接两个向量为一个新向量，输入分类器ij，得到分类器ij的分类结果；取i＝1，…，C，i＜j＜＝C，得到训练阶段产生的任意分类器的分类结果；累加分类器i1，分类器i2，…，分类器iC的分类结果中分类结果为i类的个数，得到测试图像为第i类的投票结果，记为R_i；取i＝1，2，…，C，则得到判定测试图像为每个类别的投票结果；取R_i最大时对应的类别标签作为测试图像的最终类别标签。