CN102945373A - 基于上下文的局部空间信息建模方法 - Google Patents

Abstract

一种基于上下文的局部空间信息建模方法，包括步骤：在提取每个图像的局部特征后，提取相应的上下文特征；根据每个局部特征对应的视觉单词，从测试图像中随机提取局部特征分组；利用聚类算法，在各组局部特征对应的上下文特征集合上训练得到多组上下文模式；根据局部特征对应的不同上下文模式进行聚集操作，将聚集结果串联得到图像的最终表达。本发明对于未经过对齐处理的图像，依然能够有效地处理其空间信息。在实际应用中，将该方法与现有的考虑绝对空间关系的方法相结合，还能够进一步提升图像分类精度。

Description

基于上下文的局部空间信息建模方法

技术领域

本发明涉及模式识别，特别涉及基于BoF(bag-of-features)模型的图像分类

背景技术

目前，传统分类算法缺乏有效地表达图像空间信息的能力。这也是计算机视觉系统与人眼视觉系统相比在识别精度上仍存在着巨大差距的重要原因之一。常用的图像空间建模方法往往都只能处理绝对空间信息，例如，金字塔空间匹配算法。这类算法常常要依赖于数据集的偏向性才能发挥作用，只对经过对齐处理的图像有效，而对存在较大偏移的图像甚至完全失效。

因此，鉴于只考虑绝对空间信息的算法已无法满足实际需要，我们提出了一种基于局部特征的上下文的方法来处理图像中的局部空间信息。

发明内容

为了解决现有技术存在的问题，本发明的目的是提供一种基于上下文的局部空间信息建模方法。

一种基于上下文的局部空间信息建模方法，包括步骤：

a在提取每个图像的局部特征后，提取相应的上下文特征；

b根据每个局部特征对应的视觉单词，从测试图像中随机提取局部特征分组；

c利用聚类算法，在各组局部特征对应的上下文特征集合上训练得到多组上下文模式；

d根据局部特征对应的不同上下文模式进行聚集操作，将聚集结果串联得到图像的最终表达。

本发明对于未经过对齐处理的图像，依然能够有效地处理其空间信息。在实际应用中，将该方法与现有的考虑绝对空间关系的方法相结合，还能够进一步提升图像分类精度。

附图说明

图1是基于局部特征上下文的图像分类方法流程图。

具体实施方式

以下结合附图详细说明本发明技术方案中所涉及的各个细节问题。应当指出的是，所描述的实施例仅旨在便于理解，对本发明不起任何限定作用。

基于局部特征的上下文信息，本发明实现了一个图像分类系统。传统的图像分类系统可以分为提取局部特征，训练视觉词典，表达图像，训练分类器以及执行图像分类五个部分。在此基础之上，本发明加入了提取上下文特征、训练上下文词典以及基于上下文的多次聚集这三个主要步骤，其流程图所如图1示。以下详细说明本发明的方法涉及的关键步骤。

首先，在提取每个图像的局部特征(S1)之后，提取相应的上下文特征(S3)。即提取局部特征的周围区域并将其看作一张图像，用其中的局部特征在预先训练好的视觉词典上投票，从而得到统一形式的上下文表达：

c_i＝φ(l_i，B_C)    (1)

其中，B_C表示视觉词典；φ表示位于l_i的局部特征的上下文区域的表达。

其次，根据每个局部特征所对应的视觉单词(即按照欧式距离计算最近的视觉单词)，将从测试图像中随机提取的局部特征分组(S4)。

第三，利用聚类算法(如：k近邻聚类算法、混合高斯模型聚类算法等)，在各组局部特征对应的上下文特征集合上训练得到多组上下文模式(S5)。

第四，对于所有图像，根据局部特征对应的上下文模式的不同，进行聚集操作(或多次聚集操作)并将聚集结果串联从而得到图像的最终表达(S7)：

$v={[v_1^T,v_2^T,...,v_N^T]}^T---\left(2\right)$

$v_j^T=z_j^T\·{[e_1,e_2,...,e_T]}^T---\left(3\right)$

$e_t\left(i\right)=\left\{\begin{array}{cc}1& \mathrm{if}{f}_i\∈S_t\\ 0& \mathrm{else}\end{array}\right.---\left(4\right)$

其中，v_j表示与第j个视觉单词b_j相关的最终表达；z_j∈R^M表示图像中的M个局部特征对于视觉单词b_j的响应，即用视觉词典对局部特征编码的结果(S6)；S_t表示所有与第t个上下文模式p_t相对应的所有局部特征的集合；e_t∈R^M表示与S_t相关的一个权重向量。以上描述均是在使用硬投票编码方法以及求和聚集的前提下给出，与其它的编码方法(如：软投票、稀疏编码、Super-vector编码、Fisher编码等)以及聚集方法(如：最大值聚集、加权求和聚集等)对应的公式，可以通过修改公式(3)得到，此处不再赘述。

最后，将图像的最终表达作为特征送入支持向量机分类器进行训练(S8)和测试(S9)。

实施例：

为了详细说明本发明的具体实施方式，以某场景分类数据集为例说明。该数据集包含4000余张图像，分别展示了15种不同的场景。实现的系统能够根据图像的内容，给出图像所展示场景的类别标签。具体步骤如下：

从每类场景中随机挑选出100张图像，形成训练图像集。剩下的所有图片组成测试集。

步骤S1，从所有图像中以密集采样的方式提取SIFT局部特征。

步骤S2，从训练集中随机抽取出100万个局部特征，利用k近邻聚类算法学习得到一个包含1024个视觉单词的视觉词典。

步骤S3，提取每个局部特征周围区域作为其上下文区域，并以在S2中得到的视觉词典上硬投票的方式来得到上下文特征。

步骤S4，以硬投票的方式将S2中得到的100万个局部特征分配给视觉词典中的1024个视觉单词，从而形成1024组局部特征。

步骤S5，对于S4中得到的每一组局部特征，找到S3中得到的与之对应的上下文特征，并利用k近邻聚类算法对各组上下文特征得到一个包含8个上下文模式的上下文词典。

步骤S6，以在视觉词典上硬投票的方式对每张图像的局部特征分别进行编码。

步骤S7，对于每张图片的局部特征，根据其上下文特征所对应的上下文模式的不同，分别进行8次聚集操作，并将所有聚集结果与带有金字塔空间匹配的图像表达串联起来，形成最终表达。

步骤S8，将训练图像的表达送入支持向量机训练分类器。

步骤S9，将测试图像的表达送入S8中得到的分类器进行分类。

以上所述，仅为本发明的具体实施方式之一，本发明的保护范围并不局限于此。任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或者替换，都应涵盖在本发明的范围之内。因此，本发明的保护范围应以权利要求书的保护范围为准。

Claims (10)

1.一种基于上下文的局部空间信息建模方法，包括步骤：

a在提取每个图像的局部特征后，提取相应的上下文特征；

b根据每个局部特征对应的视觉单词，从测试图像中随机提取局部特征分组；

c利用聚类算法，在各组局部特征对应的上下文特征集合上训练得到多组上下文模式；

d根据局部特征对应的不同上下文模式进行聚集操作，将聚集结果串联得到图像的最终表达。

2.根据权利要求1所述的方法，其特征在于在视觉词典上以硬投票的方式得到相应的上下文特征。

3.根据权利要求1所述的方法，其特征在于以硬投票的方式将局部特征分配给视觉词典中的各个视觉单词，得到多组局部特征。

4.根据权利要求1所述的方法，其特征在于提取局部特征的周围区域并转换成统一的上下文表达。

5.根据权利要求4所述的方法，其特征在于对局部特征的上下文表达进行非监督学习从而得到局部特征的上下文模式。

6.根据权利要求1所述的方法，其特征在于对不同的视觉单词，自适应地学习不同的上下文模式。

7.根据权利要求1所述的方法，其特征在于根据局部特征对应的不同上下文模式，对局部特征进行多次聚集。

8.根据权利要求1所述的方法，其特征在于所述聚类算法包括k近邻聚类算法或混合高斯模型聚类算法。

9.根据权利要求1所述的方法，其特征在于所述步骤d采用硬投票编码方法以及求和聚集。

10.根据权利要求1所述的方法，其特征在于所述步骤d采用软投票编码方法、稀疏编码法、Super-vector编码法或Fisher编码法以及最大值聚集或加权求和聚集。

Images