CN102254194A

CN102254194A - 基于监督流形学习的场景分类方法及装置

Info

Publication number: CN102254194A
Application number: CN 201110202756
Authority: CN
Inventors: 戴琼海; 钱彦君; 刘烨斌
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2011-07-19
Filing date: 2011-07-19
Publication date: 2011-11-23
Anticipated expiration: 2031-07-19
Also published as: CN102254194B

Abstract

本发明公开了一种基于监督流形学习的场景分类方法及装置。基于监督流形学习的场景分类方法包括以下步骤：输入人工标注了场景类别的N个训练图像，其中场景类别为C个；提取N个训练图像的S个SIFT特征并获取由S个SIFT特征的M个聚类中心组成的码本；对于每个场景类别，将SIFT特征和码字作为节点，建立有监督的谱图G＝(V，E)并获取与V对应的权重矩阵；获取每个流形结构上的各个SIFT特征到M个码字的度量；输入新的训练图像或测试图像；获取新的训练图像或测试图像上的SIFT特征到M个码字的度量；计算新的训练图像或测试图像上的SIFT特征到M个码字的隶属度并得到C个直方图向量；以及利用支持向量机对C个直方图向量进行学习，得到每个场景类别的判断模型。

Description

基于监督流形学习的场景分类方法及装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于监督流形学习的场景分类方法及装置。

背景技术

场景分类时利用机器学习方法，得到图片所代表的场景类别。它在场景识别中有非常重要的作用。场景识别的应用领域主要在为遥感图像解释、目标识别和理解、基于内容和图像和视频检索。

现有场景分类做法是，对于每一幅图片，提取出一个向量(也就是1*n的数组)来表示它。然后把训练图片的向量和其类别送入SVM(支持向量机)进行训练，得到每个场景类别的分类器。对于测试图像，也提取出相应的向量，根据训练得到的分类器获得它的场景类别。但是传统的软分配、硬分配算法，都没有考虑高维图像特征点的流形特征。流形计算的效率很差，而且如何建立数据的流形结构也是一个问题。采用谱图分配的方法可以显著的提高算法的准确度，但是，谱图算法需要对拉普拉斯矩阵求逆，使得算法的效率不如传统的线性分配方法。并且统计图像的直方图向量较短，识别率较差。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。为此，本发明需要提供一种基于监督流形学习的场景分类方法及装置，该基于监督流形学习的场景分类方法及装置的优点是：提高了基于谱图分析的码字分配算法的效率，得到了较长的图片直方图向量结果并提高了算法的准确度。

根据本发明的一方面，提供了一种基于监督流形学习的场景分类方法，其特征在于，包括以下步骤：1)输入人工标注了场景类别的N个训练图像，其中场景类别为C个，N是大于等于1的整数；2)提取所述N个训练图像的S个SIFT特征并获取由所述S个SIFT特征的M个聚类中心组成的码本，其中每个聚类中心是一个码字，其中S是大于等于N的整数；3)对于每个场景类别，将SIFT特征和码字作为节点，建立有监督的谱图G＝（V，E)并获取与V对应的权重矩阵W，所述权重矩阵W用于表示与每个场景类别对应的流形结构，V是谱图中所有节点的集合，E是节点间相邻边的集合；4)获取每个流形结构上的各个SIFT特征到所述M个码字的度量；5)输入新的训练图像或测试图像；6)获取所述新的训练图像或测试图像上的SIFT特征在C个流形结构上到所述M个码字的度量；7)计算所述新的训练图像或测试图像上的SIFT特征到所述M个码字的隶属度并得到C个直方图向量；以及8)利用支持向量机对所述C个直方图向量进行学习，得到每个场景类别的判断模型。

根据本发明实施例的基于监督流形学习的场景分类方法，可以提高基于谱图分析的码字分配算法的效率并提高算法的准确度。

根据本发明的一个实施例，在所述步骤2)中利用K-means算法将所述S个SIFT特征聚类。

根据本发明的一个实施例，步骤3)包括以下步骤：31)计算两两节点之间的欧式距离；32)根据计算的距离，找到每一个节点的K近邻；33)构建与每个节点对应的权重矩阵W，用于表示节点之间的关系，所述权重矩阵W表达如下：

根据本发明的一个实施例，步骤4)包括：使用测地距离或者扩散图获取每个流形结构上的各个SIFT特征到所述M个码字的度量，其中度量越小则相似程度越大，度量越大则相似程度越小。

根据本发明的一个实施例，所述步骤6)包括：对于所述新的训练图像或测试图像上的每个SIFT特征，在每个流形结构上，找到离所述每个SIFT特征最近的SIFT特征，利用所述最近的SIFT特征到所述M个码字的度量，进行线性插值，从而得到所述每个SIFT特征到所述M个码字的度量。根据本发明实施例所述的监督流形学习的场景分类方法，可以提高算法的效率。

根据本发明的一个实施例，所述步骤7)包括：对所述度量利用负指数函数进行惩罚，得到相应的隶属度。

根据本发明的一个实施例，所述步骤7)包括根据预定顺序把所述C个直方图向量拼接起来，所述步骤8)包括利用支持向量机对拼接起来的C个直方图向量进行学习，得到每个场景类别的判断模型。根据本发明实施例所述的监督流形学习的场景分类方法，可以加长直方图向量，增加识别率。

根据本发明的另一方面，提供了一种基于监督流形学习的场景分类装置，包括：输入模块，所述输入模块用于输入人工标注了场景类别的N个训练图像，其中场景类别为C个，所述输入模块还用于输入新的训练图像或测试图像，其中N是大于等于1的整数；码本获取模块，所述码本获取模块用于提取所述N个训练图像的S个SIFT特征并获取由所述S个SIFT特征的M个聚类中心组成的码本，其中每个聚类中心是一个码字，其中S是大于等于N的整数；权重矩阵构建模块，对于每个场景类别，所述矩阵构建模块用于将SIFT特征和码字作为节点，建立有监督的谱图G＝(V，E)并获取与V对应的权重矩阵W，所述权重矩阵W用于表示与每个场景类别对应的流形结构，V是谱图中所有节点的集合，E是节点间相邻边的集合；度量获取模块，所述度量获取模块用于获取每个流形结构上的各个SIFT特征到所述M个码字的度量；隶属度计算模块，所述隶属度计算模块计算所述新的训练图像或测试图像上的SIFT特征到所述M个码字的隶属度并得到C个直方图向量；以及判断模型获取模块，所述判断模型获取模块利用支持向量机对所述C个直方图向量进行学习，得到每个场景类别的判断模型。

根据本发明实施例的基于监督流形学习的场景分类装置，可以提高基于谱图分析的码字分配算法的效率并提高算法的准确度。

根据本发明的一个实施例，所述码本获取模块利用K-means算法将所述S个SIFT特征聚类。

根据本发明的一个实施例，所述矩阵构建模块进一步用于：计算两两节点之间的欧式距离；根据计算的距离，找到每一个节点的K近邻；构建与每个节点对应的权重矩阵W，用于表示节点之间的关系，所述权重矩阵W表达如下：

根据本发明的一个实施例，所述度量获取模块进一步用于：使用测地距离或者扩散图获取每个流形结构上的各个SIFT特征到所述M个码字的度量，其中度量越小则相似程度越大，度量越大则相似程度越小。

根据本发明的一个实施例，所述度量模块进一步用于：对于所述新的训练图像或测试图像上的每个SIFT特征，在每个流形结构上，找到离所述每个SIFT特征最近的SIFT特征，利用所述最近的SIFT特征到所述M个码字的度量，进行线性插值，从而得到所述每个SIFT特征到所述M个码字的度量。根据本发明实施例所述的监督流形学习的场景分类装置，可以提高算法的效率。

根据本发明的一个实施例，所述隶属度计算模块进一步用于：对所述度量利用负指数函数进行惩罚，得到相应的隶属度。

根据本发明的一个实施例，所述隶属度计算模块进一步用于根据预定顺序把所述C个直方图向量拼接起来；所述判断模型获取模块进一步用于利用支持向量机对拼接起来的C个直方图向量进行学习，得到每个场景类别的判断模型。根据本发明实施例所述的监督流形学习的场景分类装置，可以加长直方图向量，增加识别率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于监督流形学习的场景分类方法的流程图；

图2是根据本发明一个实施例的构建权重矩阵的方法的流程图；以及

图3是根据本发明实施例的基于监督流形学习的场景分类装置的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

需要说明的是，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。进一步地，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

下面参考附图描述本发明的具体实施例。

图1是根据本发明一个实施例的基于监督流形学习的场景分类方法的流程图。如图1所示，基于监督流形学习的场景分类方法包括下述步骤。

步骤S101，输入人工标注了场景类别的N个训练图像，其中场景类别为C个，N是大于等于1的整数。

步骤S102，提取N个训练图像的S个SIFT(尺度不变特征转换)特征并获取由S个SIFT特征的M个聚类中心组成的码本，其中每个聚类中心是一个码字，其中S是大于等于N的整数。可以利用K-means算法将S个SIFT特征聚类。如果SIFT特征数目过多，可以采取平均采样的方式减少参与流形建立的SIFT特征点，从而降低运算量。

步骤S103，对于每个场景类别，将SIFT特征和码字作为节点，建立有监督的谱图G＝(V，E)并获取与V对应的权重矩阵W，权重矩阵W用于表示与每个场景类别对应的流形结构。其中V是谱图中所有节点的集合，E是节点间相邻边的集合。

图2是根据本发明一个实施例的构建权重矩阵的方法的流程图。如图2所示，构建权重矩阵的方法包括以下步骤：

步骤S201，计算两两节点之间的欧式距离。

步骤S202，根据计算的距离，找到每一个节点的K近邻。

步骤S203，构建与每个节点对应的权重矩阵W，用于表示节点之间的关系，所述权重矩阵W表达如下：

也可以利用加权K近邻的方式来构建权重矩阵。例如在使用测地距离时，可以利用距离给近邻的点赋值；在采用扩散图时，可以使用欧氏距离的负指数函数给近邻点赋值。

步骤S104，获取每个流形结构上的各个SIFT特征到M个码字的度量。当使用测地距离或者扩散图获取每个流形结构上的各个SIFT特征到M个码字的度量时，度量越小则相似程度越大，度量越大则相似程度越小。

步骤S105，输入新的训练图像或测试图像。

步骤S106，获取新的训练图像或测试图像上的SIFT特征到M个码字的度量。对于新的训练图像或测试图像上的每个SIFT特征，在每个流形结构上，找到离每个SIFT特征最近的SIFT特征，利用最近的SIFT特征到M个码字的度量，进行线性插值，从而得到在每个流形结构上，每个SIFT特征到M个码字的度量。

步骤S107，计算新的训练图像或测试图像上的SIFT特征到M个码字的隶属度并得到C个直方图向量，其中每个直方图向量的长度是M。其中对度量利用负指数函数进行惩罚，得到相应的隶属度，并且根据预定顺序把C个直方图向量拼接起来，得到监督谱图分配的直方图。为了方便下一步处理，还可以对监督谱图分配的直方图进行归一化处理。

步骤S108，利用支持向量机对C个直方图向量进行学习，得到每个场景类别的判断模型。

在得到每个场景类别的判断模型之后，如果输入查询图片的直方图向量，利用该判别模型进行投票，获得票数最多的类别即为场景分类的结果。

根据本发明实施例的基于监督流形学习的场景分类方法，利用每一场景类别的所有训练图片的SIFT特征点建立每类场景类别对应的流形结构可以更好地挖掘数据的特性；建立好流形结构之后，利用线性插值的算法得到各个特征在每一个流形上对于码字的度量，大大提高了算法效率。同时根据本发明实施例的基于监督流形学习的场景分类方法，还得到了较长的图片直方图向量结果并提高了算法的准确度。

图3是根据本发明实施例的基于监督流形学习的场景分类装置的示意图。如图3所示，基于监督流形学习的场景分类装置10包括：输入模块110，码本获取模块120，权重矩阵构建模块130，度量获取模块140，隶属度计算模块150以及判断模型获取模块160。

具体地，输入模块110用于输入人工标注了场景类别的N个训练图像，其中场景类别为C个，输入模块110还用于输入新的训练图像或测试图像，其中N是大于等于1的整数。码本获取模块120用于提取N个训练图像的S个SIFT特征并获取由S个SIFT特征的M个聚类中心组成的码本，其中每个聚类中心是一个码字，其中S是大于等于N的整数。对于每个场景类别，权重矩阵构建模块130用于将SIFT特征和码字作为节点，建立有监督的谱图G＝(V，E)并获取与V对应的权重矩阵W，权重矩阵W用于表示与每个场景类别对应的流形结构，V是谱图中所有节点的集合，E是节点间相邻边的集合。度量获取模块140用于获取每个流形结构上的各个SIFT特征到M个码字的度量。隶属度计算模块150计算新的训练图像或测试图像上的SIFT特征到M个码字的隶属度并得到C个直方图向量。判断模型获取模块160利用支持向量机对C个直方图向量进行学习，得到每个场景类别的判断模型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims

1.一种基于监督流形学习的场景分类方法，其特征在于，包括以下步骤：

1)输入人工标注了场景类别的N个训练图像，其中场景类别为C个，N是大于等于1的整数；

2)提取所述N个训练图像的S个SIFT特征并获取由所述S个SIFT特征的M个聚类中心组成的码本，其中每个聚类中心是一个码字，其中S是大于等于N的整数；

3)对于每个场景类别，将SIFT特征和码字作为节点，建立有监督的谱图G＝（V，E)并获取与V对应的权重矩阵W，所述权重矩阵W用于表示与每个场景类别对应的流形结构，V是谱图中所有节点的集合，E是节点间相邻边的集合；

4)获取每个流形结构上的各个SIFT特征到所述M个码字的度量；

5)输入新的训练图像或测试图像；

6)获取所述新的训练图像或测试图像上的SIFT特征在C个流形结构上到所述M个码字的度量；

7)计算所述新的训练图像或测试图像上的SIFT特征到所述M个码字的隶属度并得到C个直方图向量；以及

8)利用支持向量机对所述C个直方图向量进行学习，得到每个场景类别的判断模型。

2.根据权利要求1所述的基于监督流形学习的场景分类方法，其特征在于，在所述步骤2)中利用K-means算法将所述S个SIFT特征聚类。

3.根据权利要求1所述的基于监督流形学习的场景分类方法，其特征在于，步骤3)包括以下步骤：

31)计算两两节点之间的欧式距离；

32)根据计算的距离，找到每一个节点的K近邻；

33)构建与每个节点对应的权重矩阵W，用于表示节点之间的关系，所述权重矩阵W表达如下：

4.根据权利要求1所述的基于监督流形学习的场景分类方法，其特征在于，步骤4)包括：

使用测地距离或者扩散图获取每个流形结构上的各个SIFT特征到所述M个码字的度量，其中度量越小则相似程度越大，度量越大则相似程度越小。

5.根据权利要求4所述的基于监督流形学习的场景分类方法，其特征在于，所述步骤6)包括：对于所述新的训练图像或测试图像上的每个SIFT特征，在每个流形结构上，找到离所述每个SIFT特征最近的SIFT特征，利用所述最近的SIFT特征到所述M个码字的度量，进行线性插值，从而得到所述每个SIFT特征到所述M个码字的度量。

6.根据权利要求1所述的基于监督流形学习的场景分类方法，其特征在于，所述步骤7)包括：对所述度量利用负指数函数进行惩罚，得到相应的隶属度。

7.根据权利要求1所述的基于监督流形学习的场景分类方法，其特征在于，所述步骤7)包括根据预定顺序把所述C个直方图向量拼接起来，所述步骤8)包括利用支持向量机对拼接起来的C个直方图向量进行学习，得到每个场景类别的判断模型。

8.一种基于监督流形学习的场景分类装置，其特征在于，包括：

输入模块，所述输入模块用于输入人工标注了场景类别的N个训练图像，其中场景类别为C个，所述输入模块还用于输入新的训练图像或测试图像，其中N是大于等于1的整数；

码本获取模块，所述码本获取模块用于提取所述N个训练图像的S个SIFT特征并获取由所述S个SIFT特征的M个聚类中心组成的码本，其中每个聚类中心是一个码字，其中S是大于等于N的整数；

权重矩阵构建模块，对于每个场景类别，所述矩阵构建模块用于将SIFT特征和码字作为节点，建立有监督的谱图G＝(V，E)并获取与V对应的权重矩阵W，所述权重矩阵W用于表示与每个场景类别对应的流形结构，V是谱图中所有节点的集合，E是节点间相邻边的集合；

度量获取模块，所述度量获取模块用于获取每个流形结构上的各个SIFT特征到所述M个码字的度量；

隶属度计算模块，所述隶属度计算模块计算所述新的训练图像或测试图像上的SIFT特征到所述M个码字的隶属度并得到C个直方图向量；以及

判断模型获取模块，所述判断模型获取模块利用支持向量机对所述C个直方图向量进行学习，得到每个场景类别的判断模型。

9.根据权利要求8所述的基于监督流形学习的场景分类装置，其特征在于，所述码本获取模块利用K-means算法将所述S个SIFT特征聚类。

10.根据权利要求8所述的基于监督流形学习的场景分类装置，其特征在于，所述矩阵构建模块进一步用于：计算两两节点之间的欧式距离；根据计算的距离，找到每一个节点的K近邻；构建与每个节点对应的权重矩阵W，用于表示节点之间的关系，所述权重矩阵W表达如下：

11.根据权利要求8所述的基于监督流形学习的场景分类装置，其特征在于，所述度量获取模块进一步用于：

12.根据权利要求11所述的基于监督流形学习的场景分类装置，其特征在于，所述度量模块进一步用于：

对于所述新的训练图像或测试图像上的每个SIFT特征，在每个流形结构上，找到离所述每个SIFT特征最近的SIFT特征，利用所述最近的SIFT特征到所述M个码字的度量，进行线性插值，从而得到所述每个SIFT特征到所述M个码字的度量。

13.根据权利要求8所述的基于监督流形学习的场景分类装置，其特征在于，所述隶属度计算模块进一步用于：对所述度量利用负指数函数进行惩罚，得到相应的隶属度。

14.根据权利要求8所述的基于监督流形学习的场景分类装置，其特征在于，所述隶属度计算模块进一步用于根据预定顺序把所述C个直方图向量拼接起来；所述判断模型获取模块进一步用于利用支持向量机对拼接起来的C个直方图向量进行学习，得到每个场景类别的判断模型。