CN102542058A - 一种融合全局与局部视觉特征的层次化地标识别方法 - Google Patents

Abstract

本发明公开了一种融合全局与局部视觉特征的层次化地标识别方法，获取地标图像的高维特征向量，将高维特征向量作为地标图像的全局视觉特征；获取地标图像的局部特征；采用层级树状结构将全局视觉特征和局部特征进行存储，获取视觉特征集合；通过视觉特征集合表征每一幅图像；根据全局视觉特征x_i进行初步检索，获取第一候选图像；根据局部显著点统计特征v_i对第一候选图像进行进一步检索，获取第二候选图像；根据局部显著点特征集y_i对第二候选图像进行再一步检索，获取最终候选图像，反馈给用户。本方法快速准确的实现待识别图像的检索，满足用户便捷的信息获取的需求，并且通过去除一些误匹配点，提高地标识别的准确度、降低了地标识别的复杂度。

Description

一种融合全局与局部视觉特征的层次化地标识别方法

技术领域

本发明涉及图像检索领域，特别涉及一种融合全局与局部视觉特征的层次化地标识别方法。

背景技术

近年来，随着旅游行业的飞速发展，便捷的旅游导航设备成为用户不可缺少的工具。通常，用户在旅游中面对一个景点位置，不仅需要知道该景点的地标名称，还需要了解其相关信息。但是，传统的基于卫星的GPS定位系统往往仅能提供定位其内置的地理信息的功能，其定位精度和扩展性都存在严重的局限性，无法满足用户的个性化需求。因此，针对不同旅游景区建立个性化的景点的地标识别方法成为亟待解决的问题，从而使得用户可以根据个人需求输入对景点的描述，自动反馈景点的位置和相关信息。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

1)为了实现准确的地标识别，用户输入的景点描述信息是一个重要的因素。现有技术中的地标识别方法均是输入对事物的文字描述信息，但是文字信息所包含的信息十分有限，并且不同用户对同一事物的描述也多种多样，严重限制了地标识别的准确度，增加了地标识别的复杂度，无法满足实际应用中的需要；

2)尽管新兴的图像检索相关研究已经开展多年，但是如何有效的提取、组织以及综合利用图像的高维特征从而实现快速准确的检索仍然是一个亟待解决的问题。

发明内容

本发明提供了一种融合全局与局部视觉特征的层次化地标识别方法，该方法提高了地标识别的准确度、降低了地标识别的复杂度，详见下文描述：

一种融合全局与局部视觉特征的层次化地标识别方法，所述方法包括以下步骤：

(1)提取地标图像的全局颜色特征、全局纹理特征和全局形状特征，对所述全局颜色特征、所述全局纹理特征和所述全局形状特征进行处理，获取地标图像的高维特征向量，将所述高维特征向量作为地标图像的全局视觉特征x_i；

(2)获取地标图像的局部特征，其中，所述局部特征包括：局部显著点特征集y_i和局部显著点统计特征v_i；

(3)采用层级树状结构将所述全局视觉特征和所述局部特征进行存储，获取视觉特征集合{x_i，y_i，v_i，1≤i≤N}；

(4)通过所述视觉特征集合{x_i，y_i，v_i，1≤i≤N}表征每一幅图像；

(5)根据所述全局视觉特征进行初步检索，获取第一候选图像；

(6)根据所述局部显著点统计特征v_i对所述第一候选图像进行进一步检索，获取第二候选图像；

(7)根据所述局部显著点特征集y_i对所述第二候选图像进行再一步检索，获取最终候选图像，反馈给用户。

所述获取地标图像的局部特征具体包括：

1)采取SIFT方法提取地标图像中表征地标图像显著特性的点，并将所述显著特性的点通过SIFT描述子表征成128维特征s_i；

2)将每幅地标图像所有的128维特征s_i构成所述局部显著点特征集y_i＝{s_i，1≤i≤M}，其中，M表示地标图像共有M个显著点，M的取值为正整数；

3)将数据库中所有地标图像包含的所述局部显著点特征集{y_j，1≤j≤P}用聚类方法进行聚类，将每个聚类中心视为视觉关键词，其中，P表示数据库中地标图像的个数，P的取值为正整数；

4)根据所述视觉关键词构建视觉关键词表，计算每个地标图像中提取的局部显著点对应的128维特征s_i与各聚类中心的欧式距离，并将所述局部显著点类别指定为所计算欧式距离最小的类；

5)计算所述视觉关键词表中的每个视觉关键词的权重，分别统计每个视觉关键词在特定文档中的频率TF和在文档集中的逆文档频率IDF；

6)将所述逆文档频率IDF进行排序，删除小于特定阈值的视觉关键词，获取最终视觉关键词表；

7)根据所述最终视觉关键词表获取视觉关键词的向量空间模型，将所述向量空间模型作为所述局部显著点统计特征v_i。

所述局部显著点统计特征v_i，

v_i＝(t₁，t₂，...，t_n)^T，其中t_i＝tf_id×idf_i，

i＝1，2，...，n；d＝1，2，...，N，

i＝1，2，...，n，

其中，n为视觉关键词表中视觉关键词的个数，N为整个文档集中的文档数，n_id为第i类视觉关键词在文档d中的出现次数，n_d为文档d中视觉关键词的总数，n_i表示第i类视觉关键词在整个文档集中的出现文档个数。

所述根据所述全局视觉特征进行初步检索，获取第一候选图像具体为：

将所述地标图像的全局视觉特征与树结构存储中各类中心图像的全局视觉特征计算欧式距离，选择欧式距离最小的前t类作为后续检索的第一候选图像，其中，k表示类的个数，k和t的取值为正整数。

所述根据所述局部显著点统计特征v_i对所述第一候选图像进行进一步检索，获取第二候选图像具体为：

将所述局部统计特征与树结构存储中各类中心图像的局部统计特征

计算欧式距离，选择欧式距离最小的r类作为后续图像匹配的第二候选图像，其中，t表示第一候选图像，r和t的取值为正整数，t＞r。

所述根据所述局部显著点特征集y_i对所述第二候选图像进行再一步检索，获取最终候选图像，反馈给用户具体为：

1)设经过所述第二候选图像保留下来的第j类地标图像类共包含k_j个图像，将待检索图像与这k_j个图像分别进行显著点匹配；

2)选取所述待检索图像中的第一显著点，在图像q，q∈k_j中找出与所述第一显著点欧式距离最近的两个关键点，记为第一关键点和第二关键点，最近距离记为第一距离，次近距离记为第二距离；

3)判断所述第一距离与所述第二距离之比是否小于经验性阈值，如果是，则将所述第一显著点和所述第一关键点作为匹配点，如果否，则表示所述待检索图像中所述第一显著点在图像q中无匹配点，然后，对所述待检索图像中的其他显著点重复步骤2)和步骤3)，查找匹配点；

4)获取待检索图像与每类中的各幅图像所拥有的匹配点个数；

5)去除误匹配点；

6)计算各图像类中匹配点数的总和，将匹配点数最多的一类判定为待检索图像所属的类别，获取所述最终候选图像，将所述最终候选图像反馈给用户。

本发明提供的技术方案的有益效果是：

本发明提供了一种融合全局与局部视觉特征的层次化地标识别方法，本方法通过地标图像的全局视觉特征x_i、地标图像的局部显著点特征y_i和局部显著点统计特征v_i在数据库中对图像进行层级化的检索、识别，最终获取到和地标图像匹配度最高的最终图像，本方法可以快速准确的实现待检测图像的检索，从而满足用户便捷的信息获取的需求，并且通过去除一些误匹配点，提高了地标识别的准确度、降低了地标识别的复杂度，满足了实际应用中的需要。

附图说明

图1为本发明提供的融合全局与局部视觉特征的层次化地标识别的结构示意图；

图2为本发明提供的将地标图像平均划分为4×4的小块的示意图；

图3为本发明提供的对某类地标进行二级树结构存储的示意图；

图4为本发明提供的一种融合全局与局部视觉特征的层次化地标识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提高地标识别的准确度、降低地标识别的复杂度，本发明实施例提供了一种融合全局与局部视觉特征的层次化地标识别方法，详见下文描述：

众所周知，图像与文字信息相比对事物的描述更丰富和客观，因此通过输入待查询景点的地标图像，通过挖掘图像本身的特征来进行地标识别则是更好的方法。本发明实施例将采用基于图像内容信息的方法实现地标识别，其核心问题在于：1)图像特征提取：由于用户采集地标图像时角度、旋转、光线、图像格式和分辨率等多样因素的不同，使得被输入的图像与检索系统已存储的数据库在视觉上存在差异，因此通过提取图像多样视觉特征实现对图像的多方面的表征，以及提取独立于这些外因影响的视觉特征实现对地标的准确识别非常重要；2)检索策略：该检索方法不仅要能够实现准确的地标检索，还需要实现快速的反馈，以满足用户便捷的信息获取的需求。针对上述问题，本发明实施例提出了一种融合全局与局部视觉特征的层次化地标识别方法，其系统框图如图1所示，参见图4，该方法包括以下步骤，详见下文描述：

101：提取地标图像的全局颜色特征、全局纹理特征和全局形状特征，对全局颜色特征、全局纹理特征和全局形状特征进行处理，获取地标图像的高维特征向量，将高维特征向量作为地标图像的全局视觉特征；

其中，该步骤具体为：为了实现对地标图像的多信息表征，综合运用和提取了地标图像的多类全局视觉特征。

地标图像的全局视觉特征：可以从多角度表示图像视觉特征，通常包括地标图像的全局颜色、全局纹理和全局形状特征。

其中，全局颜色特征的提取可以对整幅地标图像(或者将地标图像平均分成若干子块)提取颜色直方图和颜色矩等特征，然后将整幅图像(或者各子块)的各类特征串联起来形成高维向量作为对该地标图像的全局颜色特征表示，具体实现时，本发明实施例对此不做限制，以下给出一个具体参考实施方案，详见下文描述：

1)在RGB空间中，每个像素对应一个三维向量，分别表示所在点的红、绿和蓝分量，将三维向量分别进行等级量化，将三维向量转换成一个0到(S-1)之间的整数值，每个整数值代表一个颜色分段，其中，S的取值为大于1的正整数；

其中，本发明实施例以S的取值为32为例，进行说明。

2)将地标图像平均划分为4×4的小块，组合为5个大的分块A、B、C、D和E，ABCD分别对应上、左、下和右四个部分，E对应中间部分；

参见图2，将地标图像平均划分为4×4的小块，然后组合为5个大的分块，分别对应上下左右和中间部分(ABCD分别对应上、左、下和右四个部分，E对应中间部分，粗线条表示这些大的分块的边界)。

3)上下左右四个板块各提取3维的颜色一阶矩、颜色二阶矩和颜色三阶矩，中间板块提取量化为S级的颜色直方图，将每个地标图像所有颜色特征结合起来行成颜色高维向量，表征地标图像的全局颜色特征。

其中，全局纹理特征的提取和全局形状特征的提取可以采用现有技术中通用的方法，例如：参考文献[1]和[2]中记录的方法，具体实现时，本发明实施例对此不做限制。

将上述三类全局颜色特征、全局纹理特征和全局形状特征结合起来行成高维向量x_i，来表征该地标图像的全局视觉特征。

102：获取地标图像的局部特征；

其中，地标图像的局部特征更有利于描述地标图像局部区域的视觉显著性，有利于地标图像的精确匹配。本发明实施例采用对尺度、旋转和光照等外界因素具有鲁棒性的时空特征点检测和描述方法——SIFT(Scale Invariant FeatureTransform，尺度不变特征变换)”对地标图像中显著点进行提取和表征，获取地标图像的局部特征，其中，地标图像的局部特征包括：局部显著点特征集y_i和局部显著点统计特征v_i，该步骤具体包括：

1)采取SIFT方法提取地标图像中表征地标图像显著特性的点，并将显著特性的点通过SIFT描述子表征成128维特征s_i；

其中，具有空间显著特性的点及其SIFT描述被用作地标图像的局部特征，具体方法可以采用现有技术中通用的方法，例如：参考文献[3]中记录的方法，具体实现时，本发明实施例对此不做限制。

2)将每幅地标图像所有的128维特征s_i构成局部显著点特征集y_i＝{s_i，1≤i≤M}；

其中，M表示地标图像共有M个显著点，M的取值为正整数，构成局部显著点特征集y_i＝{s_i，1≤i≤M}。

3)将数据库中所有地标图像包含的显著点特征集{y_j，1≤j≤P}(其中P表示数据库中图像个数，P的取值为正整数)用聚类方法进行聚类，将每个聚类中心视为视觉关键词；

其中，聚类方法可以采用现有技术中通用的方法(如K均值聚类和谱聚类等)，本发明实施例中以K均值聚类为例进行说明，例如：参考文献[4]中的方法，具体实现时，本发明实施例对此不做限制。

4)根据视觉关键词构建视觉关键词表，计算每个地标图像中提取的局部显著点对应的128维特征s_i与各聚类中心的欧式距离，并将该局部显著点类别指定为所计算距离最小的类；

其中，该步骤具体为：在提取局部显著点的基础上，为了更加精简的表征地标图像特征，构建视觉关键词表，并采取视觉关键词的向量空间模型来表示地标图像的局部统计特征。将数据库中所有地标图像包含的显著点进行聚类，生成视觉关键词表，并采用类似文本检索的方法，将每一地标图像看成一个文档，将所有地标图像看成文档集，并统计所有文档中每个显著点在文档集中的TF×IDF权重，以实现视觉关键词的特征提取，具体步骤如下：

5)计算视觉关键词表中的每个视觉关键词的权重，分别统计每个视觉关键词在特定文档中的频率TF和在文档集中的逆文档频率IDF；

假设视觉关键词表共有n个视觉关键词，N为整个文档集中的文档数，n_id表示第i类视觉关键词在文档d中的出现次数，n_d表示文档d中视觉关键词的总数；n_i表示第i类视觉关键词在整个文档集中的出现文档个数，则：

TF的计算公式为：

${\mathrm{tf}}_{\mathrm{id}}=\frac{n_{\mathrm{id}}}{n_d},$ i＝1，2，...，n；d＝1，2，...，N

IDF的计算公式为：

${\mathrm{idf}}_i=\frac{N}{n_i},$ i＝1，2，...，n

其中，特定文档是指：每个待检索图像。

6)将逆文档频率IDF进行排序，删除小于特定阈值的视觉关键词，获取最终视觉关键词表；

其中，本发明实施例中以特定阈值的取值为0.1为例进行说明，具体实现时，本发明实施例对此不做限制。

其中，某些视觉关键词的逆文档频率IDF值较小，表示这些视觉关键词几乎在每个关键帧中都会出现，它们对于地标图像特征表示并没有代表性，应予以剔除，这类似于文本检索中的去除停用词(Stop list)。小于特定阈值Th1的视觉关键词为视觉停用词，因此，将逆文档频率IDF排序后，去除逆文档频率IDF小于特定阈值Th1的视觉停用词来生成最终的视觉关键词表。

其中，将逆文档频率IDF进行排序，可以采用由低到高，或由高到低的顺序进行排序，具体实现时，本发明实施例对此不做限制。

7)根据最终视觉关键词表获取视觉关键词的向量空间模型v_i，将向量空间模型v_i作为地标图像的局部显著点统计特征v_i。

其中，假设最终视觉关键词表中共有n个视觉关键词，对于文档d，表示为v_i＝(t₁，t₂，...，t_n)^T，其中t_i＝tf_id×idf_i。

103：采用层级树状结构将全局视觉特征和局部特征进行存储，获取视觉特征组成集合{x_i，y_i，v_i，1≤i≤N}；

其中，为了便于数据存储和检索，有序的数据存储十分重要。采用层级树状结构对上述提取的全局视觉特征和局部特征进行存储。对包含同一地标的各图像通过上述方法提取视觉特征集合{x_i，y_i，v_i，1≤i≤N}，即：每个地标图像包含全局视觉特征x_i、局部显著点特征集y_i以及局部显著点统计特征v_i，并采用二级树状结构进行存储，如图3所示。通过主观任意选取该地标类别中所有地标图像中任意一幅作为类中心，将其作为二级树结构的根节点，其余地标图像作为叶节点。根节点存储其视觉特征组合{x_i，y_i，v_i}以及该类其他地标图像的标号，各叶节点存储其视觉特征组合{x_i，y_i，v_i}以及它所属类别的类中心图像标号。

104：通过视觉特征组成集合{x_i，y_i，v_i，1≤i≤N}表征每一幅图像；

105：根据全局视觉特征进行初步检索，获取第一候选图像；

为了对输入的待检索地标进行准确识别，最可靠的方法是将该地标图像中所有显著点与数据库中各图像所包含的显著点分别进行匹配，得到的匹配点数最多的图像可以被判定为与待识别地标最接近的图像，从而实现对待输入地标的检索。但是，借助上述介绍的SIFT显著点提取方法对一幅图像提取显著点通常可以多达几百甚至上千个点，并且所构建的数据库通常包含大量图像数据，因此通过两两比对图像相似度来进行检索，使得计算复杂度极高，根本无法满足用户便捷信息获取的需求。因此，本发明实施例提出了层次化的检索方法。本方法所提取的地标图像的全局视觉特征包括颜色、纹理和形状三类特征，能够从整体的角度很好的表征图像特性，因此可以用于作为初步检索，以减小后续进一步检索的范围。

其中，该步骤具体为：将全局视觉特征x_test与树结构存储中各类中心图像的全局视觉特征

(k表示共有k类)计算欧式距离，选择距离最小的前t类作为后续检索的第一候选图像，其中，k表示类的个数，k和t的取值为正整数。

其中，参数t的选取可以根据实际应用中的需求设定，本发明实施例中的参考值为k/10(比如数据库中已存储了1000类地标的图像，则通过该步后选取100类候选图像用于后续检索)。

106：根据局部显著点统计特征v_i对第一候选图像进行进一步检索，获取第二候选图像；

地标图像的局部特征包含了局部显著点统计特征v_i，能够兼顾图像局部和整体特征，因此可以用于对第一候选图像进行进一步检索，以进一步减小后续图像的匹配范围。

其中，该步骤具体为：将地标图像的局部统计特征v_test与树结构存储中各类中心图像的局部统计特征

(t表示第一候选图像)计算欧式距离，选择距离最小的r类作为后续图像匹配的第二候选图像，其中，t表示第一候选图像，r和t的取值为正整数，t＞r。

其中参数r的选取可以根据实际应用中的需求设定，本发明实施例中的参考值为5类。由于因为所构建系统包含地标类别通常在千级的数量，所以上一步保存的类别数t往往远大于这一步保存的类别数r，即t＞r，从而为后续图像匹配进一步缩小范围。

107：根据局部显著点特征y_i对第二候选图像进行再一步检索，获取最终候选图像，反馈给用户。

其中，利用局部显著点特征y_i进行再一步图像匹配，以实现精确的地标识别。

首先，第二候选图像采用特征点SIFT描述子集合y_i＝{s_i，1≤i≤M}(其中，各第二候选图像所包含显著点数通常不同，因此对于不同第二候选图像M值通常是不同的)，被保留下来的第二候选图像也采用相同方式进行表示，用户输入的待检索图像也采用相同方式进行表示，分别将待检测图像与第二候选图像中各类地标图像的二级树结构中根节点和叶节点(如图3所示)对应的所有图像进行匹配，来计算待检索图像与第二候选图像中各类地标图像类的相似度，选择相似度最高的一类作为最终候选图像反馈给用户，其中该步骤具体包括：

1)设经过第二候选图像保留下来的第j类地标图像类共包含k_j个图像，将待检索图像与这k_j个图像分别进行显著点匹配；

2)选取待检索图像中的第一显著点，在图像q(q∈k_j)中找出与第一显著点欧式距离最近的两个关键点，记为第一关键点和第二关键点，最近距离记为第一距离，次近距离记为第二距离；

3)判断第一距离与第二距离之比是否小于经验性阈值，如果是，则将第一显著点和第一关键点作为匹配点，如果否，则表示待检索图像中的该第一显著点在图像q中无匹配点，然后，对待检索图像中的其他显著点重复步骤2)和步骤3)，查找匹配点；

其中，本发明实施例中的经验性阈值以0.8为例进行说明，若比值小于0.8，则将第一显著点与第一关键点作为匹配点，系统接受这一对匹配点。重复执行步骤2)和步骤3)，直到对待检索图像中的所有显著点都匹配完，获取多个匹配点，该步骤107结束。

4)获取待检索图像与每类中的各幅图像所拥有的匹配点个数；

5)去除误匹配点；

由于仅采用步骤107中描述的通过SIFT点匹配会存在很多误匹配点，因此本方法还需进一步去除误匹配点。本发明实例采用随机取样一致性方法对误匹配点进行去除，具体方法可以参见参考文献[5]。具体实现时，还可以采用其他的方法来去除误匹配点，具体实现时，本发明实施例对此不做限制。

6)计算各图像类中匹配点数的总和，将匹配点数最多的一类判定为待检索图像所属的类别，获取最终候选图像，将最终候选图像反馈给用户。

经过上述层级化的检索，可以快速准确的实现地标图像的检索，从而满足用户便捷的信息获取的需求。

下面以一个具体的试验来验证本发明实施例提供的一种融合全局与局部视觉特征的层次化地标识别方法的可行性，详见下文描述：

数据库包括天津市水上公园内各建筑物剪影共3000张(共有100处景点，每个景点30张)，数据采集综合考虑到光照、旋转和仿射等因素影响，所以分别在不同时间点，不同角度进行数据的采集。然后，对数据库图片建立二级树状结构索引，每类图像中主观选择最理想的一幅作为根结点对应图像，其余29幅作为叶节点对应图像。在识别过程中首先借助图像全局视觉特征进行第一级检索，经过第一级检索后相似度最高的10类图像被保存作为第一候选图像；其次，借助图像局部统计特征进行第二级检索，并保存相似度最高的5类图像作为第二候选图像；最后通过图像局部显著点匹配进行第三级检索，得到相似度最高的图像类，并反馈给用户。

对每一级检索结果进行统计，判断它们是否包含待测图像正确类别，如果包括，表示检索结果正确，否则表示检索结果错误，实验结果如表1所示。

表1识别正确率

检索级数

1

2

3

正确率

98.9％

97.2％

95.3％

实验结果证明：(1)本方法能准确检索出在不同尺度缩放情况下的地标；(2)本方法对地标的平移有很好的检索效果；(3)本方法对不同视角下的同一地标能够精确识别；(4)本方法对不同光照或背景下的地标识别也表现出稳定性。

经实验比较，在配置为CPU主频2.0G，内存2.0G的计算机上，分辨率为352×288的图像通过本发明实施例提供的方法进行检索平均处理时间约为0.3分钟，满足用户快速信息获取的需求；如果直接采用第三级检索方法，将待检测图像与数据库中所有图像所包含显著点进行匹配然后将匹配点数最高的图像所属类别反馈给用户，则平均需要4.5分钟。因此，本发明实施例提供的方法显著地降低了计算复杂度，并大幅度地提高了检索速度。

综上所述，本发明实施例提供了一种融合全局与局部视觉特征的层次化地标识别方法，本发明实施例通过地标图像的全局视觉特征x_i、地标图像的局部显著点特征y_i和局部显著点统计特征v_i在数据库中对图像进行层级化的检索，最终获取到和地标图像匹配度最高的最终图像，本方法可以快速准确的实现待检测图像的检索，从而满足用户便捷的信息获取的需求，并且通过去除一些误匹配点，提高了地标识别的准确度、降低了地标识别的复杂度，满足了实际应用中的需要。

参考文献

[1]Chengjun Liu，Wechsler，H.，“Gabor feature based classification using theenhanced fisher linear discriminant model for face recognition，”IEEE Transactionson Image Processing，Vol：11(4)，pp：467～476，Apr.2002.

[2]Navneet Dalal，Bill Triggs，“Histograms of Oriented Gradients for HumanDetection，”International Conference on Computer Vision&Pattern Recognition，Jun.2005.

[3]Lowe，D.G.，“Distinctive Image Features from Scale-Invariant Keypoints”，International Journal of Computer Vision，60，2，pp.91-110，2004.

[4]Chris Ding and Xiaofeng He.″K-means Clustering via Principal ComponentAnalysis″.Proc.of Int′l Conf.Machine Learning(ICML 2004)，pp 225-232.July2004.

[5]Martin A.Fischler and Robert C.Bolles，“Random Sample Consensus：AParadigm for Model Fitting with Applications to Image Analysis and AutomatedCartography，”Comm.of the ACM 24(6)：381-395，Jun.1981.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种融合全局与局部视觉特征的层次化地标识别方法，其特征在于，所述方法包括以下步骤：

(1)提取地标图像的全局颜色特征、全局纹理特征和全局形状特征，对所述全局颜色特征、所述全局纹理特征和所述全局形状特征进行处理，获取地标图像的高维特征向量，将所述高维特征向量作为地标图像的全局视觉特征x_i；

(2)获取地标图像的局部特征，其中，所述局部特征包括：局部显著点特征集y_i和局部显著点统计特征v_i；

(3)采用层级树状结构将所述全局视觉特征和所述局部特征进行存储，获取视觉特征集合{x_i，y_i，v_i，1≤i≤N}；

(4)通过所述视觉特征集合{x_i，y_i，v_i，1≤i≤N}表征每一幅图像；

(5)根据所述全局视觉特征进行初步检索，获取第一候选图像；

(6)根据所述局部显著点统计特征v_i对所述第一候选图像进行进一步检索，获取第二候选图像；

(7)根据所述局部显著点特征集y_i对所述第二候选图像进行再一步检索，获取最终候选图像，反馈给用户。

2.根据权利要求1所述的一种融合全局与局部视觉特征的层次化地标识别方法，其特征在于，所述获取地标图像的局部特征具体包括：

1)采取SIFT方法提取地标图像中表征地标图像显著特性的点，并将所述显著特性的点通过SIFT描述子表征成128维特征s_i；

2)将每幅地标图像所有的128维特征s_i构成所述局部显著点特征集y_i＝{s_i，1≤i≤M}，其中，M表示地标图像共有M个显著点，M的取值为正整数；

3)将数据库中所有地标图像包含的所述局部显著点特征集{y_j，1≤j≤P}用聚类方法进行聚类，将每个聚类中心视为视觉关键词，其中，P表示数据库中地标图像的个数，P的取值为正整数；

4)根据所述视觉关键词构建视觉关键词表，计算每个地标图像中提取的局部显著点对应的128维特征s_i与各聚类中心的欧式距离，并将所述局部显著点类别指定为所计算欧式距离最小的类；

5)计算所述视觉关键词表中的每个视觉关键词的权重，分别统计每个视觉关键词在特定文档中的频率TF和在文档集中的逆文档频率IDF；

6)将所述逆文档频率IDF进行排序，删除小于特定阈值的视觉关键词，获取最终视觉关键词表；

7)根据所述最终视觉关键词表获取视觉关键词的向量空间模型，将所述向量空间模型作为所述局部显著点统计特征v_i。

3.根据权利要求2所述的一种融合全局与局部视觉特征的层次化地标识别方法，其特征在于，所述局部显著点统计特征v_i，

v_i＝(t₁，t₂，...，t_n)^T，其中t_i＝tf_id×idf_i，

i＝1，2，...，n；d＝1，2，...，N，i＝1，2，...，n，

其中，n为视觉关键词表中视觉关键词的个数，N为整个文档集中的文档数，n_id为第i类视觉关键词在文档d中的出现次数，n_d为文档d中视觉关键词的总数，n_i表示第i类视觉关键词在整个文档集中的出现文档个数。

4.根据权利要求1所述的一种融合全局与局部视觉特征的层次化地标识别方法，其特征在于，所述根据所述全局视觉特征进行初步检索，获取第一候选图像具体为：

将所述地标图像的全局视觉特征与树结构存储中各类中心图像的全局视觉特征

计算欧式距离，选择欧式距离最小的前t类作为后续检索的第一候选图像，其中，k表示类的个数，k和t的取值为正整数。

5.根据权利要求4所述的一种融合全局与局部视觉特征的层次化地标识别方法，其特征在于，所述根据所述局部显著点统计特征v_i对所述第一候选图像进行进一步检索，获取第二候选图像具体为：

将所述局部统计特征与树结构存储中各类中心图像的局部统计特征

计算欧式距离，选择欧式距离最小的r类作为后续图像匹配的第二候选图像，其中，t表示第一候选图像，r和t的取值为正整数，t＞r。

6.根据权利要求5所述的一种融合全局与局部视觉特征的层次化地标识别方法，其特征在于，所述根据所述局部显著点特征集y_i对所述第二候选图像进行再一步检索，获取最终候选图像，反馈给用户具体为：

1)设经过所述第二候选图像保留下来的第j类地标图像类共包含k_j个图像，将待检索图像与这k_j个图像分别进行显著点匹配；

2)选取所述待检索图像中的第一显著点，在图像q，q∈k_j中找出与所述第一显著点欧式距离最近的两个关键点，记为第一关键点和第二关键点，最近距离记为第一距离，次近距离记为第二距离；

3)判断所述第一距离与所述第二距离之比是否小于经验性阈值，如果是，则将所述第一显著点和所述第一关键点作为匹配点，如果否，则表示所述待检索图像中所述第一显著点在图像q中无匹配点，然后，对所述待检索图像中的其他显著点采用步骤2)和步骤3)，查找匹配点；

4)获取待检索图像与每类中的各幅图像所拥有的匹配点个数；

5)去除误匹配点；

6)计算各图像类中匹配点数的总和，将匹配点数最多的一类判定为待检索图像所属的类别，获取所述最终候选图像，将所述最终候选图像反馈给用户。

Images