CN112182264B - 地标信息的确定方法、装置、设备及可读存储介质 - Google Patents

地标信息的确定方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112182264B
CN112182264B CN202011077900.8A CN202011077900A CN112182264B CN 112182264 B CN112182264 B CN 112182264B CN 202011077900 A CN202011077900 A CN 202011077900A CN 112182264 B CN112182264 B CN 112182264B
Authority
CN
China
Prior art keywords
image
type
index
landmark information
query image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011077900.8A
Other languages
English (en)
Other versions
CN112182264A (zh
Inventor
刘宏坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuhang Technology Beijing Co ltd
Original Assignee
Shuhang Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuhang Technology Beijing Co ltd filed Critical Shuhang Technology Beijing Co ltd
Priority to CN202011077900.8A priority Critical patent/CN112182264B/zh
Publication of CN112182264A publication Critical patent/CN112182264A/zh
Application granted granted Critical
Publication of CN112182264B publication Critical patent/CN112182264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种地标信息的确定方法，获取全局特征与查询图像的全局特征相似的第一类检索图像，并且，获取局部特征与查询图像的局部特征相似的第二类检索图像，可以理解的是，全局特征表征图像的整体属性，局部特征表征图像的局部特征点的属性。可见，第一类检索图像和第二类检索图像均为与查询图像特征相似的索引图像，因此，本实施例将第一类检索图像和第二类检索图像均作为查询图像的检索图像。进一步将在检索图像中所有索引图像的地标信息中，数量最多的地标信息作为查询图像的地标信息。综上，本方案从全局特征和局部特征两个方面的属性出发，得到的检索图像的准确率更高，从而提高了地标信息的准确性。

Description

地标信息的确定方法、装置、设备及可读存储介质
技术领域
本申请涉及图像检索技术领域，更具体地说，涉及一种地标信息的确定方法、装置、设备及可读存储介质。
背景技术
目前，当查询任意一张查询图像的地标信息时，需要从指定的图像索引库中检索出与该查询图像包含相同地标的索引图像，从而将该索引图像的地标信息确定为该查询图像的地标信息。在现有的技术方案中，对查询图像与所有索引图像的全局特征分别进行相似度分析，并依据相似度分析结果检索出与该查询图像包含相同地标的索引图像，记为该查询图像的检索图像，进一步，将检索图像中包括的地标的信息作为该查询图像的地标信息。
但是，在实际应用中由于图像的全局特征的局限性，导致获取的地标信息准确度低。
发明内容
有鉴于此，本申请提供了一种地标信息的确定方法、装置、设备及可读存储介质，用于提高地标信息的准确度，如下：
一种地标信息的确定方法，包括：
将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
将所述目标地标信息确定为所述查询图像中的地标信息。
可选地，将与查询图像的全局特征相似的索引图像，作为第一类检索图像，包括：
依据全局特征向量，计算每一所述索引图像与所述查询图像的全局相似度；
将所述索引图像按照所述全局相似度的大小进行排序，得到第一排序结果；
将所述第一排序结果中预设的R个所述索引图像，作为所述第一类候选图像；
依据第一预设条件，从所述第一类候选图像中确定所述第一类检索图像，所述第一预设条件包括：所述第一类候选图像与所述查询图像的局部匹配特征点对的个数不小于预设的第一阈值；
其中，任一对所述第一类候选图像与所述查询图像中包括的局部匹配特征点对包括：第一局部特征点和第二局部特征点，所述第一局部特征点为所述第一类候选图像中的任一局部特征点，所述第二局部特征点为所述查询图像中与所述第一局部特征点相匹配的局部特征点。
可选地，将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像，包括：
对所述索引图像的局部特征向量进行聚类，得到簇心向量；
获取第一相似簇心和第二相似簇心，所述第一相似簇心为与所述索引图像的每一局部特征向量距离最近的所述簇心向量，所述第二相似簇心为与所述查询图像的每一局部特征向量距离最近的所述簇心向量；
基于簇心相似度，确定所述查询图像的第二类候选图像，所述簇心相似度为所述第一相似簇心中，与所述第二相似簇心相同的簇心向量的数量；
依据第二预设条件，从所述第二类候选图像中确定所述查询图像的第二类检索图像，所述第二预设条件至少包括所述第二类候选图像与所述查询图像的所述局部相似度大于预设的第二阈值。
可选地，基于簇心相似度，确定所述查询图像的第二类候选图像，包括：
计算每一个所述索引图像与所述查询图像的簇心相似度；
将所述索引图像按照所述簇心相似度的大小进行排序，得到第二排序结果；
将所述排序结果中预设的N个所述索引图像，作为所述第二类候选图像。
可选地，第二预设条件还包括：第二匹配条件和/或线性条件；
所述第二匹配条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对的个数大于预设的第三阈值，所述线性条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对满足线性变换；
其中，任一对所述第二类候选图像与所述查询图像中包括的局部匹配特征点对包括：第三局部特征点和第四局部特征点，所述第三局部特征点为所述第二类候选图像中的任一局部特征点，所述第四局部特征点为所述查询图像中与所述第三局部特征点相匹配的局部特征点。
可选地，还包括：
将所述索引图像输入至预设的特征模型，将所述特征模型的第一输出作为所述索引图像的所述全局特征向量，将所述特征模型的第二输出作为所述索引图像的所述局部特征向量。
可选地，索引图像的获取方法包括：
将预设的图像索引库中的图像输入至预设的分类模型，将所述分类模型输出的分类结果为地标图像的图像确定为所述索引图像。
一种地标信息的确定装置，包括：
第一检索单元，用于将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
第二检索单元，用于将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
第一信息确定单元，用于从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
第二信息确定单元，用于将所述目标地标信息确定为所述查询图像中的地标信息。
一种地标信息的确定设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上所述的地标信息的确定方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上所述的地标信息的确定方法的各个步骤。
从上述的技术方案可以看出，本申请提供的地标信息的确定方法，本申请实施例提供的地标信息的确定方法，获取全局特征与查询图像的全局特征相似的第一类检索图像，并且，获取局部特征与查询图像的局部特征相似的第二类检索图像，可以理解的是，全局特征表征图像的整体属性，局部特征表征图像的局部特征点的属性。可见，第一类检索图像和第二类检索图像均为与查询图像特征相似的索引图像，因此，本实施例将第一类检索图像和第二类检索图像均作为查询图像的检索图像。进一步将在检索图像中所有索引图像的地标信息中，满足预设条件的地标信息即数量最多的地标信息作为查询图像的地标信息。可见，相对于现有技术中，只将全局特征与查询图像的全局特征相似的索引图像作为检索图像，本方案从全局特征和局部特征两个方面的属性出发，得到的检索图像的准确率更高，从而提高了地标信息的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为图像的地标信息示意图；
图2为本申请实施例提供的一种地标信息的确定方法的流程示意图；
图3为本申请实施例提供的第一类检索图像的确定方法的流程示意图；
图4为本申请实施例提供的第二类检索图像的确定方法的流程示意图；
图5为本申请实施例提供的一种地标信息的确定装置的结构示意图；
图6为本申请实施例提供的一种地标信息的确定设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的地标信息的确定方法的一种应用场景为，确定查询图像的地标信息，其中，查询图像的地标信息指的是该查询图像中包含的地标。以图1所示的查询图像A为例，通过本方法可以确定查询图像A的地标为金字塔。
图2为本申请实施例提供的一种地标信息的确定方法的流程示意图，具体可以包括以下步骤：
S201、获取索引图像。
在预设的图像索引库中包括非地标图像的情况下，针对非地标图像进行地标信息的确定会浪费大量的算力，增加图像检索的时间。所以本实施例针对图像索引库进行非地标图像的过滤，并获取索引图像。
具体地，将图像索引库中的图像输入至预先训练好的图像分类网络，由图像分类网络输出图像分类结果，其中，图像分类结果包括地标图像或非地标图像。本实施例中，获取图像分类结果为地标图像的索引图像。
可以理解的是，本步骤通过将非地标图像排除，降低了索引图像的数量级，能够提高图像检索的效率。
在预设的图像索引库为地标图像索引库的情况下，无需上述过滤操作。
S202、将与查询图像的全局特征相似的索引图像，作为第一类检索图像。
具体地，任一图像(查询图像或任一索引图像)的全局特征指的是整体图像的整体属性，图像的全局特征可以包括颜色特征、纹理特征、和/或形状特征。本实施例中，可以用全局特征向量表示全局特征。
具体地，本实施例将查询图像输入至训练好的深度学习网络，即提取模型中，由该提取模型提取查询图像的全局特征向量，针对查询图像，提取模型生成的该查询图像的全局特征向量的数量可以包括多个。例如，针对查询图像Q，本实施例可以提取查询图像Q的第一全局特征向量表征颜色特征，提取查询图像Q的第二全局特征向量表征纹理特征，提取查询图像Q的第三全局特征向量表征形状特征，也即，查询图像Q的全局特征向量包括第一全局特征向量、第二全局特征向量、以及第三全局特征向量。
本实施例中，针对每一索引图像，依据索引图像的全局特征向量与查询图像的全局特征向量，计算索引图像与查询图像的全局相似度，需要说明的是，具体的计算全局相似度的方法可以参照现有技术。
可以理解的是，当任一索引图像与查询图像的全局相似度越高，则索引图像与查询图像的全局特征越相似，该索引图像与查询图像包含相同的地标信息的概率越大，所以，第一类检索图像为与查询图像包含相同地标信息的索引图像。
需要说明的是，获取第一类检索图像的具体实现方式可以参见下述S301～S305，需要说明的是，获取第一类检索图像的方法还可以包括其他具体实现方式，例如，可以将第一类候选图像直接作为第一类检索图像，本实施例对此不做限定。
S203、将与查询图像的局部特征相似的索引图像，作为第二类检索图像。
具体地，针对任一图像，图像的局部特征指的是在图像中稳定出现并且具有良好的可区分性的局部特征点的特征，一般地，可以用局部特征向量表示局部特征点。
本实施例将查询图像输入至提取模型，由提取模型提取查询图像的局部特征向量，针对查询图像，提取模型生成的该查询图像的局部特征向量的数量可以包括多个。例如，针对查询图像Q，本实施例可以提取查询图像Q的第一局部特征向量表征第一特征点的特征，提取查询图像Q的第二局部特征向量表征第二特征点的特征，提取查询图像Q的第三局部特征向量表征第三特征点的特征，也即，查询图像Q的局部特征向量包括第一局部特征向量、第二局部特征向量、以及第三局部特征向量。
可以理解的是，当任一索引图像与查询图像的局部特征越相似，则该索引图像与查询图像包含相同的地标信息的概率越大，所以，第二类检索图像为与查询图像包含相同地标信息的索引图像。
需要说明的是，获取第二类检索图像的具体实现方式可以参见下述S401～S408，需要说明的是，获取第二类检索图像的方法还可以包括其他具体实现方式，例如，可以将第二类候选图像直接作为第一类检索图像，本实施例对此不做限定。
S204、从待选地标信息中，获取目标地标信息。
本实施例中，待选地标信息包括预先从第一类检索图像以及第二类检索图像中的识别出的地标信息。目标地标信息为数量满足预设条件的待选地标信息。
本实施例中，预设条件包括地标信息在第一类检索图像的地标信息以及第二类检索图像的地标信息中的出现次数最多。每一索引图像的地标信息可以预先存储在预设的数据库(例如mongo表)中，本步骤可以查找预设的数据库，得到所有第一类检索图像以及所有第二类检索图像的地标信息。例如，第一类检索图像包括20个，可以获取该20个第一类检索图像的地标信息，第二类检索图像包括15个，可以获取该15个第二类检索图像的地标信息，一共获取35条地标信息。
可以理解的是，该35个地标信息中存在重复的地标信息。例如，其中25条地标信息为金字塔，5条地标信息为埃菲尔铁塔，5条地标信息为布达拉宫。则本步骤可以确定在待选地标信息中数量最多的地标信息为目标地标信息。
需要说明的是，从待选地标信息中，获取目标地标信息不限于上述方法，例如，待选地标信息还包括预先从剩余候选图像中预先识别出的地标信息。其中，剩余候选图像包括第一类候选图像中除第一类检索图像之外的图像，和/或第二类候选图像中除第二类检索图像之外的图像。
则，预设条件还包括：若目标地标信息在第一类检索图像的地标信息以及第二类检索图像的地标信息中的出现次数最多且次数相同，则选择在剩余候选图像中预先识别出的地标信息中出现次数最多的目标地标信息作为最终的目标地标信息。
例如，第一类检索图像包括25个，第二类检索图像包括13个，可以获取38条地标信息，其中16条地标信息为金字塔，16条地标信息为埃菲尔铁塔，6条地标信息为布达拉宫。剩余候选图像包括30个，其中，地标信息为金字塔的剩余候选图像数量为10，地标信息为埃菲尔铁塔的剩余候选图像数量为16，则，则本步骤可以确定目标地标信息为埃菲尔铁塔。
S205、将目标地标信息确定为查询图像中的地标信息。
需要说明的是，本申请实施例提供的地标信息的确定方法可以应用于获取地标信息的图像识别系统，其中，图像识别系统中可以设置有多个云端，每一云端可以对地标信息的确定过程中产生的数据进行云存储。例如，设置第一云端，用于存储所有图像(查询图像和每一索引图像)的id与该图像的相似簇心。设置第二云端，用于存储第一类检索图像的图像ID。设置第三云端，用于存储第二类检索图像。
由上述技术方案可以看出，本申请实施例提供的地标信息的确定方法，获取全局特征与查询图像的全局特征相似的第一类检索图像，并且，获取局部特征与查询图像的局部特征相似的第二类检索图像，可以理解的是，全局特征表征图像的整体属性，局部特征表征图像的局部特征点的属性。可见，第一类检索图像和第二类检索图像均为与查询图像特征相似的索引图像，因此，本实施例将第一类检索图像和第二类检索图像均作为查询图像的检索图像。进一步将在所有检索图像的地标信息中，数量最多的地标信息作为查询图像的地标信息。可见，相对于现有技术中，只将全局特征与查询图像的全局特征相似的索引图像作为检索图像，本方案从全局特征和局部特征两个方面的属性出发，得到的检索图像的准确率更高，从而提高了地标信息的准确性。
进一步，本实施例针对任一图像(索引图像或查询图像)利用同一提取模型同时提取图像的全局特征向量以及局部特征向量，由此可以降低计算消耗，提高特征提取的效率。
进一步，本申请实施例首先对非地标图像进行过滤，排除非地标图像，进一步缩小了检索的范围，提高图像检索的速度。
进一步，本申请实施例提供的地标信息的确定方法通过建立一个或多个云端，对数据进行云存储，可以避免反复计算同一数据耗费大量的算力和时间，提高检索的效率。
图3为本申请实施例提供的第一类检索图像的确定方法的一种具体实施方法，具体可以包括以下步骤：
S301、提取每一索引图像的全局特征向量以及查询图像的全局特征向量。
具体地，由上可知任一图像的全局特征向量可以表征该图像的一个全局特征，例如颜色特征、形状特征、或纹理特征。
本实施例中，记任一张索引图像为Si，其中，i∈[1，M]，M为索引图像的数量。以索引图像为Si为例，全局特征向量的获取过程为：将索引图像重置为预设大小，并输出索引图像Si的特征矩阵(维度一般为1*N，N为整数)，进一步，将索引图像Si的特征矩阵变换为一维特征向量，本实施例中，变换方法可以使用reshape函数，具体可以参见现有技术。
进一步，利用PCA(principal components analysis，主成分分析)技术将索引图像Si的一维特征向量保留99.9％的主成分，进行PCA降维至P维(P为小于N的整数)。由此得到索引图像Si的全局特征向量。
需要说明的是，本申请实施例可以基于特征模型实现每一索引图像的全局特征向量以及查询图像的全局特征向量的提取，其中，特征模型为预先训练好的深度学习网络。具体地，将图像(索引图像或查询图像)输入至特征模型，将特征模型的第一输出作为该图像的全局特征向量。需要说明的是，该深度学习网络的训练过程可参照现有技术。
S302、依据全局特征向量，计算每一索引图像与查询图像的全局相似度。
需要说明的是，具体的计算全局相似度的方法可以参照现有技术，任一索引图像与查询图像的全局相似度可以表征该索引图像与查询图像的整体相似程度，全局相似度越高，则索引图像与查询图像的全局特征越相似，该索引图像与查询图像包含相同的地标信息的概率越大。
S303、将索引图像按照全局相似度从大到小进行排序，得到第一排序结果，选择前R个索引图像为第一类候选图像。
本实施例中，使用倒排索引的索引方法，查找与查询图像的全局特征向量的全局相似度排名靠前的R个索引图像。R的取值可以根据实际情况设置。
需要说明的是，倒排索引具体的实现方式可以参照现有技术。
S304、分别将每一第一类候选图像的局部特征向量与查询图像的局部特征向量进行局部特征点的匹配，确定每一索引图像与查询图像匹配的局部特征点对的个数。
其中，第一类候选图像与查询图像的一个局部特征点对包括第一类候选图像的一个局部特征点以及查询图像的与该局部特征点相匹配的局部特征点。需要说明的是，上述局部特征点依据随机采样一致性(RANSAC)进行匹配。具体的匹配方法可以参照现有技术。
S305、如果第一类候选图像与查询图像的局部匹配特征点对的个数不小于预设的第一阈值，则将该第一类候选图像作为查询图像的第一类检索图像。
其中，第一阈值可以按照实际情况进行设置，本实施例中第一阈值可以取值为35，以第一类候选图像Si为例，第一类候选图像Si与查询图像的局部匹配特征点对的个数为50，则本步骤将该第一类候选图像Si作为查询图像的第一类检索图像。
由上述技术方案可以看出，本申请实施例获取的第一类检索图像同时满足全局相似度排序不低于预设第一数值，以及与查询图像的匹配特征点对的个数不小于预设的第一阈值。由此可见本实施例获取的第一类检索图像，具有较高的准确度。
图4为本申请实施例提供的第二类检索图像的确定方法的一种具体实施方法，具体可以包括以下步骤：
S401、提取查询图像的局部特征向量，并提取索引图像的局部特征向量。
具体地，本实施例基于特征模型提取查询图像的局部特征向量以及每一索引图像的局部特征向量。具体地，将图像(查询图像或索引图像)输入至特征模型，将特征模型的第二输出作为该图像的局部特征向量。
针对任一图像，特征模型生成的该图像的局部特征向量的数量可以包括多个。需要说明的是，本步骤使用的特征模型与S202中提取每一索引图像的全局特征向量以及查询图像的全局特征向量的特征模型为同一深度学习网络。所以，由此可以降低计算消耗，提高特征提取的效率。
可以理解的是，由经过训练的深度学习网络提取的任一图像(包括查询图像或任一索引图像)的局部特征向量能够表征该图像中局部特征点的特征。
任一索引图像的局部特征向量的数量和查询图像的局部特征向量的数量可以相同也可以不同，并且不同的索引图像的局部特征向量的数量可以相同也可以不同。在本申请实施例中，为便于描述，记任一索引图像的局部特征向量的数量均为k。
本实施例记任一张索引图像为Si，其中，i∈[1，M]，M为索引图像的数量。深度学习网络生成的索引图像Si的局部特征向量Wi的数量为k，分别记为Wi1，Wi2，…，Wik。并且，本实施例中，查询图像(记为Q)的局部特征向量E的数量为r，记为E1，E2，…，Er。
需要说明的是，本实施例中的任一图像(包括查询图像或任一索引图像)的任一局部特征向量的维度相同。
需要说明的是，本步骤中的索引图像可以为全部的索引图像，也可以为S304中，与查询图像的匹配特征点对的个数小于预设的第一阈值的索引图像。
S402、对所有索引图像的局部特征向量进行聚类，得到P个簇心向量。
具体地，索引图像的数量为M，生成的每一索引图像的局部特征向量的数量为k，则本实施例对M*k个局部特征向量进行聚类得到的P个簇心向量，将该P个簇心向量进行编号，由此得到任一簇心向量Oj的簇心编号为oj，j∈[1,P]。其中，任一簇心向量Oj的维度为B。
本实施例中的聚类方法的具体实现方式可以参考现有技术。
S403、确定查询图像的每一局部特征向量距离最近的簇心向量(记为该局部特征向量的最近簇心向量)的簇心编号，以及每一局部特征向量与最近簇心向量的距离，并将簇心编号和距离作为查询图像的第一特征参数。
即，查询图像的第一特征参数包括：查询图像的每一局部特征向量的最近簇心向量的簇心编号，该局部特征向量与最近簇心向量的距离。
例如，查询图像Q的局部特征向量为E1，E2，…，Er，以E1为例，计算E1与每一簇心向量的距离，并比较距离的大小。得到与E1距离最近的簇心向量为O3，且E1与O3的距离为d1，则本实施例中将E1表示为(o3，d1)，其中，o3为簇心向量O3的簇心编号。
需要说明的是，本实施例将查询图像的任一个局部特征向量的最近簇心向量记为该查询图像的一个相似簇心。可以理解的是，簇心向量O3为查询图像Q的一个相似簇心。
参照上述方法，将E1分别替换为E2、E3…、Er，可以将查询图像的每一局部特征向量均表示为该局部特征向量的最近簇心向量的簇心编号，和该局部特征向量与最近簇心向量的距离。
S404、确定每一索引图像的每一局部特征向量距离最近的簇心向量(记为该局部特征向量的最近簇心向量)的簇心编号，以及每一局部特征向量与最近簇心向量的距离，并将簇心编号和距离作为索引图像的第一特征参数。
即，任一索引图像的第一特征参数包括：该索引图像的每一局部特征向量的最近簇心向量的簇心编号，该局部特征向量与最近簇心向量的距离。
以索引图像S1为例，索引图像S1局部特征向量为W11，W12，…，W1k，以W11为例，计算W11与每一簇心向量的距离，并比较距离的大小。得到与W11距离最近的簇心向量为O2，W11与O2的距为d2，则本实施例中将W11表示为(o2，d2)，其中，o2为簇心向量O2的簇心编号。
需要说明的是，本实施例将索引图像的任一个局部特征向量的最近簇心向量记为该索引图像的一个相似簇心。可以理解的是，簇心向量O2为索引图像S1的一个相似簇心。
参照上述方法，将W11分别替换为W12、…、W1k，可以将索引图像S1的每一局部特征向量均表示为，与该局部特征向量距离最近的簇心向量的簇心编号，和该局部特征向量与距其最近的簇心向量的距离。
需要说明的是，参考上述方法，本步骤可以将每一索引图像的每一局部特征向量均表示为该局部特征向量的最近簇心向量的簇心编号以及该局部特征向量与最近簇心向量的距离。
S405、确定每一索引图像与查询图像的簇心相似度，并将与查询图像的簇心相似度较高的N个索引图像作为第二类候选图像。
本实施例中，针对任一索引图像Si，记Si与查询图像Q的簇心相似度为Ii，则Ii为Si的相似簇心中与Q的相似簇心相同的簇心向量的数量。其中，Si的相似簇心指的是：Si的每一局部特征向量的最近簇心向量。Q的相似簇心指的是：Q的每一局部特征向量的最近簇心向量。可以理解的是，任一图像的相似簇心的个数可以包括多个。
确定索引图像与查询图像的簇心相似度，并基于簇心相似度确定第二类候选图像的具体实现方式可以包括多种，本实施例中，利用倒排索引的查找方法确定索引图像与查询图像的簇心相似度。进一步，将满足第二预设条件的所述索引图像确定为第二类候选图像，并选择与查询图像的簇心相似度较高的N个索引图像作为候选索引图像，其中N的取值可以依照实际情况进行设置。
具体地，可以包括下述步骤A1～A3：
A1、将每一索引图像的相似簇心以及查询图像的相似簇心均以文本或者数组的形式表示，需要说明的是，在实际应用中可以基于索引图像的数量选择相似簇心的表示形式，例如，当索引图像的数量达到百万量级，为了提高检索的速度，将每一索引图像的相似簇心以文本的形式表示，文本中，将索引图像的多个相似簇心的簇心编号以逗号隔开，由此得到每一索引图像的文本表示形式。
A2、查找每一索引图像的相似簇心中与查询图像的相似簇心相同的簇心向量的数量，并将该数量确定为索引图像与查询图像的簇心相似度。
需要说明的是，倒排索引的查找方法的具体实现过程可以参照现有技术，本实施例不做赘述。
A3、将索引图像按照与查询图像的簇心相似度从大到小排序，得到第二排序结果，并选择第二排序结果中前N张索引图像作为第二类候选图像。
需要说明的是，基于簇心相似度确定第二类候选图像的具体实现方式可以包括多种，例如，也可以选择与查询图像的簇心相似度超过相似度阈值Φ的索引图像，作为第二类候选图像。
可以理解的是，任一个索引图像与查询图像的簇心相似度可以表征索引图像与查询图像的相似程度，也即当索引图像与查询图像的簇心相似度高时，认为该索引图像与查询图像的相似程度高。因此，本步骤选择的N个第二类候选图像为与查询图像的簇心相似度较高的N个索引图像，也即本步骤将与查询图像的相似程度低的索引图像排除。基于此，本实施例进一步从N个第二类候选图像中选择与查询图像包含的地标信息相同的索引图像。
S406、计算每一第二类候选图像与查询图像的局部相似度，即ASMK*(Aggregateselect Match kernel，聚合选择匹配内核)相似度，并确定与查询图像的ASMK*相似度大于预设的第二阈值的第二类候选图像。
ASMK*相似度可以更加精准的表示两个图像之间的相似度。一般地，索引图像与查询图像的ASMK*相似度越高，表示索引图像与查询图像的相似程度越高，其中包含相同地标的可能性越大。以查询图像Q和索引图像S1的ASMK*相似度IASMK为例，IASMK依据查询图像Q的第一特征参数以及索引图像S1的第一特征参数计算得到。
需要说明的是，计算每一第二类候选图像与查询图像的ASMK*相似度的具体实现方式可以参照现有技术。并且预设的第二阈值可以根据实际情况设置。
S407、计算每一与查询图像的ASMK*相似度大于预设的第二阈值的第二类候选图像与查询图像的局部匹配特征点对的个数，进一步查找出与查询图像的局部匹配特征点对的个数大于预设的第三阈值的第二类候选图像。
其中，任一第二类候选图像与查询图像的局部匹配特征点对包括：该第二类候选图像的一个局部特征向量以及与该局部特征向量相匹配的查询图像的一个局部特征向量。需要说明的是，判断第二类候选图像的任一局部特征向量与查询图像的任一局部特征向量是否相匹配的实施方法可以参照现有技术。
本实施例中确定每一第二类候选图像与查询图像的局部匹配特征点对的个数后，将局部匹配特征点对的个数于预设的第三阈值进行比较，得到与查询图像的局部匹配特征点对的个数大于预设的第三阈值的第二类候选图像。
S408、针对S407得到的每一与查询图像的局部匹配特征点对的个数大于预设的第三阈值的第二类候选图像，随机抽取该第二类候选图像与查询图像的P个局部匹配特征点对，判断P个局部匹配特征点对是否满足线性变换，若是则将该第二类候选图像作为查询图像的第二类检索图像。
其中，P的取值可以根据实际情况预设。需要说明的是，判断P个局部匹配特征点对是否满足线性变换的具体实施方式可以参照现有技术。
可以理解的是，本实施例通过S407～S409在第二类候选图像中，获取满足第二预设条件的第二类候选图像为查询图像的第二类检索图像，其中，第二预设条件包括：第二类候选图像与查询图像的ASMK*相似度大于预设的第二阈值、第二类候选图像与查询图像的局部匹配特征点对的个数不小于预设的第三阈值，并且，第二类候选图像与查询图像的局部匹配特征点对满足线性变换。
由上述技术方法可以看出，本申请实施例提供的地标信息的确定方法中，在获取第二类检索图像时，确定每一索引图像与查询图像的簇心相似度，并基于簇心相似度确定第二类候选图像，并基于局部相似度，进一步在第二类候选图像中确定第二类检索图像。可以理解的是，簇心相似度为索引图像和查询图像之间相似簇心的数量，该数量的计算过程，与特征向量的相似度计算相比，耗费的算力较少，并且，簇心以及相似簇心的计算过程，也比局部相似度节省算力，因此，本实施例利用较少的算力得到第二类候选图像。相对于现有技术，一方面，对于全部的索引图像，缩小了检索的范围。另一方面，无需针对每一索引图像和查询图像的计算局部相似度，从而大大提高了图像检索的效率。尤其是在包含的索引图像的数量高达百万量级的图像索引库下，有效的减少图像相似度计算过程，提高图像检索的速度，从而快速地获取与查询图像包含相同地标的索引图像，即查询图像的第二类检索图像。
进一步，本申请实施例提供的地标信息的确定方法中基于图像的局部特征进行簇心相似度以及ASMK*相似度的计算，具有较高的准确度以及召回率。由此，可以提高地标信息的准确性。
进一步，本申请实施例在获取第二类检索图像的过程中，通过S408～S409对第二类候选图像进行几何校验，选择与查询图像局部匹配特征点对数量较大并且满足线性关系的第二类候选图像为第二类检索图像。由于局部匹配特征点对的个数越多表示第二类候选图像与查询图像的相似程度越高，和/或，匹配特征点对的线性度越高表示第二类候选图像与查询图像的相似程度越高，因此通过几何校验过程能够提高图像检索的准确度。
进一步，本实施例中提取每一索引图像的全局特征向量或局部特征向量以及查询图像的全局特征向量或局部特征向量的特征模型由同一深度学习网络训练得到。所以，针对任一图像(索引图像或查询图像)本方法利用该特征模型同时提取图像的全局特征向量以及局部特征向量，由此可以降低计算消耗，提高特征提取的效率。
综上，本申请实施例提供的地标信息的确定方法，在给定查询图像的情况下，能够快速且准确地获取该查询图像的地标信息，在实际应用中，在四百万量级的图像索引库的场景下，地标信息的确定系统获取速度能够达到秒级。
进一步需要说明的是，由于本申请实施例提供的地标信息的确定可以获取查询图像的检索图像，可见本申请实施例还可以应用于检索图像的获取系统，用于获取与查询图像包括相同地标的索引图像。可选的一种应用场景为：依据给定的查询图像，从预设的图像索引库中检索出与该查询图像包含相同地标的索引图像，记为检索图像。可以理解的是，检索图像指的是与查询图像包含同一场景内容的索引图像。以查询图像A为例，查询图像A中包含的地标为金字塔，则本方法可以从预设的图像索引库中检索出包含金字塔的索引图像，可以理解的是检索图像的数量可以为一个或多个。
在现有的技术方案中，获取与查询图像A包含相同地标的索引图像的方法为：基于查询图像A的特征向量与图像索引库中的每一索引图像的特征向量，对查询图像A与所有索引图像的特征向量分别进行相似度分析，例如，计算查询图像A与图像索引库中的每一索引图像的ASMK*(Aggregate select Match kernel，聚合选择匹配内核)相似度，选择与查询图像A的ASMK*相似度大于预设阈值的索引图像作为与查询图像A包含相同地标的索引图像，即查询图像A的检索图像。显然，在百万量级的图像索引库下，现有的技术方案需要进行百万量级的ASMK*相似度计算过程，图像检索的速度缓慢，效率低。
由上可以看出，本申请实施例中获取查询图像的检索图像的方法的有益效果主要包括以下两个方面：
第一、相对于现有技术中只应用全局特征向量的传统方法，本方法结合图像的局部特征和全局特征查找与查询图像包含相同地标的索引图像，其中，基于图像的局部特征进行簇心相似度以及ASMK*相似度的计算，具有较高的准确度以及召回率，由此提高了检索图像的准确性。
第二、本方法首先确定每一索引图像与查询图像的簇心相似度，并基于簇心相似度确定第二类候选图像。对于全部的索引图像，缩小了检索的范围，相对于现有技术，无需针对每一索引图像计算索引图像查询图像的ASMK*相似度，从而大大提高了图像检索的效率。尤其是在包含的索引图像的数量高达百万量级的图像索引库下，有效的减少ASMK*相似度计算过程，提高图像检索的速度，从而快速地获取与查询图像包含相同地标的索引图像。
本申请实施例还提供了一种地标信息的确定装置，下面对本申请实施例提供的地标信息的确定装置进行描述，下文描述的地标信息的确定装置与上文描述的地标信息的确定方法可相互对应参照。
请参阅图5，示出了本申请实施例提供的一种地标信息的确定装置的结构示意图，如图5所示，该装置可以包括：
第一检索单元501，用于将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
第二检索单元502，用于将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
第一信息确定单元503，用于从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
第二信息确定单元504，用于将所述目标地标信息确定为所述查询图像中的地标信息。
可选地，第一检索单元用于将与查询图像的全局特征相似的索引图像，作为第一类检索图像，包括：第一检索单元具体用于：
依据全局特征向量，计算每一所述索引图像与所述查询图像的全局相似度；
将所述索引图像按照所述全局相似度的大小进行排序，得到第一排序结果；
将所述第一排序结果中预设的R个所述索引图像，作为所述第一类候选图像；
依据第一预设条件，从所述第一类候选图像中确定所述第一类检索图像，所述第一预设条件包括：所述第一类候选图像与所述查询图像的局部匹配特征点对的个数不小于预设的第一阈值；
其中，任一对所述第一类候选图像与所述查询图像中包括的局部匹配特征点对包括：第一局部特征点和第二局部特征点，所述第一局部特征点为所述第一类候选图像中的任一局部特征点，所述第二局部特征点为所述查询图像中与所述第一局部特征点相匹配的局部特征点。
可选地，第二类检索单元用于将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像，包括：第二类检索单元具体用于：
对所述索引图像的局部特征向量进行聚类，得到簇心向量；
获取第一相似簇心和第二相似簇心，所述第一相似簇心为与所述索引图像的每一局部特征向量距离最近的所述簇心向量，所述第二相似簇心为与所述查询图像的每一局部特征向量距离最近的所述簇心向量；
基于簇心相似度，确定所述查询图像的第二类候选图像，所述簇心相似度为所述第一相似簇心中，与所述第二相似簇心相同的簇心向量的数量；
依据第二预设条件，从所述第二类候选图像中确定所述查询图像的第二类检索图像，所述第二预设条件至少包括所述第二类候选图像与所述查询图像的所述局部相似度大于预设的第二阈值。
可选地，第二类检索单元用于基于簇心相似度，确定所述查询图像的第二类候选图像，包括：第二类检索单元具体用于：
计算每一个所述索引图像与所述查询图像的簇心相似度；
将所述索引图像按照所述簇心相似度的大小进行排序，得到第二排序结果；
将所述排序结果中预设的N个所述索引图像，作为所述第二类候选图像。
可选地，第二预设条件还包括：第二匹配条件和/或线性条件；
所述第二匹配条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对的个数大于预设的第三阈值，所述线性条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对满足线性变换；
其中，任一对所述第二类候选图像与所述查询图像中包括的局部匹配特征点对包括：第三局部特征点和第四局部特征点，所述第三局部特征点为所述第二类候选图像中的任一局部特征点，所述第四局部特征点为所述查询图像中与所述第三局部特征点相匹配的局部特征点。
可选地，还包括：
特征向量提取单元，用于将所述索引图像输入至预设的特征模型，将所述特征模型的第一输出作为所述索引图像的所述全局特征向量，将所述特征模型的第二输出作为所述索引图像的所述局部特征向量。
可选地，还包括：
索引图像获取单元，用于将预设的图像索引库中的图像输入至预设的分类模型，将所述分类模型输出的分类结果为地标图像的图像确定为所述索引图像。
本申请实施例还提供了一种地标信息的确定设备，请参阅图5，示出了该地标信息的确定设备的结构示意图，该设备可以包括：至少一个处理器601，至少一个通信接口602，至少一个存储器603和至少一个通信总线604；
在本申请实施例中，处理器601、通信接口602、存储器603、通信总线604的数量为至少一个，且处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信；
处理器601可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器603可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可执行存储器存储的程序，实现本申请实施例提供的一种地标信息的确定方法，如下：
一种地标信息的确定方法，包括：
将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
将所述目标地标信息确定为所述查询图像中的地标信息。
可选地，将与查询图像的全局特征相似的索引图像，作为第一类检索图像，包括：
依据全局特征向量，计算每一所述索引图像与所述查询图像的全局相似度；
将所述索引图像按照所述全局相似度的大小进行排序，得到第一排序结果；
将所述第一排序结果中预设的R个所述索引图像，作为所述第一类候选图像；
依据第一预设条件，从所述第一类候选图像中确定所述第一类检索图像，所述第一预设条件包括：所述第一类候选图像与所述查询图像的局部匹配特征点对的个数不小于预设的第一阈值；
其中，任一对所述第一类候选图像与所述查询图像中包括的局部匹配特征点对包括：第一局部特征点和第二局部特征点，所述第一局部特征点为所述第一类候选图像中的任一局部特征点，所述第二局部特征点为所述查询图像中与所述第一局部特征点相匹配的局部特征点。
可选地，将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像，包括：
对所述索引图像的局部特征向量进行聚类，得到簇心向量；
获取第一相似簇心和第二相似簇心，所述第一相似簇心为与所述索引图像的每一局部特征向量距离最近的所述簇心向量，所述第二相似簇心为与所述查询图像的每一局部特征向量距离最近的所述簇心向量；
基于簇心相似度，确定所述查询图像的第二类候选图像，所述簇心相似度为所述第一相似簇心中，与所述第二相似簇心相同的簇心向量的数量；
依据第二预设条件，从所述第二类候选图像中确定所述查询图像的第二类检索图像，所述第二预设条件至少包括所述第二类候选图像与所述查询图像的所述局部相似度大于预设的第二阈值。
可选地，基于簇心相似度，确定所述查询图像的第二类候选图像，包括：
计算每一个所述索引图像与所述查询图像的簇心相似度；
将所述索引图像按照所述簇心相似度的大小进行排序，得到第二排序结果；
将所述排序结果中预设的N个所述索引图像，作为所述第二类候选图像。
可选地，第二预设条件还包括：第二匹配条件和/或线性条件；
所述第二匹配条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对的个数大于预设的第三阈值，所述线性条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对满足线性变换；
其中，任一对所述第二类候选图像与所述查询图像中包括的局部匹配特征点对包括：第三局部特征点和第四局部特征点，所述第三局部特征点为所述第二类候选图像中的任一局部特征点，所述第四局部特征点为所述查询图像中与所述第三局部特征点相匹配的局部特征点。
可选地，还包括：
将所述索引图像输入至预设的特征模型，将所述特征模型的第一输出作为所述索引图像的所述全局特征向量，将所述特征模型的第二输出作为所述索引图像的所述局部特征向量。
可选地，索引图像的获取方法包括：
将预设的图像索引库中的图像输入至预设的分类模型，将所述分类模型输出的分类结果为地标图像的图像确定为所述索引图像。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的计算机程序，计算机程序被处理器执行时，实现本申请实施例提供的一种地标信息的确定方法，如下：
一种地标信息的确定方法，包括：
将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
将所述目标地标信息确定为所述查询图像中的地标信息。
可选地，将与查询图像的全局特征相似的索引图像，作为第一类检索图像，包括：
依据全局特征向量，计算每一所述索引图像与所述查询图像的全局相似度；
将所述索引图像按照所述全局相似度的大小进行排序，得到第一排序结果；
将所述第一排序结果中预设的R个所述索引图像，作为所述第一类候选图像；
依据第一预设条件，从所述第一类候选图像中确定所述第一类检索图像，所述第一预设条件包括：所述第一类候选图像与所述查询图像的局部匹配特征点对的个数不小于预设的第一阈值；
其中，任一对所述第一类候选图像与所述查询图像中包括的局部匹配特征点对包括：第一局部特征点和第二局部特征点，所述第一局部特征点为所述第一类候选图像中的任一局部特征点，所述第二局部特征点为所述查询图像中与所述第一局部特征点相匹配的局部特征点。
可选地，将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像，包括：
对所述索引图像的局部特征向量进行聚类，得到簇心向量；
获取第一相似簇心和第二相似簇心，所述第一相似簇心为与所述索引图像的每一局部特征向量距离最近的所述簇心向量，所述第二相似簇心为与所述查询图像的每一局部特征向量距离最近的所述簇心向量；
基于簇心相似度，确定所述查询图像的第二类候选图像，所述簇心相似度为所述第一相似簇心中，与所述第二相似簇心相同的簇心向量的数量；
依据第二预设条件，从所述第二类候选图像中确定所述查询图像的第二类检索图像，所述第二预设条件至少包括所述第二类候选图像与所述查询图像的所述局部相似度大于预设的第二阈值。
可选地，基于簇心相似度，确定所述查询图像的第二类候选图像，包括：
计算每一个所述索引图像与所述查询图像的簇心相似度；
将所述索引图像按照所述簇心相似度的大小进行排序，得到第二排序结果；
将所述排序结果中预设的N个所述索引图像，作为所述第二类候选图像。
可选地，第二预设条件还包括：第二匹配条件和/或线性条件；
所述第二匹配条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对的个数大于预设的第三阈值，所述线性条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对满足线性变换；
其中，任一对所述第二类候选图像与所述查询图像中包括的局部匹配特征点对包括：第三局部特征点和第四局部特征点，所述第三局部特征点为所述第二类候选图像中的任一局部特征点，所述第四局部特征点为所述查询图像中与所述第三局部特征点相匹配的局部特征点。
可选地，还包括：
将所述索引图像输入至预设的特征模型，将所述特征模型的第一输出作为所述索引图像的所述全局特征向量，将所述特征模型的第二输出作为所述索引图像的所述局部特征向量。
可选地，索引图像的获取方法包括：
将预设的图像索引库中的图像输入至预设的分类模型，将所述分类模型输出的分类结果为地标图像的图像确定为所述索引图像。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种地标信息的确定方法，其特征在于，包括：
将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
将所述目标地标信息确定为所述查询图像中的地标信息；
其中，所述将与查询图像的全局特征相似的索引图像，作为第一类检索图像，包括：
依据全局特征向量，计算每一所述索引图像与所述查询图像的全局相似度；
将所述索引图像按照所述全局相似度的大小进行排序，得到第一排序结果；
将所述第一排序结果中预设的R个所述索引图像，作为第一类候选图像；
依据第一预设条件，从所述第一类候选图像中确定所述第一类检索图像，所述第一预设条件包括：所述第一类候选图像与所述查询图像的局部匹配特征点对的个数不小于预设的第一阈值；
其中，任一对所述第一类候选图像与所述查询图像中包括的局部匹配特征点对包括：第一局部特征点和第二局部特征点，所述第一局部特征点为所述第一类候选图像中的任一局部特征点，所述第二局部特征点为所述查询图像中与所述第一局部特征点相匹配的局部特征点；
其中，所述将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像，包括：
对所述索引图像的局部特征向量进行聚类，得到簇心向量；
获取第一相似簇心和第二相似簇心，所述第一相似簇心为与所述索引图像的每一局部特征向量距离最近的所述簇心向量，所述第二相似簇心为与所述查询图像的每一局部特征向量距离最近的所述簇心向量；
基于簇心相似度，确定所述查询图像的第二类候选图像，所述簇心相似度为所述第一相似簇心中，与所述第二相似簇心相同的簇心向量的数量；
依据第二预设条件，从所述第二类候选图像中确定所述查询图像的第二类检索图像，所述第二预设条件至少包括所述第二类候选图像与所述查询图像的局部相似度大于预设的第二阈值。
2.根据权利要求1所述的地标信息的确定方法，其特征在于，所述基于簇心相似度，确定所述查询图像的第二类候选图像，包括：
计算每一个所述索引图像与所述查询图像的簇心相似度；
将所述索引图像按照所述簇心相似度的大小进行排序，得到第二排序结果；
将所述排序结果中预设的N个所述索引图像，作为所述第二类候选图像。
3.根据权利要求1所述的地标信息的确定方法，其特征在于，所述第二预设条件还包括：第二匹配条件和/或线性条件；
所述第二匹配条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对的个数大于预设的第三阈值，所述线性条件包括：所述第二类候选图像与所述查询图像中包括的局部匹配特征点对满足线性变换；
其中，任一对所述第二类候选图像与所述查询图像中包括的局部匹配特征点对包括：第三局部特征点和第四局部特征点，所述第三局部特征点为所述第二类候选图像中的任一局部特征点，所述第四局部特征点为所述查询图像中与所述第三局部特征点相匹配的局部特征点。
4.根据权利要求1所述的地标信息的确定方法，其特征在于，还包括：
将所述索引图像输入至预设的特征模型，将所述特征模型的第一输出作为所述索引图像的所述全局特征向量，将所述特征模型的第二输出作为所述索引图像的所述局部特征向量。
5.根据权利要求1所述的地标信息的确定方法，其特征在于，所述索引图像的获取方法包括：
将预设的图像索引库中的图像输入至预设的分类模型，将所述分类模型输出的分类结果为地标图像的图像确定为所述索引图像。
6.一种地标信息的确定装置，其特征在于，包括：
第一检索单元，用于将与查询图像的全局特征相似的索引图像，作为第一类检索图像；
第二检索单元，用于将与所述查询图像的局部特征相似的所述索引图像，作为第二类检索图像；
第一信息确定单元，用于从待选地标信息中，获取目标地标信息，其中，所述待选地标信息至少包括预先从所述第一类检索图像识别出的地标信息，以及预先从所述第二类检索图像中的识别出的地标信息，所述目标地标信息为，数量满足预设条件的所述待选地标信息；
第二信息确定单元，用于将所述目标地标信息确定为所述查询图像中的地标信息；
其中，所述第一检索单元，具体用于：依据全局特征向量，计算每一所述索引图像与所述查询图像的全局相似度；将所述索引图像按照所述全局相似度的大小进行排序，得到第一排序结果；将所述第一排序结果中预设的R个所述索引图像，作为第一类候选图像；依据第一预设条件，从所述第一类候选图像中确定所述第一类检索图像，所述第一预设条件包括：所述第一类候选图像与所述查询图像的局部匹配特征点对的个数不小于预设的第一阈值；其中，任一对所述第一类候选图像与所述查询图像中包括的局部匹配特征点对包括：第一局部特征点和第二局部特征点，所述第一局部特征点为所述第一类候选图像中的任一局部特征点，所述第二局部特征点为所述查询图像中与所述第一局部特征点相匹配的局部特征点；
其中，所述第二检索单元，具体用于：对所述索引图像的局部特征向量进行聚类，得到簇心向量；获取第一相似簇心和第二相似簇心，所述第一相似簇心为与所述索引图像的每一局部特征向量距离最近的所述簇心向量，所述第二相似簇心为与所述查询图像的每一局部特征向量距离最近的所述簇心向量；基于簇心相似度，确定所述查询图像的第二类候选图像，所述簇心相似度为所述第一相似簇心中，与所述第二相似簇心相同的簇心向量的数量；依据第二预设条件，从所述第二类候选图像中确定所述查询图像的第二类检索图像，所述第二预设条件至少包括所述第二类候选图像与所述查询图像的局部相似度大于预设的第二阈值。
7.一种地标信息的确定设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1~5中任一项所述的地标信息的确定方法的各个步骤。
8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~5中任一项所述的地标信息的确定方法的各个步骤。
CN202011077900.8A 2020-10-10 2020-10-10 地标信息的确定方法、装置、设备及可读存储介质 Active CN112182264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077900.8A CN112182264B (zh) 2020-10-10 2020-10-10 地标信息的确定方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077900.8A CN112182264B (zh) 2020-10-10 2020-10-10 地标信息的确定方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112182264A CN112182264A (zh) 2021-01-05
CN112182264B true CN112182264B (zh) 2024-05-10

Family

ID=73948035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077900.8A Active CN112182264B (zh) 2020-10-10 2020-10-10 地标信息的确定方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112182264B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114329028A (zh) * 2021-09-15 2022-04-12 腾讯科技（深圳）有限公司 一种数据处理方法、设备以及计算机可读存储介质
CN114491131B (zh) * 2022-01-24 2023-04-18 北京至简墨奇科技有限公司 对候选图像进行重新排序的方法、装置和电子设备
CN117809062B (zh) * 2024-03-01 2024-06-07 腾讯科技（深圳）有限公司 地标识别方法、装置、设备、存储介质及计算机程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542058A (zh) * 2011-12-29 2012-07-04 天津大学 一种融合全局与局部视觉特征的层次化地标识别方法
CN104376052A (zh) * 2014-11-03 2015-02-25 杭州淘淘搜科技有限公司 一种基于商品图像的同款商品合并方法
CN105608234A (zh) * 2016-03-18 2016-05-25 北京京东尚科信息技术有限公司 图像检索方法和装置
CN108334644A (zh) * 2018-03-30 2018-07-27 百度在线网络技术（北京）有限公司 图像识别方法和装置
CN110765291A (zh) * 2019-10-28 2020-02-07 广东三维家信息科技有限公司 检索方法、装置及电子设备
CN111324766A (zh) * 2020-02-24 2020-06-23 南京信息工程大学 一种基于lbp特征的加密图像检索方法
CN111627065A (zh) * 2020-05-15 2020-09-04 Oppo广东移动通信有限公司 一种视觉定位方法及装置、存储介质
CN111666434A (zh) * 2020-05-26 2020-09-15 武汉大学 基于深度全局特征的街景图片检索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542058A (zh) * 2011-12-29 2012-07-04 天津大学 一种融合全局与局部视觉特征的层次化地标识别方法
CN104376052A (zh) * 2014-11-03 2015-02-25 杭州淘淘搜科技有限公司 一种基于商品图像的同款商品合并方法
CN105608234A (zh) * 2016-03-18 2016-05-25 北京京东尚科信息技术有限公司 图像检索方法和装置
CN108334644A (zh) * 2018-03-30 2018-07-27 百度在线网络技术（北京）有限公司 图像识别方法和装置
CN110765291A (zh) * 2019-10-28 2020-02-07 广东三维家信息科技有限公司 检索方法、装置及电子设备
CN111324766A (zh) * 2020-02-24 2020-06-23 南京信息工程大学 一种基于lbp特征的加密图像检索方法
CN111627065A (zh) * 2020-05-15 2020-09-04 Oppo广东移动通信有限公司 一种视觉定位方法及装置、存储介质
CN111666434A (zh) * 2020-05-26 2020-09-15 武汉大学 基于深度全局特征的街景图片检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Large-Scale Image Retrieval with Attentive Deep Local Features;Hyeonwoo Noh et al.;《2017 IEEE International Conference on Computer Vision》;3476-3485 *
图像特征检测与匹配方法研究综述;唐灿 等;《南京信息工程大学学报（自然科学版）》;261-273 *

Also Published As

Publication number Publication date
CN112182264A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112182264B (zh) 地标信息的确定方法、装置、设备及可读存储介质
CN109918532B (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN109189991B (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
CN111859004B (zh) 检索图像的获取方法、装置、设备及可读存储介质
CN102521366B (zh) 融合分类与全局索引的图像检索方法和图像检索系统
CN103473327A (zh) 图像检索方法与系统
Yang et al. An improved Bag-of-Words framework for remote sensing image retrieval in large-scale image databases
CN110717534A (zh) 一种基于网络监督的目标分类和定位方法
US20150066957A1 (en) Image search device, image search method, program, and computer-readable storage medium
US20180276244A1 (en) Method and system for searching for similar images that is nearly independent of the scale of the collection of images
CN108629345A (zh) 高维图像特征匹配方法和装置
CN106844482B (zh) 一种基于搜索引擎的检索信息匹配方法及装置
Termritthikun et al. NU-LiteNet: Mobile landmark recognition using convolutional neural networks
JP5014479B2 (ja) 画像検索装置、画像検索方法及びプログラム
Ye et al. Query-adaptive remote sensing image retrieval based on image rank similarity and image-to-query class similarity
CN105183746A (zh) 从多相关图片中挖掘显著特征实现图像检索的方法
JP2012079187A (ja) 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
CN116628142B (zh) 知识检索方法、装置、设备及可读存储介质
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
CN108845999A (zh) 一种基于多尺度区域特征比对的商标图像检索方法
CN110674334B (zh) 基于一致性区域深度学习特征的近重复图像检索方法
CN114077682B (zh) 一种图像检索智能识别匹配处理方法、系统和存储介质
CN111460088A (zh) 相似文本的检索方法、装置和系统
CN111898618B (zh) 一种识别古代图形文字的方法、装置和程序储存介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant