CN102089761B - 自动发现受欢迎的地标 - Google Patents

自动发现受欢迎的地标 Download PDF

Info

Publication number
CN102089761B
CN102089761B CN200980127106.5A CN200980127106A CN102089761B CN 102089761 B CN102089761 B CN 102089761B CN 200980127106 A CN200980127106 A CN 200980127106A CN 102089761 B CN102089761 B CN 102089761B
Authority
CN
China
Prior art keywords
cluster
geographical
image
vision
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980127106.5A
Other languages
English (en)
Other versions
CN102089761A (zh
Inventor
费尔南多·A·布鲁切尔
乌尔里希·布德迈尔
哈特维希·亚当
哈特姆特·内文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201410455635.0A priority Critical patent/CN104298710B/zh
Publication of CN102089761A publication Critical patent/CN102089761A/zh
Application granted granted Critical
Publication of CN102089761B publication Critical patent/CN102089761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在一个实施例中，本发明是一种用于填充以及更新地标图像数据库的方法，所述方法包括：根据地理接近性对地理标注图像进行地理聚类以生成一个或多个地理集群，以及根据图像相似性对一个或多个地理集群进行视觉聚类以生成一个或多个视觉集群。在另一个实施例中，本发明是一种用于从数字图像识别地标的系统，其包括以下组件：地理标注图像数据库；地标数据库；地理聚类模块；以及视觉聚类模块。在其它实施例中，本发明可以是一种增强检索地标图像的用户查询的方法，或一种用文本标记自动标注新的数字图像的方法。

Description

自动发现受欢迎的地标
技术领域
本发明总体上涉及数字图像集合，更具体地涉及识别大型数字图像集合中的受欢迎的地标(landmark)。
背景技术
随着数字图像的使用增加、数字存储介质的容量和可用性增大以及由诸如因特网的数字传输介质提供的互连性，数量日益增大的人群可访问愈加大型的数字图像库。来自遍及世界的各种位置的具有广泛兴趣的人拍摄各种主题的照片，并且使那些照片例如在因特网上可用。例如，来自世界各地的各种地标和旅游地点的数字照片可以由具有拍摄照片的不同技能水平的人拍摄，并且被张贴(post)到web上。照片可以示出来自不同角度、以及从相同或不同距离拍摄的相同地标。
为了利用包含在这些大型数字图像库中的信息，必要的是，对所述库进行组织。例如，在诸如Google照片或Picasa的数字图像网站，起始于高级菜单，人们可以向下钻取(drill down)至对其而言照片可用的详细的主题收录。替选地，人们可以能够搜索具有数字照片的一个或多个站点。例如，一些旅游信息网站下载了与已公布的受欢迎的旅游地点列表相关联的地标的图像。
然而，没有可以从这些大型集合自动提取诸如最受欢迎的旅游目的地的信息的已知系统。随着大量新的照片被添加到这些数字图像集合，可能不可行的是，用户以会增加那些数字图像集合的有用性的完整和一致的方式人工标记照片。因此所需要的是，可以自动识别并标记大型数字图像集合中的受欢迎的地标的系统和方法。
发明内容
在一个实施例中，本发明是一种用于填充(populate)以及更新地标图像数据库的方法，所述方法包括：根据地理接近性对地理标注(geo-tagged)图像进行地理聚类(geo-cluster)以生成一个或多个地理集群(geo-cluster)，以及根据图像相似性对一个或多个地理集群视觉聚类以生成一个或多个视觉集群。
在另一个实施例中，本发明是一种用于从数字图像识别地标的系统，其包括以下组件：地理标注图像数据库；地标数据库；与所述地理标注图像数据库通信的地理聚类模块，其中所述地理标注图像被聚组成一个或多个地理集群；以及与所述地理聚类模块通信的视觉聚类模块，其中所述一个或多个地理集群被聚组成一个或多个视觉集群，以及其中视觉集群数据被存储在地标数据库中。
在一个进一步实施例中，本发明是一种增强用来检索地标图像的用户查询的方法，包括以下阶段：接收用户查询；识别用户查询中的一个或多个触发词；从地标数据库中选择与一个或多个触发词相对应的一个或多个对应的标签(tag)；以及用一个或多个对应的标签增补用户查询，生成增补的用户查询。
在又另一个实施例中，本发明是一种自动标注新的数字图像的方法，包括以下阶段：将新的数字图像与地标图像数据库中的图像进行比较，其中地标图像数据库包括一个或多个地标的图像的视觉集群；以及基于所述视觉集群中的至少一个用至少一个标签标注新的数字图像。
附图说明
将参考本发明的实施例，这些实施例的示例可以在附图中图示。这些附图意在说明而非限制。尽管在这些实施例的语境中一般地描述了本发明，但是应当理解的是，这并不意在将本发明的范围限制在这些特定实施例。
图1是根据本发明的一个实施例的用来填充和更新地标图像数据库的系统。
图2示出了实现本发明的一个实施例的方法的高层级流程图。
图3是示出了在一个实施例中的图2中所示的地理聚类阶段的更详细操作的流程图。
图4是示出了在一个实施例中的图3中所示的地理集群创建阶段的更详细操作的流程图。
图5是示出了在一个实施例中的图2中所示的视觉聚类阶段的更详细操作的流程图。
图6是在本发明的一个实施例中使用的图形用户接口。
图7是根据本发明的一个实施例的更新地标图像数据库的方法。
图8是根据本发明的一个实施例的使用已存储的地标信息来增强用户查询的方法。
图9是根据本发明的一个实施例的用来自动注释包含地标的图像的方法。
图10是根据本发明的一个实施例的示出了关于根据用户指定的选择标准检索的地标和对应的集群的信息的示例用户界面屏。
图11是根据本发明的一个实施例图示了用来维护集群和地标的方法的操作的流程图。
图12是根据本发明的一个实施例的示出了有关一个视觉集群的细节的示例用户界面屏。
图13是根据本发明的一个实施例图示了用来维护视觉集群的方法的操作的流程图。
具体实施方式
虽然在此参考用于特定应用的说明性实施例描述了本发明，但是应当理解的是，本发明不限于此。本领域的技术人员使用在此的教导将认识到额外修改、应用和在本发明的范围以及本发明在其中将是大量利用的额外领域内的实施例。
本发明包括用于自动识别并分类数字图像中的对象的方法和系统。例如，本发明的实施例可以基于在因特网上可访问的数字图像集合来识别、分类以及排序最受欢迎的旅游地标。本发明的方法和系统可以使得能够对最受欢迎的旅游位置的最新列表和图像集合的有效维护，其中旅游位置的受欢迎度可以由该位置被用户张贴到因特网上的图像的数量来估算。
在图1中示出了根据本发明的一个实施例的受欢迎的地标识别系统100。处理模块101包括地理聚类模块102和视觉聚类模块103。视觉聚类模块103还可以包括受欢迎度模块104。在下面描述了模块102-104的处理功能：关于图3-4描述了地理聚类模块102；关于图5描述了视觉聚类模块。可以在软件、硬件或以上的组合中实现模块102-104的处理功能。例如，可以将模块102-104完全实现为软件模块，或可以使用诸如现场可编程门阵列(FPGA)的硬件来实现地理聚类模块102的一些功能。本领域技术人员将理解的是，处理模块101可以包括帮助本发明的功能的额外组件和模块。例如，处理模块101可以包括一个或多个处理器、存储器、存储设备、用于连接到包括图形用户接口130、地理标注图像库110和地标数据库系统120的外部设备的模块。
地标数据库系统120可以包括地标数据库121和相关联的索引122。地标数据库系统120可以与模块101共同位于同一处理平台或可以分立定位。地标数据库121可以包括系统100所识别的地标的集合。地标数据库121中的为每一个地标存储的信息可以包括地标的图像或图像列表、图像和特征模板以及来自图像的包括地理坐标、时间和用户信息的元数据。地标数据库121还可以包含处理模块101中的处理所需的视觉聚类和地理聚类数据。索引122可以包括按照例如而非限制受欢迎度、地理区域、时间或如感兴趣的主题的其它用户定义的标准中的一个或多个的顺序将地标安排在地标数据库121中的索引。链路141可以是包括例如而非限制，外围组件互连(PCI)总线、IEEE 1394火线接口、以太网接口或IEEE 802.11接口的互连机制中的任何一个或组合。
用户接口130允许用户或其它外部实体与处理系统101、地标数据库系统120以及地理标注图像库110交互。可以使用包括例如而非限制，PCI总线、IEEE 1394火线接口、以太网接口或IEEE 802.11接口的互连机制中的任何一个或组合将用户接口130连接到系统100的其它实体。可以将图形用户接口、web接口以及应用编程接口中的一个或多个包括在用户接口130中。
地理标注图像库110可以包括跨一个或多个网络分布的一个或多个数字地理标注图像库。本领域技术人员将理解的是，还可以将库110实现为指向遍及网络分布的可访问的地理标注图像集合的链接的集合。还可以通过制作在分布式位置可用的全部或部分图像的副本(例如，下载并存储在本地存储中)来实现库110。在一些实施例中，地理标注图像库的一部分可以存在于与处理系统101和/或地标数据库系统120相同的处理平台上。构成地理标注图像库110的不同地理标注图像集合可以通过因特网、内联网或其它形式的互联网络互连。处理系统101将从地理标注图像库可用的图像作为输入。在一些实施例中，可以在将来自分布式图像集合的图像存储在库110中时或输入到处理模块101之前将其转换为诸如GIF的标准图形格式。实施例还可以要求其它形式的标准化，诸如降低或增强分辨率，或在下述之前执行对图像的处理：将图像存储在库110时或输入到处理模块101之前。可以通过链路142和143使用包括例如而非限制，PCI总线、IEEE 1394火线接口、以太网接口或IEEE 802.11接口的互连机制中的任何一个或组合将库110连接到系统的其它组件。
图2是使用来自图像库110的地理编码图像来创建或更新地标数据库121的本发明的一个实施例的过程200的流程图。过程200包括两个主要处理阶段：地理聚类阶段201和视觉聚类阶段202。给定地理编码数字图像集合，例如大型的各种旅游目的地数字图像集合，地理聚类阶段201可以基于每一个照片的地理位置代码将可用图像分成分立的组。地理聚类阶段使用在每一个照片中可用的地理编码以将图像相对快速地分隔成不同的组或地理集群。可以利用预配置的参数，包括在其内的图像被认为属于同一地理集群的默认半径。然后可以将在地理聚类阶段201生成的地理集群输入到视觉聚类阶段202。在视觉聚类阶段202，系统试图通过基于图像相似性将每一个地理集群中的图像再分成同一对象或地标的图像集群(即，视觉集群)来分隔每一个地理集群中的图像。注意到，总的来说，至少部分由于对照片集合的地理聚类是比较已包括在每一个照片中的地理位置信息，所以对照片集合的地理聚类在计算上比对同一图像集合的视觉聚类花费更少。例如，相比之下，视觉聚类202可以包括执行对象识别、特征向量生成以及对图像的每一个中的每一个可识别的对象的比较，然后比较不同图像的特征向量。
在一些实施例中，可以将包括相关联的图像和/或对相关联的图像的引用的视觉集群信息存储在诸如地标数据库121的数据库中。存储在地标数据库121中的图像和/或虚拟图像可以使用允许基于包括受欢迎度的可配置的标准访问已存储的视觉集群的一个或多个索引122来访问。例如，已存储的视觉集群可以由更新索引122以允许按照向每一个集群提交了图像的独特(unique)用户的数量的顺序访问的受欢迎度模块104处理。
在一些实施例中，所选择的视觉集群可以经受用户查阅和/或可以由计算机程序进一步处理。例如，可选地，满足指定标准，诸如具有少于预定数量的图像，的视觉集群可以经受用户查阅。用户可以通过包括以下的行为来修改一个或多个视觉集群：删除图像、添加图像或将图像重新分配到另一个集群。用户还可以指定新的标签信息或修改现存标签信息。本领域技术人员将理解的是，根据从用户或计算机程序接收的外部数据来处理视觉集群可以要求系统执行额外的功能以维护存储在数据库系统120中的地理集群和视觉集群信息的一致性。
图3示出了两个处理阶段，创建地理集群301和验证地理集群302，在本发明的一些实施例中所述阶段包括在地理聚类阶段201中。创建地理集群301可以包括使用一个或多个预定义半径参数来基于两个图像上的地理位置代码确定一个图像是否在另一个图像的地理半径内。注意到，地理聚类算法可能需要考虑实际指示相机的位置而不是对象或地标的位置的地理位置编码。对照片的地理标注可以通过若干装置来实现，所述装置包括具有GPS能力的数码相机、连同匹配软件的与相机分离的GPS设备、使用诸如Google地球的工具或对照片的可交换图像格式(EXIF)标签的人工编辑。地理标注的方法在本领域一般已知，因此在本公开中没有描述。并且，尽管默认的地理集群半径可以适于感兴趣的大部分地标或对象，但是一些地标可能需要不同的集群半径参数以产生对图像的最有效的聚组。在阶段301，基于地理接近性来生成一个或多个图像的集群。
在地理集群验证阶段302，可以基于所选择的标准来验证在创建地理聚类阶段301生成的地理集群中的每一个。例如，在本发明的一个实施例中，目标可以是确保选择用于进一步处理的每一个地理集群合理地包括旅游地标，即受欢迎的地标。相应地，验证标准可以是仅进一步处理具有来自比预定阈值多的独特用户的图像的地理集群。诸如具有至少预定数量的提交了同一地标的图像的独特用户的验证标准可能滤除没有什么受欢迎吸引力的其它建筑物、构筑物和名胜古迹、公园、山峦、风景等的图像。例如，张贴自己的没有太大受欢迎吸引力的新近建造的房屋的图片的热情房主不太可能张贴他的房屋的若干数量的图像，其中该图像的数量与由因特网数字图像集合站点的所有用户张贴的任何受欢迎的地标的图像的数量相比较是可观的。在一个实施例中，可以每季节和/或每地理区域设置阈值。在其它实施例中，可以通过针对独特用户的分布首先分析地理集群来导出阈值。在又其它实施例中，可以为每一个类型的地标设置阈值。对用于设置阈值的方法的前述描述仅用于说明的目的。本领域技术人员将理解的是，存在许多其它方法，通过其可以根据每一次使用的焦点来验证地理集群。
图4图示了在本发明的一个实施例中的地理聚类阶段中的处理的进一步细节301。对于每一个地理标注图像，可以重复阶段401-405。对于尚不属于集群的每一个地理标注图像，在阶段401确定从图像到每一个集群的距离。距离确定可以基于图像的中心的地理坐标。例如，在一个实施例中，距离可以是从图像的中心到集群的移动平均图像中心，其中每当新的图像被添加到集群时移动平均被更新以及移动平均可以被计算为集群中的图像中的每一个的中心的平均。在阶段402，作出关于图像是否与现存集群匹配的决定。决定可以基于落入距集群的中心地理坐标的预定半径所定义的区域内的图像的地理坐标。预定半径可以例如基于每地理区域基础、基于对每一个集群中的图像的中心坐标的分析或基于地标的类型。如果认为图像是对现存集群的匹配，则在阶段403将图像添加到该集群。否则，在阶段404创建新的集群。将图像添加到现存集群或创建新的集群，可能需要计算一些集群参数，诸如集群的地理中心坐标。当过程301为输入的地理标注图像集而完成后，地理集群集应当可用。可以将地理集群与相关联的信息一起存储为地理标注图像库110或处理模块101可访问的另一个存储设备的一部分。与每一个图像或地理集群相关联的信息可以包括地理位置和描述图像的其它元数据、如果可用的话，分配给图像的文本标签以及基于图像的地理位置信息的额外位置信息(即，指定国家和城市的文本标记)。
图5是在本发明的一个实施例中的视觉聚类阶段202的详细视图。对于在阶段201生成的每一个地理集群，重复阶段501-505。到视觉聚类阶段202的输入是在阶段201产生的地理集群集。来自视觉聚类阶段202的输出是有关输入的地理集群中的每一个的一个或多个视觉集群。每一个视觉集群应当包括具有同一例如受欢迎的旅游地标的图像。视觉集群集可以收集以各种相机角度、相机距离和光线条件描绘特定地标的所有图像。该视觉集群集是否包含具有特定地标的所有图像并且只有那些图像，是视觉聚类方法的有效性和参数的函数。无论视觉集群集是否具有包含特定地标的所有图像并且只有那些图像，本公开的教导都适用。对于地理集群，阶段501创建集群中的图像的索引。索引可以是集群中的图像的列表，其具有包括原始图像或对原始图像的引用、从原始图像导出的图像(例如，原始图像的较低分辨率版本)、一个或多个图像模板和特征向量、用户标识、地理标注、时间信息以及已分配的任何标签的数据元素。在阶段502，将地理集群中的每一个图像与对应的索引进行匹配。匹配过程502对于地理集群中的每一个图像，生成对匹配图像的引用。在匹配过程502之后，索引可以对于每一个图像，包含对该地理集群内的所有其它匹配图像的引用。阶段502中的匹配可以包括每一个图像内的对象识别以识别诸如地标的感兴趣的对象、生成每一个所识别的对象的特征向量，然后比较特征向量以获取匹配信息。比较可以基于分配给包括在特征向量中的特征的可配置的数字分值以及将两个图像分类成匹配对的可配置的数字阈值。图像中的对象识别和生成特征向量的方法在本领域众所周知。例如，在希腊科孚岛的International Conference on Computer Vision(1999年9月)第1150-1157页，David G.Lowe的″Object recognition from localscale-invariant features″中描述了图像中的对象识别的方法。
在阶段503，基于在阶段501-502生成的索引和匹配，生成匹配区域图。在匹配区域图中，节点是图像，以及在节点之间的链接指示图像之间的关系。例如，根据阶段502匹配的图像对会具有在它们之间的链接。在阶段504，使用匹配区域图来生成视觉集群。简而言之，视觉集群是在基于阶段504中的额外处理删去弱链接后匹配区域图中的连接的子树。弱链接可以是在图像基于图像或特征模板来匹配的情况下带有小于阈值数量的匹配特征的链接。一些实施例可以将没有匹配指定特征集的链接认作为弱链接。如果可用的话，集群中的图像之间的文本标记协议可以是另一个标准。并且，可以在删去弱链接时考虑集群中的图像的数量，以最小化带有非常少图像的集群。本领域技术人员将理解的是，除在此描述的那些外，删去弱链接可以基于多种标准。最后，在阶段505保存视觉集群数据。可以将视觉集群保存到地标数据库121。连同每一个视觉集群的图像和对象信息外，可以保存其它相关数据，包括但不限于描述集群的一个或多个文本标记以及特别代表集群的一个或多个图像。可以例如通过合并视觉集群的每一个构成图像的文本标记来生成描述该视觉集群的文本标记。特别代表视觉集群的一个或多个图像对于在例如受欢迎的旅游地标的索引中显示可以是有用的。
在本发明的另一个实施例中，实现了对生成的视觉集群的用户验证。图6图示了图形用户接口601，其可以向用户显示每一个视觉集群中的图像，以及向用户提供人工编辑每一个集群的各个方面的能力。例如，图形用户接口可以检索存储在地标数据库621中的视觉集群，以及将编辑后的视觉集群写回到同一数据库621。图形用户接口601可以包括集群标记模块602，其允许用户将新的文本标记分配给每一个集群和/或图像和/或修改每一个集群和/或图像的当前分配的文本标记。例如，集群标记模块602可以显示每一个集群和它的当前文本标记，以及分配给集群中的个体图像的标记，以及允许用户修改分配给集群的文本标记。集群合并模块603可以允许用户合并或拆分集群。对集群的这样的人工合并或拆分可以是用户在查看了一个或多个集群中的图像后所期望的。集群编辑模块604可以允许用户从集群添加或删除个体图像。模块604在人工去除集群的对应的地标的低劣表示时以及对于人工添加集群的对应的地标的一个或多个新的图像可以是有用的。除上述外，本发明的实施例可以在用户与系统100交互时向用户提供各种选项。
返回到图1，在一些实施例中，受欢迎度模块104可以计算每一个视觉集群的受欢迎度分值，并且相应地对视觉集群进行排名。用于访问地标数据库121的索引122中的一个或多个可以基于受欢迎度模块所计算的受欢迎度排名。集群的受欢迎度分值可以基于以下中的一个或多个：集群中的图像的总数、向集群贡献了图像的独特用户的数量、在视觉集群的中心的某一预定半径内的图像或带有独特用户标识符的图像的数量。应当理解的是，还可以使用没有在上面描述的其它方法来计算受欢迎度分值。
在本发明的另一个实施例中，逐步生成地标数据库。图7是可以用于逐步生成地标数据库的示例性过程。阶段701中通过其它装置将新近可用的地理标注图像下载到本地存储或使新近可用的地理标注图像对处理模块101可用。在阶段702，在包括新的地理标注图像的所有可用的地理标注图像上实现地理聚类。在上面关于图3-4描述了地理聚类。在阶段703，由阶段702产生的地理集群经受视觉聚类。在上面关于图5描述了视觉聚类。完成了视觉聚类后，在阶段704，一些实施例可以传播用户发起的对先前存储在地标数据库中的视觉聚类中的先前聚类的部分或全部改变。例如，可以将用户分配或修改的标签传播给新的聚类。可选地，在阶段705，新的视觉聚类可以经受用户验证和人工编辑。在上面关于图6描述了若干类型的用户交互。
具有地标数据库121的系统100可以使能许多应用。例如，地标数据库121可以用于增补用户查询以使查询更聚焦。图8图示了一个实施例中的可以用于增补用户查询的过程。在阶段802可以为预定触发词集解析所接收的用户查询。例如，诸如“巴黎”的城市名可以用于触发城市中的地标，反之亦然。识别了查询中的触发词后，在阶段803可以为那些触发词搜索地标数据库以识别相关联的标签词。继续前面的示例，“巴黎”的触发词可以促使搜索发现“埃菲尔铁塔”。在阶段804，然后将所识别的相关联的标签词用于增补查询字符串。这样的增补后的查询字符串对于找到更广泛的相关信息可以是有用的。
在图9中示出了在本发明的一个实施例中的另一个应用。过程900可以用于对数字图像的在线自动标注。例如，在阶段901，将新的数字图像与地标图像数据库中的图像进行比较。如果找到一个或多个匹配的图像，则在阶段902基于所有匹配的图像生成标签。在阶段903，用新近生成的标签标注新的图像。
图10图示了在本发明的一个实施例中的用户接口1000，其中根据用户输入选择了地标集，并且显示了关于每一个所选择的地标的视觉集群的细节。可以在诸如1010的每一个区域内显示根据用户指定的标准来选择的地标。每一个所选择的地标还可以具有用于接收用户输入的区域，例如复选框1040。对于每一个所显示的地标，可以显示视觉集群的摘要列表。视觉集群的摘要列表可以被显示，使得其被清楚地示出为属于特定所显示的地标，例如，用于第一所显示的地标的视觉集群的摘要列表可以包含在与第一所显示的地标相对应的显示区域1010内。用于所显示的地标的视觉集群的摘要列表的每一个条目1020可以具有对应的位置以接收特定于该集群的用户输入，诸如对应于在1020中表示的视觉集群的复选框1030。每一个条目1020可以包括关于集群的描述信息1022和用来检索进一步细节的链接1021。例如，关于每一个集群的描述信息可以包括图像的数量、就向集群贡献图像的独特用户或作者的数量而言的受欢迎度、关于集群是否被人工修改或验证过的信息以及诸如键的任何访问信息。链接1021包括用来检索所选择的集群的图像和个体图像相关数据的链接方法，诸如用户可导航的超链接。
图11是示出了本发明的一个实施例中的与接口1000有关的处理的流程图。在阶段1110，用户指定一个或多个选择标准，诸如国家、城市、地区和/或其它关键词。包括关键词的用户指定的信息可以用来基于分配给图像的标签搜索图像。用户还可以指定其它检索标准，诸如所显示的地标的最低受欢迎程度以及具有用户所提交的最小数量的图像的地标。例如，用户可能希望查看埃及的至少10个独立用户为其提交过图像的地标。用户还可以指定只有具有至少指定数量的图像的地标才应当被显示。对于满足用户指定的选择标准的每一个地标，重复阶段1112至1120。在阶段1112，找到满足用户指定的选择标准的一个或多个地标。对于每一个所选择的地标，重复阶段1114至1116以显示具有所选择的地标的视觉集群。在阶段1114，选择视觉集群，以及在阶段1116，显示描述1020视觉集群的信息。例如，对于每一个视觉集群，可以显示图像的数量、图像的独特用户标识符或作者的数量、用来访问集群中的图像的链接、其它访问信息等。对于在阶段1116显示的每一个视觉集群，可以显示诸如复选框1030的用户输入图形并且使所述用户输入图形能够用于用户输入。
在阶段1118，作出关于是否存在待显示的与所选择的地标相对应的更多视觉集群的确定。如果对于所选择的地标，没有更多视觉集群待被显示，则在阶段1120，显示关于地标的信息。例如，可以显示诸如地标的名称和位置、受欢迎度、图像的数量等的信息。对于在阶段1120中显示的每一个地标，还可以显示对应的用户输入图形，并且使所述用户输入图形能够用于用户输入。例如，在图10中，复选框1040可以接收与在区域1010中显示的地标相对应的用户输入。在阶段1122，作出关于是否存在待被显示的额外地标的确定。如果已显示所有满足用户指定的选择标准的地标，则在阶段1124，接收与视觉集群相对应的用户输入。与视觉集群相对应的用户输入例如可以指示合并一个或多个集群或使一个或多个集群与所选择的地标去关联。在阶段1126，相应地处理视觉集群。在阶段1128，接收与每一个地标相对应的用户输入。与每一个地标相对应的用户输入例如可以指示合并和/或删除一个或多个地标。
图12示出了在本发明的一个实施例中的在其中用户可以查看关于所选择的视觉集群的信息的用户接口1200。接口1200可以包括在其中显示了代表所选择的视觉集群的一个或多个示例图像的区域1210、在其中列出了包括视觉集群中的每一个图像的细节的描述数据元素组的区域1220以及在其中显示了所选择的图像的区域1230。区域1220对于所选择的集群中的每一个图像，可以包括描述信息1224和诸如复选框1222的对应的用户输入图形。描述信息1224可以包括，例如而非限制，用来检索对应的图像的链接、有关图像的数据和时间信息、图像的作者信息以及标签信息。区域1230可以显示从在1220中显示的列表检索的图像。在区域1230中显示的图像可以例如而非限制，使用户能够查看所显示的图像中的感兴趣的区1232。例如，探明任何图像中的感兴趣的区的能力可以允许用户更好地确定特定图像处于当前集群中的合适性。
图13是示出了在一个实施例中的与接口1200有关的处理的流程图。在阶段1310，接收选择视觉集群的用户输入。在阶段1312，例如在区域1210中选择并显示代表所选择的视觉集群的一个或多个图像。在阶段1314，例如在区域1220中显示有关所选择的集群中的每一个图像的信息。信息关于每一个各种数据元素列出，所述各种数据元素包括例如而非限制，用来检索对应的图像的链接、有关图像的数据和时间信息、图像的作者信息以及标签信息。还可以为每一个列出的图像显示诸如复选框1222的用户输入图形，并且使所述用户输入图像能够用于用户输入。在阶段1316，接收用户输入。在阶段1318，根据所接收的用户输入来处理视觉集群。例如，可以从所选择的集群删除图像、可以改变一些标签信息等。
在本发明的一个实施例中，使用众所周知的计算机来实现在此描述的本发明的系统和组件。这样的计算机可以是能够执行在此描述的功能的任何商用和众所周知的计算机，诸如可从International BusinessMachines(国际商业机器)、Apple、Silicon Graphics公司、Sun、HP、Dell、Compaq、Digital、Cray等获得的计算机。
包括具有存储在其中的控制逻辑(软件)的计算机可用或可读介质的任何装置或制成品在此被称为计算机程序产品或程序存储设备。这包括但不限于计算机、主存储器、硬盘或可移动的存储单元。具有存储在其中的、在由一个或多个数据处理设备执行时促使这样的数据处理设备如在此所描述的那样操作的控制逻辑的这样的计算机程序产品表示本发明的实施例。
应当理解，具体实施方式部分而不是发明内容和摘要部分意在用于解释权利要求。发明内容和摘要部分可以阐明发明人考虑的本发明的一个或多个而非所有的示例性实施例，因此发明内容和摘要部分并不意在以任何方式来限制本发明和所附的权利要求。
在上面借助于说明指定的功能及其关系的实现的功能构造块来描述了本发明。在此为了便于描述，任意地限定了这些功能构造块的边界。可以限定替选边界，只要所述指定的功能及其关系被适当地执行。
特定实施例的前述描述如此充分地揭示了本发明的一般特性，使得其他人可以在不背离本发明的一般思想的情况下，通过应用在本领域的技术内的知识而容易地修改和/或调整本发明的一般特性以用于这样的特定实施例的各种应用，而不用进行过度的实验。因此，基于在此提供的教导和指导，这样的调整和修改意在在所公开的实施例的等同物的含义和范围内。应当理解的是，在此的措词或术语用于描述而非限制的目的，因此本说明书的术语或措词应当由技术人员根据所述教导和指导来解释。
本发明的宽度和范围不应当由上述示例性实施例的任何一个限制，而是应当仅根据所附权利要求及其等同物来限定。

Claims (18)

1.一种用于填充以及更新地标图像数据库的方法，包括：
（a）根据地理接近性对地理标注图像进行地理聚类以生成一个或多个地理集群，其中所述地理接近性是根据相应的地理标注图像的地理位置代码而被确定的；以及
（b）根据图像相似性对所生成的所述一个或多个地理集群中的相应地理集群进行视觉聚类以生成用于所生成的所述一个或多个地理集群中的每一个地理集群的一个或多个视觉集群，其中所述视觉聚类包括基于区域图来选择视觉集群，其中所述区域图中的每个节点与来自所述一个或多个地理集群中的相应图像相对应，并且所述区域图中的两个节点之间的链接表示与所述两个节点相对应的相应图像之间的至少一个匹配特征，并且其中所述区域图中的相应的连接的子树被选择为视觉聚类。
2.如权利要求1所述的方法，其中所述地理聚类包括选择包括至少一个受欢迎的地标的一个或多个地理集群。
3.如权利要求2所述的方法，其中所述选择包括：选择具有至少预定数量的相关联的独特用户标识符的所述一个或多个地理集群，其中所述独特用户标识符中的每一个标识提交了所述一个或多个地理集群中的图像的用户。
4.如权利要求1所述的方法，其中所述区域图是基于地理集群中的匹配的图像来生成的。
5.如权利要求1所述的方法，其中所述视觉聚类包括生成用于至少一个视觉集群的文本标记。
6.如权利要求5所述的方法，其中所述用于至少一个视觉集群的文本标记基于所述至少一个视觉集群中的个体图像的文本标记。
7.如权利要求5所述的方法，其中所述用于至少一个视觉集群的文本标记基于先前分配给在先视觉集群的文本标记，以及其中所述在先视觉集群是具有用户分配的文本标记的集群。
8.如权利要求1所述的方法，进一步包括：
（c）接收外部数据；以及
（d）基于所述外部数据来处理所述视觉集群。
9.如权利要求8所述的方法，其中所述外部数据包括文本标签。
10.如权利要求8所述的方法，其中所述外部数据包括用户输入。
11.如权利要求1所述的方法，进一步包括：
（e）存储视觉集群。
12.一种用于从数字图像识别地标的系统，包括：
（a）地理标注图像数据库；
（b）地标数据库；
（c）与所述地理标注图像数据库通信的地理聚类模块，其中所述地理标注图像是根据地理接近性被聚组成一个或多个地理集群的，其中所述地理接近性是根据相应的地理标注图像的地理位置代码而被确定的；以及
（d）与所述地理聚类模块通信的视觉聚类模块，其中所生成的一个或多个地理集群中的相应集群是根据图像相似性而被聚组成用于所生成的所述一个或多个地理集群中的每一个集群的一个或多个视觉集群，其中所述视觉聚类模块包括基于区域图来选择视觉集群的装置，其中所述区域图中的每个节点与来自所述一个或多个地理集群中的相应图像相对应，并且所述区域图中的两个节点之间的链接表示与所述两个节点相对应的相应图像之间的至少一个匹配特征，并且其中所述区域图中的相应的连接的子树被选择为视觉聚类，以及其中视觉集群数据被存储在所述地标数据库中。
13.如权利要求12所述的系统，其中所述地标数据库包括地标的图像和相关联的文本标记。
14.如权利要求12所述的系统，进一步包括：
（e）接口，所述接口用来接收外部数据，其中所述外部数据包括用于所述一个或多个视觉集群的标签。
15.如权利要求14所述的系统，其中所述外部数据进一步包括用于所述一个或多个视觉集群的图像。
16.如权利要求14所述的系统，其中所述接口是图形用户接口。
17.如权利要求12所述的系统，其中所述视觉聚类模块进一步包括受欢迎度索引模块，所述受欢迎度索引模块被配置为根据每一个视觉聚类中的地标的受欢迎度来对该视觉聚类进行排名。
18.一种用于填充以及更新地标图像数据库的系统，所述系统包括：
（a）用于根据地理接近性对地理标注图像进行聚类以生成一个或多个地理集群的装置，其中所述地理接近性是根据相应的地理标注图像的地理位置代码而被确定的；以及
（b）用于根据图像相似性对所生成的所述一个或多个地理集群中的相应地理集群进行视觉聚类以生成用于所生成的所述一个或多个地理集群中的每一个地理集群的一个或多个视觉集群的装置，其中所述视觉聚类包括基于区域图来选择视觉集群，其中所述区域图中的每个节点与来自所述一个或多个地理集群中的相应图像相对应，并且所述区域图中的两个节点之间的链接表示与所述两个节点相对应的相应图像之间的至少一个匹配特征，并且其中所述区域图中的相应的连接的子树被选择为视觉聚类。
CN200980127106.5A 2008-05-12 2009-05-12 自动发现受欢迎的地标 Active CN102089761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410455635.0A CN104298710B (zh) 2008-05-12 2009-05-12 自动发现受欢迎的地标

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/119,359 2008-05-12
US12/119,359 US8676001B2 (en) 2008-05-12 2008-05-12 Automatic discovery of popular landmarks
PCT/US2009/002916 WO2009139844A2 (en) 2008-05-12 2009-05-12 Automatic discovery of popular landmarks

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410455635.0A Division CN104298710B (zh) 2008-05-12 2009-05-12 自动发现受欢迎的地标

Publications (2)

Publication Number Publication Date
CN102089761A CN102089761A (zh) 2011-06-08
CN102089761B true CN102089761B (zh) 2014-10-15

Family

ID=41266941

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410455635.0A Active CN104298710B (zh) 2008-05-12 2009-05-12 自动发现受欢迎的地标
CN200980127106.5A Active CN102089761B (zh) 2008-05-12 2009-05-12 自动发现受欢迎的地标

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410455635.0A Active CN104298710B (zh) 2008-05-12 2009-05-12 自动发现受欢迎的地标

Country Status (5)

Country Link
US (4) US8676001B2 (zh)
JP (2) JP5476369B2 (zh)
KR (1) KR101579634B1 (zh)
CN (2) CN104298710B (zh)
WO (1) WO2009139844A2 (zh)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170286434A1 (en) * 2005-10-26 2017-10-05 Cortica, Ltd. System and method for signature-based clustering of multimedia content elements
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
WO2009128021A1 (en) * 2008-04-14 2009-10-22 Koninklijke Philips Electronics N.V. Method and apparatus for searching a plurality of stored digital images
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9646025B2 (en) * 2008-05-27 2017-05-09 Qualcomm Incorporated Method and apparatus for aggregating and presenting data associated with geographic locations
WO2009146719A1 (en) * 2008-06-03 2009-12-10 Eth Zurich Method and system for generating a pictorial reference database using geographical information
JP2009301416A (ja) * 2008-06-16 2009-12-24 Kddi Corp コンテンツ分類装置、コンテンツ検索装置、コンテンツ検索システム及びコンピュータプログラム
US8788493B2 (en) 2008-06-30 2014-07-22 Verizon Patent And Licensing Inc. Digital image tagging apparatuses, systems, and methods
TWI390177B (zh) * 2008-11-24 2013-03-21 Inst Information Industry 景點推薦裝置和方法以及儲存媒體
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections
JP5268787B2 (ja) * 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20110184949A1 (en) * 2010-01-25 2011-07-28 Jiebo Luo Recommending places to visit
US9465993B2 (en) 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US20110292230A1 (en) 2010-05-28 2011-12-01 Winters Dustin L Method for managing privacy of digital images
US9703895B2 (en) * 2010-06-11 2017-07-11 Microsoft Technology Licensing, Llc Organizing search results based upon clustered content
US20110310088A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US8379912B2 (en) * 2010-06-18 2013-02-19 Google Inc. Identifying establishments in images
US8270684B2 (en) 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US8581997B2 (en) 2010-10-28 2013-11-12 Intellectual Ventures Fund 83 Llc System for locating nearby picture hotspots
US8442716B2 (en) 2010-10-31 2013-05-14 Microsoft Corporation Identifying physical locations of entities
CN103314395B (zh) * 2010-11-01 2016-09-28 寇博租赁有限公司 创建、连接和显示三维空间物体的方法
US8655889B2 (en) * 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
US8533187B2 (en) 2010-12-23 2013-09-10 Google Inc. Augmentation of place ranking using 3D model activity in an area
US8566325B1 (en) 2010-12-23 2013-10-22 Google Inc. Building search by contents
WO2012090017A1 (en) * 2010-12-30 2012-07-05 Telefonaktiebolaget L M Ericsson (Publ) Method of building a geo-tree
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US10453226B1 (en) * 2011-07-26 2019-10-22 Google Llc Presenting information on a map
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9165206B2 (en) * 2011-12-12 2015-10-20 Google Inc. Updating point of interest data based on an image
CN103164480A (zh) * 2011-12-13 2013-06-19 北京千橡网景科技发展有限公司 用于在社交网络中推荐兴趣点的方法和设备
CN103207879B (zh) 2012-01-17 2016-03-30 阿里巴巴集团控股有限公司 图像索引的生成方法及设备
CN103294712B (zh) * 2012-02-29 2016-09-21 三星电子（中国）研发中心 实时热点区域推荐系统和方法
JP2013207357A (ja) * 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
US8996305B2 (en) * 2012-06-07 2015-03-31 Yahoo! Inc. System and method for discovering photograph hotspots
US9020278B2 (en) * 2012-06-08 2015-04-28 Samsung Electronics Co., Ltd. Conversion of camera settings to reference picture
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
CN103577400A (zh) * 2012-07-18 2014-02-12 三星电子（中国）研发中心 一种提供地点信息的方法及系统
US9036865B2 (en) * 2012-09-12 2015-05-19 International Business Machines Corporation Location determination for an object using visual data
US20140072226A1 (en) * 2012-09-13 2014-03-13 International Business Machines Corporation Searching and Sorting Image Files
US9677886B2 (en) * 2013-02-10 2017-06-13 Qualcomm Incorporated Method and apparatus for navigation based on media density along possible routes
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9230191B2 (en) 2013-03-15 2016-01-05 Dropbox, Inc. Presentation and organization of content
US20140279261A1 (en) 2013-03-15 2014-09-18 Google Inc. Destination and point of interest search
EP2782058A1 (en) * 2013-03-20 2014-09-24 Valuetainment AG Information system to obtain an exposition rating of a geographical area
US9465513B2 (en) * 2013-04-11 2016-10-11 General Electric Company Visual representation of map navigation history
CN103198162B (zh) * 2013-04-28 2016-08-31 冠捷显示科技（厦门）有限公司 一种图像浏览交互方法
CN103488769B (zh) * 2013-09-27 2017-06-06 中国科学院自动化研究所 一种基于多媒体数据挖掘的地标信息检索方法
US9069794B1 (en) * 2013-10-11 2015-06-30 Google Inc. Determining location information for images using landmark, caption, and metadata location data
US9531722B1 (en) 2013-10-31 2016-12-27 Google Inc. Methods for generating an activity stream
US9542457B1 (en) 2013-11-07 2017-01-10 Google Inc. Methods for displaying object history information
US9614880B1 (en) 2013-11-12 2017-04-04 Google Inc. Methods for real-time notifications in an activity stream
US10242080B1 (en) * 2013-11-20 2019-03-26 Google Llc Clustering applications using visual metadata
US9471834B1 (en) * 2013-11-22 2016-10-18 Google Inc. System and method for updating map views
US9509772B1 (en) 2014-02-13 2016-11-29 Google Inc. Visualization and control of ongoing ingress actions
DE202015009325U1 (de) * 2014-03-04 2017-02-22 Google Inc. Schematische Darstellung von geografischen Standorten
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9536199B1 (en) 2014-06-09 2017-01-03 Google Inc. Recommendations based on device usage
CN105338479B (zh) 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
US9507791B2 (en) 2014-06-12 2016-11-29 Google Inc. Storage system user interface with floating file collection
US10078781B2 (en) 2014-06-13 2018-09-18 Google Llc Automatically organizing images
US9870420B2 (en) 2015-01-19 2018-01-16 Google Llc Classification and storage of documents
US9495614B1 (en) 2015-02-27 2016-11-15 Google Inc. Verifying labels for images using image recognition
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
RU2015111646A (ru) * 2015-03-31 2016-10-20 Общество С Ограниченной Ответственностью "Яндекс" Система и способ ранжирования точек интереса с использованием фоторейтинга
RU2015125820A (ru) 2015-06-30 2017-01-10 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер обработки пользовательского запроса на предоставление рекомендованной области интереса
US10467284B2 (en) 2015-08-03 2019-11-05 Google Llc Establishment anchoring with geolocated imagery
US10169659B1 (en) * 2015-09-24 2019-01-01 Amazon Technologies, Inc. Video summarization using selected characteristics
US10476827B2 (en) 2015-09-28 2019-11-12 Google Llc Sharing images and image albums over a communication network
KR102465332B1 (ko) * 2015-12-29 2022-11-11 에스케이플래닛 주식회사 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
US10664719B2 (en) 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
TWI626428B (zh) * 2016-03-29 2018-06-11 群邁通訊股份有限公司 路線規劃系統及方法
US10007867B2 (en) * 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
US10628463B2 (en) * 2016-04-07 2020-04-21 Adobe Inc. Applying geo-tags to digital media captured without location information
CN106528807A (zh) * 2016-11-15 2017-03-22 杭州壹晨仟阳科技有限公司 地标注册方法、装置、设备以及地标查询方法和装置
CN106991404B (zh) * 2017-04-10 2019-06-28 山东师范大学 基于众源地理数据的地表覆盖更新方法及系统
EP3568787B1 (en) 2017-05-17 2024-04-10 Google LLC Automatic image sharing with designated users over a communication network
CN114625900A (zh) * 2017-10-24 2022-06-14 松下知识产权经营株式会社 内容管理设备、内容管理系统、以及控制方法
CN109725980B (zh) * 2017-10-27 2023-05-16 伊姆西Ip控股有限责任公司 生成镜像标签的方法、设备以及计算机可读介质
US11232115B2 (en) * 2018-04-11 2022-01-25 Nokia Technologies Oy Identifying functional zones within a geographic region
CN108829801B (zh) * 2018-06-06 2020-11-20 大连理工大学 一种基于文档级别注意力机制的事件触发词抽取方法
CN109255365B (zh) * 2018-07-26 2021-09-28 河海大学 一种基于K-medoids算法的地理适宜性分类方法
CN109583484B (zh) * 2018-11-14 2022-04-05 西北工业大学 一种三类海域地标点自动选取方法
CN111209419B (zh) * 2018-11-20 2023-09-19 浙江宇视科技有限公司 一种图像数据存储的方法及装置
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
WO2020198677A1 (en) * 2019-03-27 2020-10-01 Rovi Guides, Inc. Replacing a background portion of an image
US10887531B2 (en) 2019-03-27 2021-01-05 Rovi Guides, Inc. Replacing a background portion of an image
US10944921B2 (en) 2019-03-27 2021-03-09 Rovi Guides, Inc. Replacing a background portion of an image
US11025837B2 (en) 2019-03-27 2021-06-01 ROVl GUIDES, INC. Replacing a background portion of an image
US10848920B1 (en) * 2019-09-17 2020-11-24 Microsoft Technology Licensing, Llc Generation of precise geospatial coordinates
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
CN111325249B (zh) * 2020-02-10 2022-05-17 上海携旅信息技术有限公司 图像应季判别方法、系统、电子设备和介质
KR102310446B1 (ko) * 2020-12-31 2021-10-07 (주)트레블씨투비 심층학습모델을 기초로 위치 변화에 무관하게 랜드 마크를 식별하기 위한 장치 및 이를 위한 방법
CN113435443B (zh) * 2021-06-28 2023-04-18 中国兵器装备集团自动化研究所有限公司 一种从视频中自动识别地标的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015497A1 (en) * 2003-11-26 2006-01-19 Yesvideo, Inc. Content-based indexing or grouping of visual images, with particular use of image similarity to effect same

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168855A (ja) 1993-09-21 1995-07-04 Toshiba Corp 情報記録再生装置
JP3307843B2 (ja) 1996-10-30 2002-07-24 松下電器産業株式会社 ハイパーテキスト構造における地図表示装置
WO1999053443A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
JPH11328194A (ja) * 1998-05-13 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> キーワード検索方法及び装置及びキーワード検索プログラムを格納した記憶媒体
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2000259669A (ja) 1999-03-12 2000-09-22 Ntt Data Corp 文書分類装置及びその方法
US6411724B1 (en) 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
JP2002010178A (ja) 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
US7233942B2 (en) * 2000-10-10 2007-06-19 Truelocal Inc. Method and apparatus for providing geographically authenticated electronic documents
JP3437555B2 (ja) 2001-03-06 2003-08-18 キヤノン株式会社 特定点検出方法及び装置
GB0114271D0 (en) 2001-06-12 2001-08-01 Univ Manchester Parameterisation
KR20030059403A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 멀티미디어 검색방법 및 장치
JP2004021717A (ja) 2002-06-18 2004-01-22 Toshiba Corp 空間データ分析装置、空間データ分析プログラムおよび空間データ分析方法
US7911497B2 (en) * 2003-04-25 2011-03-22 Lockheed Martin Corporation Method and apparatus for video on demand
JP4388301B2 (ja) * 2003-05-08 2009-12-24 オリンパス株式会社 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体
KR20060034249A (ko) * 2003-06-30 2006-04-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 이미지들의 강화된 조직화 및 검색
US7313574B2 (en) 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US20060020597A1 (en) * 2003-11-26 2006-01-26 Yesvideo, Inc. Use of image similarity in summarizing a collection of visual images
US7697792B2 (en) * 2003-11-26 2010-04-13 Yesvideo, Inc. Process-response statistical modeling of a visual image for use in determining similarity between visual images
WO2005055138A2 (en) * 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
DE102004046563B4 (de) * 2004-09-24 2008-01-03 Aerodyn Energiesysteme Gmbh Windenergieanlage mit vollintegriertem Maschinensatz
US7707239B2 (en) 2004-11-01 2010-04-27 Scenera Technologies, Llc Using local networks for location information and image tagging
US7574409B2 (en) * 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
US7643686B2 (en) * 2004-11-17 2010-01-05 Eastman Kodak Company Multi-tiered image clustering by event
US7653249B2 (en) * 2004-11-17 2010-01-26 Eastman Kodak Company Variance-based event clustering for automatically classifying images
US8027832B2 (en) 2005-02-11 2011-09-27 Microsoft Corporation Efficient language identification
US8732175B2 (en) 2005-04-21 2014-05-20 Yahoo! Inc. Interestingness ranking of media objects
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7353114B1 (en) * 2005-06-27 2008-04-01 Google Inc. Markup language for an interactive geographic information system
US8094974B2 (en) 2005-07-26 2012-01-10 Panasonic Corporation Picture data management apparatus and picture data management method
US7840558B2 (en) * 2005-11-04 2010-11-23 Microsoft Corporation Geo-tagged based listing service and mapping engine
US8098899B2 (en) * 2005-11-14 2012-01-17 Fujifilm Corporation Landmark search system for digital camera, map data, and method of sorting image data
JP2007142672A (ja) 2005-11-16 2007-06-07 Fujifilm Corp 画像分類装置及び方法、並びにデジタルカメラ
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
JP2007179368A (ja) * 2005-12-28 2007-07-12 Mekiki Creates Co Ltd 画像編集支援システムとその装置、方法、及びプログラム
EP1816836A3 (en) * 2005-12-30 2010-01-13 LG Electronics Inc. Apparatus and method for managing images of mobile terminal
JP2007194948A (ja) * 2006-01-19 2007-08-02 Fujifilm Corp 画像編集装置及び画像編集プログラム
US7725451B2 (en) * 2006-01-23 2010-05-25 Microsoft Corporation Generating clusters of images for search results
JP4671235B2 (ja) 2006-01-26 2011-04-13 田岡化学工業株式会社 フルオレン誘導体の製造方法
KR100641791B1 (ko) 2006-02-14 2006-11-02 (주)올라웍스 디지털 데이터에 대한 태깅 방법 및 시스템
US20070208776A1 (en) * 2006-03-06 2007-09-06 Microsoft Corporation Assignment of metadata
JP2007316876A (ja) 2006-05-25 2007-12-06 Hitachi Ltd 文書検索プログラム
US20080010273A1 (en) * 2006-06-12 2008-01-10 Metacarta, Inc. Systems and methods for hierarchical organization and presentation of geographic search results
JP2007334505A (ja) 2006-06-13 2007-12-27 Mitsubishi Electric Corp 施設検索システムならびにこれに用いられる移動体端末およびサーバ
US7739221B2 (en) * 2006-06-28 2010-06-15 Microsoft Corporation Visual and multi-dimensional search
JP2008033399A (ja) 2006-07-26 2008-02-14 Fujifilm Corp 情報提供システム
US7707208B2 (en) * 2006-10-10 2010-04-27 Microsoft Corporation Identifying sight for a location
US7657504B2 (en) 2006-10-10 2010-02-02 Microsoft Corporation User interface for displaying images of sights
WO2008055120A2 (en) 2006-10-30 2008-05-08 Seeqpod, Inc. System and method for summarizing search results
US8037051B2 (en) * 2006-11-08 2011-10-11 Intertrust Technologies Corporation Matching and recommending relevant videos and media to individual search engine results
JP4891740B2 (ja) 2006-11-22 2012-03-07 株式会社日立製作所 コンテンツ検索装置及びコンテンツ検索方法
US20080118160A1 (en) * 2006-11-22 2008-05-22 Nokia Corporation System and method for browsing an image database
JP2008165303A (ja) 2006-12-27 2008-07-17 Fujifilm Corp コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
JP4672692B2 (ja) 2007-03-14 2011-04-20 株式会社東芝 単語認識システムおよび単語認識プログラム
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8155399B2 (en) 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
WO2008152805A1 (ja) 2007-06-14 2008-12-18 Panasonic Corporation 画像認識装置及び画像認識方法
US20080320036A1 (en) 2007-06-22 2008-12-25 Winter Gentle E Automatic data collection
US7870227B2 (en) * 2007-07-31 2011-01-11 Yahoo! Inc. System and method for merging internet protocol address to location data from multiple sources
US10318110B2 (en) * 2007-08-13 2019-06-11 Oath Inc. Location-based visualization of geo-referenced context
US20080104040A1 (en) * 2007-09-26 2008-05-01 Ramakrishna Krishnamsetty C Visually intuitive search method
US9612126B2 (en) * 2007-12-03 2017-04-04 Nokia Technologies Oy Visual travel guide
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8019536B2 (en) * 2007-12-28 2011-09-13 At&T Intellectual Property I, L.P. Methods, devices, and computer program products for geo-tagged photographic image augmented GPS navigation
US7925653B2 (en) * 2008-02-27 2011-04-12 General Electric Company Method and system for accessing a group of objects in an electronic document
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US20090292685A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Video search re-ranking via multi-graph propagation
US8086048B2 (en) * 2008-05-23 2011-12-27 Yahoo! Inc. System to compile landmark image search results
US8126249B2 (en) 2008-05-30 2012-02-28 Optasia Medical Limited Methods of and system for detection and tracking of osteoporosis
US20100076976A1 (en) 2008-09-06 2010-03-25 Zlatko Manolov Sotirov Method of Automatically Tagging Image Data
US8037011B2 (en) 2008-09-15 2011-10-11 Motorola Mobility, Inc. Method and apparatus for recommending content items
US20100205176A1 (en) * 2009-02-12 2010-08-12 Microsoft Corporation Discovering City Landmarks from Online Journals
US8483715B2 (en) 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015497A1 (en) * 2003-11-26 2006-01-19 Yesvideo, Inc. Content-based indexing or grouping of visual images, with particular use of image similarity to effect same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generating Diverse and Representative Image Search Results for Landmarks;Lyndon S. Kennedy .etc;《Proceeding WWW "08 Proceedings of the 17th international conference on World Wide Web》;20080425;p.297-306 *
Lyndon S. Kennedy .etc.Generating Diverse and Representative Image Search Results for Landmarks.《Proceeding WWW "08 Proceedings of the 17th international conference on World Wide Web》.2008,p.297-306.

Also Published As

Publication number Publication date
US8676001B2 (en) 2014-03-18
WO2009139844A3 (en) 2010-04-15
JP2014081964A (ja) 2014-05-08
US10289643B2 (en) 2019-05-14
US20130138685A1 (en) 2013-05-30
US20150213057A1 (en) 2015-07-30
CN104298710A (zh) 2015-01-21
US20170024415A1 (en) 2017-01-26
US9014511B2 (en) 2015-04-21
CN102089761A (zh) 2011-06-08
JP5476369B2 (ja) 2014-04-23
WO2009139844A2 (en) 2009-11-19
US20090279794A1 (en) 2009-11-12
CN104298710B (zh) 2018-05-18
US9483500B2 (en) 2016-11-01
KR20110016936A (ko) 2011-02-18
JP2011520208A (ja) 2011-07-14
KR101579634B1 (ko) 2016-01-05
JP5766830B2 (ja) 2015-08-19

Similar Documents

Publication Publication Date Title
CN102089761B (zh) 自动发现受欢迎的地标
US8724909B2 (en) Method and system for generating a pictorial reference database using geographical information
US11436274B2 (en) Visual access code
US8873857B2 (en) Mobile image search and indexing system and method
CN101842788A (zh) 用于使用基于网格的特征组织来执行视觉搜索的方法、设备和计算机程序产品
US20080027985A1 (en) Generating spatial multimedia indices for multimedia corpuses
Ji et al. When location meets social multimedia: A survey on vision-based recognition and mining for geo-social multimedia analytics
Ivanov et al. Geotag propagation in social networks based on user trust model
Purificato et al. Multimedia and geographic data integration for cultural heritage information retrieval
US20110055253A1 (en) Apparatus and methods for integrated management of spatial/geographic contents
GENTILE Using Flickr geotags to find similar tourism destinations
Papadopoulos et al. Tourism knowledge discovery in social multimedia
Heras et al. Searching and Mining Large Collections of Geospatial Data (GeoSearch 2023) Nov. 13, 2023, Hamburg, Germany
KR101702767B1 (ko) 비트를 이용하여 문서에 대한 접근 권한과 타입에 따라 문서를 검색하는 시스템 및 방법
KR20230021416A (ko) 크로스 플랫폼 데이터 통합 처리 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder