CN107636649A - 通过地理照片标签分析的区域建模 - Google Patents

Abstract

该技术涉及确定地理区域的描述。一个或多个计算设备可以接收图像集合，其中，每个图像包括与地理位置数据相关联的数据和描述图像的内容的标签。至少部分地基于地理位置信息，图像集合中的每个图像可以被分配给与地理区域对应的一个或多个桶。基于识别一个或多个地理位置的询问，可以确定与覆盖一个或多个地理位置的地理区域相关联的一个或多个桶的集合。可以识别与被分配给该桶的集合的图像相关联的标签，并且可以生成一个或多个地理位置的描述。可以响应于该请求来提供描述。

Description

通过地理照片标签分析的区域建模

相关申请的交叉引用

本申请是2015年8月04日提交的U.S.专利申请No.14/817,564的继续申请，其全部内容通过引用并入于此。

背景技术

在不同时间在世界各地捕获各种场景的图像。每个捕获的图像可以包含在捕获各个图像时存在的事件、景点、风景等的快照。将这些捕获的图像保持为合集的各种系统可能需要至少一些手动输入来编制图像目录和组织图像。在一些示例中，可以使用例如特征辨识工具来处理捕获的图像，以便识别图像内的特征和场景。一些系统提供图像的自动标记。

发明内容

本公开内的实施例通常涉及通过地理照片标签分析的区域建模。一个方面包括一种用于确定地理区域的描述的计算机实现的方法。一个或多个处理设备可以接收图像集合，其中，图像集合中的每个图像包括与捕获图像的地理位置相关联的数据和描述图像的内容的一个或多个标签。然后，一个或多个处理设备可以至少部分地基于图像的地理位置信息，将图像集合中的每个图像分配给与地理区域对应的一个或多个桶；接收识别一个或多个地理位置的询问；确定与覆盖一个或多个地理位置的地理区域相关联的一个或多个桶的集合；识别与被分配给桶的集合的图像相关联的标签；基于所识别的标签，生成一个或多个地理位置的描述；以及响应于请求而提供描述。

另一实施例提供一种用于确定地理区域的描述的系统。该系统可以包括具有一个或多个处理器的一个或多个计算设备；以及存储指令的存储器，该指令可由一个或多个处理器执行。指令可以包括接收图像集合，其中，图像集合中的每个图像包括与捕获图像的地理位置相关联的数据和描述图像的内容的一个或多个标签；至少部分地基于图像的地理位置信息，将图像集合中的每个图像分配给与地理区域对应的一个或多个桶；接收识别一个或多个地理位置的询问；确定与覆盖一个或多个地理位置的地理区域相关联的一个或多个桶的集合；识别与被分配给桶的集合的图像相关联的标签；基于所识别的标签，生成一个或多个地理位置的描述；以及响应于请求提供描述。

另一实施例提供一种存储指令的非瞬时计算机可读介质。该指令当由一个或多个处理器执行时，使一个或多个处理器：接收图像集合，其中，图像集合中的每个图像包括与捕获图像的地理位置相关联的数据和描述图像的内容的一个或多个标签；至少部分地基于图像的地理位置信息，将图像集中的每个图像分配给与地理区域对应的一个或多个桶；接收识别一个或多个地理位置的询问；确定与覆盖一个或多个地理位置的地理区域相关联的一个或多个桶的集合；识别与被分配给桶的集合的图像相关联的标签；基于所识别的标签，生成一个或多个地理位置的描述；以及响应于请求提供描述。

附图说明

图1是根据本公开的方面的示例系统的功能图。

图2是图1的示例系统的示意图。

图3是根据本公开的方面，捕获图像的地理位置的示例。

图4是根据本公开的方面的自动图像标记的示例。

图5是根据本公开的方面，用于存储与其他数据相关联的图像的数据库的示例。

图6A是根据本公开的方面的放入桶中(binning)的图像的示例。

图6B是根据本公开的方面的地理桶(bin)的示例。

图7是根据本公开的方面的自动图像标记的示例。

图8是根据本公开的方面的自动图像标记的示例。

图9是根据本公开的方面的自动图像标记的示例。

图10是根据本公开的方面的流程图。

具体实施方式

概述

该技术涉及通过地理照片标签分析的区域建模。例如，来自图像合集的每个图像可以自动地被分配描述在图像中捕获的场景的一个或多个标签。此外，来自图像合集的每个图像可以与拍摄相应图像的地理位置以及拍摄相应图像的时间和日期相关联。来自图像合集的每个图像也可以根据其相关联的地理位置、时间和日期信息被组织成空-时桶。然后，可以使用与在一个或多个空-时桶内组织的图像相关联的标签来向用户提供在特定日期和/或时间的地理区域的描述。此外，可以基于用户的位置数据(包括用户在特定时间走的道路)与包含在沿着用户在特定时间或接近特定时间走的道路定位的图像中的标签的比较来确定用户的兴趣。

为了通过地理照片标签分析建模区域，可以收集图像的合集。在这方面，可以收集来自公共或私人来源的图像。例如，web爬虫可以连续地爬取互联网网站，并将发现的每个图像存储到公共缓存或数据库中。此外，可以收集用户上传到私人社交媒体网站上的图像以分析，但不公开。在一些实施例中，可以从用户请求收集上传的图像的明确许可。所收集的图像可以是室内和/或室外捕获的场景。

然后，可以对图像合集中的每个图像分配指示在相应图像中捕获的场景的内容的标签。在这方面，自动照片标签技术可以将标签附加到每个图像上。在一个示例中，可以相对于参考分类法，在手动标记的图像上训练机器学习模型。然后，训练的机器学习模型可以根据参考分类法，自动地将标签分配到图像。例如，标签可以包括用于苹果的照片的“水果”、用于包括汽车的照片的“汽车”，用于秋千的照片的“公园”。

图像合集中的每个图像也可以与位置和时间信息相关联。在这方面，每个图像可以包含直接存储在与每个基于web的图像相关联存储的元数据中的显式位置信息。例如，图像可以包括捕获图像的元数据中的显式经度和纬度读数，诸如EXIF信息。

替选或除了显式位置信息之外，可以从确定在每个图像中捕获的对象的位置导出隐式位置信息。例如，基于web的图像可以捕获了自由女神像。自由女神像的位置可以是已知的，并且可以基于该已知位置来估计捕获基于web的图像的位置。在这方面，可以基于诸如捕获图像的方向的图像数据来细化位置的估计。在另一实施例中，可以从找到基于web的图像的网站推断出隐式的基于web的图像位置数据。例如，托管基于web的图像的网站可以包括地址。然后，可以将网站上的地址与网站上托管的基于web的图像相关联。

图像的合集中的每个图像可以与包括日期和时间的时间戳相关联。可以在图像元数据，诸如图像的EXIF信息中找到时间戳数据。每个图像也可以与其相应的位置、标签和时间信息相关联地存储在存储系统中。

图像的合集可以被放入在地理桶中。在这方面，来自图像合集的每个图像可以被放置在代表某一地理区域的地理桶中。来自图像合集的每个图像可以与包括与相应图像相关联的位置信息的地理桶相关联。

每个地理桶可以被细分为空-时桶。在这方面，能分析包含在地理桶中的图像以确定它们是否包括时间戳。基于时间戳信息，在空-时桶内索引包含时间戳的地理桶中的每个图像。可以以各种方式，按时间，诸如星期几、一天中的小时、一天中的分钟、一年中的一天等，重新聚合空-时桶。同样地，每个空-时桶可以描述捕获空-时桶内的图像的位置和日期/时间。

可以对通常用在描述地理区域中的标签挖掘一个或多个空-时桶和/或地理桶。在这方面，可以挖掘统称为“桶”的一个或多个空-时桶或地理桶以确定与一个或多个桶内的图像相关联的标签。例如，可以挖掘所有地理桶以确定通常用在地理桶中的图像内的标签。在另一示例中，可以基于用户和/或计算设备询问来挖掘几个地理桶，以确定在那几个桶中的图像的常用标签。类似地，也可以挖掘用于地理区域的空-时桶，以确定在某个时间(诸如，假日、一年中的一天、工作日和/或周末等)，与该地理区域相关联的那些空-时桶中的图像的常用标签。基于所确定的常用标签，可以确定地理区域的描述。挖掘的桶的数量取决于每个桶内的图像的数量。

附加地，可以基于隐私设置，限制一个或多个桶的挖掘。在这方面，可以基于图像隐私级别，限制一个或多个桶内的图像。例如，可以使图像为私人的、半私人的和/或公共的。在私人图像的情况下，每个单独的用户可能需要来自相应私人图像的所有者的明确许可，以挖掘私人图像和/或共享挖掘私人图像的任何结果，而半私人图像可以允许某些群体挖掘半私人图像和/或共享挖掘半私人图像的结果。公共图像可以允许所有用户的无限制访问。

可以基于重要性标准挖掘桶。在这方面，可以自动地挖掘用户很感兴趣的地点或时间。例如，许多用户对新餐馆有很大的兴趣，因此，在新餐馆的位置拍摄的所有图像可以被分类为高重要性。同样地，可以自动地挖掘在新餐馆的位置拍摄的任何图像，以确定图像是否包含与新餐馆相关联的标签。

可以使用所确定的标签来提供空间和/或空-时中的位置的描述，而不需要人工输入。在这方面，基于在询问的桶内发现的挖掘标签，由所询问的桶所覆盖的位置的描述可以包括有关风景、在该位置中发现的兴趣点(POI)以及在该位置发生的活动的细节或其他可能的细节。这些信息可以被用来更新地图数据、提供旅行信息、跟踪业务等。因此，能根据覆盖这些区域的桶包含的照片标签和相对于它们在“更大”样本中出现的突出性，分类整个地理，诸如城市、州或国家。例如，与整个州相比，自治市可以具有描述性标签“足球”和“攀岩”的统计上显著的过表达。

标签的聚类可以提供地理区域的更准确的描述。在这方面，与可以将相关的标签，诸如按某一主题或类别相关的标签，聚类在一起，以避免过表达。例如，诸如“水果”、“蔬菜”和“市场”的标签可以被聚类在一起。在另一示例中，举办一年一度花卉节的小镇会吸引许多游客捕获各种类型的花卉的图像，所有这些花卉都被贴上标签。此外，该镇还具有镇上人们消磨时光，但很少拍照的著名的教堂。挖掘小镇的图像的标签，花卉节会彻底地使教堂失色，从而提供了小镇的不准确描述。通过将花卉标签图像聚类在一起，教堂标签可以变得更能代表该小镇。此外，图像会受到时间的约束，以表明花卉节是单个周末事件，从而降低了花卉标签对描述小镇的排名。

另外，也可以使用标签来示出一段时间内的兴趣点的变化。在这方面，当在一个位置标签集合随着时间的推移以统计上显著的方式改变时，这能指示许多事情，诸如时间有限事件已经发生，开业或停业，和/或由于其他原因该地区知名度改变等。

本文所述的特征均用于通过使用图像来建模地理区域。通过这样做，计算设备可以更新地图数据、提供旅行信息、跟踪企业位置等。特征还可以被用来示出在一段时间内，诸如企业的兴趣点的位置的变化。此外，通过将图像放入地理桶和空-时桶中，可以节省处理能力和时间，因为可以从与图像相关联的标签的询问中去除潜在的数十亿图像。

示例系统

图1和2包括能实现上述特征的示例系统100。其不应该被视为限制本公开的范围或本文中所述的特征的有用性。在本示例中，系统100能包括计算设备110、120、130和140以及存储系统150。每一计算设备110能包括一个或多个处理器112、存储器114、和通常出现在通用计算设备中的其他组件。计算设备110、120、130和140中的每一个的存储器114能存储可由一个或多个处理器112访问的信息，该信息包括能由一个或多个处理器112执行的指令116。

存储器还能包括数据118，该数据118能由处理器检索、操纵、或存储。存储器能是能够存储可由处理器存取的信息的任意非暂时性类型，诸如硬盘驱动、存储器卡、ROM、RAM、DVD、CD-ROM、可写、以及只读存储器。

指令116能是将由一个或多个处理器直接执行的指令(诸如机器代码)或间接执行的指令(诸如脚本)的任意集合。在这方面，术语“指令”、“应用”、“步骤”和“程序”能在本文中可互换地使用。能以目标代码格式存储指令以用于由处理器直接处理，或以包括脚本或独立源代码模块的合集的任意其他计算设备语言存储指令，该脚本或独立源代码模块的合集仅在需要时被解释或提前编译。下面更加详细地解释指令的功能、方法和例程。

根据指令116，可以由一个或多个处理器112检索、存储、或修改数据118。比如，尽管本文中描述的主题不被任意特定数据结构所限制，数据能被存储在计算机寄存器中、作为具有多个不同字段和记录的表存储在关系数据库中、或存储在XML文档中。数据还能以任意计算设备可读格式被格式化，该计算设备可读格式诸如但不限于二进制值、ASCII或Unicode。进一步地，数据能包括足以识别相关信息的任意信息，诸如数字、描述性文本、专有代码、指针、对存储在诸如在其他网络位置处的其他存储器中的数据的引用、或被函数使用以计算相关数据的信息。

一个或多个处理器112能是任何常规处理器，诸如市面上能买到的CPU。替选地，处理器能是诸如专用集成电路(ASIC)的专用组件或其他基于硬件的处理器。尽管不是必要的，一个或多个计算设备110可以包括专门的硬件组件以更快或更有效地执行特定计算过程，诸如解码视频、将视频帧与图像匹配、使视频失真、对失真的视频进行编码等等。

尽管图1功能地将计算设备110的处理器、存储器、和其他元件图示为在相同的块内，但是处理器、计算机、计算设备、或存储器实际上能包括可以或可以不容纳在相同的物理壳体内的多个处理器、计算机、计算设备、或存储器。例如，存储器能是位于不同于计算设备110的壳体中的硬盘驱动或其他存储媒体。因此，对处理器、计算机、计算设备、或存储器的引用将被理解为包括对可以并行或可以不并行操作的处理器、计算机、计算设备、或存储器的集合的引用。例如，计算设备110可以包括起到负载均衡服务器场、分布式系统等的作用的服务器计算设备。更进一步地，尽管下文所述的一些功能被指示为在具有单个处理器的单个计算设备上发生，但是能由多个计算设备实现本文中描述的主题的各个方面，例如，通过网络160通信信息。

每一计算设备110能在网络160的不同节点处并且能够直接和间接地与网络160的其他节点通信。尽管图1-2中只描绘了一些计算设备，应理解典型的系统能包括与在网络160的不同节点处的每个不同计算设备相连接的大量计算设备。能使用多种协议和系统将本文中所述的网络160和中间节点互连，使得该网络能是互联网、万维网、特定内联网、广域网或本地网络的部分。网络能利用诸如以太网、WiFi和HTTP的标准通信协议、一个或多个公司专用的协议、以及前述的各种组合。尽管当信息如上面所指出的被传送或接收时会获得某些优势，本文中所述的主题的其他方面不限于信息传输的任何特定方式。

例如，每一计算设备110可以包括能够经由网络与存储系统150以及计算设备120、130和140通信的web服务器。例如，一个或多个服务器计算设备110可以使用网络160将信息传送并在显示器(诸如计算设备120、130或140的显示器122、132或142)上呈现至用户，诸如用户220、230或240。就这一点而言，计算设备120、130和140可被视为客户端计算设备并且可以执行本文所述的一些或全部特征。

客户端计算设备120、130或140中的每一个可被类似地配置为如上所述的具有一个或多个服务器、存储器和指令的服务器计算设备110。每个客户端计算设备120、130或140可以是旨在用于由用户220、230或240使用的个人计算设备，并且具有通常与个人计算设备相连使用的所有组件，该组件诸如中央处理单元(CPU)、存储了数据和指令的存储器(例如，RAM和内部硬盘驱动)、诸如显示器122、132或142的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机、或可操作用于显示信息的其他设备)、以及用户输入设备124(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于录制视频流和/或捕获图像的相机、扬声器、网络接口设备、以及用于将这些元件相互连接的所有组件。

尽管客户端计算设备120、130和140可以分别包括全尺寸的个人计算设备，他们可以替选地包括能够利用服务器通过诸如互联网的网络来无线地交换数据的移动计算设备。仅通过示例的方式，客户端计算设备120可以是移动电话或设备，诸如能够经由互联网获得信息的具有无线功能的PDA、平板PC、或上网本。在另一个示例中，客户端计算设备130可以是头戴式计算系统。例如，用户可以使用小键盘、键区、麦克风、利用相机使用视觉信号、或触摸屏来输入信息。

与存储器114类似，存储系统150可以是任意类型的计算机化的存储，其能够存储可由服务器计算设备110访问的信息，存储系统150诸如硬盘驱动、存储器卡、ROM、RAM、DVD、CD-ROM、可写、以及只读存储器。此外，存储系统150能包括分布式存储系统，其中数据被存储在物理地位于相同或不同地理位置处的多个不同的存储设备上。存储系统150能如图1中所示出的经由网络160被连接至计算设备和/或能被直接连接至计算设备110、120、130和140中任意一个(未示出)。

存储系统150可以存储图像的合集。图像的合集中的至少一些图像可以包括在室内和/或室外捕获的场景。如图3所示，图像的合集的位置被覆盖在城市的市中心部分的地图300上。每个“X”可以指示捕获图像的合集的图像的位置。在这方面，图像310被示出为在街道330中在外捕获的，而图像320被示出为在建筑物340中室内捕获的。

可以为图像的合集中的每个图像分配指示在相应图像中捕获的场景的内容的标签。在这方面，由一个或多个处理器(诸如一个或多个服务器计算设备110的处理器112)实现的自动照片标签技术可以将标签附加到每个图像上。在一个示例中，可以使用诸如在照片自动语言索引(ALIPR)算法中找到的、分析照片内的内容以将描述该内容的注释分配给照片的技术来自动地标记照片。在一些实施例中，可以相对于参考分类法，在手动标记的图像上训练机器学习模型。然后，训练的机器学习模型可以根据参考分类法，自动将标签分配给图像。

图4是自动照片标签技术可以分配给图像的合集中的图像的标签的示例。在这方面，图像410包括在消防栓旁边的街道上停放的汽车的场景。因此，如表410a所示，自动照片标签技术可以分析图像410并且分配标签“汽车”、“消防栓”和“街道”。图像420包括农贸市场上的苹果摊的场景，并且可以通过自动照片标签技术用标签“水果”、“市场”和“苹果”标记图像420，如表420a所示。图像430包括公园的秋千和攀吊架的场景。同样地，如表430a所示，自动照片标签技术可以给图像430分配标签“公园”、“秋千”和“攀吊架”。

图像合集中的每个图像也可以与诸如地址或地理位置的位置相关联。在这方面，每个图像可以包含隐式或显式的位置信息。例如，图像的合集中的图像可以包括捕获图像的元数据(诸如EXIF信息)中的显式经度和纬度读数。EXIF数据可以提供捕获图像的合集中的图像的位置。在另一实施例中，可以从图像被找到或可以被找到的网站推断出作为图像位置数据的图像合集中的图像的位置信息。

替代或除了显式位置信息之外，可以从确定图像合集中的每个图像中捕获的对象的位置导出隐式位置信息。例如，图像合集中的图像可以捕获了自由女神像。自由女神像的位置可以是已知的，并且能基于已知位置来估计捕获图像的位置。在这方面，能基于诸如捕获图像的方向的图像数据来细化位置的估计。在另一实施例中，可以从找到基于web的图像的网站推断出隐式的基于web的图像位置数据。例如，托管基于web的图像的网站可以包括地址。然后，可以将网站上的地址与网站上托管的基于web的图像相关联。

另外，每个图像可以与包括日期和/或时间的、诸如时间戳的时间信息相关联。可以在图像元数据(诸如图像EXIF信息)中找到时间戳数据，和/或由诸如用户220、230或240的用户手动录入时间戳数据。

如图5所示，图像合集中的每个图像也可以与其相应的位置、标签和时间信息相关联地存储在存储系统150中。在这方面，数据库500可以存储任意多个图像，包括图像1 510，图像2 520和图像3 530。附加图像4-n 540也可以被存储在数据库500中。每个图像可以与图像数据、位置数据、标签和/或时间和日期数据相关联地存储。例如，可以与指示在位置X1，Y1捕获图像1的显式位置信息550相关联地存储图像1 510。另外，数据库500可以与其相应的时间戳相关联地存储图像1 510。在这方面，图像1 510可以包括指示在1/21/2015的11:32:21捕获图像1 510的时间570和日期580信息。另外，图像1 510可以与通过自动照片标签技术分配给图像1 510的标签560相关联地存储。

示例方法

为了通过地理照片标签分析建模区域，可以收集图像的合集。在这方面，可以收集来自公共或私人来源的图像，并且在某些情况下，将其存储在存储系统150中。例如，web爬虫可以连续地爬取互联网网站，并存储找到的每个图像。此外，可以许可收集用户(诸如用户220、230或240中的一个或多个)上传到私人社交媒体网站上的图像，但不公开。然后，如上所述，可以在存储系统150中存储图像的合集。

图像的合集可以被放入地理桶中。在这方面，如图6A所示，可以将来自图像的合集的每个图像放置在表示某个地理区域的地理桶中。数据库500可以与每一相应的图像的位置、标签和/或时间戳数据相关联地存储图像的合集610。来自图像的合集610的每个图像可以与地理桶相关联，该地理桶匹配和/或包括与相应图像相关联的位置信息。地理桶可以覆盖诸如国家、州、城市、城市街区、邮政编码、预定量的平方英里/英尺等的区域。例如，如图6A所示，图像的合集610可以被细分为地理桶620和660。在这方面，可以将在包含位置40.7°,74.0°的地理桶处或内捕获的图像的合集610中的每个图像放入地理桶1 620中。另外，可以将在包含位置39.5°,75.0°的地理桶处或内捕获的图像的合集610中的每个图像放入地理桶3 660中。

每个地理桶可以覆盖相同量的地理区域(例如，相同数量的平方英里或米)，或者可以具有不同的大小或面积。例如，地理桶可以覆盖三十平方米或更多或更少的面积。根据地理桶的大小，地标(诸如建筑物、公园、水路、高速公路等)可以存在于一个或多个地理桶中。图6B示出已被分成包括地理桶690a-690c的地理桶的地理区域680。如图6B所示，在来自图像合集的图像中捕获的建筑物695a存在于两个地理桶690a和690b中，而同样也在来自图像合集的图像中捕获的建筑物695b仅存在于一个地理桶690中。

在一些示例中，地理桶可以被细分为空-时桶。在这方面，能分析包含在地理桶中的图像以确定它们是否包括时间戳。能基于时间戳信息，在地理桶的空-时桶中索引包括时间戳的地理桶中的每个图像。可以以各种方式，按时间，诸如星期几、一天中的小时、一天中的分钟、一年中的一天等，重新聚合空-时桶。同样地，每个空-时桶可以描述捕获空-时桶内的图像的位置和日期/时间。返回参考图6A，可以将在2015年3月22日和/或附近，在08:00:30和/或附近捕获的、分配给地理桶1的图像合集中的每个图像放置在单个空-时桶640中。同样地，空-时桶2 640中的每个图像可以与地理桶1和空-时桶2 640两者相关联。

可以对描述覆盖地理区域的桶的标签挖掘一个或多个空-时桶和/或地理桶。在这方面，可以挖掘统称为“桶”的一个或多个空-时桶或地理桶来确定与一个或多个桶内的图像相关联的标签。图7示出覆盖在城市的市中心地区的地图700上的图像合集的位置。每个“X”可以指示捕获被分配给覆盖城市的市中心地区的一个或多个桶的图像合集的图像的位置。可以挖掘覆盖城市的市中心地区的桶，并且可以确定与覆盖市中心地区的地理桶中的图像相关联的标签。最终确定的城市的市中心部分的标签可以包括如表710所示的“汽车”、“道路”和“街道”。

基于所确定的标签，可以生成对应于所挖掘的一个或多个桶或所挖掘的一个或多个桶内的市中心地区的描述。例如，通过将最常见的所确定的标签选择为市中心地区的描述，确定城市的市中心地区的描述。在这方面，描述城市的市中心地区的最常见的标签可以包括如表710所示的“汽车”、“道路”和“街道”。因此，标签“汽车”、“道路”和“街道”可以以各种组合使用以生成用于城市的市中心地区的文本或图形描述，诸如“具有汽车和轨道列车的市中心”。在一些实施例中，用于城市的市中心地区的图形描述可以包括表示使用最常见标签的频率的直方图，如720所示、表示使用最常见标签的频率的词云，如730所示、和/或图像云。类似于词云，图像云可以包括按大小排列以表明最常见标签中的它们的相对突出性的图像。这些图像可以是最常见标签的类别的示例，或者甚至是类别图标(例如，汽车、人、食物、房屋、户外娱乐、操场等)。

图8示出整个城市中，覆盖在地图800上的图像合集的位置。每个“X”可以指示捕获分配给覆盖整个城市的一个或多个桶的图像合集的图像的位置。可以挖掘覆盖整个城市地区的桶，并且可以确定与覆盖整个城市地区的地理桶中的图像相关联的标签。整个城市地区的最终确定的标签可以包括如表810所示的“汽车”、“城市”和“公园”。在这方面，如表810所示的整个城市地区的最终标签可以不同于与如图7的表710所示的市中心地区700的最终标签。

基于所确定的标签，可以生成对应于所挖掘的桶或所挖掘的桶内的整个城市地区的描述。例如，通过将最常见的所确定的标签选择为整个城市地区的描述，可以确定整个城市的描述。因此，可以以各种组合使用标签“汽车”、“城市”、“公园”来生成整个城市地区的描述，诸如“具有汽车和公园的城市”。在一些实施例中，整个城市地区的图形描述可以包括表示使用最常见标签的频率的直方图，如820所示，和/或表示使用最常用标签的频率的词云，如830所示，和/或图像云。类似于词云，图像云可以包括按大小排列以表明最常见标签中的它们的相对突出性的图像。这些图像可以是最常见标签的类别的示例，或者甚至是类别图标(例如，汽车、人、食物、房屋、户外娱乐、操场等)。类似地，也可以挖掘用于地理区域的特定空-时桶，以确定那些桶中，与某一时间的地理区域相关联的图像的标签。例如，可以将放入覆盖市中心地区的地理桶中的图像细分为与星期日拍摄的所有图像相关联的至少一个空-时桶，如图9所示。图9示出城市的市中心地区中，覆盖在地图900上的图像合集的位置。每个“X”可以指示捕获被分配给在星期天拍摄的、覆盖整个市中心地区的至少一个空-时桶的图像合集的图像的位置。如在地图900中能看到，按公园920的图像集群和按教堂930的图像集群可以存在于至少一个空-时桶中。可以挖掘覆盖至少一个空-时桶的桶，所述至少一个空-时桶覆盖在星期日拍摄的整个市中心地区，并且可以确定与至少一个空-时桶中的图像相关联的标签。星期日拍摄的整个市中心地区的最终确定的标签可以包括如表910所示的“教堂”、“公园”和“渡口”。

基于所确定的标签，可以生成星期日期间的城市的整个市中心地区的描述。例如，可以通过将常用标签选择为星期日期间的城市的市中心地区的描述，确定星期日期间，城市的整个市中心地区的描述。因此，可以以各种组合使用如表910所示的标签“教堂”和“公园”来生成星期日期间城市的市中心地区的文本或图形描述。

可以基于由一个或多个计算设备(诸如计算设备110、120、130和140)接收的询问来挖掘桶。在这方面，可以由用户或计算设备进行询问。例如，诸如用户120的用户可以询问城市中的街区的描述。作为响应，可以进行确定以确定哪个桶覆盖城市中的街区。然后，可以对描述城市中的街区的标签，挖掘所确定的桶。在其他实施例中，询问可以包括对某个时间段的城市中的街区的描述的请求。被挖掘以确定标签的桶的数量可以取决于每个桶内的图像的数量。例如，当从小的图像组(诸如250个或更多或更少)开发出挖掘的标签时，可能输出用于该地理区域的不可靠的结果描述。此外，可以仅包括一次包含在多个桶(诸如两个或以上桶)中的图像的描述，以避免过表达图像中的描述。

另外，可以基于隐私设置来限制一个或多个桶的挖掘。在这方面，可以基于图像隐私级别来限制一个或多个桶内的图像。例如，图像可以是私人的、半私人的和/或公开的。在私人图像的情况下，每个单独的用户可能需要挖掘私人图像的许可，而半私人图像可以允许某些个体群组挖掘半私人图像。公开图像可以允许所有用户的无限制访问。

也可以基于重要性标准挖掘桶。在这方面，可以自动挖掘由在该位置捕获的图像的频率确定的具有很大用户兴趣的地点或时间。例如，许多用户对新餐馆很感兴趣，因此，在新餐馆的位置处捕获图像上升。在确定图像的上升时，可以将覆盖新餐馆的位置的桶分类为高重要性。同样地，可以自动地挖掘覆盖餐馆位置的桶，以确定图像是否包含与新餐馆相关联的标签。

可以使用所确定的标签来提供空间和/或空-时中的位置的描述，无需人工输入。在这方面，基于从覆盖位置和/或特定时间的位置的桶挖掘的所确定的标签，可以自动地确定由桶覆盖的位置的描述。这些描述可以包括有关风景、在该位置找到的兴趣点(POI)和在该位置发生的活动的细节以及其他可能的细节。这些信息可以用于更新地图数据、提供旅行信息、跟踪企业等。因此，能根据覆盖这些区域的桶包含的照片标签以及相对于“更大”样本中它们出现的突出性，分类整个地理，诸如城市、州或国家。例如，与跨整个州的其他自治市相比，自治市可以具有描述性标签“足球”和“攀岩”的统计上显著的过表达。因此，可以使用这些比较过表达的标签，分类自治市，而具有较少出现这些描述性标签的其他自治市将不具有这些分类。

聚类标签可以提供地理区域的更准确的描述。在这方面，可以将相关的标签，诸如按某一主题或类别相关的标签，聚类在一起，以避免单一描述的过表达。例如，诸如“水果”、“蔬菜”的标签可以聚类成单一描述，诸如“农产品”。在另一示例中，举办一年一度的花卉节的小镇可能会吸引许多游客捕获各种类型的花卉的图像，每种花卉都被标上在图像中捕获的花卉的类型的相应名称。此外，小镇还具有小镇的人们消磨时光的著名的教堂，但很少拍照。挖掘小镇的地理桶中捕获的图像的标签，与花卉节相关联的标签会比与教堂相关联的标签更常见。同样地，在确定小镇的描述后，被选为小镇的描述的最常见的标签可能全部来自花卉节。因此，因为教堂未被示出为小镇的描述，因此，导致小镇的不准确描述。通过用单个标签(诸如花)将花卉标记的图像聚类在一起，小镇的描述会改变，因为花卉节的标签将聚类在单个标签下。同样地，教堂标签会变得更能代表该小镇，因为它会上至确定为小镇的描述的顶级标签。

另外，可以按时间来约束图像。例如，花卉节可以是单个周末事件，导致在节日期间捕获的图像都具有与花卉节的周末相关联的时间戳。为了防止小镇的描述中的花卉节的过表达，与花卉节的时间相关联的图像的标签可以被确定该小镇的描述较少。因此，小镇的描述的确定可以减少对与捕获花卉节的图像相关联的标签的依赖，从而降低了花卉节对描述小镇的排名。

另外，也可以使用标签来示出一段时间内的兴趣点的变化。在这方面，当覆盖某个位置的桶中的标签在一段时间内以统计学显著的方式改变时，这可以指示许多事情，诸如时间有限事件已经发生，开业或停业，和/或由于其他原因该地区知名度改变等。

标签的分析也可以被用来识别关于特定位置的信息。通过分析空间和时间的标签分布，能确定关于在特定位置，以及在某些情况下，在特定日期和/或时间，发生何种类型的事件的信息或存在的特征的信息。这特别适用于在空间和/或时间上具有高特异性的标签，诸如描述时间有限事件的标签(例如，每周农贸市场、体育赛事等)或对应于单个目的的标签(诸如，餐馆或企业)。

图1的流程图1000是可由一个或多个计算设备(诸如客户端计算设备110-140)执行的上述一些方面的示例流程图。在该示例中，在框1002，可以接收图像集合，其中每个图像包括与地理位置数据相关联的数据和描述图像的内容的标签。在框1004，可以至少部分地基于地理位置信息，将该图像集合中的每个图像分配给对应于地理区域的一个或多个桶。在框1006，可以接收识别一个或多个地理位置的询问，并且可以确定与覆盖一个或多个地理位置的地理区域相关联的一个或多个桶的集合，如框1008所示。可以识别与被分配给该桶的集合的图像相关联的标签，如框1010所示，并且可以生成一个或多个地理位置的描述，如框1012所示。在框1014，可以响应于该请求来提供描述。

大多数上述可替选示例不是互斥的，而是可以以各种组合来实现以获得独特的优势。由于可以利用上述特征的这些和其他变化和组合而不背离权利要求所限定的主题，应当通过示例的方式而不是限制由权利要求所限定的主题的方式理解对实施例的上述描述。例如，前述操作不是必须按照上文所述的严格的顺序执行。相反，可以按照不同顺序，诸如相反顺序或同时处理各种步骤。除非另外规定，还可以省略步骤。此外，提供本文所述的示例，以及措辞为“诸如”、“包括”等的子句不应当被解释为将权利要求的主题限制于特定示例，相反，示例旨在仅仅示出许多可能的实施例中的一个。进一步地，不同图中相同的附图标记可以识别相同或类似的元素。

Claims (20)

1.一种用于确定地理区域的描述的计算机实现的方法，所述方法包括：

由一个或多个处理设备接收图像集合，其中，所述图像集合中的每个图像包括与捕获所述图像的地理位置相关联的数据和描述所述图像的内容的一个或多个标签；

由所述一个或多个处理设备至少部分地基于所述图像的地理位置信息将所述图像集合中的每个图像分配给与地理区域对应的一个或多个桶；

由所述一个或多个处理设备接收识别一个或多个地理位置的询问；

由所述一个或多个处理设备确定与覆盖所述一个或多个地理位置的地理区域相关联的所述一个或多个桶的集合；

由所述一个或多个处理设备识别与被分配给所述桶的集合的所述图像相关联的标签；

由所述一个或多个处理设备基于所识别的标签来生成所述一个或多个地理位置的描述；以及

由所述一个或多个处理设备响应于请求而提供所述描述。

2.如权利要求1所述的方法，其中，所述图像集合中的每个图像与指示捕获所述图像的日期和时间的时间戳相关联，进一步包括：

通过基于与所述图像相关联的相应时间戳将所述图像集合中的每个图像分配给一个或多个空-时桶，将所述一个或多个桶中的每个桶细分成空-时桶。

3.如权利要求2所述的方法，其中，接收一个或多个地理位置的询问进一步包括：

接收特定时间段的询问；以及

确定与被分配给覆盖所询问的特定时间段和一个或多个地理位置的所选择的一个或多个空-时桶的图像相关联的标签。

4.如权利要求1所述的方法，进一步包括：

在确定与所选择的一个或多个桶相关联的所述地理区域的描述之前，聚类相关标签，其中，确定与所选择的一个或多个桶相关联的所述地理区域的描述进一步基于所聚类的标签。

5.如权利要求1所述的方法，进一步包括：基于将所识别的标签中的一个标签的出现次数与在与另一地理位置对应的桶中的所识别的标签中的一个标签的出现次数的比较，使用所述描述来提供用于所述一个或多个地理位置的分类。

6.如权利要求5所述的方法，其中，提供所述分类进一步基于与在包括所述一个或多个地理位置和所述另一地理位置的地理区域内的相同类型的多个地理位置对应的桶中所识别的标签中的一个标签的出现次数。

7.如权利要求1所述的方法，进一步包括：

由所述一个或多个处理设备通过将与所述图像相关联的标签与所询问的区域相关联，更新位置数据库。

8.一种用于确定地理区域的描述的系统，所述系统包括：

一个或多个计算设备，所述一个或多个计算设备具有一个或多个处理器；以及

存储器，所述存储器存储能由所述一个或多个处理器执行的指令，其中所述指令包括：

由一个或多个处理设备接收图像集合，其中，所述图像集合中的每个图像包括与捕获所述图像的地理位置相关联的数据和描述所述图像的内容的一个或多个标签；

由所述一个或多个处理设备至少部分地基于所述图像的地理位置信息将所述图像集合中的每个图像分配给与地理区域对应的一个或多个桶；

由所述一个或多个处理设备接收识别一个或多个地理位置的询问；

由所述一个或多个处理设备确定与覆盖所述一个或多个地理位置的地理区域相关联的所述一个或多个桶的集合；

由所述一个或多个处理设备识别与被分配给所述桶的集合的所述图像相关联的标签；

由所述一个或多个处理设备基于所识别的标签来生成所述一个或多个地理位置的描述；以及

由所述一个或多个处理设备响应于请求而提供所述描述。

9.如权利要求8所述的系统，其中，所述图像集合中的每个图像与指示捕获所述图像的日期和时间的时间戳相关联，以及其中，所述指令进一步包括：

通过基于与所述图像相关联的相应时间戳将所述图像集合中的每个图像分配给一个或多个空-时桶，将所述一个或多个桶中的每个桶细分成空-时桶。

10.如权利要求9所述的系统，其中，确定与被分配给所选择的一个或多个桶的所述图像相关联的标签的指令进一步包括：

由所述一个或多个计算设备接收特定时间段的询问；以及

确定与被分配给覆盖所询问的特定时间段和一个或多个地理位置的所选择的一个或多个空-时桶的图像相关联的标签。

11.如权利要求8所述的系统，其中，所述指令进一步包括：

在确定与所选择的一个或多个桶相关联的所述地理区域的描述之前，聚类相关标签，其中，确定与所选择的一个或多个桶相关联的所述地理区域的描述进一步基于所聚类的标签。

12.如权利要求8所述的系统，其中，所述指令进一步包括基于将所识别的标签中的一个标签的出现次数与在与另一地理位置对应的桶中的所识别的标签中的一个标签的出现次数的比较，使用所述描述来提供用于所述一个或多个地理位置的分类。

13.如权利要求12所述的系统，其中，所述指令进一步包括提供所述分类进一步基于与在包括所述一个或多个地理位置和所述另一地理位置的地理区域内的相同类型的多个地理位置对应的桶中所识别的标签中的一个标签的出现次数。

14.如权利要求8所述的系统，其中，所述指令进一步包括：

通过将与所述图像相关联的标签与所询问的区域相关联来更新位置数据库。

15.一种存储指令的非瞬时计算机可读介质，所述指令在由处理器执行时使所述处理器：

接收图像集合，其中，所述图像集合中的每个图像包括与捕获所述图像的地理位置相关联的数据和描述所述图像的内容的一个或多个标签；

至少部分地基于所述图像的地理位置信息，将所述图像集合中的每个图像分配给与地理区域对应的一个或多个桶；

接收识别一个或多个地理位置的询问；

确定与覆盖所述一个或多个地理位置的地理区域相关联的所述一个或多个桶的集合；

识别与被分配给所述桶的集合的所述图像相关联的标签；

基于所识别的标签来生成所述一个或多个地理位置的描述；以及

响应于请求而提供所述描述。

16.如权利要求15所述的非瞬时计算机可读介质，其中，所述图像集合中的每个图像与指示捕获所述图像的日期和时间的时间戳相关联，以及其中，所述指令进一步使所述处理器：

通过基于与所述图像相关联的相应时间戳将所述图像集合中的每个图像分配给一个或多个空-时桶，将所述一个或多个桶中的每个桶细分成空-时桶。

17.如权利要求16所述的非瞬时计算机可读介质，其中，所述指令使所述处理器：

接收特定时间段的询问；以及

确定与被分配给覆盖所询问的特定时间段和一个或多个地理位置的所选择的一个或多个空-时桶的图像相关联的标签。

18.如权利要求15所述的非瞬时计算机可读介质，其中，所述指令使所述处理器：

在确定与所选择的一个或多个桶相关联的所述地理区域的描述之前，聚类相关标签，以及

确定与所选择的一个或多个桶相关联的所述地理区域的描述进一步基于所聚类的标签。

19.如权利要求15所述的非瞬时计算机可读介质，其中，所述指令进一步使所述处理器：基于将所识别的标签中的一个标签的出现次数与在与另一地理位置对应的桶中的所识别的标签中的一个标签的出现次数的比较，使用所述描述来提供用于所述一个或多个地理位置的分类。

20.如权利要求19所述的非瞬时计算机可读介质，其中，所述指令进一步使所述处理器：进一步基于与在包括所述一个或多个地理位置和所述另一地理位置的地理区域内的相同类型的多个地理位置对应的桶中所识别的标签中的一个标签的出现次数，提供所述分类。