CN112534421A - 基于图像内容分析驱动的地理语义索引的地图搜索推荐系统 - Google Patents

Abstract

本公开提供了能够实现基于使用图像内容分析而开发的地理语义索引的地图搜索推荐的系统和方法。在一个示例中，一种计算机实现的方法可以包括由一个或更多个计算设备获得与用户活动相关联的图像特征类型的词汇表。该方法可以包括获得图片集合。该方法可以包括基于图像特征类型的词汇表对图片集合执行图像内容分析。该方法可以包括至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分。该方法可以包括填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据。该方法可以包括提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

Description

基于图像内容分析驱动的地理语义索引的地图搜索推荐系统

技术领域

本公开总体上涉及搜索推荐。更具体地，本公开涉及使用图像内容分析和地理语义索引来实现搜索推荐。

背景技术

用户经常希望寻找能适应某些人类活动需求的位置。然而，当搜索具有某些设施和/或物理属性的附近位置时，典型的搜索查询可能无法产生对用户有价值的结果。例如，用户可以利用地图绘制应用来查看一区域的地图，并尝试从视觉上确定用于特定活动的位置或搜索可指示体育活动的可能性的手动标记元素。这样的搜索技术可能是繁杂的并且可能产生不一致或不正确的结果。例如，设施和/或属性可能是未映射的和/或太多或者非常容易改变。因此，需要用于地图搜索以识别与活动相关联的位置的改善的系统。

发明内容

本公开的实施例的方面和优点将在以下描述中被部分地阐述，或者可以从该描述中获悉，或者可以通过实施例的实施而获悉。

本公开的一个示例方面针对一种计算机实现的方法，该方法包括由一个或更多个计算设备获得与用户活动相关联的图像特征类型的词汇表。该方法包括由所述一个或更多个计算设备获得图片集合。该方法包括由所述一个或更多个计算设备基于图像特征类型的词汇表对图片集合执行图像内容分析。该方法包括由所述一个或更多个计算设备至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分。该方法包括由所述一个或更多个计算设备填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据。该方法包括由所述一个或更多个计算设备提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

本公开的其它方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。将理解，以上在一种形式的上下文中描述的方面可以以任何其它方便的形式来实现。在一个方面的上下文中描述的特征可以在另一个方面的上下文中实现。

本公开的各种实施例的这些及其它特征、方面和优点将参照以下描述和所附权利要求变得更好理解。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并与描述一起用于解释相关原理。

附图说明

在本说明书中阐述了对针对本领域普通技术人员的实施例的详细讨论，该详细讨论参照附图，附图中：

图1描绘了根据本公开的示例实施例的计算系统的框图；

图2描绘了根据本公开的示例实施例的具有识别出的特征的街道级图像的示例；

图3A-3B描绘了根据本公开的示例实施例的街道级图像的示例；

图4描绘了根据本公开的示例实施例的基于地理语义索引来提供搜索推荐的示例方法的流程图。

图5描绘了根据本公开的示例实施例的基于地理语义索引来提供搜索推荐的示例方法的流程图；以及

图6A-6B描绘了根据本公开的示例实施例的街道级图像的另一示例。

在多个附图中重复的附图标记旨在标识各种实施方式中的相同特征。

具体实施方式

概述

总体上，本公开针对能够实现基于使用图像内容分析而开发的地理语义索引的地图搜索推荐的系统和方法。具体地，本公开的系统和方法可以促进位置的识别与用户活动相关联的特征和/或属性类型的地理语义索引的生成以及此类地理语义索引的使用，以提供包括可适应特定用户活动的一个或更多个地理位置的地图搜索推荐。例如，用户可能想要搜索可适应特定用户活动的附近位置(例如，附近对孩子友好的地方、有阴凉区域的游乐场、人们可以坐下阅读的地方等)。可以基于图像内容分析(例如，分析街道级图片的周期性集合等以识别与活动相关联的特征/属性，等)来构建位置的地理语义索引，该地理语义索引包括针对每个位置的丰富的语义上下文信息。然后，可以使用地理语义索引来识别某个地理区域(例如，用户位置的固定半径等)内的位置单元，该位置单元可以适应期望的活动(例如，基于位置单元的活动得分等)。识别出的位置可以作为查询结果推荐(例如，映射的位置、位置列表等)的部分提供给用户。在一些情况下，位置推荐可以包括基于与位置相关联的特征/属性和活动的对位置的描述。因此，本公开的系统和方法可以支持以更全面的方式回答对可适应特定活动的具有所请求的特征和/或属性的位置的用户查询，并将用户引导到这样的位置。

更具体地，根据本公开的一个方面，计算系统可以促进位置(例如，在位置单元的网格上)的地理语义索引的构建和周期性更新，该地理语义索引具有使用图像内容分析引擎而生成的针对每个位置的丰富的语义上下文信息。图像内容分析系统可以识别广泛的语义元素(例如，成千上万个元素的量级)，其中的许多语义元素引用物理和城市景观的特征和/或属性。这样的图像内容分析系统可以被分派周期性地处理非常大的图像语料库的任务。地理语义索引可以使用从收集的图片中推导出的关于物理位置的实际知识来提供世界的语义上下文地图，并促进对可支持期望活动的地方的搜索推荐和/或对特定区域内的活动的推荐。

根据本公开的一方面，计算系统可以支持对已知特征和/或属性类型(例如，来自图像内容分析词典等)的词汇表以及它们可适应(例如，搜索用户和应用有可能感兴趣)的用户活动按目录分类。例如，这样的特征/属性词汇表可以包括用于阅读的“长椅”；用于散步的“小巷”；用于乘客搭车或停车的“装载区”或“停车计费表”；用于聚会的“雕像”、“喷泉”或“精品店”；等。特征/属性词汇表可以在活动与词汇表术语之间具有多对多关系。在一些实施方式中，特征/属性词汇表除了物理特征/属性之外还可以包括动词属性术语，例如，识别在图片中人们正在阅读等。

计算系统可以例如从持续更新的图片语料库、可公开获得的图片、用户生成的图片等周期性地获得图片(例如，街道级图片、航空图片等)的集合。计算系统可以对所获得的图片执行图像内容分析，以从所生成的词汇表中识别特征/属性类型术语。基于识别出的特征/属性，计算系统可以填充和/或更新与图片相关联的位置单元的地理语义索引(例如，在映射到地理区域的位置单元的网格上)。地理语义索引还可以包括与具有识别出的特征/属性的图片的收集时间有关的数据。在一些实施方式中，可以基于用户反馈等例如经由来自人类操作者的手动更新持续地更新索引以将特征/属性与活动进行匹配。在一些实施方式中，图像内容分析可以包括过滤掉某些图像数据，诸如在私有和/或受限区域中识别出的特征/属性等。

对于词汇表所支持的每种活动，计算系统可以至少部分基于对应于与位置单元相关联的活动的语义术语的数量、多样性和/或新近度为每个位置单元生成加权活动得分。在一些实施方式中，活动得分可以基于由与该活动相关联的客户端应用提供的一个或更多个度量限定而生成。例如，许多用户应用专注于特定的人类活动，该特定的人类活动可以得到使用如这里描述的地理语义索引的搜索推荐支持。在一些实施方式中，可以仅基于限定活动和针对活动得分的度量的特定用户应用的需求来限定地理语义索引和/或词汇表中的一些活动。在一些实施方式中，活动得分可以基于活动的类型、应用的类型等例如基于对活动可能重要或必要的元素而不同。此类活动得分的生成以及从大型图片语料库(例如，街道级图片语料库等)通过图像内容分析而提供的信息的反复刷新能够实现地理语义索引在基于期望的活动向用户提供更全面的建议方面的功能。

根据本公开的另一方面，计算系统可以从用户获得关于可适应特定用户活动的附近位置的查询。计算系统可以分析地理语义索引以识别附近(例如，在由用户指示的搜索区域的固定半径内，在用户当前位置周围，等)的一个或更多个得分高的位置单元，并提供与期望活动相匹配的那些位置中的一个或更多作为搜索推荐。在一些实施方式中，对于每个位置，计算系统可以基于与该位置相关联的特征/属性和/或活动来生成文本描述。例如，在一些实施方式中，这样的描述可以基于自然语言处理的应用来生成，可以由人类操作者策划，等等。这些位置描述可以作为位置推荐的部分提供给用户，以帮助用户选择和/或找到期望的位置。

例如，用户查询可以被提交给计算系统，诸如“找到我可以散步并享受一些阴凉的地方”。计算系统可以针对与词汇表相关联的任何已知活动单词筛选查询提交，例如，系统可以将“散步”和“享受阴凉”识别为词汇表中的活动术语。计算系统可以分析索引，以基于某些词汇表术语在单元中的存在来识别针对这些活动具有高匹配的一个或更多个位置单元。因此，识别出的单元位置可以在其描述性特征术语之中具有诸如“小巷”、“树”、“人行道”、“石子路径”和/或其它类似术语。计算系统可以例如部分地基于与识别出的位置单元相关联的活动得分将识别出的位置中的一个或更多个作为推荐返回给用户。

在一些实施方式中，对照于针对适应特定活动的位置的推荐，可以使用地理语义索引来提供某个地理区域内的一个或更多个活动的推荐。例如，计算系统可以使用地理语义索引来回答“请推荐我可以在我所在位置的X米范围内进行的活动”的请求，而不是回答“我在哪里可以进行<特定活动>”的查询。在这种情况下，相同的地理语义索引可以使用用户的当前位置以及索引(例如，基于图像内容分析而开发)中存储的语义元素来提供针对指定地理区域内由这些元素所支持的某些活动的推荐。

在一些情况下，这样的活动查询未必由用户直接通过桌面搜索或语音助手发出。而是，潜在用户还可以通过他们使用各种客户端应用(例如，经由RPC调用)来与推荐系统进行交互。许多应用专注于地理语义索引可支持的特定人类活动。一些好的示例可以包括针对聚会、叫车、体育和户外运动、虚拟现实游戏、遛狗、观鸟等的应用。每种类型的应用可能都需要限定其活动术语以及具有任何其它算法过滤标准的特定权重和度量功能(例如，避开具有特定距离余地的道路或住宅建筑物等)。根据一些方面，本公开的系统和方法可以为任何应用提供界面，所述应用需要关于公共空间的知识以支持其对于用户设置的基于活动的特征。作为示例，在乘客搭车的情况下，计算系统可以返回具有“装载区”标志、停车计费表、高度可见的地标和其它项的位置，该其它项使驾驶员和乘客都容易找到地点以及轻松合法地在该地点停车并接走人员。在聚会的示例中，位置单元的活动得分可以考虑在使地点高度“可散步”的例如具有诸如“散步路径”和/或各种行人设施、“喷泉”、“雕塑”等的元素的项。

根据一些方面，计算系统可以获得与用户活动相关联的图像特征类型的词汇表。该词汇表可以包括识别图像特征类型的数据。可以将多个活动类型各自与图像特征类型的相应子集相关联，该相应子集来自图像特征类型的词汇表。计算系统可以获得图片集合，诸如图像集合。计算系统可以基于图像特征类型的词汇表对图片集合执行图像内容分析。例如，计算系统可以确定地理语义索引的多个位置单元中的每个的对应图片是否包括来自图像特征类型的词汇表的特征类型。计算系统可以基于图像特征类型的词汇表为地理语义索引中的每个位置单元生成至少一个活动得分。对于每个位置单元，计算系统可以至少部分地基于位置单元是否包括图像特征类型的针对此类活动类型的一些相应子集为每种活动类型确定活动得分。计算系统可以用指示针对每个位置单元的所述至少一个活动得分的数据来填充位置单元的地理语义索引。计算系统可以提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

这里描述的系统和方法提供了许多技术效果和益处。例如，本公开的系统和方法可以提供对搜索推荐系统的改善。所述系统和方法可以例如使得能够基于有可能尚未映射和/或太多或非常容易改变的某些设施和/或属性的存在进行对附近位置的查询。后者尤其可能使得仅依靠此类实体的固定永久性记录(例如，用户报告的)而无法自动刷新它们变得不可行。因此，本公开的系统和方法可以支持以更全面的方式回答对可适应特定活动的具有所请求的特征和/或属性的位置的用户查询，并将用户引导到这样的位置。

根据一些方面，可以通过基于图像内容分析将位置与活动相关联来提供改善的搜索推荐系统和/或相关的用户界面。对与位置相关联的图片的图像内容分析可以用于识别对应于图像特征的词汇表的特征的存在。词汇表中的图像特征可以与活动或活动类型相关联。这样，这里描述的地理语义索引可以包括与特定位置处的活动相关联的信息，其中这些活动基于图像内容分析来确定。这样的技术可以体现对手动或其它过程的改善。

现在参照附图，将进一步详细讨论本公开的示例实施例。

示例设备和系统

图1描绘了根据本公开的示例实施例的示例计算系统100的框图，该示例计算系统100可以基于使用图像内容分析而开发的地理语义索引来促进搜索推荐。系统100仅作为一个示例被提供。除了系统100之外或代替系统100，可以使用包括不同组件的其它计算系统。系统100可以包括通过一个或更多个网络(诸如通信网络140)通信地耦合的一个或更多个用户计算设备(诸如用户计算设备102)和一个或更多个远程计算设备(诸如服务器计算系统120)。尽管在图1中仅示出了一个用户计算设备，但是可以通过网络140将任意数量的用户计算设备连接到服务器计算系统120。

用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，膝上型电脑或台式电脑)、移动计算设备(例如，智能电话或平板电脑)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其它类型的计算设备。

用户计算设备102包括一个或更多个处理器104和一个或更多个存储器106。一个或更多个处理器104可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或在操作上连接的多个处理器。一个或更多个存储器106可以包括一个或更多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等及其组合。一个或更多个存储器106可以存储数据108和指令110，数据108和指令110由处理器104运行以使用户计算设备102执行诸如这里描述的操作。更具体地，如这里所述，用户计算设备102可以通过通信网络140生成查询请求并从服务器计算系统120接收响应数据。

用户计算设备102还可以包括一个或更多个输入/输出接口112。一个或更多个输入/输出接口112可以包括例如用于从用户接收信息或向用户提供信息的设备，所述接收或提供是诸如通过显示设备、触摸屏、触摸板、鼠标、数据输入键、音频输出设备(诸如一个或更多个扬声器)、麦克风、相机、触觉反馈设备等。用户计算设备102还可以包括用于与包括远离用户计算设备102定位的系统或设备的一个或更多个系统或设备通信的一个或更多个通信/网络接口114。

服务器计算系统120可以包括一个或更多个处理器122和一个或更多个存储器124。一个或更多个处理器122可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或在操作上连接的多个处理器。一个或更多个存储器124可以包括一个或更多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等及其组合。一个或更多个存储器124可以存储数据126和指令128，数据126和指令128由处理器122运行以使服务器计算系统120执行诸如这里描述的操作，包括支持图像内容分析、生成和/或维护地理语义索引、促进搜索推荐等。

在一些实施方式中，服务器计算系统120可以包括一个或更多个服务器计算设备或以其它方式由一个或更多个服务器计算设备来实现。在服务器计算系统120包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。

在一些实施方式中，服务器计算系统120可以托管地理信息系统130，诸如与地图绘制服务相关联的地理信息系统。地理信息系统(GIS)130可以实现地图绘制应用、虚拟地球应用或任何其它合适的GIS。GIS 130可以支持对已经根据与地理空间数据相关联的地理坐标(诸如纬度坐标、经度坐标和海拔坐标)索引和存储的地理空间数据的存档、检索和操纵。GIS 130可以将卫星图片、照片、地图、模型和其它地理数据与互联网搜索功能相结合，以使用户能够查看行星的图片(例如，与多个地理区域相关联的地图数据)和相关的地理信息(例如，诸如岛屿和城市的地点，诸如当地餐馆、医院、公园、酒店和学校等的感兴趣点)。GIS 130可以进一步允许用户进行本地搜索，以获得到一个位置的行进方向或在两个位置之间的行进方向，或以其他方式检索所选区域的地图数据。结果可以以感兴趣区域的二维或三维呈现来显示。在一些实施方式中，用户可以平移、倾斜和旋转视图以查看三维地形和建筑物。

GIS 130可以至少部分地基于如这里所述的地理语义索引来提供搜索结果、推荐等(例如，响应于用户查询等)。例如，GIS 130可以包括对地理语义索引(诸如地理语义索引134)或以其它方式被提供对该地理语义索引的访问，该地理语义索引可以包括与多个位置单元(例如，与每个位置单元相关联的特征、属性、活动等)相关联的语义语境，其中可以基于图像内容分析、手动输入等来填充和/或更新地理语义索引。

根据本公开的一方面，服务器计算系统120可以包括图像内容分析引擎132，其可以促进本公开的实施例的实现。例如，服务器计算系统120可以获得包括图片集合的数据，诸如例如周期性地收集的街道级图片。图像内容分析引擎132可以被分派周期性地处理所获得的图片数据的任务，以识别引用物理景观的特征和/或属性的语义元素，该特征和/或属性例如与一个或更多个人类活动相关联并在如这里描述的特征/属性类型的词汇表中按目录分类。例如，特征/属性类型可以与图片内诸如结构、基础设施、建筑物、物体等的物理对象和/或物理景观相关联或指示该物理对象和/或物理景观。例如，特征/属性可以包括“游乐场”、“公园”、“小巷”、“路径”、“精品店”、“装载区”、“停车计费表”、“长椅”、“喷泉”、“法规”、“艺术品”、“树”、“灌木丛”等。在一些实施方式中，指示图片内的特征的数据可以包括指示识别出的特征的一个或更多个方面的一个或更多个特征向量。

根据本公开的一个方面，服务器计算系统120可以包括地理语义索引134。地理语义索引134可以包括位置的地理索引，该地理索引包括基于例如由图像内容分析引擎132提供的图像内容分析而构建和维护的针对每个位置的丰富的语义上下文信息。作为示例，地理语义索引可以针对每个位置单元包括指示在与位置单元相关联的图片中识别出的一个或更多个特征/属性(例如，长椅、路径、喷泉、壁画、停车计费表、游乐场等)的数据、与具有识别出的特征/属性的被分析图像的(多个)收集时间(例如，时间戳等)有关的数据、针对与位置单元中识别出的特征/属性相关联和/或该识别出的特征/属性所适应的用户活动的一个或更多个活动得分、基于与位置单元相关联的特征/属性和/或活动的一个或更多个文本描述等。

例如，可以通过图像内容分析系统(例如，图像内容分析引擎132)来处理与地理语义索引中的位置单元相关联的所获得的图片，以识别图像中被包括在与地理语义索引相关联的特征词汇表内的一个或更多个特征(例如，游乐场、长椅、喷泉、停车计费表、树、路径等)。可以将图片内识别出的与位置单元相关联的一个或更多个特征和与该特征相关联和/或该特征所适应的一个或更多个用户活动进行匹配(例如，使用与地理语义索引相关联的特征词汇表)。例如，可以基于对应于与位置单元相关联的活动的识别出的特征的类型、识别出的特征的数量、识别出的特征的多样性、识别出的特征的新近度(例如，自收集到包括该特征的图片以来的时间)等为每个位置单元生成一个或更多个活动得分。

地理语义索引134可以用于识别在可适应期望的用户活动的某个地理区域内的位置(例如，基于从与搜索查询相关联的用户计算设备102获得的数据等)。服务器计算设备120可以将例如识别出的位置数据提供给用户计算设备102，作为查询结果推荐的部分(例如，映射的位置、位置列表等)。

服务器计算系统120还可以包括一个或更多个通信/网络接口，其用于与包括远离服务器计算系统120定位的系统或设备(例如，诸如用户计算设备102)的一个或更多个系统或设备通信。服务器计算系统120还可以包括一个或更多个输入/输出接口。

网络140可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。一般，可以使用各种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)经由任何类型的有线和/或无线连接来承载通过网络140的通信。

示例图片

图2描绘了根据本公开的示例实施例的具有使用图像内容分析系统识别出的特征的示例街道级图像200。如图2所示，可以获得街道级图像200作为图片语料库的部分，并由图像内容分析系统(例如，图1的图像内容分析引擎132)处理该街道级图像200以识别图像200内的一个或更多个特征和/或属性。具体地，图像内容分析系统可以识别图像200内的各种特征，以促进如这里所述的地理语义索引的创建和/或更新。图像200可以与地理语义索引内的位置单元相关联，并且识别出的特征/属性可以用于周期性地更新与地理语义索引内的位置单元相关联的数据。在一些实施方式中，图像内容分析系统可以识别图像200内的特征以及指示识别出的特征的存在的置信度，诸如如图2所示的窗户、门、树、植物等(例如，“窗户1.00”、“门0.93”、“树0.97”等)。可以将识别出的特征/属性和与地理语义索引相关联的特征/属性的词汇表(例如，与在地理语义索引内维护的用户活动类型相关联的特征/属性类型)相比较，并且可以使用识别出的特征/属性来促进地理语义索引的更新(例如，生成/更新与位置单元相关联的数据，生成/更新针对与图像200相关联的位置单元的活动得分，等)。

例如，所获得的图片(例如，图像200)可以由图像内容分析系统处理，以识别位于图片内的与地理语义索引的词汇表(例如，将特征/属性与该特征/属性所适应的活动相关联的词汇表)相关联的一个或更多个特征/属性。可以例如使用与地理语义索引相关联的词汇表将图片内识别出的所述一个或更多个特征/属性和与该特征相关联和/或该特征所适应的一个或更多个用户活动进行匹配。可以例如基于对应于与位置单元相关联的活动的识别出的特征的类型、识别出的特征的数量、识别出的特征的多样性、识别出的特征的新近度(例如，自收集到包括该特征的图片以来的时间)等为地理语义索引中的每个位置单元生成一个或更多个活动得分。

图3A和图3B描绘了根据本公开的示例实施例的示例街道级图片。如图3A所示，可以获得街道级图像300A作为图片语料库的部分，并且可以由图像内容分析系统(例如，图1的图像内容分析引擎132)处理该街道级图像300A以识别特征和/或属性，如图3B的图像300B所示。具体地，图像内容分析系统可以识别图像300A/300B内的各种特征/属性，诸如识别图像与诸如公园的公共空间的属性相关联，识别图像包含诸如水特征、喷泉、植物等的特征。识别出的特征/属性可以与地理语义索引的词汇表(例如，将特征/属性与该特征/属性所适应的活动相关联的词汇表)相关联。图像300A/300B可以与地理语义索引内的位置单元相关联，并且识别出的特征/属性可以用于生成和/或更新与地理语义索引内的位置单元相关联的数据(例如，生成/更新与位置单元相关联的特征数据，生成/更新针对与图像相关联的位置单元的活动得分，等)。

图6A和图6B描绘了根据本公开的示例实施例的示例街道级图片。如图6A所示，可以获得街道级图像600A作为图像语料库的部分，并且可以由图像内容分析系统(例如，图1的图像内容分析引擎132)处理该街道级图像600A以识别特征和/或属性，如图6B的图像600B所示。具体地，图像内容分析系统可以识别图像600A/600B内的各种特征，诸如识别图像与公共空间和/或游乐场的属性相关联，识别图像包含被识别为游乐场设备、围栏等的特征。图像600A/600B可以与地理语义索引内的位置单元相关联，并且识别出的特征/属性可以用于生成和/或更新与地理语义索引内的位置单元相关联的数据(例如，生成/更新针对与图像相关联的位置单元的活动得分等)。

示例方法

图4描绘了根据本公开的示例实施例的基于地理语义索引来提供搜索推荐的示例方法400的流程图。尽管图4出于图示和讨论的目的描绘了按特定顺序执行的步骤，但是本公开的方法不限于特别示出的顺序或安排。在不偏离本公开的范围的情况下，可以以各种方式省略、重新安排、组合和/或调整方法400的各个步骤。方法400可以由一个或更多个计算设备(诸如图1中描绘的计算设备中的一个或更多个)来实现。

在402，方法400可以包括例如由诸如图1的服务器计算系统120的计算设备获得特征类型的词汇表(例如，将图片中识别出的特征/属性与该特征/属性可适应的活动类型相关联的词汇表)。具体地，计算设备可以促进例如对来自图像内容分析词典等的已知特征和/或属性类型的词汇表以及该特征和/或属性类型可适应的一个或更多个用户活动类型的按目录分类。例如，特征/属性类型的词汇表可以包括用于阅读的“长椅”；用于散步的“小巷”；用于乘客搭车或停车的“装载区”或“停车计费表”；用于聚会的“雕像”、“喷泉”或“精品店”；等。特征/属性词汇表可以在活动与特征/属性术语之间具有多对多关系。

在404，方法400可以包括由计算设备获得周期性地收集的图片(诸如街道级图片、航空图片等)的语料库。例如，计算设备可以例如从持续更新的图片语料库、可公开获得的图片、用户生成的图片等周期性地获得图片的集合。

在406，方法400可以包括由计算设备至少部分地基于特征类型的词汇表对图片集合执行图像内容分析。例如，计算设备可以对所获得的图片执行图像内容分析，以从生成的词汇表中识别特征/属性类型术语(例如，识别引用物理景观的与用户活动相关联的特征和/或属性的语义元素)。在一些实施方式中，例如，图像内容分析可以包括使用一个或更多个机器学习模型来识别图片集合中包括的图像内的一个或更多个特征/属性。

作为示例，可以由图像内容分析系统处理所获得的图片，以识别位于图片内的与地理语义索引的词汇表(例如，将特征/属性与该特征/属性所适应的活动相关联的词汇表)相关联的一个或更多个特征/属性。可以例如使用与地理语义索引相关联的词汇表将图片内识别出的所述一个或更多个特征/属性和与该特征相关联和/或该特征所适应的一个或更多个用户活动进行匹配。

在408，方法400可以包括由计算设备基于图片集合的图像内容分析填充和/或更新位置单元的地理语义索引。具体地，可以利用映射到地理区域的特定位置单元来识别图片集合内的图像。基于经由针对与位置单元相关联的图片的图像内容分析而识别出的特征/属性，计算设备可以部分地基于特征类型的词汇表来填充和/或更新位置单元的地理语义索引。例如，可以基于与以下相关联的数据来填充地理语义索引：与每个位置单元相关联的特征/属性类型、与每个位置单元中的特征/属性相关联的活动类型等。在一些实施方式中，地理语义索引还可以包括与具有识别出的特征/属性的图片的收集时间有关的数据。在一些实施方式中，图像内容分析和/或地理语义索引的填充可以包括过滤掉某些图像数据，诸如在私有和/或受限区域中识别出的特征/属性等。

在410，方法400可以包括由计算设备生成(例如，与在位置单元中识别出的特征/属性可适应的每种活动相关联的)针对每个位置单元的一个或更多个活动得分。具体地，计算设备可以至少部分地基于对应于与位置单元相关联的活动的特征/属性类型的数量、多样性和/或新近性为每个位置单元(例如，为词汇表所支持的每种活动)生成一个或更多个加权活动得分。

在一些实施方式中，活动得分可以基于与该活动相关联的客户端应用所提供的一个或更多个度量限定来生成。例如，在一些实施方式中，可以仅基于限定活动和针对活动得分的度量的特定用户应用的需求来限定地理语义索引和/或词汇表中的一些活动。在一些实施方式中，活动得分可以基于活动类型、应用类型等例如基于对活动可能重要或必要的元素而不同。

作为示例，在一些实施方式中，地理语义索引可以针对每个位置单元包括指示在与该位置单元相关联的图片中识别出的一个或更多个特征/属性(例如，长椅、路径、喷泉、壁画、停车计费表、游乐场等)的数据、与具有识别出的特征/属性的被分析图像的(多个)收集时间(例如，时间戳等)有关的数据、针对与位置单元中的识别出的特征/属性相关联和/或该识别出的特征/属性所适应的用户活动的一个或更多个活动得分、基于与位置单元相关联的特征/属性和/或活动的一个或更多个文本描述等。

在412，方法400可以包括由计算设备例如响应于从用户计算设备接收到的关于期望活动等的用户查询提供用于生成地图推荐的地理语义索引。

例如，计算设备可以从用户获得关于可适应特定用户活动的附近位置的查询。计算设备可以分析地理语义索引，以识别附近(例如，在由用户指示的搜索区域的固定半径内，在用户当前位置周围，等)的一个或更多个得分高的位置单元，并提供与匹配期望活动的那些位置中的一个或更多个相关联的数据作为搜索建议。

根据本公开的方面，可以基于新图片的周期性集合来迭代地执行图像内容分析和地理语义索引的更新。

图5描绘了根据本公开的示例实施例的基于地理语义索引来提供搜索推荐的示例方法500的流程图。尽管图5出于图示和讨论的目的描绘了按特定顺序执行的步骤，但是本公开的方法不限于特别示出的顺序或安排。在不偏离本公开的范围的情况下，可以以各种方式省略、重新安排、组合和/或调整方法500的各个步骤。方法500可以由一个或更多个计算设备(诸如图1中描绘的计算设备中的一个或更多个)来实现。

在502，方法500可以包括由服务器计算设备生成特征类型的词汇表。例如，服务器计算设备可以促进构建例如来自图像内容分析词典等的已知特征和/或属性类型以及该特征和/或属性类型可适应的一个或更多个用户活动类型的词汇表。例如，特征类型的词汇表可以包括用于阅读的“长椅”；用于散步的“小巷”、用于乘客搭车或停车的“装载区”或“停车计费表”；用于聚会的“雕像”、“喷泉”或“精品店”；等。特征/属性词汇表可以在活动与特征/属性术语之间具有多对多关系。

在504，方法500可以包括由服务器计算设备获得图片(诸如街道级图片、航空图片等)的语料库。例如，计算设备可以例如从持续更新的图片语料库、可公开获得的图片、用户生成的图片等周期性地获得图片集合。

在506，方法500可以包括由服务器计算设备至少部分地基于特征类型的词汇表对图片语料库执行图像内容分析。例如，服务器计算设备可以对所获得的图片执行图像内容分析，以从所生成的词汇表中识别特征/属性类型术语(例如，识别引用物理景观的与用户活动相关联的特征和/或属性的语义元素)。例如，服务器计算设备可以确定针对地理语义索引的多个位置单元中的每个的对应图片是否包括来自词汇表的特征/属性类型。

在508，方法500可以包括由服务器计算设备基于图片集合内的图像的图像内容分析来生成和/或更新位置单元的地理语义索引。具体地，可以利用映射到地理区域的特定位置单元来识别图片集合内的图像。基于经由针对与位置单元相关联的每个图像的图像内容分析而识别出的特征/属性，服务器计算设备可以部分地基于特征类型的词汇表来填充和/或更新位置单元的地理语义索引。服务器计算设备还可以生成/更新(例如，与在位置单元中识别出的特征/属性可适应的每种活动相关联的)针对地理语义索引的每个位置单元的一个或更多个活动得分。

在510，方法500可以包括用户计算设备获得与关于可适应特定用户活动的附近位置的(例如，来自用户、应用等的)查询相关联的数据。例如，用户可以在用户计算设备上提交搜索查询，诸如“找到我可以散步并享受一些阴凉的地方”。在512，方法500可以包括用户计算设备将与查询相关联的数据提供给服务器计算设备。

在514，方法500可以包括服务器计算设备分析地理语义索引以确定可匹配期望的用户活动的一个或更多个位置。例如，服务器计算设备可以分析地理语义索引，以识别附近(例如，在用户指示的搜索区域的固定半径内，在用户当前位置周围，等)的一个或更多个位置单元。在516，方法500可以包括服务器计算设备从识别出的位置单元中选择一个或更多个位置。例如，服务器计算设备可以从具有与期望活动相关联的高于某个阈值得分的活动得分的识别出的位置单元(例如，来自识别出的单元的具有针对期望活动的最高活动得分的某一数量的位置单元)中选择一个或更多个位置单元。

例如，服务器计算设备可以针对与词汇表相关联的任何已知活动单词筛选查询提交。例如，服务器计算设备可以将“散步”和“享受阴凉”识别为词汇表中的活动术语。服务器计算设备可以分析索引，以基于图片的图像内容分析来识别一个或更多个位置单元，所述一个或更多个位置单元基于某些词汇表术语的存在与这些单元相关联而对于这些活动具有高匹配。因此，识别出的单元位置可以在其描述性特征术语之中具有诸如“小巷”、“树”、“人行道”、“石子路径”和/或其它类似术语。计算系统可以例如部分地基于与识别出的位置单元相关联的活动得分来选择识别出的位置中的一个或更多个。

在518，方法500可以包括服务器计算设备将与一个或更多个推荐位置相关联的数据提供给用户计算设备。例如，服务器计算设备可以提供指示所选位置的地图、所选位置的列表等的数据。在一些实施方式中，对于每个位置，服务器计算系统可以基于与该位置相关联的特征/属性和/或活动来生成文本描述。例如，在一些实施方式中，这样的描述可以基于自然语言处理的应用来生成，可以由人类操作者来策划，等。可以将这些位置描述作为位置推荐的部分提供给用户，以帮助用户选择和/或找到期望的位置。

在520，方法500可以包括用户计算设备从服务器计算设备接收推荐数据并将推荐数据提供给用户。

附加公开

这里讨论的技术参照服务器、数据库、软件应用和其它基于计算机的系统以及所采取的行动及向此类系统和从此类系统发送的信息。基于计算机的系统的固有灵活性允许组件之间的多种可能的配置、组合以及任务和功能的划分。例如，这里讨论的过程可以使用单个设备或组件或组合工作的多个设备或组件来实现。数据库和应用可以在单个系统上实现，或分布在多个系统上。分布式组件可以顺序地或并行地操作。

虽然已经关于本主题的各种特定示例实施例详细地描述了本主题，但是每个示例作为说明而非对本公开的限制被提供。本领域技术人员在理解了前述内容之后，可以容易地对这些实施例进行更改、变化和等同。因此，对于本领域普通技术人员将容易明显的是，本公开不排除包括对本主题的此类修改、变化和/或添加。例如，作为一个实施例的部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，意图是本公开覆盖这样的更改变、变化和等同。

本公开的一个示例实施例针对一种计算机实现的方法，其包括由一个或更多个计算设备获得与用户活动相关联的图像特征类型的词汇表。该方法包括由所述一个或更多个计算设备获得图片集合。该方法包括由所述一个或更多个计算设备基于图像特征类型的词汇表对图片集合执行图像内容分析。该方法包括由所述一个或更多个计算设备至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分。该方法包括由所述一个或更多个计算设备填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的至少一个活动得分的数据。该方法包括由所述一个或更多个计算设备提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

该方法可以进一步包括，其中，由所述一个或更多个计算设备为每个位置单元生成所述至少一个活动得分包括：至少部分地基于通过图像内容分析而识别的对应图像特征类型为每个位置单元生成所述至少一个活动得分。该方法可以进一步包括由所述一个或更多个计算设备将多个活动类型中的每个活动类型与图像特征类型的相应子集相关联，该相应子集来自图像特征类型的词汇表；其中，由所述一个或更多个计算设备对图片集合执行图像内容分析包括确定每个位置单元的对应图片是否包括来自图像特征类型的词汇表的特征类型；其中，由所述一个或更多个计算设备为每个位置单元生成所述至少一个活动得分包括至少部分地基于此类位置单元是否包括图像特征类型的针对此类活动类型的所述相应子集为每种活动类型确定活动得分。该方法可以进一步包括，其中，第一位置单元可以包括与第一活动类型相关联的第一活动得分和针对第二活动类型的第二活动得分，以及其中，第一活动得分部分地基于识别特征类型的与第一位置单元相关联的第一子集，并且第二活动得分部分地基于识别特征类型的与第一位置单元相关联的第二子集。该方法可以进一步包括：由所述一个或更多个计算设备获得针对期望活动的位置推荐的查询；由所述一个或更多个计算设备获得位置单元的地理语义索引；由所述一个或更多个计算设备基于与来自位置单元的地理语义索引的期望活动相关联的活动得分来确定地理区域内与查询相关联的一个或更多个位置单元；以及由所述一个或更多个计算设备基于所确定的位置单元提供包括一个或更多个所选位置的推荐。该方法可以进一步包括：由所述一个或更多个计算设备获得针对限定的地理区域内的活动推荐的查询；由所述一个或更多个计算设备获得位置单元的地理语义索引；由所述一个或更多个计算设备部分地基于与位置单元的地理语义索引中的一个或更多个用户活动相关联的活动分数来确定与限定的地理区域内的位置单元相关联的一个或更多个用户活动；以及由所述一个或更多个计算设备提供推荐，该推荐包括部分地基于活动得分而确定的所述一个或更多个用户活动以及限定的地理区域内针对所述一个或更多个用户活动中的每种的位置。该方法可以进一步包括由所述一个或更多个计算设备部分地基于通过图像内容分析识别出的与位置单元相关联的特征类型和活动来生成针对该位置单元的描述。该方法可以进一步包括由所述一个或更多个计算设备过滤掉图像内容分析识别出的在受限的地理位置中识别出的特征类型，使得它们不被填充在地理语义索引中。该方法可以进一步包括，其中，由所述一个或更多个计算设备基于所支持的用户活动为地理语义索引中的每个位置单元生成活动得分包括至少部分地基于对应于与位置单元相关联的活动的识别出的图像特征类型的数量、多样性和新近度为每个位置单元生成加权活动得分。该方法可以进一步包括，其中，由所述一个或更多个计算设备获得与用户活动相关联的图像特征类型的词汇表包括对来自图像内容分析词典的已知特征类型的词汇表以及该特征类型可适应的用户活动按目录分类。该方法可以进一步包括，其中图片集合包括街道级图片的周期性集合。

本公开的另一示例实施例针对一种计算设备。该计算设备包括一个或更多个处理器。该计算设备包括共同存储指令的一个或更多个非暂时性计算机可读介质，该指令当由所述一个或更多个处理器运行时使该计算设备执行操作。所述操作包括获得与用户活动相关联的图像特征类型的词汇表。所述操作包括获得图片集合。所述操作包括基于图像特征类型的词汇表对图片集合执行图像内容分析。所述操作包括至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分。所述操作包括填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据。所述操作包括提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

本公开的另一示例实施例针对一种或更多种非暂时性计算机可读介质，其存储指令，该指令当由计算系统的一个或更多个处理器运行时使该计算系统执行操作。所述操作包括获得与用户活动相关联的图像特征类型的词汇表。所述操作包括获得图片集合。所述操作包括基于图像特征类型的词汇表对图片集合执行图像内容分析。所述操作包括至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分。所述操作包括填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据。所述操作包括提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

Claims (20)

1.一种计算机实现的方法，该方法包括：

由一个或更多个计算设备获得与用户活动相关联的图像特征类型的词汇表；

由所述一个或更多个计算设备获得图片集合；

由所述一个或更多个计算设备基于图像特征类型的词汇表对图片集合执行图像内容分析；

由所述一个或更多个计算设备至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分；

由所述一个或更多个计算设备填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据；以及

由所述一个或更多个计算设备提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

2.根据权利要求1所述的计算机实现的方法，其中由所述一个或更多个计算设备为每个位置单元生成所述至少一个活动得分包括：

至少部分地基于通过图像内容分析识别出的对应图像特征类型为每个位置单元生成所述至少一个活动得分。

3.根据权利要求1或权利要求2所述的计算机实现的方法，其中该方法进一步包括：

由所述一个或更多个计算设备将多个活动类型中的每个活动类型与来自图像特征类型的词汇表的图像特征类型的相应子集相关联；

其中由所述一个或更多个计算设备对图片集合执行图像内容分析包括确定每个位置单元的对应图片是否包括来自图像特征类型的词汇表的特征类型；以及

其中由所述一个或更多个计算设备为每个位置单元生成所述至少一个活动得分包括：至少部分地基于此类位置单元是否包括图像特征类型的针对此类活动类型的所述相应子集为每个活动类型确定活动得分。

4.根据权利要求1至3中任一项所述的计算机实现的方法，其中第一位置单元包括与第一活动类型相关联的第一活动得分和针对第二活动类型的第二活动得分，以及其中第一活动得分至少部分地基于识别特征类型的与第一位置单元相关联的第一子集，并且第二活动得分至少部分地基于识别特征类型的与第一位置单元相关联的第二子集。

5.根据权利要求1至4中任一项所述的计算机实现的方法，其中该方法进一步包括：

由所述一个或更多个计算设备获得针对期望活动的位置推荐的查询；

由所述一个或更多个计算设备获得位置单元的地理语义索引；

由所述一个或更多个计算设备基于来自位置单元的地理语义索引的与期望活动相关联的活动得分确定地理区域内与查询相关联的一个或更多个位置单元；以及

由所述一个或更多个计算设备基于所确定的位置单元提供包括一个或更多个所选位置的推荐。

6.根据权利要求1至5中任一项所述的计算机实现的方法，其中该方法进一步包括：

由所述一个或更多个计算设备获得针对限定的地理区域内的活动推荐的查询；

由所述一个或更多个计算设备获得位置单元的地理语义索引；

由所述一个或更多个计算设备部分地基于位置单元的地理语义索引中的、与一个或更多个用户活动相关联的活动得分确定限定的地理区域内与位置单元相关联的所述一个或更多个用户活动；以及

由所述一个或更多个计算设备提供推荐，该推荐包括部分地基于活动得分而确定的所述一个或更多个用户活动以及限定的地理区域内针对所述一个或更多个用户活动中的每种的位置。

7.根据权利要求1至6中任一项所述的计算机实现的方法，其中该方法进一步包括：

由所述一个或更多个计算设备部分地基于通过图像内容分析识别出的与位置单元相关联的特征类型和活动生成针对位置单元的描述。

8.根据权利要求1至7中任一项所述的计算机实现的方法，其中该方法进一步包括：

由所述一个或更多个计算设备过滤掉通过图像内容分析识别出的在受限的地理位置中识别出的特征类型，使得它们不被填充在地理语义索引中。

9.根据权利要求1至8中任一项所述的计算机实现的方法，其中由所述一个或更多个计算设备基于所支持的用户活动为地理语义索引中的每个位置单元生成活动得分包括：至少部分地基于对应于与位置单元相关联的活动的识别出的图像特征类型的数量、多样性和新近度为每个位置单元生成加权活动得分。

10.根据权利要求1至9中任一项所述的计算机实现的方法，其中由所述一个或更多个计算设备获得与用户活动相关联的图像特征类型的词汇表包括对来自图像内容分析词典的已知特征类型的词汇表以及该特征类型可适应的用户活动按目录分类。

11.根据权利要求1至10中任一项所述的计算机实现的方法，其中图片集合包括街道级图片的周期性集合。

12.一种计算系统，包括：

一个或更多个处理器；以及

存储指令的一个或更多个非暂时性计算机可读介质，该指令当由所述一个或更多个处理器运行时使计算系统执行操作，所述操作包括：

获得与用户活动相关联的图像特征类型的词汇表；

获得图片集合；

基于图像特征类型的词汇表对图片集合执行图像内容分析；

至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分；

填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据；以及

提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

13.根据权利要求12所述的计算系统，其中为每个位置单元生成所述至少一个活动得分包括至少部分地基于通过图像内容分析识别出的对应图像特征类型为每个位置单元生成所述至少一个活动得分。

14.根据权利要求12或权利要求13所述的计算系统，所述操作进一步包括：

获得针对期望活动的位置推荐的查询；

获得位置单元的地理语义索引；

基于位置单元的地理语义索引中的与期望活动相关联的活动得分来确定地理区域内与查询相关联的一个或更多个位置单元；以及

基于所确定的位置单元提供包括一个或更多个所选位置的推荐。

15.根据权利要求12至14中任一项所述的计算系统，所述操作进一步包括：

部分地基于通过图像内容分析识别出的与位置单元相关联的特征类型和活动来生成针对位置单元的描述。

16.根据权利要求12至15中任一项所述的计算系统，其中基于所支持的用户活动为地理语义索引中的每个位置单元生成活动得分包括：至少部分地基于对应于与位置单元相关联的活动的语义术语的数量、多样性和新近度为每个位置单元生成加权活动得分。

17.一种或更多种非暂时性计算机可读介质，其存储指令，该指令当由计算系统的一个或更多个处理器运行时使计算系统：

获得与用户活动相关联的图像特征类型的词汇表；

获得图片集合；

基于图像特征类型的词汇表对图片集合执行图像内容分析；

至少部分地基于图像特征类型的词汇表为地理语义索引中的多个位置单元的每个生成至少一个活动得分；

填充位置单元的地理语义索引，位置单元的地理语义索引包括指示针对每个位置单元的所述至少一个活动得分的数据；以及

提供位置单元的地理语义索引，以用于响应于查询而生成位置推荐。

18.根据权利要求17所述的一种或更多种非暂时性计算机可读介质，进一步使计算系统：

获得针对期望活动的位置推荐的查询；

获得位置单元的地理语义索引；

基于位置单元的地理语义索引中的与期望活动相关联的活动得分来确定地理区域内与查询相关联的一个或更多个位置单元；以及

基于所确定的位置单元来提供包括一个或更多个所选位置的推荐。

19.根据权利要求17或权利要求18所述的一种或更多种非暂时性计算机可读介质，进一步使计算系统：

部分地基于通过内容图像分析识别出的与位置单元相关联的特征和活动来生成针对位置单元的描述。

20.根据权利要求17至19中任一项所述的一种或更多种非暂时性计算机可读介质，其中图片集合包括街道级图片的周期性集合。

Images