CN114780737A - 个性化实体库 - Google Patents

Abstract

本发明涉及个性化实体库。提供用于个性化的实体库的系统和方法。例如，计算设备包括具有来自存储在服务器处的实体库的固定实体集合的个性化实体库、处理器和存储指令的存储器，所述指令使得计算设备基于与计算设备相关联的场境，识别与用户有关的固定实体集合，按相关性排名固定集合，并且使用基于排名和适用于用户的集合使用参数确定的选择集来更新个性化实体库。在另一示例中，一种方法包括从实体库生成固定实体集合，包括基于位置的集合和基于主题的集合，并且将固定集合的子集提供给客户端，客户端基于客户端的位置以及为在客户端上显示而生成的内容中识别的项目来请求该子集。

Description

个性化实体库

分案说明

本申请属于申请日为2016年10月18日的中国发明专利申请201680061369.0的分案申请。

相关申请

本申请要求2015年12月8日提交的名为“PERSONALIZED ENTITY REPOSITORY”的美国非临时专利申请No.14/962,415的优先权并且作为其继续申请，而美国非临时专利申请No.14/962,415又要求2015年10月22日提交的名为“PERSONALIZED ENTITY REPOSITORY”的美国临时专利申请No.62/245,241的优先权，其全部内容通过引用并入本文。

背景技术

诸如智能电话、可穿戴设备、平板计算机、膝上型计算机等的移动设备的使用正在增加。通过理解由用户所看到的内容和所采取的动作，移动设备可以例如通过向用户提供个性化预测和帮助，建立更好的用户体验。理解内容和动作的一部分包括识别和分类在设备屏幕的内容中辨识的实体。实体可以存在于存储关于实体的事实和信息的实体库中，诸如知识库或视觉模型。大型公共实体库可以包含数百万个这样的实体。大多数计算设备，特别是移动计算设备，诸如智能手机和平板计算机具有有限的存储空间，并且经由与服务器的连接使用实体库。

发明内容

实施方式将实体库划分为若干固定集合或片段。集合可以是基于位置、基于主题、基于动作或功能的。系统可以确定服务器处的集合并且仅将那些集合提供给与该特定客户端相关的客户端设备。下载到客户端的集合是无需连接到服务器即可访问的个性化实体库。客户端设备可以包括集合识别引擎。集合识别引擎可以包括预测模型，其预测给定一些文本、图像或其他特征的一个或多个集合。预测模型可以被用来确定哪些集合对用户最有利。集合识别引擎还可以跟踪用户的位置以确定哪些位置集合最相关。

可以例如基于用户的位置、用户的搜索历史、用户已经在设备上查看过的内容、时刻、来自其他设备的信号等，针对客户端设备的用户对集合进行排名。因此，例如，如果用户开始研究到夏威夷的旅行，则系统可以确定具有与夏威夷相关的实体的集合与用户特别相关。如果用户从纽约飞往洛杉矶，则系统可以确定洛杉矶的位置集合是相关的。客户端设备可以使用排名来确定要检索哪些集合以及从存储器删除哪些集合。例如，如果先前下载的集合不再相关，则系统可以移除该集合以为另一集合腾出空间。系统可以随时使用集合使用参数来确定哪些集合包括在个性化实体库中。在一些实施方式中，用户可以建立和控制集合使用参数。更新集合可以包括确定集合的增量以减少传送到客户端设备的数据。在一些实施方式中，可以版本化这些集合，例如，使得模式变化不会破坏使用该模型的应用。

根据本公开的某些方面，移动设备包括显示设备、存储在存储器中的个性化实体库，个性化实体库包括来自存储在服务器处的实体库的多个固定实体集合，其中，每个固定集合具有相应的标识符并且包括关于集合中的实体的信息、至少一个处理器和存储指令的存储器，所述指令在由至少一个处理器执行时，使移动设备执行操作。操作包括基于与移动设备相关联的场境，识别与移动设备的用户相关的实体库的固定集合，按相关性对固定集合进行排名，使用排名和适合于用户的集合使用参数，从所识别的固定集合中确定被选集合，以及使用被选集合，更新个性化实体库。

根据本公开的某些方面，一种方法包括：接收被配置为在移动设备的显示器上显示内容的屏幕捕获图像，通过对所述图像执行文本辨识来确定所述图像中的文本，将所述文本提供给集合预测模型，其中，所述集合预测模型被训练以预测一个或多个固定实体集合；以及将所述预测的固定实体集合中的至少一个固定实体集合存储在所述移动设备上的存储器中的所述个性化实体库中。

根据本公开的某些方面，一种方法可以包括从实体库生成多个固定实体集合。所述固定集合包括基于位置的集合，每个基于位置的集合包括来自所述实体库的具有位于小区内的位置的实体，所述小区与所述集合相关联，以及基于主题的集合，至少一些基于主题的集合包括来自所述实体库的、经由嵌入相似性彼此相关的实体。该方法还可以包括将所述固定实体集合的子集提供给客户端设备，所述客户端设备基于所述客户端设备的位置以及基于在为了在所述客户端设备上显示而生成的内容中识别的所辨识的项目来请求所述子集。

在一个总体方面，体现在计算机可读存储设备上的计算机程序产品包括指令，所述指令在由衬底中形成的至少一个处理器执行时，使计算设备执行所公开的方法、操作，或过程的任何一个。另一总体方面包括基本上如结合至少一个附图所示和/或所述，并且如在权利要求中更完整地阐述，用于生成实体库中的实体的固定集合并且将一些固定集合提供给个人计算设备作为个人实体库的系统和/或方法。

可以实现本文所述的主题的一个或多个实施方式以便实现一个或多个下述优点。作为一个示例，生成固定实体集合使得系统以可扩展的方式提供个人或自定义实体库。定制的实体库可以帮助设备上的文本分析和图像分析，以无需连接到网络，也能支持用户辅助功能。用户可以控制专用于个人实体库的资源量，并且系统可以自动确定哪些集合最好地利用所分配的资源。作为另一示例，系统可以预测哪些集合与用户最相关。预测可以基于特定于用户和/或个人计算设备的多个因素，诸如位置、时刻、来自与用户相关联的或设备已知的其他计算设备的信号、关于计算设备的近期活动等。作为另一示例，实施方式可以支持集合的版本化，使得重构集合中的信息的变化不会破坏使用该集合的应用。

在附图和下述描述中阐述一种或多种实施方式的细节。其它特征从该描述和附图以及从权利要求书将是显而易见的。

附图说明

图1是示出根据所公开的主题的示例性系统的框图。

图2示出根据所公开的主题的用于指定用于个性化实体库的集合使用参数的用户界面的示例性显示。

图3示出根据所公开的实施方式的提供用于确定哪些集合与计算设备的用户最相关的场境的内容的示例性显示。

图4示出根据所公开的实施方式的用于建议包括在个性化实体库中的附加集合的用户界面的示例性显示。

图5示出根据所公开的实施方式的用于建议包含在个性化实体库中的附加集合的用户界面的另一示例性显示。

图6示出根据所公开的实施方式的用于生成和更新固定实体集合的示例性过程的流程图。

图7示出根据所公开的实施方式的用于使用固定实体集合来建立个人实体库的示例性过程的流程图。

图8示出根据所公开的实施方式的用于识别与客户端设备的用户相关的固定实体集合的示例性过程的流程图。

图9示出根据所公开的实施方式的用于基于集合使用参数，从固定实体集合中选择与客户端设备的用户有关的固定实体集合的示例性过程的流程图。

图10示出可以被用来实现所述技术的计算设备的示例。

图11示出可以被用来实现所述技术的分布式计算设备的示例。

各个图中相同的附图标记表示相同的元件。

具体实施方式

图1是根据示例性实施方式的个人实体库系统的框图。系统100可以被用来从选择预先计算或固定的实体集合来构建个性化的实体库。在对集合的任何特定请求之前计算的意义上，这些集合是固定的，或者换句话说，不是响应于对集合的请求而生成的。系统100可以确定哪些集合在特定时间点是最有用的，并且可以更新个性化实体库以确保个性化库中的实体与用户相关。更新个性化实体库包括删除与以前相比，现在与用户不太相关的集合，并且添加已变得相关的新集合。个性化实体库可以被用来确定为在计算设备上显示而生成的内容中的实体，以个性化计算设备上的用户体验。个性化用户体验可以包括预测动作、主题、单词或短语等。图1的系统100被示为客户端-服务器系统，其中，一些数据处理或数据存储发生在服务器110处，而其他数据处理发生在客户端设备150处。然而，可以使用其他配置和应用，并且实施方式不限于所示的确切配置。

个性化实体库系统100可以包括服务器110，服务器110可以是采取多个不同设备形式的一个或多个计算设备，例如标准服务器、一组这样的服务器或机架服务器系统。例如，服务器110可以以跨多个计算设备的分布式方式实现。另外，服务器110可以以个人计算机(例如膝上型计算机)实现。服务器110可以是如图9图示的计算机设备1100，或如图11图示的计算机设备1100的示例。服务器110可以包括在基板中形成的一个或多个处理器，处理器被配置为执行一个或多个机器可执行指令或软件、固件或其组合。处理器可以是基于半导体的-即，处理器可以包括可以执行数字逻辑的半导体材料。

服务器110可以存储或访问实体库130。实体库130可以存储关于实体的信息。实体可以是人、地点、项目、想法、主题、单词、短语、抽象概念、具体元素、其他合适的东西，或这些的任意组合。在一些实施方式中，实体库130可以是存储关于实体的信息的知识库(knowledge base)。在一些实施方式中，知识库以实体之间的关系的形式存储关于实体的信息。例如，知识库中的实体可以通过代表关系的标记边相互关联。知识库也可以存储实体的属性。一些知识库很大，有时包括数百万个实体。具有大量实体以及甚至有限多个关系的知识库可以具有数十亿个连接。

实体库130还可以包括可以被用来识别图像中的实体的图像辨识实体。例如，实体库130可以包括表示实体的已知图像和/或图像的特性的实体，并且所述实体被用在图像辨识过程(例如，使用图像相似性技术)来识别图像中的实体中。例如，特性可以是提供给图像辨识模型(例如，机器学习算法)的特征。实体库130可以表示单个知识库、不同知识库的组合、图像辨识实体和/或知识库和图像信息的组合。在一些实施方式中，实体库130可以被存储在服务器110可访问的外部存储设备中。在一些实施方式中，实体库130可以分布在多个存储设备和/或多个计算设备，例如多个服务器上。知识库中的实体和关系可以是可搜索的，例如经由索引。例如，该索引可以包括引用实体的文本。因此，对知识库的引用可以被理解为包括便于使用文本等价物来找到实体的索引。

服务器110还可以包括一个或多个计算机存储器。存储器，例如主存储器可以被配置为暂时地、永久地、半永久地或其组合存储一个或多个数据。存储器可以包括以可以由一个或多个处理器读取和/或执行的格式存储信息的任何类型的存储设备。存储器可以包括易失性存储器、非易失性存储器或其组合，以及当由一个或多个处理器时，执行某些操作的存储模块或引擎。在一些实施方式中，模块可以被存储在外部存储设备中并且被加载到服务器110的存储器中。在一些实施方式中，模块可以包括实体集合生成引擎120。实体集合生成引擎120可以将实体库中130中的实体分成固定实体集合132。固定实体集合132中的每个集合可以被认为是包括通过一些标准相关的实体的实体库130的片段。在一些实施方式中，片段可以包含关于实体的元数据(例如，名称、描述、标准图像)，与其他实体的关系和/或被用来检测文本中的实体的信息，诸如通用名称、别名、缩写、昵称，和其他信号。固定实体集合132中的每一固定实体集合可以具有标识符，使得可以由应用或客户端设备跟踪、识别和请求特定集合。

在一些实施方式中，实体集合生成引擎120可以生成各种类型的集合，诸如基于位置的集合、基于主题的集合或者功能集合。基于位置的集合可以包括与特定地理小区相关联的实体。地理小区是由边界(例如两条纬线和两条经线)限定的地球表面的区域。这些小区对于地图应用，例如GOOGLE MAPS很常见。基于位置的固定实体集合可以包括已知位于该小区内的任何实体。实体库130可以包括指定实体的位置的属性或者可以包括识别位置的元数据。例如，实体库130中的餐馆实体可以具有指定一个或多个特定地理小区或纬度/经度坐标的位置属性。尽管地理小区，即用在地图应用中的小区通常具有相似的大小，但是基于位置的实体集合不需要对应于一个地理小区，而是可以基于具有该区域内的特定多个实体的区域。因此，例如，用于纽约市中的基于位置的实体集合的小区可能非常小(例如，10平方英里)，因为它是人口密集的，而用于怀俄明州西部的基于位置的实体集合的小区可能数百平方英里，但具有与纽约市的小区相同数量的实体。因此，例如，实体集合生成引擎120可以合并相邻的地理小区，直到与合并的小区相关联的实体的数量达到最小数量并且形成用于固定实体集合的基于位置的小区。

实体集合生成引擎120还可以生成基于主题的固定实体集合。在一些实施方式中，实体集合生成引擎120可以通过基于相关实体的情况使用常规聚类技术来聚类实体，生成基于主题的集合。例如，聚类可以基于实体的特性，例如嵌入、在搜索记录上或在诸如来自对搜索引擎索引的文档的文本的文本上训练。在一些实施方式中，实体集合生成引擎120可以被给予种子实体并且可以基于种子实体形成聚类。在一些实施方式中，一个或多个基于主题的集合可以基于在实体库中识别的集合。例如，实体库130中的实体可以包括实体所属的一个或多个集合的指示，或者实体库130可以包括集合定义，或者换句话说，包括包含在集合中的要求，以及可以相对于要求来评估实体以确定集合中的成员。实体集合生成引擎120可以使用集合中的实体成员来生成一个或多个基于主题的集合。在一些实施方式中，实体集合生成引擎120可以计算用于每个主题相关的片段的嵌入。嵌入可以被用来计算与例如由集合识别引擎生成的查询嵌入的相似性，以确定哪些集合与查询嵌入最相似。例如，嵌入可以表示聚类中心。

实体集合生成引擎120还可以生成实体的功能集合。功能集合可以包括被认为最受欢迎的实体，例如，最常被搜索或访问的实体，例如基于在搜索查询中的出现。功能集合也可以基于能力，例如从一种语言翻译成另一种语言的能力。作为另一示例，功能集合可以包括在特定应用使用或由特定应用请求时可能遇到的实体。当然，这些功能集合仅提供为示例，并且功能实体集合可以包括对特定目的、特性或功能共通的任何实体集合。在一些实施方式中，实体集合生成引擎120可以生成上述的组合的固定实体集合。例如，实体集合生成引擎120可以生成用于加利福尼亚州圣何塞的餐馆的固定实体集合，或者用于法国巴黎的于艺术品辨识的另一集合。在一些实施方式中，实体集合生成引擎120可以包括使得用户能够策展一个或多个固定实体集合的用户界面。

实体集合生成引擎120还可以周期性地更新固定实体集合132。例如，当在实体库130中添加、删除或更新实体时，实体集合生成引擎120可以确定固定集合的改变。在一些实施方式中，实体集合生成引擎120可以确定每个集合(例如将从固定集合删除的实体的列表和待添加到固定集合的实体的列表)的增量。实体集合生成引擎120可以作为推送或拉取，向客户端设备150提供增量。增量减少了在服务器110和客户端设备150之间传输的数据量，同时仍然使得客户端设备150能够具有最新实体集合。当特定的固定实体集合经常变化时，诸如表示电影的实体集合，这是特别有用的。在一些实施方式中，实体集合生成引擎120还可以版本化每一固定集合，也称为片段。例如，实体集合生成引擎120可以改变片段的数据格式，或者可以以破坏模式的另一种方式改变片段。当破坏模式时，使用这些片段的应用可能需要相应的更新才能使用新片段。因此，实体集合生成引擎120可以对固定集合进行版本化，使得尚未更新的应用可以继续使用较早的版本而不会发生故障。在一些情况下，客户端设备150可以包括相同固定片段(例如，表示特定位置的片段)的两个版本，直到更新使用旧模式的应用为止。

在一些实施方式中，实体集合生成引擎120还可以训练和维护集合预测模型122。集合预测模型，诸如集合预测模型122可以是任何类型的机器学习算法，诸如长短期记忆(LSTM)神经网络、前馈神经网络、支持向量机(SVM)分类器等，其可以在给定特征或信号集合的情况下，预测固定实体集合。这些特征可以包括设备位置、内容(例如，文档、搜索记录等)中的文本或图像、通常用于各种任务的应用等。作为机器学习算法，集合预测模型具有两种模式：训练模式和推理模式。例如，在训练模式中，集合预测模型122可以使用标记的搜索记录134和标记的爬取文档136来在给定一组信号下，从固定实体集合132预测一个或多个固定实体集合。可以自动地或由人类专家创建标签。信号可以从在诸如设备150的客户端设备上生成的内容或者从诸如搜索记录134的搜索记录或诸如屏幕捕获索引172的用户特定记录获取。在训练模式中，集合预测模型122还可以接受位置作为信号(例如，当前地理小区位置、坐标等)以针对给定位置预测实体集合。在训练期间，更新模型的参数以更好地反映指派给培训文档中的文本的标签。在推理模式中，集合预测模型122将响应于代表信号的特征集合来从固定实体集合132预测一个或多个固定实体集合。每个预测集合可以具有表示所提供的特征预测特定固定实体集合的确定性级的相关的置信度得分或概率得分。在一些实施方式中，置信度得分可以基于取决于集合类型而不同的相似性度量。例如，基于位置的集合的置信度得分可以基于距指定位置，例如计算设备的当前位置的物理距离。基于主题的集合的置信度得分可以基于与查询的嵌入距离，诸如基于来自客户端设备的信号生成的嵌入。这样的信号可以包括最近在屏幕上看到的文本、外部设备的状态或接近度、最近搜索的内容、陈述的用户兴趣、客户端设备上安装或执行的应用、时间戳等。

只要被训练，然后定期进行更新，实体集合生成引擎120可以将集合预测模型122提供给客户端设备150。客户端设备150可以将该模型存储为集合预测模型164。在一些实施方式中，客户端设备150可以通过执行进一步的训练来对集合预测模型164进行个性化。训练可以使用来自与用户相关联的搜索记录(例如来自存储在客户端设备150处的搜索记录)或屏幕捕获索引172的信息。因此，集合预测模型164可以是集合预测模型122的副本或集合预测模型122的个性化副本。

服务器110可以包括搜索记录134和爬取文档136。搜索记录134可以包括搜索日志、从查询收集的聚合数据或基于查询的任何其他数据。在一些实施方式中，搜索记录134可以在生成搜索结果的正常过程中，由搜索引擎生成。在一些实施方式中，搜索记录134可以被存储服务器110可访问的不同计算设备上。在一些实施方式中，搜索记录可以分布在多个计算设备上。例如，爬取文档136可以是使用例如已知的或以后开发的web爬取技术获得的文档。在一些实施方式中，爬取文档136表示可通过互联网获取的文档并且可以是文档的索引形式。

个性化实体库系统100可以包括计算设备150。计算设备150可以是任何移动计算设备，诸如智能手机或其他手持式计算设备、平板计算机、可佩戴计算设备等，其在封闭的移动环境，而不是常见的开放的基于Web的环境中操作。计算设备150还可以是其他类型的个人电子计算设备，诸如膝上型或基于net的计算机、台式计算机、具有处理器的电视机等。计算设备150可以是图10图示的计算机设备1000或1050的示例。计算设备150可以是由单个用户使用的计算设备，或者可以是由多个用户共享的计算设备。

计算设备150可以包括形成在基板中的一个或多个处理器，一个或多个处理器被配置为执行一个或多个机器可执行指令或软件、固件或其组合。处理器可以是基于半导体的-也就是说，处理器可以包括可以执行数字逻辑的半导体材料。由此计算设备150可以包括被配置为暂时地、永久地、半永久地或者其组合地存储一个或者多个数据的一个或者多个计算机存储器。由此计算设备150可以包括应用155，代表以软件、固件或其组合的形式的机器可执行指令。应用程序155中标识的组件可以是操作系统的一部分，或者可以是开发为使用操作系统运行的应用。在一些实施方式中，应用155可以是移动应用。传统上，移动应用在封闭环境中操作，是指用户采用单独的应用来执行通常在基于Web的浏览器环境中执行的活动。例如，计算设备150的用户可以使用由bookit.com提供的应用155中的移动应用，而不是去bookit.com预订酒店。应用155还可以包括web应用，其可以镜像移动应用，例如将相同或类似的内容提供为移动应用。在一些实施方式中，应用155可以包括由计算设备150的操作系统执行的功能。

应用155可以包括屏幕内容代理160和集合识别引擎162。在一些实施方式中，这些应用中的一个或多个可以由计算设备150的操作系统(未示出)提供。在一些实施方式中，这些应用中的一个或多个可以由用户下载和安装。

屏幕内容代理160可以包括各种功能。在一些实施方式中，屏幕内容代理160可以被配置为从应用程序接口(API)获得在计算设备的屏幕上表示的文本信息。在一些实施方式中，屏幕内容代理160可以被内置到操作系统中，操作系统可以确定在屏幕上显示的文本域的内容。文本信息可以被认为是屏幕捕获的内容，并且每次调用API或每次确定文本域的内容可以被认为是屏幕捕获。在一些实施方式中，屏幕内容代理160可以被配置为通过复制或读取设备的帧缓冲器的内容来捕获在屏幕上显示的图像。因此，所捕获的屏幕可以是图像并且可以被称为捕获的图像。屏幕内容代理160可以按一定间隔捕获屏幕。间隔可以很小，例如每半秒或每秒。在一些实施方式中，屏幕内容代理160可以被配置成每次触摸事件发生时(例如，每次用户触摸屏幕以滚动、缩放、点击链接等时)、响应于明确的用户请求或命令，或者当设备从一个移动应用转换到另一个移动应用时来捕获屏幕。在一些实施方式中，在屏幕未改变时，屏幕内容代理160可以增加屏幕捕获发生的间隔。换句话说，当屏幕处于静态时，屏幕内容代理160可以较不频繁地捕获图像。

屏幕内容代理160可以将所捕获的内容或屏幕图像和元数据提供给辨识引擎，辨识引擎可以是屏幕内容代理160的一部分并且位于计算设备150上。在一些实施方式中，辨识引擎可以位于诸如服务器110的服务器处。当屏幕捕获图像被提供给辨识引擎时，辨识引擎可以对图像执行图像和文本辨识以识别屏幕捕获图像的内容中的词、实体、标识等。辨识引擎可以被配置为使用常规或后来开发的技术来执行各种类型的辨识，诸如字符辨识、图像辨识、标识辨识等。因此，辨识引擎可以生成所辨识的内容，其可以来自单词以及来自图像。

屏幕内容代理160还可以确定和使用关于屏幕捕获图像的元数据。元数据可以包括时间戳、移动设备类型、移动设备标识符、当捕获内容时运行的移动应用，例如，渲染在屏幕上显示的内容的应用等。在一些实施方式中，元数据还可以包括哪些应用是活动的、设备的位置、环境光、设备的运动等。在一些实施方式中，元数据可以包括来自其他计算设备的信号。例如，屏幕内容代理160可以被提供或者可以从被配置为与客户端设备150通信的外部设备(诸如家用电器、电视机、个人助理、音乐设备、警报系统等)获得信息。例如，声控电子清单制作设备可以存储待购买的杂货的清单。该清单可以直接从电子清单制作设备或经由用户账户信息传送到客户端设备150。如另一示例，用户可以拥有共享信息的平板计算机和智能手机，或者丈夫和妻子可以拥有共享信息的智能手机。因此，在一些实施方式中，客户端设备150可用的信息可以包括由其他设备提供的信息。该信息的一些或全部可以被包括在与屏幕捕获图像相关联的元数据中。

系统可以使用经由屏幕捕获图像获得的元数据和信息来帮助设备内置智能，该设备内置智能分析信息以帮助用户在移动设备上执行任务。例如，与朋友谈话的用户可以包括看电影的建议。设备内置智能可以识别该建议并且提供查看电影评论或购票的动作。屏幕内容代理160可以使用实体库来确定所辨识的内容是否包括已知实体。虽然屏幕内容代理160可以使用诸如实体库130的公共实体库，但是这要求与服务器110连接并且会减慢辨识和动作建议过程。因此，客户端设备150可以具有存储在客户端设备150上的个性化实体库176。个性化实体库176可以是从服务器110，例如从固定实体集合132获得的固定实体集合的集合。个性化实体库176可以由集合识别引擎162生成和维护。

在一些实施方式中，屏幕内容代理160可以包括被配置为索引所捕获的内容的索引引擎。索引还可以将屏幕捕获图像与图像中识别的文本、实体、图像、标识等相关联。因此，例如，索引引擎可以为捕获的图像和捕获的内容生成索引条目(例如，被存储在屏幕捕获索引172中)。在一些实施方式中，索引引擎可以在诸如服务器110的服务器上，并且屏幕内容代理160可以将捕获的图像和捕获的内容提供给服务器。索引可以是倒序索引，其中，键值(例如，词、短语、实体、图像、标识等)与包括键值的图像的列表(例如，屏幕捕获图像的副本)相关联。索引可以包括与列表中的每个捕获的图像相关联的元数据(例如，键值发生在所捕获的图像上何处、图像的键值的排名等)。在一些实施方式中，索引还可以包括按时间戳索引的所捕获的图像的列表。索引引擎可以将索引存储在存储器中，例如屏幕捕获索引172中。当然，在一些实施方式中，除了或代替计算设备150上的用户账户外，系统可以将索引存储在服务器上的用户账户中。计算设备150的用户可以控制屏幕内容代理160何时活动。例如，用户可以指定屏幕内容代理160仅在其他指定的应用155正在运行时(例如仅在社交媒体移动应用中时)才有效。用户还可以例如经由设置应用，手动打开和关闭屏幕内容代理160。在一些实施方式中，用户可以用手势或动作调用屏幕内容代理160。禁用屏幕内容代理160还可以禁止本文所述的个性化实体库的预测和维护。

计算设备150还可以包括集合识别引擎162。集合识别引擎162可以被配置为确定固定实体集合132中的哪些实体集合应当被包括在个性化实体库176中。集合识别引擎162可以使用由屏幕内容代理160收集或生成的信息以及集合预测模型164和集合使用参数来确定哪些集合可能与用户有关并且从服务器110获得那些集合。例如，集合识别引擎162可以收集信号，作为用于设置预测模型164的输入。信号可以包括信息和元数据，诸如设备位置、时刻、与客户端设备150通信的各种外部设备的状态、与其他设备的接近度、来自屏幕捕获图像或一系列屏幕捕获图像的内容的信息、来自屏幕捕获索引172或用户的搜索记录的信息、用户简档中的信息等。如上所述，诸如家用电器、电视机、个人助理、音乐设备、警报系统等的外部设备可以被配置为与客户端设备通信并且将状态信息提供给客户端设备，并且状态信息可以被包括在由识别引擎162生成的信号中。用于生成信号的信息可以被存储为屏幕捕获索引172中的元数据或者在集合识别引擎162确定适合于个性化实体库176的固定实体集合时生成/收集。

如前所述，集合预测模型164可以是集合预测模型122的副本，或者可以是集合预测模型122的个性化版本。当预测模型164是个性化版本时，集合识别引擎162可以提供从存储在客户端设备150上的数据或从与客户端设备150的用户相关联的用户简档提供训练示例。例如，训练示例可以使用屏幕捕获索引172或用户180的搜索记录来生成。在一些实施方式中，客户端设备在用户许可下，可以向服务器110上的集合预测模型122提供更新，使得集合预测模型可以通过在许多客户端设备上做出的预测来学习。

集合识别引擎162可以在推理模式下，将信号例如作为特征集合提供给集合预测模型164。作为响应，然后，集合预测模型164可以向集合识别引擎162提供一个或多个预测的固定实体集合的标识符。然后，集合识别引擎162可以对所预测的固定实体集合进行排名。客户端设备150可以是具有小形状因子的设备，其限制了设备上的存储空间。因此，集合识别引擎162可以对所预测的固定实体集合进行排名以确定哪些固定集合将包括在个性化实体库176中。在一些实施方式中，集合识别引擎162可以在由客户端设备的用户选择的集合使用参数内工作。集合使用参数可以包括将存储在客户端设备的固定集合的最大数量、由个性化实体库176使用的最大存储数量、最小排名或这些的组合。如果预测的集合的数量不能容纳在客户端设备150上，则集合识别引擎162可以选择与集合使用参数相适应的一样多的最高排名的集合。

在一些实施方式中，排名可以由集合预测模型164确定。在一些实施方式中，集合识别引擎162可以调整由集合预测模型164提供的排名。例如，如果用户经常访问或已经安装的Web应用需要特定的固定集合，集合识别引擎162可以提高该特定固定集合的排名。集合识别引擎162还可以使用元数据来调整排名。例如，如果Alice和Ted正在旅行并且已经提供了共享数据的同意，则Alice的客户端设备可以确定Ted的客户端设备已经使特定固定集合包括在其设备上的个性化实体库中。因此，当Alice的客户端设备检测到Ted的设备非常接近时，Alice的设备上的集合识别引擎162可以降级她设备上的该特定固定集合的排名。

在一些实施方式中，集合识别引擎162可以周期性地或者在一些事件(诸如安装新应用、激活在预定时段内尚未使用的应用、当可用空间改变时，例如，设备的磁盘空间变低(例如，低于指定的百分比)或释放指定百分比的空间的一些动作时、当用户改变位置等)之后，生成预测固定集合的排名。集合识别引擎162还可以响应于排名来更新个性化实体库176。例如，集合识别引擎162可以定期地、当安装使用特定固定实体集合的应用时，或者当固定实体集合的排名变成比当前在个性化实体库176中的集合的一个更高的排名时，新个性化实体库176。例如，如果Alice开始研究到夏威夷的旅行，则最后，集合预测模型164将基于Alice看过的内容(例如，来自屏幕捕获索引172或搜索记录)来预测与夏威夷相关的固定片段。因为该集合先前从未排名高得足以被包括在个性化实体库176中，所以只要排名超过当前在个性化实体库176中的集合的排名或者当排名的变化超过某个预定阈值时，集合识别引擎162可以自动更新个性化实体库176或可以在包括该特定集合之前，从Alice获得准许。只要Alice从夏威夷返回，或者如果她不去并且在一段时间内未访问关于夏威夷的内容，则特定片段的排名可能下降，例如低于不在个性化实体库176中的另一片段或降低预定的百分比。这可以触发执行集合识别引擎162，使得另一片段(即，另一固定实体集合)可以取代其在个性化实体库176中的位置。

更新个性化实体库176可以以各种方式来完成。在一些实施方式中，整个库被删除并且被基于排名和集合使用参数选择的固定集合取代。在一些实施方式中，集合使用参数可以由用户设置和控制。在一些实施方式中，集合识别引擎162可以确定应当在个性化实体库176中的特定固定集合是否已经存在于个性化实体库176中。如果确实存在，集合识别引擎162可以不做任何事情或者确定集合是否已经改变，例如已经在服务器110处更新。如果更新已经发生，则集合识别引擎162可以下载整个集合或者可以下载增量以应用于该集合。集合识别引擎162可以从个性化实体库176中删除集合，以为具有更高排名的集合腾出空间。

计算设备150可以通过网络140，与服务器110以及其他移动设备通信。网络140可以是例如互联网，或者网络160可以是使用例如网关设备、桥、交换机等实现的有线或无线局域网(LAN)、广域网(WAN)等。网络140也可以表示蜂窝通信网络。经由网络140，服务器110可以与计算设备140通信并且向/从计算设备140传输数据，并且计算设备140可以与其他移动设备(未示出)通信。

个性化实体库系统100表示一个示例性配置，并且实施方式可以包含其他配置。例如，一些实施方式可以将屏幕内容代理160、集合识别引擎162或集合预测模型164的一个或多个组件组合成单个模块或引擎。类似地，一些实施方式可以将实体集合生成引擎120或集合预测模型122中的一个或多个组合成单个模块或应用。作为另一个示例，诸如屏幕捕获索引172、个性化实体库176、或客户端设备150上的用户简档或实体库130、固定实体集合132、搜索记录134或爬取文档136的数据库中的一个或多个可以被组合成单个数据库或者可以分布在多个计算设备上，或者可以被存储在另一位置。

就个性化实体库系统100收集并存储用户特定的数据或者可以利用个人信息而言，可以向用户提供控制用户信息(例如，关于用户的社交网络、社交动作或活动、用户的偏好或用户的当前位置的信息)的收集的机会，或者控制是否和/或如何存储屏幕捕获图像和内容的机会。例如，系统可以避免捕获某些应用的内容，诸如银行应用、健康应用或其他类似的应用，或者捕获这些内容违反服务条款的情况。另外，可以向用户提供禁止捕获特定应用或应用类别的屏幕内容的机会。另外，某些数据在被存储或使用前，可以以一种或多种方式处理，使得删除个人身份信息。例如，可以处理用户的身份，使得不能确定用户的个人身份信息，或者可以泛化获得位置信息(诸如城市、邮政编码或州级)的用户的地理位置，使得不能确定用户的特定位置。因此，用户可以控制个性化实体库系统如何收集关于用户的信息并使用。

图2示出了根据所公开的主题，对个性化实体库指定集合使用参数的用户界面200的示例性显示。显示器可以是移动设备或其他个人计算设备(诸如图1的客户端设备150)的显示器。在一些实施方式中，用户界面可以由客户端设备的操作系统提供，或者可以由特定应用，例如从图1的应用155提供。用户界面200包括用于内容代理，诸如图1的内容代理160的控件205。控件205可以调节内容代理是否以及如何执行以及内容代理执行什么动作。用户界面200还可以包括用于个性化实体库的集合使用参数。集合使用参数可以包括最大存储210、最大集合数量215、或存储百分比220的一个或多个。最大存储210可以设置关于由个性化实体库，诸如图1的个性化实体库176使用的存储器的量的限制。客户端设备可以下载和存储固定实体集合(片段)，但不超过最大存储210。

集合使用参数还可以包括最大集合215。最大集合215限制客户端设备将包括在个性化实体库中的固定实体集合的数量。换句话说，客户端设备可以下载并存储仅特定数量的集合。存储百分比220可以提供关于个性化实体库的大小的灵活限制。例如，当客户端设备具有更多存储器时，存储百分比220参数可以允许更大的个性化实体库，但是当客户端设备上的空间减小时，参数可以限制存储在个性化实体库中的集合。用户界面200还可以使得用户能够例如经由复选框来选择集合使用参数的组合以打开或关闭集合使用参数。因此，用户可以控制其设备上的个性化实体库的大小，这反过来又控制哪些片段被包括在库中。用户界面200还可以包括控件225，其使得用户能够专门选择一个或多个实体集合以包括在个性化实体模型中。当用户专门使用控件225来选择实体库的片段时，系统可以使得该片段的相关性的排名高，使得它总是被包括在个性化实体模型中。

图3示出了根据所公开的实施方式，提供用于确定哪些集合与计算设备的用户最相关的场境的内容的示例性显示器300。显示器300可以是移动设备或其他计算设备(诸如图1的客户端设备150)的显示器。在图3的示例中，选择文字“Alien Invaders”。该选择可以由用户做出或者可以由客户端设备自动地做出(例如，在客户端设备上运行的内容代理或操作建议应用)。系统已经为选择305提供了四个建议的操作，即操作340，其可以用于提供本地电影时间的移动应用、电影评论操作325和电影数据库操作320。用户界面可以基于将选择305识别为存在于个性化实体库中的实体，具有所选的操作340,325和320。因此，即使没有连接到服务器和基于服务器的实体库，系统也可以提供显示器300。

图4示出了根据所公开的实施方式，用于建议附加片段以包括在个性化实体库中的用户界面400的示例性显示。用户界面400可以在移动设备或其他计算设备(诸如图1的客户端设备150)上生成。在图4的示例中，用户已经将文字录入到搜索界面405中。搜索界面405可以用于浏览器或类似浏览器的移动应用，但可以来自任何应用中的任何搜索栏。系统可以分析提供给搜索界面405的文本，并且例如经由使用集合预测模型的集合识别引擎，确定文字与基于主题的固定实体集合高度相关。可以基于来自集合预测模型的高置信度得分或概率来确定高相关性。高相关性不仅可以基于用户界面400的内容，而且可以基于先前呈现的内容。例如，用户可能在预订应用中查看夏威夷的酒店，或者可能在阅读有关在夏威夷看到的内容。尽管客户端设备在当前个性化实体库中可能没有用于夏威夷的实体，但集合预测模型可以辨识预测该集合的若干单词或图像。在一些实施方式中，集合识别引擎可以连续地分析相关模型的文字。在一些实施方式中，可以在使用搜索界面期间调用集合识别引擎。

当固定实体集合的概率指示高相关性时，系统可以自动地下载并且存储夏威夷的固定实体集合，也称为夏威夷片段。在一些实施方式中，这可以是用于位于夏威夷的所有实体的基于位置的集合，或者基于主题的集合或这些集合的组合。在一些实施方式中，用户界面可以包括确认窗口410。确认窗口410可以使得用户能够接受或拒绝该建议。如果用户拒绝该建议，系统不下载夏威夷片段。如果用户接受该建议，则系统可以下载夏威夷片段，并且可以移除当前在个性化实体库中的一个或多个片段以为新片段腾出空间，如参考图7更详细解释。

图5示出了根据所公开的实施方式，用于建议附加集合以包含在个人实体库中的用户界面500的另一示例性显示。用户界面500可以在移动设备或其他计算设备(诸如图1的客户端设备150)上生成。在图5的示例中，用户刚刚安装了用餐预约应用505。响应于安装过程，集合识别引擎可以确定应用505已经明确地请求特定的固定实体集合或者例如使用集合预测引擎，很可能引用特定的固定集合。因此，可以向用户呈现确认窗口510。与确认窗口410类似，确认窗口510可以为用户提供选择下载特定片段或拒绝下载的机会。在一些实施方式中，应用505可以生成窗口510。在一些实施方式中(未示出)，应用安装过程或集合识别引擎可以自动地下载特定固定实体集合。

图6示出了根据所公开的实施方式，用于生成和更新固定实体集合的示例性过程600的流程图。过程600可以由诸如图1的系统100的个性化实体库系统执行。过程600可以用于生成和维护实体库的各个片段，即固定实体集合。实体库可以是任何大的实体库，例如图1的实体库130。过程600可以通过生成基于位置的实体集合开始(605)。基于位置的实体集合可以是实体库中、位于特定小区中的任何实体。小区可以由边界(例如连接三个或以上地理坐标的线)定义。该小区可以对应于一个或多个地理小区(例如，由地图应用定义的小区)。该系统还可以生成基于主题的固定实体集合(610)。基于主题的集合可以通过聚类，按与种子实体的相似性或关系、按集合中的成员等来形成。系统还可以生成功能实体集合(615)。功能集合可以是基于位置的集合和主题集合的组合、可以基于特定应用的用途、可以基于流行度(即最常搜索的实体和/或出现在最多爬取文档中的那些实体)、可以基于任务或动作等。步骤605至615可以在初始时间执行并且更新集合。例如，在初始时间，系统可以执行步骤605至615以生成初始实体集合。随后，系统可以执行步骤605至615以更新初始集合、添加新集合等。

系统可以版本化固定实体集合。例如，当集合的格式变化使得使用这些集合的应用故障时，系统可以保留旧版本并且在模式改变后生成新版本。以这种方式，系统可以以不会在客户端设备上导致错误的方式来处理模式改变。因此，系统可以确定新生成的集合是否包括模式改变(620)。如果是，则可以为新生成的集合(例如，从步骤605至615)指派新的版本标识符(625)。版本标识符将使得使用这些集合的应用能够正确地下载和使用适当的版本。当更新涉及模式改变时，不需要增量集。如果没有模式改变(620为否)，则系统可以为每个集合生成增量(630)。当客户端设备只下载对固定实体集合的改变，而不是在存储用于该设备的最高排名的固定实体集合中的最近集合之后，删除个性化实体模型中的所有固定集合时，使用增量。增量可以是待删除的实体的清单以及待添加的实体的清单。因此，对实体的更新(例如，名称更改、元数据或属性改变等)可以是在读取实体后，删除该实体。增量使得系统能够在维护集合的服务器和使用集合的客户端设备之间传送更少的数据。然而，步骤630是可选的，并且可以不对所有集合或甚至对任一集合执行。例如，当更新个性化实体库时，客户端设备可以删除所有当前存储的片段并且提取期望的片段(例如，落在集合使用参数内的预测片段)并且将其存储为个性化实体模型。每个固定实体集合可以具有唯一的标识符。在一些实施方式中，唯一标识符可以是固定集合的内容的散列。然后过程600结束。可以周期性地重复过程600以确保固定实体集合是最新的。

图7示出了根据所公开的实施方式，用于使用预先计算的实体集合构建个人实体库的示例性过程700的流程图。过程700可以由诸如图1的系统100的个性化实体库系统执行。可以在客户端设备上执行过程700以确定哪些固定实体集合或片段包括在客户端设备上存储的个性化实体库中。连续地、在定期基础上、在网络连接性改变时、在触发事件(诸如安装新应用、来电呼叫、添加新联系人等)时或在用户请求同步时，客户端设备执行过程700。过程700可以由集合识别引擎(诸如集合识别引擎162)执行。

过程700可以通过识别与客户端设备的用户有关的固定实体集合开始(705)。在执行步骤705之前确定集合而不是步骤705的一部分的意义上，这些集合可以是固定的。换句话说，这些集合与任何特定的用户或对实体库的查询无关地被确定。被识别为步骤705的一部分的集合是比固定集合的总数小得多的子集。识别固定集合可以基于例如与客户端设备相关联的场境。例如，集合预测模型可以被提供由各种信号(即，场境)生成的一组特征，信号可以包括元数据和从在客户端设备上生成的内容收集的信息，例如经由内容代理、搜索历史、用户简档等。在一些实施方式中，用作信号的信息可以包括来自邻近客户端设备的设备的信息，例如来自物联网家中的家用电器或其他计算设备、来自与用户或用户的住户相关联的其他个人计算设备等的信息。虽然这样的信号源自另一设备，但接近度是与客户端设备相关联的场境。在一些实施方式中，信息可以包括计算设备的位置、时间戳、用户的搜索历史中的内容、屏幕捕获索引中的内容、与用户简档相关联的内容、安装在客户端设备上的应用、由用户执行的活动(例如，改变设备设置、安装应用)等。信号可以被提供给集合预测模型，诸如集合预测模型122或集合预测模型164，其可以进而提供一个或多个预测的固定实体集合。在步骤705中识别的固定实体集合也可以基于设备的位置、安装在设备上的应用、通常在设备上执行的任务或活动等。

然后，系统可以按相关性对所识别的固定实体集合进行排名(710)。相关性可以基于由所集合预测模型提供的概率得分。在一些实施方式中，系统可以基于其他信息(诸如设备的位置、时刻、附近的其他设备等)来调整该概率。例如，如果两个旅行同伴已经链接了他们的设备，则第一同伴的设备可以例如经由设备到设备信令来确定第二同伴的设备具有所存储的实体库的特定片段，并且第一同伴的设备可以降级该片段的相关性，例如，因为两个设备中的一个已经拥有存储在个性化实体库中的实体库的片段。作为另一示例，用户的设备可以具有要求实体库的特定片段的特定应用，并且系统可以提高该特定片段的相关性。作为另一示例，系统可以例如经由图2的控件225来提高由用户指定的片段的相关性。对于基于位置的固定实体集合，系统可以基于客户端设备与由集合表示的小区的距离来为该集合设置相关性得分。例如，当客户端设备位于小区内时，相关性非常高。其他小区的相关性可以基于小区的中心与客户端设备的当前位置之间的距离，使得较长的距离产生较低的相关性。

系统可以基于集合使用参数和排名来确定用于个性化实体库的被选集合(715)。在一些实施方式中，系统可以基于集合使用参数和被识别为与用户相关的固定实体集合的排名来确定相关性阈值。具有满足阈值的相关性得分的任何集合都可以被包括在针对个性化实体库选择的集合中。图9是基于集合使用参数和排名的集合的选择的另一示例。然后，系统可以确定是否需要更新个性化实体库(720)。例如，如果被选固定实体集合与当前包括在个性化实体库中的集合相同，但是系统最近没有检查更新，则系统可以更新库(720为是)。作为另一示例，如果系统已经被告知更新所选集合中的一个固定集合，则系统可以更新库(720为是)。如果固定实体集合在被选集合中但当前不在个性化实体库中，则系统可以更新库(720为是)。如果系统不需要更新库(720为否)，则过程700结束。

如果系统确实更新了库(720为是)，则系统可以选择被选集合中的最高排名的集合(725)。为了便于解释，该最高排名的集合可以被称为第一集合。系统可以确定该第一集合是否已经在个性化实体库中(730)。在第一集合在库中的情况下(730为是)，如果需要更新，则系统可以更新客户端设备上的第一集合(735)。系统可以通过从服务器拖动第一集合或者通过服务器通知存在更新来确定是否需要更新。更新可以是增量的形式，例如待删除的实体的清单和待添加到固定组的实体的清单。在第一集合不在个性化实体库中的情况下(730为否)，则系统可确定个人实体库是否具有用于第一集合的空间(740)。例如，个人实体库可以具有关于库中的集合的数量或由库使用的存储器，或两者的限制。如果添加第一集合会超过限制(740为否)，则系统可以确定当前在个性化实体库中是否存在可以被删除的固定集合(745)。如果当前在个性化实体库中的集合不在被选固定实体集合中，即在步骤715中识别的实体集合中，则可以删除该集合。如果集合具有比第一集合更低的排名，则也可以删除该集合。如果存在待删除的集合(745为是)，则系统可以从个性化实体库中删除该集合(750)并且返回到步骤740。如果没有集合可以被删除(745为否)，则过程700可以结束。

当个性化实体库中存在用于第一集合的空间时(740为是)，系统可以将第一集合添加到移动设备上的个性化实体库(755)。然后，系统可以确定在被选集合中是否存在下一最高排名的集合(760)。如果存在下一最高集合(760为是)，则系统可以对下一集合执行步骤725至760。然后，为便于说明，该下一集合将成为第一集合。因此，例如，系统可以确定下一个集合(即现在的第一集合)是否已经在个性化实体库中(730)等。当已经经由步骤730至760处理过被选集合中的所有集合时(760为否)，系统已经更新了个性化实体库并且过程700结束。

图8示出了根据所公开的实施方式，用于识别与客户端设备的用户相关的固定实体集合的示例性过程800的流程图。过程800可以由诸如图1的系统100的个性化实体库系统执行。作为图7的步骤705的一部分，可以在客户端设备上执行过程800以确定哪些固定实体集合或片段与用户相关。过程800通过确定客户端设备的位置开始(805)。该位置可以表示为坐标，例如全球定位系统(GPS)坐标，或者表示为地理小区的标识符，或表示地球上的位置的一些其他方法。系统可以基于从客户端设备到由基于位置的固定集合表示的小区的距离来指派基于位置的固定实体集合的相关度(810)。可以从客户端设备的位置到小区的中心测量该距离。相关性也可以与距离成反比关系，因此，较短的距离具有较高的相关性。当客户端设备位于用于特定固定实体集合的小区中时，特定固定实体集合可以接收最高相关性得分。

系统还可以确定与用户相关的基于主题的固定实体集合(815)。基于主题的集合可以利用为基于特征预测的固定实体集合提供一个或多个标识符的集合预测模型(诸如集合预测模型164或集合预测模型122)来确定。特征可以基于多个信息项目，诸如设备的位置、搜索记录中的内容、用户简档或屏幕捕获内容、来自接近客户端设备的设备的数据，例如正与客户端设备交换数据的设备的数据、时间戳、当时安装或执行的应用等。系统可以将每个基于主题的固定实体集合的相关性得分设置为与客户端设备的用户的嵌入的相似性(820)。在一些实施方式中，相似性可以是与由集合预测模型提供的固定集合相关联的概率。该系统还可以确定功能性固定实体集合(825)。功能集合可以是被认为最受欢迎的实体，例如，最常搜索的实体、最常访问的实体、经常在爬取文档中找到的实体等。功能集合还可以包括用于特定任务、动作或应用的实体。例如，功能集合可以包括使得设备能够以特定语言执行OCR或由艺术欣赏应用使用的实体等。功能集合还可以包括基于位置的集合和基于主题的集合，例如，波特兰俄勒冈州的电影院或华盛顿特区的国家纪念碑的组合。在一些实施方式中，系统可以将实体流行度用作用于功能固定实体集合的相关性得分。在一些实施方式中，基于用户已经安装的应用，对固定集合进行排名。然后过程800结束，已经识别与计算设备的用户相关的固定实体集合并且向每个集合指派相关性得分。

图9示出了根据所公开的实施方式，用于基于集合使用参数，从固定实体集合中选择与客户端设备的用户相关的固定实体集合的示例性过程900的流程图。过程900可以由诸如图1的系统100的个性化实体库系统执行。过程900可以在客户端设备上执行为图7的步骤715的一部分以基于集合使用参数和排名来确定选择与用户相关的哪些固定实体集合或片段的与用户相关的实体或片段以包括在个人实体库中。过程900通过初始化集合计数和模型大小变量开始。集合计数可以被设置为零，并且库大小也可以被设置为零。然后，系统可以从被识别为相关的固定集合中选择具有最高排名的固定集合(910)。系统可以确定集合使用参数是否包括数量参数(915)。数量参数是图2的最大集合215，并且表示关于可以在个性化实体库中的固定集合的数量的限制。如果有数量参数(915为是)，则系统可以使集合计数加1(920)。然后，系统可以确定集合计数是否大于数量参数(925)。如果是，则过程900可以结束，因为固定集合将超出由集合使用参数表示的限制。然而，对于最高排名的集合，集合计数不大于数量参数(925为否)，所以系统继续步骤930。

系统确定集合使用参数是否包括空间参数(930)。空间参数可以表示为指定的存储器量(例如，图2的最大存储210)或可用存储器的百分比(例如，图2的存储百分比220)或这些的组合。如果集合使用参数确实包括空间参数(930为是)，则系统可以将正在检查的固定集合的大小添加到库大小(953)。例如，可以基于固定实体集合的平均大小来了解或估计该大小。系统可以确定库大小是否大于空间参数(940)。如果是(940为是)，则过程900结束，因为固定集合将违反由集合使用参数确定的限制。否则(940为否)，则系统将该集合广告给被选集合(945)。被选集合是被确定为与用户相关的、并且满足由集合使用参数确定的限制的最高排名的固定集合。如果在所识别的集合中存在另一集合(例如，被识别为与用户相关的固定集合)，950为是，则系统可以选择下一最高排名的集合(955)并且继续上述的步骤915至950。如果在识别的集合中不存在其他集合(950为否)，则过程900结束，基于集合使用参数，识别被包括在库中的集合。

图10示出了可以与本文所述的技术一起使用的通用计算机设备1000，其可以操作为图1的服务器110和/或客户端设备150的示例。计算设备1000旨在表示计算设备的各种示例形式，诸如膝上型计算机、台式机、工作站、个人数字助理、蜂窝电话、智能电话、平板计算机、服务器，以及包括可穿戴设备的其它计算设备。本文示出的组件、它们的连接件和关系、以及它们的功能仅意在作为示例，而并非意在限制本文中所述和/或要求保护的发明的实施方式。

计算设备1000包括经由接口1008连接的处理器1002、存储器1004、存储设备1006、和扩展端口1010。在一些实施方式中，除其它组件之外，计算设备1000可以包括经由接口1008连接的收发器1046、通信接口1044和GPS(全球定位系统)接收器模块1048。设备1000可以通过通信接口1044无线通信，该通信接口1044在必要情况下可以包括数字信号处理电路。组件1002、1004、1006、1008、1010、1040、1044、1046和1048中的每个可以在适当时被安装在共用主板上或者以其它方式被安装。

处理器1002能够处理用于在计算设备1000内执行的指令，该指令包括在存储器1004中或存储设备1006上存储的指令，以在诸如显示器1016的外部输入/输出设备上显示用于GUI的图形信息。显示器1016可以是监视器或平面触摸屏显示器。在一些实施方式中，在适当时，可以连同多个存储器和存储器的类型一起使用多个处理器和/或多个总线。另外，可以连接多个计算设备100，每个设备提供必要操作的一部分(例如，作为服务器组、一组刀片式服务器，或者多处理器系统)。

存储器1004在计算设备1000内存储信息。在一种实施方式中，存储器1004是一个或多个易失性存储器单元。在另一实施方式中，存储器1004是一个或多个非易失性存储器单元。存储器1004还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。在一些实施方式中，存储器1004可以包括通过扩展接口提供的扩展存储器。

存储设备1006能够为计算设备1000提供大容量存储。在一种实施方式中，存储设备1006可以是或者包括计算机可读介质，诸如软盘设备、硬盘设备、光盘设备，或者磁带设备、闪速存储器或其它类似固态存储器设备，或者包括存储域网络或其它配置中的设备的设备阵列。计算机程序产品能够以这种计算机可读介质有形体现。计算机程序产品还可以包括指令，该指令当被执行时，实现诸如上文所述的一种或多种方法。计算机或机器可读介质是诸如存储器1004、存储设备1006、或者处理器1002上的存储设备的存储设备。

接口1008可以是管理计算设备1000的带宽密集操作的高速控制器或者管理较低带宽密集操作的低速控制器，或者这样的控制器的组合。可以提供外部接口1040，以便使得设备1000能够与其它设备进行邻近区域通信。在一些实施方式中，控制器1008可以被耦合至存储设备1006和扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的扩展端口可以例如通过网络适配器，被耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪，或者诸如交换机和路由器的联网设备。

如图所示，计算设备1000可以以各种不同形式来实现。例如，其可以被实现为标准服务器1030，或者在一组这样的服务器中多次实现。其还可以被实现为机架式服务器系统的一部分。此外，其可以以诸如膝上型计算机1032、个人计算机1034、或平板计算机/智能电话1036的计算设备实现。整个系统可以由彼此通信的多个计算设备1000构成。其它配置是可能的。

图11示出了可以随本文所述的技术一起使用的通用计算机设备1100，其可以是图1的服务器110的示例。计算设备1100旨在表示大型数据处理设备的各种示例性形式，诸如服务器、刀片式服务器、数据中心、大型机，和其它大型计算设备。计算设备1100可以是具有多个处理器的分布式系统，可能包括通过一个或多个通信网络互连的网络附连存储节点。本文所示的组件、它们的连接件和关系以及它们的功能仅意在作为示例，而并非意在限制本文献中描述和/或要求保护的发明的实施方式。

分布式计算系统1100可以包括任意多个计算设备1180。计算设备1180可以包括通过局域网或广域网、专用光学链路、调制解调器、桥接器、路由器、交换机、有线或无线网络等通信的服务器或机架式服务器、大型机等。

在一些实施方式中，每个计算设备可以包括多个机架。例如，计算设备1180a包括多个机架1158a-1158n。每个机架可以包括一个或多个处理器，诸如处理器1152a-1152n以及1162a-1162n。该处理器可以包括数据处理器、网络附连存储设备，以及其它计算机受控设备。在一些实施方式中，一个处理器可以操作为主处理器并且控制调度和数据分发任务。处理器可以通过一个或多个机架交换机1158互连，并且一个或多个机架可以通过交换机1178连接。交换机1178可以处理多个所连接的计算设备1100之间的通信。

每个机架可以包括诸如存储器1154和存储器1164的存储器以及诸如1156和1166的存储。存储1156和1166可以提供大容量存储并且可以包括易失性或非易失性存储，诸如网络附连磁盘、软盘、硬盘、光盘、磁带、闪速存储器或其它类似固态存储器设备，或者包括存储域网络或其它配置的设备的设备的阵列。存储1156或1166可以在多个处理器、多个机架、或多个计算设备之间共享，并且可以包括存储可一个或多个处理器执行的指令的计算机可读介质。存储器1154和1164可以包括例如一个或多个易失性存储器单元、一个或多个非易失性存储器单元，和/或其它形式的计算机可读介质，诸如磁盘或光盘、闪速存储器、高速缓存、随机存取存储器(RAM)、只读存储器(ROM)以及它们的组合。诸如存储器1154的存储器还可以在处理器1152a-1152n之间共享。诸如索引的数据结构例如可以跨存储1156和存储器1154存储。计算设备1100可以包括未示出的其它组件，诸如控制器、总线、输入/输出设备、通信模块等。

诸如服务器110的整个系统可以由彼此通信的多个计算设备1100组成。例如，设备1180a可以与设备1180b、1180c和1180d通信，并且这些设备可以被统称为服务器110。作为另一示例，图1的系统100可以包括一个或多个计算设备1100。一些计算设备可以地理上彼此靠近，而另一些计算设备可以地理上远离。系统1100的布局仅是示例性的，并且该系统可以采用其他布局或配置。

根据本公开的某些方面，移动设备包括显示设备、存储在存储器中的个性化实体库，个性化实体库包括来自存储在服务器处的实体库的多个固定实体集合，其中，每个固定集合具有相应的标识符并且包括关于集合中的实体的信息、至少一个处理器和存储指令的存储器，所述指令在由至少一个处理器执行时，使移动设备执行操作。该操作包括基于与移动设备相关联的场境来识别与移动设备的用户相关的实体库的固定集合，按相关性对固定集合进行排名，使用排名和适合于用户的集合使用参数，从所识别的固定集合中确定被选集合，以及使用被选集合，更新个性化实体库。

这个和其他方面可以包括一个或多个以下特征。例如，更新个性化实体库可以响应于确定在个性化实体库中不存在所识别的固定集合中的第一固定集合而发生。作为另一示例，更新个性化实体库可以包括去除个性化实体库中不是被选集合的集合。作为另一示例，集合使用参数可以包括固定集合的数量和/或分配给个性化实体库的存储器量，该量由用户设置。作为另一示例，存储在个性化实体库中的多个固定集合可以包括位置集合，其中，位置集合中的实体位于相同小区中。作为另一示例，存储在个性化实体库中的多个固定集合包括主题集合，其中，主题集合中的实体是基于实体特性聚类在一起的实体。在一些实施方式中，第一主题集的排名是由预测模型基于在为显示在显示设备上而生成的内容中识辨识的项目而指派的排名。作为另一示例，更新个性化实体库可以包括添加当前不存在于个性化实体库中的固定集合并且使用存在于个性化实体库中的固定集合的增量。

作为另一示例，操作还可以包括使用个性化实体库来识别为显示在显示设备上而生成的内容中的实体。作为另一示例，多个集合中的每一个具有版本标识符，当对特定集合的更新破坏个性化实体库的模式时，版本标识符改变。作为另一示例，这些操作还可以包括启动显示从被选集合识别第一固定集合的信息，以及被配置成使得用户能够接受安装第一固定集合，以及当用户接受安装时下载第一固定集合并且将第一固定集合添加到个性化的实体库的控件。作为另一示例，基于场境识别与用户有关的实体库的固定集合可以包括确定移动设备的位置并且使用该位置来确定与用户有关的基于位置的固定集合，使用集合预测模型来识别与用户有关的基于主题的集合，并且确定由安装在移动设备上的至少一个应用识别的集合。作为另一示例，基于场境识别与用户相关的实体库的固定集合可以包括确定先前在移动设备上查看的内容并且将先前查看的内容提供给集合预测模型，该集合预测模型被配置为由先前查看的内容预测至少一个基于主题的集合和/或确定在移动设备上实施的近期搜索并且将来自近期搜索的内容提供给集合预测模型，该集合预测模型被配置为从内容预测至少一个基于主题的集合。作为另一示例，基于场境识别与用户相关的实体库的固定集合可以包括确定由移动设备的用户执行的活动并且基于活动来预测固定实体集合。

根据本公开的某些方面，一种方法包括：接收被配置为在移动设备的显示器上显示内容的屏幕捕获图像，通过对所述图像执行文本辨识来确定所述图像中的文本，将所述文本提供给集合预测模型，其中，所述集合预测模型被训练以预测一个或多个固定实体集合；以及将所预测的固定实体集合中的至少一个固定实体集合存储在所述移动设备上的存储器中的所述个性化实体库中。

这些和其他方面可以包括一个或多个下述特征。例如，该方法还可以使用所述个性化实体库，识别所述屏幕捕获图像中的实体。该方法还可以包括确定与在所述屏幕捕获图像中所辨识的内容相关联的位置；将所述位置提供给所述集合预测模型，所述集合预测模型基于所述位置，预测至少一个基于位置的固定实体集合；以及将所述基于位置的固定实体集合存储在所述个性化实体库中。作为另一示例，预测模型可以预测多个预测的固定实体集合，并且该方法还包括对每一个所预测的固定实体集合进行排名；使用集合使用参数和所述排名来从所预测的固定实体集合确定被选的固定实体集合；以及将被选的固定实体集合存储在所述个性化实体库中。

根据本公开的某些方面，一种方法可以包括从实体库生成多个固定实体集合。所述固定集合包括基于位置的集合，每个基于位置的集合包括来自所述实体库的具有位于小区内的位置的实体，所述小区与所述集合相关联，以及基于主题的集合，至少一些基于主题的集合包括来自所述实体库的、经由嵌入相似性彼此相关的实体。该方法还可以包括将所述固定实体集合的子集提供给客户端设备，所述客户端设备基于所述客户端设备的位置以及基于在为了在所述客户端设备上显示而生成的内容中识别的所辨识的项目来请求所述子集。

这些和其他方面可以包括一个或多个下述特征。例如，该方法还可以包括识别添加到所述实体库的至少一个实体；确定所添加的实体所属的至少一个固定集合；以及生成用于包括所添加的实体的至少一个固定集合的增量。作为另一示例，该方法还可以包括识别添加到所述实体库的至少一个实体；确定所添加的实体所属的至少一个固定集合；确定所述固定集合的模式已经改变；以及生成所述至少一个固定集合的新版本，所述新版本包括所添加的实体并且具有新版本标识符。作为另一示例，至少一些所述基于主题的集合可以包括与种子实体相似的实体和/或所述固定集合还可以包括功能集合，至少一个所述功能集合包括被认为最受欢迎的实体。

各种实施方式可以包括以一个或多个计算机程序的实施方式，该计算机程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，可编程处理器为专用或通用，被耦合以从存储系统、至少一个输入设备、和至少一个输出设备接收数据和指令并且向它们传送数据和指令。

这些计算机程序(也被称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够以高级过程和/或面向对象编程语言实现，和/或以汇编/机器语言来实现。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”是指被用来向可编程处理器提供机器指令和/或数据的任何非暂时性计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器(包括读取存取存储器)、可编程逻辑器件(PLD))。

本文所述的系统和技术能够在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户能够利用其与本文所述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或者这些后端、中间件或前端组件的任意组合。该系统的组件能够通过数字数据通信(例如，通信网络)的任何形式或媒介互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系根据在相应的计算机上运行并且彼此具有客户端－服务器关系的计算机程序而产生。

已经描述了多种实施方式。然而，可以在不背离由下述权利要求限定的本发明的范围的情况下进行各种改进。此外，附图中所图示的逻辑流不要求所示的特定顺序或连续顺序以实现所期望的结果。此外，可以提供其它步骤，或者可以从所述的流中删除步骤，并且其他组件可以被添加到所述的系统或从所述的系统移除。因此，其它实施方式也在下述权利要求的范围内。

Claims (23)

1.一种由一个或多个处理器实现的方法，所述方法包括：

接收屏幕捕获图像，所述屏幕捕获图像捕获在移动设备的显示器上显示的内容；

通过对所述屏幕捕获图像执行文本识别来确定所述屏幕捕获图像中的文本；

使用经训练的集合预测模型来处理所述文本，以基于所述文本预测一个或多个固定实体集合；

将所预测的固定实体集合中的至少一个固定实体集合存储在所述移动设备上的存储器中的个性化实体库中；以及

在存储所述至少一个固定实体集合之后：

使用所存储的至少一个固定实体集合来识别在所述移动设备处捕获的附加屏幕捕获图像中的实体；以及

在所述移动设备处渲染基于所识别的实体的内容。

2.如权利要求1所述的方法，进一步包括：

确定与在进一步的屏幕捕获图像中识别的内容相关联的位置；

使用所述经训练的集合预测模型来处理所述位置，以基于所述位置预测至少一个基于位置的固定实体集合；以及

将所述至少一个基于位置的固定实体集合存储在所述个性化实体库中。

3.如权利要求2所述的方法，进一步包括：

使用所存储的至少一个基于位置的固定实体集合来基于在所述移动设备处捕获的数据识别基于位置的实体；以及

在所述移动设备处渲染基于所识别的基于位置的实体的进一步内容。

4.如权利要求1所述的方法，其中，所训练的集合预测模型预测多个预测的固定实体集合，并且所述方法进一步包括：

对所预测的固定实体集合中的每一个进行排名；

使用集合使用参数和排名来从所预测的固定实体集合确定选择的固定实体集合，所述选择的固定实体集合包括所述至少一个固定实体集合；以及

将所述选择的固定实体集合存储在所述个性化实体库中。

5.如权利要求4所述的方法，其中，所述集合使用参数包括固定集合的数量。

6.如权利要求4所述的方法，其中，所述集合使用参数包括分配给所述个性化实体库的存储器的量。

7.一种移动设备，包括：

显示设备；

存储在存储器中的个性化实体库，所述个性化实体库包括来自存储在服务器处的实体库的多个固定实体集合，其中，每个固定实体集合具有相应的标识符，并且包括关于该集合中的实体的信息；

至少一个处理器；以及

存储指令的存储器，所述指令在由所述至少一个处理器执行时使所述移动设备：

捕获屏幕捕获图像，所述屏幕捕获图像捕获在所述显示设备上显示的内容；

使得使用经训练的集合预测模型来处理所述屏幕捕获图像中的文本，以基于所述文本预测一个或多个固定实体集合；

将所预测的固定实体集合中的至少一个固定实体集合存储在所述移动设备上的存储器中存储的个性化实体库中；以及

在存储所述至少一个固定实体集合之后：

使用所存储的至少一个固定实体集合来识别在所述移动设备处捕获的附加屏幕捕获图像中的实体；以及

经由所述显示设备渲染基于所识别的实体的内容。

8.如权利要求7所述的移动设备，所述存储器进一步存储指令，所述指令在由所述至少一个处理器执行时使所述移动设备：

确定与在进一步的屏幕捕获图像中识别的内容相关联的位置；

使得使用所述经训练的集合预测模型来处理经由在所述移动设备处捕获的数据确定的位置，以基于所述位置预测至少一个基于位置的固定实体集合；以及

将所述至少一个基于位置的固定实体集合存储在所述移动设备上的存储器中存储的所述个性化实体库中。

9.如权利要求8所述的移动设备，所述存储器进一步存储指令，所述指令在由所述至少一个处理器执行时使所述移动设备：

使用所存储的至少一个基于位置的固定实体集合来基于在所述移动设备处捕获的进一步数据识别基于位置的实体；以及

经由所述显示设备渲染基于所识别的基于位置的实体的进一步内容。

10.如权利要求7所述的移动设备，其中，所训练的集合预测模型预测多个预测的固定实体集合，对所预测的固定实体集合中的每一个进行排名，以及使用集合使用参数和排名来从所预测的固定实体集合确定选择的固定实体集合，其中所述选择的固定实体集合包括所述至少一个固定实体集合。

11.如权利要求10所述的移动设备，其中，所述集合使用参数包括固定集合的数量。

12.如权利要求10所述的移动设备，其中，所述集合使用参数包括分配给所述个性化实体库的存储器的量。

13.一种由一个或多个处理器实现的方法，所述方法包括：

接收屏幕捕获图像，所述屏幕捕获图像捕获在移动设备的显示器上显示的内容；

处理所述屏幕捕获图像以确定与在所述屏幕捕获图像中显示的内容相关联的位置；

使用经训练的集合预测模型来处理所述位置，以基于所述位置预测一个或多个固定实体集合；

将所预测的固定实体集合中的至少一个固定实体集合存储在所述移动设备上的存储器中的个性化实体库中；以及

在存储所述至少一个固定实体集合之后：

使用所存储的至少一个固定实体集合来识别在所述移动设备处捕获的附加屏幕捕获图像中的实体；以及

在所述移动设备处渲染基于所识别的实体的内容。

14.如权利要求13所述的方法，其中，所训练的集合预测模型预测多个预测的固定实体集合，并且所述方法进一步包括：

对所预测的固定实体集合中的每一个进行排名；

使用集合使用参数和排名来从所预测的固定实体集合确定选择的固定实体集合，所述选择的固定实体集合包括所述至少一个固定实体集合；以及

将所述选择的固定实体集合存储在所述个性化实体库中。

15.如权利要求14所述的方法，其中，所述集合使用参数包括固定集合的数量。

16.如权利要求15所述的方法，其中，所述集合使用参数包括分配给所述个性化实体库的存储器的量。

17.如权利要求14所述的方法，其中，所述集合使用参数包括分配给所述个性化实体库的存储器的量。

18.一种由一个或多个处理器实现的方法，所述方法包括：

确定经由用户设备的多个用户交互中的每一个与特定位置相关；

基于均与所述特定位置相关的所述多个用户交互来确定针对所述特定位置的基于位置的实体集合的置信度得分；

响应于所述基于位置的实体集合的置信度得分满足阈值：

使得在所述用户设备处渲染与所述基于位置的实体集合相关的交互提示；

响应于在所述用户设备处的与所述交互提示的接受用户交互：

使得所述用户设备下载所述基于位置的实体集合，所述基于位置的实体集合在针对所述特定位置限定的地理边界内；以及

响应于在所述用户设备处的与所述交互提示的拒绝用户交互：

禁止使得所述用户设备下载所述基于位置的实体集合。

19.如权利要求18所述的方法，进一步包括：

在使得所述用户设备下载所述基于位置的实体集合之后：

识别与当前在所述用户设备上运行的应用相关的经由所述用户设备的附加用户交互；

确定所述附加用户交互与来自所述基于位置的实体集合的至少一个实体相关联；

基于确定所述附加用户交互与来自所述基于位置的实体集合的至少一个实体相关联，选择用于向所述用户设备的用户建议的一个或多个动作；以及

使得所述用户设备基于所选择的一个或多个动作来显示一个或多个建议的动作。

20.如权利要求19所述的方法，其中，所显示的所述一个或多个建议的动作均关联于与所述附加用户交互相关的应用不同的应用。

21.如权利要求19所述的方法，其中，所述一个或多个建议的动作中的每一个与来自所述基于位置的实体集合的至少一个附加实体相关联。

22.如权利要求18所述的方法，其中，确定经由用户设备的多个用户交互中的每一个与特定位置相关包括：

确定在所述多个用户交互期间所述用户设备的特定位置。

23.如权利要求22所述的方法，其中，基于均与所述特定位置相关的所述多个用户交互来确定针对所述特定位置的基于位置的实体集合的置信度得分包括：

基于所识别的特定位置来从与所述特定位置相关联的多个基于位置的固定实体集合中识别多个基于位置的固定实体集合；

使用集合预测模型来从所识别的多个基于位置的固定实体集合中识别所述基于位置的固定实体集合，作为与所述用户最相关的基于位置的固定实体集合；以及

确定针对所述特定位置的所述基于位置的实体集合的置信度得分。

Images