CN112262382A - 上下文深层书签的注释和检索 - Google Patents

Abstract

包括在计算机存储介质上编码的计算机程序的方法、系统和装置，所述方法、系统和装置用于接收与书签相关联的第一输入，并响应于接收到第一输入，获得用于得出书签的注释的上下文数据。系统的注释引擎获得多个注释，所述多个注释是使用上下文数据中包括的信息以及与书签相关联的第一输入的转录来得出。注释引擎为每个注释生成重要性值。重要性值表征每个注释与下述中的至少一个之间的关系：上下文数据中包括的信息；或第一输入的转录。注释引擎生成用于检索书签的注释集。注释集中的每个注释从所获得的多个注释中生成，并且每个注释具有超过阈值的重要性值。

Description

上下文深层书签的注释和检索

技术领域

本说明书涉及移动设备。

背景技术

网站和应用资源可以包括任何数量的链接、嵌入式文件和/或其他与用户可能或可能不相关的信息。特别地，用户可以检测与用户的兴趣直接相关的信息源或其他资源。这样，用户可能希望对特别相关的基于Web或应用资源的加快访问。用户可以创建书签，该书签存储到相关的基于Web或应用内容的电子链接。用户以后可以访问书签以快速导览(navigate)到相关内容。在计算系统的上下文中，可以在本地或远程创建和存储书签，以供随后经由示例电子设备进行访问。

发明内容

本文档描述了用于向用户创建的个人书签添加注释的技术。可以使用与在客户端设备上接收到的初始用户输入有关的信息自动地添加注释，或者由用户手动添加注释。书签可以被视为信息项对(例如，名称和web地址/URL)。名称是书签的标识符，并且URL是用户可以使用web地址访问的资源页面的web地址，诸如www.example.com。多个注释可以与书签相关联。多个注释中的每一个都可以由用户手动提供，或者可以使用计算系统的注释引擎自动推断。

该文档还描述用于基于对书签的相应注释与在客户端设备处接收到的后续用户输入的内容相匹配的确定来检索书签的技术。例如，响应于计算系统确定后续用户输入(例如，查询或命令)的内容与包括在关于书签的数据中的词项或其他信息项相匹配，用户可以检索书签。系统使用特定的计算规则来确定用户命令是否与关于书签的数据相匹配。此确定和匹配可以由用于确定用户命令与书签的注释之间的匹配的特定计算逻辑来执行。

本说明书中描述的主题的一个方面可以用计算机实现的方法来体现。该方法包括，由计算系统接收与书签相关联的第一输入；响应于接收到第一输入，由计算系统获得用于得出书签的注释的上下文数据；由计算系统的注释引擎获得多个注释，所述多个注释使用上下文数据中包括的信息以及与书签相关联的第一输入的转录被得出。该方法包括，通过注释引擎为每个注释生成重要性值，该重要性值表征每个注释与下述中的至少一个之间的关系：i)上下文数据中包括的信息；或者ii)第一输入的转录；由注释引擎生成用于检索书签的注释集，注释集中的每个注释是从获得的多个注释中生成，并且每个注释具有超过阈值的重要性值；以及由计算系统使用注释集中的特定注释来检索用于访问资源页面的书签。

这些和其他实施方式可以均可选地包括以下特征中的一个或多个。例如，在一些实施方式中，使用特定注释包括：由计算系统接收第二输入；和由注释引擎基于第二输入从注释集中选择特定注释以使得检索书签；以及由计算系统使用特定注释来检索用于访问资源页面的书签。

在一些实施方式中，选择包括：分析第二输入的转录；从第二输入的转录中获得一个或多个词项；对于注释集中的每个注释：确定相似性分值，该相似性分值指示第二输入的转录中的词项与用于检索书签的注释中的词项相匹配的程度；以及基于注释的相似性分值超过阈值相似性分值来选择特定注释。

在一些实施方式中，特定注释被配置作为触发以使得检索书签，并且该方法进一步包括：由计算系统基于对第二输入的转录的分析来确定满足触发条件；响应于确定满足触发条件，由计算系统从书签索引中检索书签；以及响应于从书签索引中检索到书签，由计算系统提供该书签以在客户端设备处显示。

在一些实施方式中，从多个数据源获得用于得出注释的上下文数据，所述多个数据源中的每个数据源包括下述中的至少一个：i)书签的标识符；ii)作为书签被存储的资源标识符；iii)使用资源标识符访问的资源页面；iv)资源页面的文本；或v)基于引用资源标识符的搜索查询从搜索引擎获得的信息。

在一些实施方式中，用于得出注释的上下文数据包括N元语法(N-gram)和描述实体的数据，参考第一输入的转录从多个数据源中获得该N元语法和描述实体的数据中的每一个。在一些实施方式中，i)资源页面由web浏览器应用生成，并且ii)资源标识符是统一资源定位符(URL)，其提供用于访问资源页面的资源地址。

在一些实施方式中，i)资源页面由使用客户端设备访问的应用生成，该应用被配置成在应用索引中存储一个或多个深层链接，并且ii)资源标识符是针对资源页面的统一资源定位符(URL)，并且从包括有关应用的地址数据的应用索引中获得。

在一些实施方式中，资源标识符是下述中的至少一个：a)标识由使用客户端设备访问的应用生成的资源页面的屏幕图像的数据，或b)提供用于访问应用的资源页面的资源地址的深层链接。

此方面和其他方面的其他实施方式包括被配置成执行在计算机存储设备上编码的方法的动作的相应系统、装置和计算机程序。可以借助于安装在系统上的软件、固件、硬件或它们的组合来配置一个或多个计算机的系统，这些软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以借助于具有指令进行配置，该指令在由数据处理装置执行时使该装置执行动作。

在说明书中描述的主题可以在特定实施例中实现，并且可以导致以下优点中的一个或多个。描述使能够相对于其他系统实现增强注释和存储的书签的检索的技术。例如，可以使用注释来改善书签的功能性和可访问性，从而改善用户设备接口以促进更好的用户对设备操作的控制。所描述的技术使书签能够基于来自用户的话音或其他输入以及接收并处理用户输入的客户端设备的计算上下文以快速且计算高效的方式被注释和检索。例如，系统可以使用单个输入(例如，话音或文本输入)来创建书签以及生成用于书签的一个或者多个相应的注释，而不是计算设备接收和处理来自用户的多个触摸或物理输入。

通过使用单个用户输入来执行与书签有关的多个处理器功能，系统可以快速而有效地获得用于创建书签的数据，生成用于书签的注释并且存储与注释以及书签相关联的数据。例如，系统执行特定的计算规则，该特定的计算规则被配置成分析描述客户端设备处的输入会话的计算上下文的数据。计算系统可以利用计算上下文的预先存在的实体数据和其他信息项来有效地获得用于创建书签的资源标识符，例如URL/深层链接。例如，系统可以使用机器学习逻辑来迭代分析来自与计算会话有关的多个信息源的数据。这种迭代分析使系统能够更好地标识在为书签生成注释时具有增加重要性的词项。

所描述的技术使系统自动地完善其用于分析词项和其他上下文数据的计算过程，从而使系统的注释和检索操作能够随着时间的流逝以增加的效率和精度来执行。描述了一种可重复的自动注释过程，其涉及最少的人类干预，并且不需要手动执行注释器功能。例如，所描述的技术使能够自动分析来自多个数据源的信息项，针对给定的计算上下文调用所述多个数据源的信息项。在一些实施方式中，单个话音输入可以用作分析的触发。因此，这些技术使计算系统能够快速执行操作，由于基于来自用户的单个话音输入获得书签注释和每个注释的相应重要性值的挑战，该系统先前无法以高效方式自动执行该操作。

本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐明。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1A和1B是用于注释和检索书签的示例计算系统。

图2是用于基于来自用户的输入来注释和检索书签的示例过程的流程图。

图3A和3B示出与基于来自用户的输入来创建和注释书签相关联的示例图形界面。

图4是用于检索已注释的书签的示例过程的流程图。

图5是可以与本说明书中描述的计算机实现的方法结合使用的计算系统的框图。

在各个附图中相似的附图标记和名称指示相似的元件。

具体实施方式

图1A是用于注释和检索书签的示例计算系统100。系统100基于来自用户的第一或初始输入——例如，话音、文本或其他类型的输入——来注释书签，并基于来自用户的第二或后续输入来获得用于访问书签的注释。系统100的移动或客户端设备接收话音输入并生成电子书签。书签用于使用诸如统一资源定位符(URL)的基于Web的统一资源标识符(URI)访问资源页面，或用于访问由客户端设备的本机应用(也称为“app”)生成的资源页面。客户端设备通过参考包括多个深层链接的应用索引并使用映射到资源页面的深层链接来访问本机应用的资源页面。

客户端设备从用户接收指示期望的书签功能的话音/文本输入。客户端设备可以在用户浏览网站或基于Web的资源时，或者在用户正导览本机应用的资源页面时接收话音输入。在此上下文中，描述用于向用户创建的个人书签添加注释的技术。可以使用与在客户端设备上接收到的初始用户输入有关的信息自动添加注释，或者由用户手动添加注释。多个注释可以与书签关联。多个注释中的每一个都可以由用户手动提供，或者使用计算系统的注释引擎自动推断。还描述了用于基于对书签的注释与在客户端设备处接收到的后续用户输入的内容相匹配的确定来检索书签的技术。

系统100包括用户/客户端设备102和至少一个计算服务器104(如下所述)。客户端设备102可以是被配置成从用户接收话音输入或其他输入的任何合适的电子用户设备。通常，对话音输入的引用或话音输入103(或105)仅仅是可以在客户端设备102或系统100处接收的输入的示例，并且诸如文本输入、数字输入、触摸输入或其他相关的输入数据结构的各种其他类型的输入也在本文档的范围之内。

在一些实施方式中，客户端设备102是蜂窝智能电话设备、膝上型计算机、台式计算机、平板计算机、电子阅读器设备、智能电视或被配置成接收话音输入的任何其他移动计算设备。在一些实施例中，客户端设备102是“智能扬声器”，诸如谷歌家庭或其他相关的智能扬声器设备。通常，客户端设备102包括辅助功能性，允许诸如会话查询、问题和答案、物联网(IoT)控制功能或其他相关功能的功能。

客户端设备102包括语音模块106。语音模块106包括自动语音识别器107(“ASR107”)和自然语言处理器108(“NLP 108”)。在一些实施方式中，客户端设备102接收指示用户想要生成新书签的话音输入103。书签可用于加快或精简对客户端设备102的示例显示器上呈现给用户的Web资源的后续访问。语音模块106可以被用于分析有关接收到的话音输入的数据，例如音频信号数据，并生成话音输入的转录。

ASR 107可以是示例语音识别逻辑、编程的指令或由客户端设备102(或以下描述的计算服务器104)的一个或多个处理器执行的算法。例如，ASR 107可以执行程序代码来管理所接收话音输入103的音频特性的标识、提取和分析。此外，ASR 107可以执行比较器逻辑以将所接收话音输入103的音频特性与和NLP 108相关地存储的各种模型参数进行比较。比较的结果产生文本转录输出，该文本转录输出基本上对应于话音输入103的话音/语音话语。

NLP 108可以是在语音识别中用于指定或标识某些词组合或序列的示例语言处理器。在一些实施方式中，NLP 108被配置成生成词序列概率因子，该词序列概率因子用于指示特定词序列或词组合的可能出现或存在。在一些情况下，所标识的词序列主要对应于特定于语音语料库而不是例如书面语料库的序列。

客户端设备102还包括应用模块110。应用模块110可以被至少用于：i)执行特定的应用111以生成该应用的资源页面；ii)访问存储与特定应用111相关联的数据的应用索引112。在一些实施方式中，应用111是存储在客户端设备102上的web浏览器或本机应用，并且应用索引112包括关于本机应用的资源页面的地址数据。在一些情况下，经由应用索引112存储的数据包括到由应用111生成的资源页面的深层链接。本机应用可以配置成在应用索引112中存储一个或多个深层链接，并且每个深层链接可以映射到本机应用生成的资源页面。每个深层链接还提供用于访问映射到该深层链接的资源页面的资源地址。

客户端设备102进一步包括注释索引114、设备助理116和上下文数据引擎118。索引114提供生成的书签的注释数据的本地存储和访问。例如，索引114可以被配置成存储至少基于话音输入103生成的多个注释的列表。如下面更详细地描述的，可以将注释的数据本地存储在客户端设备102和/或使用计算服务器104存储在示例基于云的存储设备处。设备助理116可以对应于配置成向用户提供一个或多个虚拟助理功能的软件程序。例如，设备助理116被配置成检测或接收来自用户的话音查询(通常在检测到用于发起用户/移动设备102的收听模式的热词或类似词或短语之后)，执行计算以获得响应于查询的web结果，并基于获得的web或搜索结果提供听觉响应。如下面更详细地讨论的，在一些实施方式中，使用来自搜索查询的搜索结果来创建注释，所述搜索结果使用设备助理116来生成并且响应于由客户端设备102接收的用户话音查询。

上下文数据引擎118被配置成提取或获得与在设备接收到话音输入103时客户端设备102正在执行的基于Web的资源或本机应用(例如，应用111)有关的上下文数据134。例如，上下文数据引擎118被配置成提取下述中的一个或者多个：i)标识本机应用的资源(例如，页面)的URL/URI，ii)本机应用的标识符，iii)标识网站的资源页面的网站URL，或iv)当在设备上接收到话音输入103时，在客户端设备102的显示器上呈现给用户的资源页面的屏幕快照。通常，URL是一种URI。在一些情况下，URI是用于涉及设备上内容的实现的标识符。

在一些实施方式中，设备助理116可以生成与所显示的资源页面相关联的数据，例如，设备辅助数据137。该设备辅助数据137可以包括多个数据元素，所述数据元素指示所显示的资源页面的属性。例如，设备辅助数据137可以包括由示例消息收发应用显示的电子消息的发送者或接收者的用户名或关于经由特定资源页面显示的信息的数据。如本文所述，上下文数据134的信息用于生成书签的注释。例如，在给定计算上下文期间调用的来自各种数据源的信息可以被用于生成书签的注释。在一些实施方式中，诸如实体、姓名、联系人、用户名、地址或电话号码的信息可以用于生成书签的注释，从而可以基于注释提取和分析用于访问书签的数据。

上下文数据134可以包括元数据136、设备辅助数据137、转录138、应用标识符140(“app ID 140”)和资源标识符(ID)142。上下文数据134可以指示关于被生成以显示给用户的特定资源页面的上下文信息或有关可经由客户端设备102访问的基于Web的资源或本机应用的信息。例如，上下文数据134的上下文信息可以包括下述中的至少一个：i)资源标识符142例如，URL/深层链接，其提供用于访问特定资源页面的地址；ii)可用于标识书签的描述数据；iii)特定资源页面的屏幕快照/数字图像；或iv)标识由客户端设备102执行的本机应用的app ID 140。

上下文数据134还可以包括关于由客户端设备102接收的查询话音输入的数据。此类数据可以包括指示客户端设备102接收的期望书签功能的转录138。如图1A中所示，客户端设备102可以从用户接收话音输入103、105，并且所述话音输入103、105指示期望的书签功能。例如，客户端设备可以从用户接收话音查询以：i)生成/创建并存储新书签，该书签包括特定资源(例如，页面)的URL、URI或深层链接，或者ii)使用存储在书签中的URL、URI或深层链接访问存储的书签以查看特定的资源页面。当用户正在浏览网站或基于web的资源时，或者当用户正在导览本机应用的资源页面时，客户端设备102可以接收话音输入。响应于系统100接收到查询以生成书签，计算服务器104从客户端设备102接收或获得上下文数据134。服务器104使用接收到的上下文数据134来生成和存储该书签的一个或多个注释。

计算服务器104通常包括注释引擎120，其接收上下文数据134并基于对上下文数据134的分析生成用于书签的一个或多个注释。注释引擎120包括数据分析逻辑122、光学字符识别(OCR)逻辑124、注释索引126、搜索引擎接口128和注释检索逻辑130。注释引擎120是服务器104的示例计算模块(或可由服务器104访问)，并且配置成接收并且处理来自形成上下文数据134的多个数据源中的信息。处理该信息以生成用于书签的多个注释，并且用于访问注释的数据或引用指针被存储在注释索引126处。注释引擎120的计算元件在下面参考图2至图4更详细地描述。

图1B是用于注释和检索书签的示例实施例，其中注释、存储和检索完全发生在客户端设备102上。针对图1B的实施方式，上下文数据134在客户端设备102处被处理和分析，以在客户端设备102处生成和存储书签的一个或多个注释。例如，可以在客户端设备102本地分析上下文数据134的一个或多个信息/数据项，以生成和存储书签的注释，而无需访问或使用计算服务器104的计算元件。在一些情况下，客户端设备102包括计算服务器104的一个或多个计算元件，例如，注释引擎120，使得注释和存储的注释或书签的搜索/检索都完全在客户端设备102上发生。

在一些实施方式中，客户端设备102包括用户标识(ID)模块152，其使用与话音输入相关联的数据来识别用户。例如，用户ID模块152可以分析上下文数据134的信息项，以获得与话音输入103相关联的数据，诸如元数据136、辅助数据137或转录138。模块152基于对上下文数据134中的信息的分析来识别用户(客户端设备102的所有者)。例如，模块152可以将针对话音输入的音频信号与针对用户的存储的音频信号数据进行分析或比较。所存储的音频信号数据可以链接到用户的标识符或用户ID。模块152基于确定用于话音输入的音频信号的特性与用户的所存储的音频信号数据匹配，例如，基本上匹配，来识别用户。响应于识别用户，模块152使上下文数据134与用户ID一起被提供给注释引擎，以便生成用于书签的个性化注释。

图2是用于基于来自用户的话音输入来注释和检索书签的过程200的流程图。可以使用上述系统100来实现或执行过程200。过程200的描述可以参考在上面提及的系统100的计算资源，包括图1B的实施方式中的客户端设备102。在一些实施方式中，过程200的所描述的动作通过编程的指令来启用，该编程的指令可由本文档中描述的计算系统的至少一个处理器和存储器执行。

现在参考过程200，系统100接收与书签相关联的第一输入(202)。响应于接收到话音输入，系统100获得用于得出书签的注释的上下文数据(204)。系统100基于在客户端设备102处接收到的用户输入、上下文数据134中包括的信息或两者的组合来生成书签的一个或多个注释。在一些实施方式中，由客户端设备102的用户提供书签的注释作为用户提供的注释。可以在创建书签时或创建书签后的任何时间添加用户提供的注释。用户提供的注释也可以随时删除或修改。在一些实施方式中，处理用户注释以便提取或获得N元语法，诸如包括在用户输入中的概念和实体。可以将获得的概念和实体作为具有特别高的重要性值(如下所述)的自动推断的注释存储在系统100中。

如上所述，客户端设备102从用户接收话音输入103。话音输入与书签功能有关，诸如创建书签或修改现有书签。在用户浏览网站或基于Web的资源时，或者在用户导览本机应用的资源页面时，客户端设备102可以接收话音输入103。在一些实施方式中，浏览会话定义计算上下文，在所述计算上下文中系统100处理来自多个数据源的上下文数据134。

注释引擎120基于在计算上下文期间生成的数据的处理和分析来获得多个注释(206)。使用包括在上下文数据134中的信息来得出或生成多个获得的注释，所述信息包括与书签相关联的话音输入103的转录138。从上下文数据134的多个数据源自动推断获得的注释。例如，从描述书签名称、网站或基于Web的资源页面的URL文本、URL的内容——例如，网页、网页的屏幕快照、app中屏幕的文本内容——或例如与辅助数据137有关的几何信息的数据源推断注释。在一些实施方式中，几何信息描述应用数据的几何布局或图案，诸如文本和图像，它们以图形方式渲染以输出给用户。

对于给定的计算上下文，可以从描述与URL或网页内容相关联的元数据的数据源以及由示例搜索引擎链接到或关联到URL的信息中推断注释。例如，元数据可以指示或描述诸如人、公司、饭店或运动队的实体，以及可以包括在网页中的各种其他媒体内容项。由示例搜索引擎链接到URL的信息可以包括URL位于前K个搜索结果中的搜索查询，其中K是正整数，其可以具有范围从1到至少100,000的值。在一些实施方式中，这种查询的重要性可以取决于URL在搜索结果的排名数据中的位置。在一些情况下，排名数据包括相应的排名分值，该分值定义URL在搜索结果中的排名。由搜索引擎链接到URL的信息可以进一步包括针对其用户已点击在搜索结果中的URL的搜索查询。包括URL或与URL相关的搜索查询可以具有对应的重要性值。在一些实施方式中，用户针对其已经点击搜索结果中的URL的搜索查询可以被指配更高或更大的重要性值，以指示这样的搜索查询对于在获得书签的注释中使用更加重要。

还可以从描述与书签的URL有关的其他URL以及针对其他URL中的每一个URL的网页处包括的相应内容或媒体内容项的数据源中推断出注释。其他URL可以是来自与书签的URL同一域的资源定位符。

例如，如果书签的URL是www.example com，则来自同一域的其他URL可以包括：www.example.com/about-us，其描述有关诸如银行的实体提供的服务的信息；或者www.example.com/contact-us，其提供银行的联系信息。在一些实施方式中，其他URL可以是资源定位符，所述资源定位符：i)被网络索引分类为与书签的URL相似，例如，基本相似；ii)是与书签的URL同一基于web的类别的一部分(例如，银行或饭店)；或iii)与书签的URL具有相同或相似的内容、实体和重要概念。

还可以从定义app名称以及与该app相关联的任何信息或元数据的数据源中推断出注释。例如，书签的数据可以包括用于访问app的资源页面的深层链接的指针或引用指针。包括深层链接的书签的数据可以定义app的名称，并描述将书签关联到当用户与app进行交互时显示的资源页面的某些图像或文本的元数据标签和其他信息。

系统100基于关于从上述多个数据源访问的上下文数据134的推断来提取一个或多个注释。例如，注释引擎120可以使用上下文数据分析逻辑122来分析上下文数据134和来自每个数据源的其他信息，基于该分析计算推断，并基于计算出的推断从上下文数据134提取注释。在一些实施方式中，注释引擎120使用OCR逻辑124来识别上下文数据134的光学字符。例如，OCR逻辑124可以被用来识别从客户端设备102接收的并且对应于在设备处接收到的话语查询的示例转录的N元语法或者词项。

注释引擎120从上述多个数据源和上下文信息，或者与计算上下文有关的其他数据源中使用数据和上下文信息中包括的内容提取一个或多个注释。例如，注释引擎120提取注释，诸如重要的N元语法、重要的N元语法的同义词、重要的概念和重要的实体。重要的N元语法可以由单个词项或两个或更多个词项的组合形成。重要的N元语法和概念也可以通过多种方式得出。例如，可以使用TF-IDF(词项频率-逆文档频率)在文档的语料库中或者使用基于训练数据集的计算的推断来学习重要的N元语法的机器学习引擎得出重要的N元语法。

在一些实施方式中，对于至少重要实体的子集，注释引擎120提取注释，诸如与从在上面讨论的数据源提取的重要实体有关的实体。对于此子集，注释引擎120还可以提取注释，诸如与在上面提及的重要实体有关的重要的N元语法和重要概念，包括特定于实体的显着的词项。注释引擎120基于用于提取注释的信息将类型指示符指配给每个提取的注释。类型指示符标识直接提取的实体的类型和相关实体的类型。例如，如果使用与饭店有关的N元语法或词项提取注释，则注释引擎120将“饭店”类型指示符指配给注释。类似地，如果使用与电影或人有关的实体或概念提取注释，则注释引擎120可以向注释指配“电影”类型指示符或“人”。

注释引擎120可以基于对使用搜索引擎生成的搜索结果的分析来标识与实体E相关的重要的N元语法、概念和实体。例如，如果实体E和相关内容：1)都出现在同一文档中，2)都出现在搜索引擎处理的查询的前K个搜索结果集中；3)一个出现在发布给搜索引擎的查询中并且另一个出现在发布给搜索引擎的该查询的靠前搜索结果中，则重要的N元语法、概念或其他实体可以与实体E(例如，xyz的银行)相关。在一些实施方式中，注释引擎120计算实体E与重要的N元语法、概念或其他实体之间的关系的强度。

例如，可以基于以上条件1-3中的每一个为真的频率来计算关系的强度。在一些实施方式中，注释引擎120基于条件计算强度值，并基于条件的重要性确定强度值的权重。条件的重要性对应于条件为真的频率。例如，如果条件1为真10次，而条件2和3仅为真5次，那么条件1将接收更高的权重，并且因此将具有更高的强度值。

在一些实施方式中，强度值基于每个条件为真的频率来计算，由每个条件的重要性加权，加上TF-IDF逻辑的一些组合，使得非常流行的N元语法、概念或实体没有被强烈视为与实体E有关。在一些情况下，系统100为与搜索结果相关联的数据生成词项频率值。例如，注释引擎120通过使用逻辑124将数据解构为一系列N元语法来处理搜索数据的词项和其他内容。可以基于N元语法在数据中出现的频繁程度为每个N元语法指配权重或偏置值。这样的权重或偏置值可以被用于指示某些N元语法与该系列N元语法中的其他N元语法相比的相对主题重要性。偏置值或权重可以由TF-IDF分值确定。

在一些实施方式中，可以基于在N元语法中出现的名词数量来修改N元语法的权重。这是因为带有更多名词的N元语法可能指示更重要的主题重要性。例如，NLP 108可以包括用于解析N元语法以确定哪些词被视为名词的语言解析器。这样，每个N元语法权重可以乘以名词与每个N元语法的总词之比。类似地，可以基于在N元语法中出现的“停用词(stopword)”的数量来修改N元语法的权重。这是因为随着使用更多停用词，主题重要性可能会降低。因此，每个N元语法权重可以乘以每个N元语法的非停用词与总词的比例。例如，“停用词”可能是可能与N元语法的主题重要性无关的常用词，诸如“一个”、“该”和“是”的词。

在一些实施方式中，用于提取与给定实体E相关的实体的其他方法包括使用非结构化文本或知识图。系统100可以被配置成从非结构化文本中自动提取和挖掘关系和相关实体。所提取的信息可以以图结构表示。例如，可以通过自动引导数据中实体信息出现的模式，并且然后将这些引导的模式应用于非结构化文本数据来执行从上述数据源中提取关系和相关实体。对于每个关系和实体，提取多个特征以便于构造图，其中图数据的节点是实体，并且图数据的边是关系。

知识图是表示实体和实体之间的关系的数据的集合。数据在逻辑上被描述为图，其中每个不同的实体由相应的节点表示，并且实体对之间的每个关系由节点之间的边表示。每个边与关系相关联，并且边的存在表示该边连接的节点之间存在相关联的关系。例如，如果节点A表示人alpha，节点B表示人beta，并且边E与关系“是其父亲”相关联，则让边E在图中在从节点A到节点B的方向上连接节点表示alpha是beta的父亲的事实。

知识图可以由各种方便的物理数据结构中的任何一种来表示。例如，知识图可以用三元组表示，每个三元组依次表示两个实体以及从第一实体到第二实体的关系；例如，[alpha，beta，是其父亲]，或[alpha，是其父亲，beta]，是表示同一事实的替代方式。每个实体和每个关系可以并且通常将包括在多个三元组中。

可替选地，每个实体可以例如作为记录或对象存储为节点一次，并且通过链接列表数据结构链接到该实体具有的所有关系以及该实体有关的所有其他实体。更具体地，知识图可以被存储为其中邻接信息包括关系信息的邻接列表。用唯一的标识符表示每个不同的实体和每个不同的关系通常是有利的。

由知识图表示的实体不必是有形的东西或特定的人。实体可以包括特定的人、地点、事物、艺术作品、概念、事件或其他类型的实体。因此，知识图可以包括定义人之间关系的数据，例如，电影中的共同主演；定义人与事物之间关系的数据，例如，特定歌手录制特定歌曲；定义地点与事物之间关系的数据，例如，特定类型的葡萄酒来自特定地理位置；定义人与地点之间关系的数据，例如，特定的人在特定的城市出生；以及实体之间的其他种类的关系。

在一些实施方式中，每个节点具有基于该节点表示的实体的种类的类型；并且类型可以每个都有提要(schema)，该提要指定有关由该类型的节点表示的实体可以维护的数据种类以及应如何存储数据。因此，例如，用于表示人的类型的节点可以具有提要，该提要定义诸如出生日期、出生地点等信息的字段。这样的信息可以由类型特定的数据结构中的字段表示，或者可以由看起来像节点-关系-节点三元组的三元组——例如，[人标识符，出生，日期]——来表示，或以任何其他方便的预定义方式来表示。可替选地，由类型提要指定的信息中的一些或全部可以由知识图中节点的链接来表示；例如，[一个人标识符，其的孩子，另一个人标识符]，其中另一个人标识符是图中的节点。

注释引擎120为每个注释生成重要性值(208)。重要性值表征每个注释与上下文数据134中一个或多个信息项之间的关系，包括话音输入103的转录138。在一些实施方式中，相对于自动推断的注释，用户定义的注释具有更大的重要性值。为自动推断的注释生成的重要性值可能会取决于多个信号而变化。例如，生成并指配给注释的重要性值可以取决于从其中得出注释的来源，例如，书签的标识符、网页的URL的文本、URL的内容、URL的元数据、其他相关URL或URL针对其在搜索引擎的搜索结果中显露的查询、或客户端设备102中存储的用户联系人中包括的数据、或其他可用于得出注释的相关数据源。

如上所述，生成并指配给注释的重要性值还可以取决于由类型指示符指示的注释的类型。例如，注释的类型指示符是基于注释中引用的实体E的类型、相关实体、注释数据中的重要词项或N元语法、实体类型(例如电影院、银行等)、相关实体类型或每一个的组合来确定。注释的重要性值还可以取决于自动提取的注释与从其中提取注释的词项的数据源之间的确定的相关性。例如，从其中提取注释的词项的数据源可以包括元数据136、辅助数据137、转录138、应用ID 140、资源ID 142或每一个的组合。

对于从URL的内容中提取的实体、重要N元语法或重要概念，注释引擎120确定提取的内容对整体内容的重要程度。同样，对于屏幕上的文本，注释引擎120还可以确定从屏幕上的文本提取的内容对于屏幕的整个文本内容的重要程度。对于与已知app相对应的屏幕，可能已经知道该app的显示模式。例如，显示模式可以指示或标识屏幕的哪些部分包含样板文件或不太相关的内容，以及屏幕的哪些部分表示该app的重要组件，诸如web浏览器中的标题栏或聊天app中的用户名。注释的重要性值还可以取决于间接得出的注释相对于其他注释的关系强度。通常，可以通过添加注释、修改注释或删除注释来定期更新注释及其重要性。

注释引擎120生成用于检索书签的注释集(210)。注释集中的每个注释是从多个获得的注释中生成的。系统100评估每个注释的重要性值，并确定每个注释是否具有超过阈值重要性值(例如，0.65)的重要性值(例如，0.82)。在一些实施方式中，所生成的用于检索书签的注释集中的每个注释具有超过某一预定阈值的重要性值。注释集中的每个注释可以存储在注释索引126处并与书签相关联。在一些实施方式中，系统100使用注释集中的特定注释来检索用于访问资源页面的书签(212)。下面参考图4更详细地描述使用特定注释来检索书签。

图3A和图3B分别示出示例图形界面302和304。这些界面与用于基于来自用户的话音输入103来注释书签的计算元件相关联。界面302示出在客户端设备102处访问的示例资源页面。界面302可以对应于经由web URL(“www.example.com”)访问的示例网站或对地理位置上的饭店进行评级的app的评论页面。界面304可以是与设备助理116相关联的示例图形界面。界面304示出用户输入306和助理输出308。输入306是客户端设备102接收到的话音输入103的转录。

用户可能正在app中查看Gary Doe(加里杜)的饭店的评论页面，并通过讲出诸如“save this as my favorite dinner restaurant(将这保存为我最喜欢的晚餐饭店)”的示例命令来向客户端设备102发布话音输入103。客户端设备102的显示器可以示出麦克风图标303，该麦克风图标303点亮(例如，当被用户轻敲时)以指示客户端设备102的收听模式已经被激活。系统100处理“save this as my favorite dinner restaurant”的命令以生成书签，该书签至少包括用于在本机应用中访问Gary Doe的饭店的评论页面的深层链接或URL。响应于处理命令，系统100生成并存储可以被标识为“my favorite dinnerrestaurant(我最喜欢的晚餐饭店)”的书签。

注释310表示可以从对形成上下文数据134的不同数据源获得的信息的分析中自动推断出的示例注释集。可以在创建书签时或在创建书签之后的任何时间自动生成注释310。例如，用户创建关联到示例web URL www.example.com/restaurant的名为“myfavorite dinner restaurant”的书签。书签的创建可以使系统100使用上述计算过程中的一个或多个自动推断注释集。

第一注释可以是“restaurant(饭店)”，其具有1.0的计算出的重要性值。注释“restaurant”可以对应于书签名称中的重要的N元语法和来自于URL文本和内容(“GaryDoe”)的主要实体的“类型”(饭店)。第二注释可以是“Gary Doe”，其具有1.0的计算出的重要性值。注释“Gary Doe”可以对应于诸如URL文本中的主要实体的实体和来自于URL文本或者链接到URL的网页的内容/词项(“Gary Doe”)。第三注释可以是“dinner(晚餐)”，其具有0.8的计算出的重要性值。注释“dinner”可以对应于书签名称中的重要N元语法。

另一注释可以是“french cooking(法国烹饪)”，其具有0.6的计算的重要性值。注释“french cooking”可以对应于URL内容中提到的词项或者词项集、链接到该URL的网页、或者由搜索引擎关联到该URL的显着概念。另一个注释可以是“good places to eat inSan Francisco(在旧金山吃饭的好地方)”，其具有0.4的计算出的重要性值。注释“goodplaces to eat in San Francisco”可以对应于针对其URL在搜索引擎的前K个结果中显露的查询。另一个注释可以是“Fisherman’s Wharf(渔人码头)”，其具有0.4的计算出的重要性值。注释“Fisherman’s Wharf”可以对应于与实体“Gary Doe”有关的实体，或者可以对应于也出现在URL内容中但与内容没有特别相关的实体。在其他实施方式中，用户还可以添加手动注释“great lobster(大龙虾)”。可以对该注释进行处理，以便于提取“lobster(龙虾)”作为另一个注释。

在其他实施方式中，创建具有书签名称或标识符“chat with Tom(与汤姆聊天)”的书签312。可以在用户正在客户端设备102处查看示例MessagingApp或与其交互并与他们的联系人“Tom Jones(汤姆琼斯)”交换消息通信314时创建书签。书签“chat with Tom”的创建可以使系统100使用上述计算过程中的一个或多个自动推断注释集316。第一注释可以是“Tom(汤姆)”，其具有1.0的计算出的重要性值。注释“Tom”可以对应于书签名称中的重要的N元语法、至少两个用户联系人(“Tom Jones”和“Tom Myers(汤姆迈尔斯)”)的别名、或者在书签被创建时也出现在屏幕上的N元语法，例如，靠近示出用户名的屏幕的顶部。

第二注释可以是“chat(聊天)”，其具有1.0的计算出的重要性值。注释“chat”可以对应于书签名称中重要N元语法或书签所指向的app的“类型”。例如，app的类型可以是“聊天app”或“消息app”。第三注释可以是“MessagingApp”，其具有0.8的计算出的重要性值。注释“MessagingApp”可以对应于书签指向的app的名称。另一个注释可以是“Tom Jones”，其具有0.9的计算出的重要性值。注释“Tom Jones”可以对应于在创建书签时出现在屏幕上的名称或存储在客户端设备102的本机联系人app中的用户的联系人的名称。另一注释可以是“contact(联系人)”，其具有0.6的计算出的重要性值。注释“contact”可以对应于个人实体“Tom Jones”的“类型”。

图4是用于检索已注释的书签的过程400的流程图。可以使用上述系统100来实现或执行过程400。过程400的描述可以参考系统100的在上面提及的计算资源。在一些实施方式中，过程400的所描述动作由编程指令来启用，该编程指令可由本文档中描述的计算系统的至少一个处理器和存储器执行。

现在参考过程400，系统100从用户接收第二输入，例如，话音输入105，并处理该输入以确定该输入是否指示用户意图检索或获得书签(402)。例如，在提供话音输入103之后，用户可以稍后发布命令或查询，例如，文本/话音输入105，以便检索与命令/查询中所提及的准则匹配的所有书签。命令可以是“show me my restaurant bookmarks(示出我的饭店书签)”，而查询可以是“what are my San Francisco bookmarks？(我的旧金山书签是什么？)”。因此，第二输入可以是话音输入命令或查询以检索现有书签。在一些实施方式中，检索到的书签的数据经由被提供用于在客户端设备102的显示器上输出的图形表示被显示或示出给用户。除了示出或显示书签之外，设备助理116还可以可听地响应于用户以提供用户书签的列表。例如，命令可以是“read me back my bookmarks(为我读我的书签)”，并且客户端设备102可以使用存储的书签或注释的音频数据，以通过用户书签的列表可听地响应。

系统100响应于确定话音输入指示用户意图检索书签而获得输入内容(404)。例如，注释引擎120使用注释检索逻辑130来分析话音输入105的转录，以基于该分析来确定输入是否指示用户意图检索书签。可以使用语法或分类器执行分析，所述语法或分类器基于使用机器学习引擎确定的推理来处理转录的词项。机器学习引擎可以使用特定的计算规则来处理和分析词项、词项序列和/或提取的N元语法，以推断用户意图以检索存储的书签。

响应于确定话音输入105指示用户意图以检索书签，注释引擎120从话音输入105的转录中获得包括一个或多个词项的输入内容。如果查询指示用户意图检索书签，然后使用逻辑124或130中的一个或多个从查询中提取重要N元语法、概念和实体。例如，如果话音输入105的转录是“show me my restaurant bookmarks”或“list my bank of xyzbookmarks(列出我的xyz的银行书签)”，然后注释引擎120可以从转录中提取词项“restaurant”，或者可以从转录中提取实体词项“bank of xyz(xyz的银行)”。

在一些实施方式中，与提取的实体有关的实体以及每个实体的类型被检索。然后，与提取的实体有关的重要N元语法和概念也被检索。在一些情况下，每个提取的内容——诸如实体的N元语法或标识符——都由数据或内容信号表示。系统100被配置成分析提取的项并为这些项指配重要性值。因此，每个提取的项或表示该项的相应信号可以具有关联到它们的重要性，其由计算出的重要性值(例如，0.53)指示。

以与计算注释的重要性值的方法相似或基本相似的方式计算重要性值(以上参考图2所述)。重要性可以取决于信号的类型以及信号参考话音输入105所指示的用户查询的相关性。如上所述，注释引擎120通过参考指配给信号的类型指示符来确定每个信号的类型。以与确定注释的类型指示符的方法相似或基本相似的方式来确定类型指示符(也在上面参考图2进行了描述)。

系统100相比于链接到在示例书签索引处存储的一个或多个书签的注释为所获得的或所提取的内容项中的每一个计算相似性分值(406)。例如，基于注释匹配评分过程(如下所述)，将描述每个内容项或获得的话音输入105的转录的词项的数据与书签索引中包括的一个或多个书签中的每一个进行比较。将每个内容项或词项相比于为用户存储的每个书签进行比较，匹配或以其他方式进行分析。相比于为用户存储的每个书签分析内容项包括相比于每个书签分析关于项的各种数据。关于项的数据可以包括与项相关联的所有信号以及每个信号的相应重要性值。

对于每个书签或内容项，注释引擎120使用检索逻辑130来计算书签或项的相似性(或匹配)分值，例如，0.95。基于提取的项相比于书签信息(包括指配给书签的注释)的比较或分析，计算相似性分值。计算出的相似性分值指示提取的项与书签之间的相似性。例如，计算出的相似性分值表征所提取的词项(“restaurant”)或所提取的词项集(“bank ofxyz”)与定义书签的数据匹配的程度。提取的词项相比于书签的注释匹配。在一些实施方式中，所提取的词项还相比于书签的其他数据匹配，所述其他数据诸如每一个均组合以定义书签的书签的名称、书签的标识符、URL的文本或深层链接的文本。

可以如下计算书签B的相似性或匹配分值(matching_score(B))。对于每个查询信号S和书签的每个匹配的注释A，使用注释检索逻辑130的特定计算规则来计算信号注释匹配分值(signal_annotation_matching_score(S，A))。例如，基于：i)信号S的重要性；ii)注释A的重要性；iii)S和A之间的语义相似性来计算信号注释匹配分值。

在一些实施方式中，如果两者相同(例如，最高相似性分值)，或者如果两者在语义上相似，则查询信号S与书签注释A匹配。例如，表示所提取的词项“dinner”的查询信号S和包括词项“hungry”的书签注释A可以在语义上相似，但是词项在语义上不相同。可替选地，“dinner”和“supper(晚餐)”可以被确定为在语义上相同。系统100汇总计算出的匹配分值。例如，注释引擎120确定matching_score(B)，其是所有信号注释匹配分值signal_annotation_matching_score(S，A)上的汇总分值。

为了确定汇总分值，注释引擎120首先通过在所有查询信号S上汇总signal_annotation_matching_score(S，A)来计算每个注释A的注释匹配分值(annotation_matching_score(A))，并且然后将所有注释A上的注释匹配分值汇总成matching_score(B)。也可以采用其他方法来计算书签注释匹配分值。这样的方法可以基于使用机器学习引擎执行的计算。例如，机器学习引擎可以使用与随机森林计算或经过训练以确定语义相似性的深度神经网络有关的计算逻辑。也可以使用涉及相似性度量的方法，诸如注释集和查询信号集之间的余弦相似性的变化，其中计算中参数的权重取决于注释或查询信号的重要性值。

系统100确定针对每个内容项或书签的每个计算出的相似性分值是否超过阈值相似性分值(408)。系统100基于超过阈值相似性分值的相似性分值获得用于呈现给用户的一个或多个书签(410)。例如，具有超过阈值分值的对应的相似性分值的书签的注释用于将书签作为书签/注释数据143呈现给用户。所呈现的书签被链接到具有超过阈值分值的相似性分值的注释。

书签或注释数据143可以包括描述144、深层链接146、web URL148、屏幕快照数据150和app标识符140。客户端设备102使用注释数据143的资源标识符来访问特定的资源页面并显示经由客户端设备102的显示器将资源页面呈现给用户。屏幕快照150是当客户端设备102访问存储的书签时可以呈现给用户的资源页面的数字图像。在一些实施方式中，注释引擎120将注释存储在索引126中(服务器侧)，并且将注释数据143传送到客户端设备102以使用索引114在设备上本地存储。注释数据还可以包括音频文件，诸如用于可听地响应于在示例音频环境中查询的各方面。在一些情况下，访问注解数据的音频文件以可听地响应于在全音频环境中查询的各方面。另外，客户端设备102可以包括文本到语音(TTS)功能性。例如，客户端设备102可以包括被配置成将响应文本转换为客户端设备102处的输出的音频的TTS组件。TTS组件可以访问表示提取的词项和N元语法的文本的注释数据，以便生成音频文件，该音频文件用于可听地响应于音频环境的查询。

如在上面所讨论的，可以使用注释集中的特定注释来检索用于访问资源页面的书签。使用特定注释来检索书签包括系统100接收话音输入105，注释引擎120从注释集中选择特定注释以使得检索书签，以及使用特定注释来检索书签以访问资源页面。特定注释基于注释的相似性分值超过阈值相似性分值来选择。在一些实施方式中，注释被配置作为触发以使得检索书签。例如，系统100用于使用注释来检索链接到注释的书签的方法包括：i)基于对话音输入105的转录的分析来确定触发条件被满足；ii)响应于确定满足触发条件从书签索引中检索书签；以及iii)响应于从书签索引中检索书签而提供书签以供在客户端设备102处显示。

以下描述图示系统100的示例操作，该系统涉及基于一个或多个生成的注释来检索所存储的书签。客户端设备102可以接收用户命令“call my favorite bakery(呼叫我最喜欢的面包店)”的输入105。系统100使用包括用户最喜欢的面包店的联系信息的书签的注释来标识面包店。在一些实施方式中，设备助理116获得关于面包店的信息，诸如面包店的地址、面包店的电话号码或用于访问面包店的网站的活动链接。设备助理116执行关于面包店的信息的搜索，并生成在搜索期间获得的结果的排名列表。使用上述的匹配评分过程，系统100通过将所存储的书签的注释和其他数据项相比于输入命令“call my favoritebakery”的提取的词项进行匹配来获得一个或多个书签。

系统100可以使用获得的书签来偏置搜索结果。基于本文所述的用于检索注释和链接到注释的书签的过程来获得书签。所获得的书签可以具有名称/标识符“my favoritebakery(我最喜欢的面包店)”，并且可以包括为用户的最喜欢的面包店存储的电话号码。设备助理116标识电话号码作为搜索结果，并使用该电话号码呼叫用户喜欢的面包店。可替选地，客户端设备102可以接收用于用户命令“call my bookmarked burger restaurant inSan Francisco(呼叫在旧金山的我加书签的汉堡饭店)”的输入。对于此命令，使用类似的获得汉堡饭店的加书签的信息的过程，以提取用于呼叫该饭店的电话号码。

在一些实施方式中，使用一个或多个偏置词项来调用书签的列表中的特定书签。例如，客户端设备102接收用户命令“what are my bookmarks(我的书签是什么)”，并且系统100通过生成用于每个书签的相应URI或URL的列表而不是URI所指向的内容来响应。为了访问URI指向的内容，可以使用偏置项来调用书签。例如，通过使用书签的标识符作为偏置项/因子(例如，“call my bookmarked burger restaurant”)或通过使用位置指示符以选择在列表中的特定的书签(例如，“call the second one(呼叫第二个)”)来调用书签。通常，所描述的用于确定用于将查询或命令信号匹配到书签注释的匹配分值的计算过程可用于调用书签或深层链接以检索内容。在一些情况下，可以从包括有关书签的实体的信息的第三方网站检索内容(例如，电话号码)。检索到的内容还可以是本地存储在客户端设备102上的个人数据。例如，个人数据可以是用于播放存储在设备上的歌曲/音乐文件的音频数据，或者是用于返回游戏应用中的游戏状态的用户数据。

根据所描述的技术的存储的书签的注释不仅是与书签有关的数据的排名，并且不仅是个人用户的偏好。而在于，存储书签的注释会影响系统的物理设计和操作。例如，这些影响可以通过特定的设计和使任何用户都可以从各种数据源中提取或获得信息的操作要求来证明。这些要求还使任何用户能够创建和使用新的文件结构，以组织和实现对从不同数据源获得的信息的访问。在一些实施方式中，使用注释引擎120的计算逻辑来动态调整新文件结构的大小。这种动态大小调整使能够优化用于存储和检索从数据源获得的注释和其他信息的可用存储器。例如，候选注释集中的每个注释的相应重要性值可以用于动态分配存储器资源，以便仅存储最重要的注释，例如，超过阈值重要性值的注释。

图5是计算设备500、550的框图，计算设备500、550可以被用作客户端或一个服务器或多个服务器来实现本文档中描述的系统和方法。计算设备500旨在表示各种形式的数字计算机，诸如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。计算设备550旨在表示各种形式的客户端设备，诸如个人数字助理、蜂窝电话、智能电话、智能电话、智能手表、头戴式设备和其它类似的计算设备。这里示出的组件、其连接和关系及其功能仅仅意在为示例性的，而不意在限制本文档中描述和/或要求保护实施方式。计算设备500、550可以是示例设备，其物理设计和系统操作要求受上述技术的实施方式有利影响。

计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口/控制器508以及连接到低速总线514和存储设备506的低速接口512。组件502、504、506、508、510和512中的每一个均使用各种总线来互连，并且可以被酌情安装在公共主板上或者以其它方式安装。处理器502可处理在计算设备500内执行的指令，包括存储在存储器504中或者在存储设备506上以在外部输入/输出设备(诸如耦合到高速接口508的显示器516)上显示用于GUI的图形信息的指令。在其它实施方式中，可以酌情使用多个处理器和/或多个总线以及多个存储器和多种类型的存储器。另外，可以连接多个计算设备500，其中每个设备提供必要操作的部分，例如，作为服务器组、一组刀片服务器或多处理器系统。

存储器504存储计算设备500内的信息。在一个实施方式中，存储器504是计算机可读介质。在一个实施方式中，存储器504是一个或者多个易失性存储器单元。在另一实施方式中，存储器504是一个或多个非易失性存储器单元。存储设备506能够为计算设备500提供大容量存储。在一个实施方式中，存储设备506可以计算机可读介质。在各种不同的实施方式中，存储设备506可以是软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其它类似的固态存储设备或设备的阵列，包括存储区域网络或其它配置中的设备。

在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一种或多种方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器504、存储设备506或处理器502上的存储器。在一些实施方式中，指令被包括在使用注释引擎120执行的程序代码中。例如，处理器502执行指令以使搜索引擎界面128和注释检索逻辑130的一个或多个功能被执行以便获得和分析上下文数据134，用于生成、动态存储和检索链接到现有书签的注释。

高速控制器508管理计算设备500的带宽密集型操作，而低速控制器512管理较低带宽密集型操作。这种职责分配仅是示例性的。在一些实施方式中，高速控制器512可以是具有改善系统100的数据分析和注释功能的执行的设计特征的专用硬件电路。例如，高速控制器508可以在注释引擎120处被实现为唯一地管理上下文数据134的数据流和数据分析。控制器508的特定设计特征可以使系统100能够快速而有效地获得用于创建书签的数据，生成用于书签的注释并且动态分配存储器504的资源以有效地存储与注释以及书签相关联的数据。

在一些实施方式中，计算设备500(和设备550)包括被配置成实现系统100的各种过程的一个或多个附加的专用计算元件。例如，这些元件中的至少一个可以用于实现搜索引擎接口128的计算过程，使得现有书签可以被用于有效检索搜索结果，而无需全面的web搜索。该附加元件可以执行特定计算规则，以基于对上下文数据134的分析来执行本地搜索，而不是搜索外部资源，这可能需要增加带宽和功耗。因此，这些附加的专用计算元件可以起到减少系统100的整体带宽、处理、存储器和功率/电池需求的作用。

在一个实施方式中，高速控制器508被耦合到存储器504、显示器516(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口510，所述高速扩展端口510可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描器或诸如交换机或路由器的联网设备。

如图中所示，可以以许多不同的形式实现计算设备500。例如，它可以作为标准服务器520被实现，或者在一组此类服务器中实现多次。它还可以作为机架服务器系统524的一部分被实现。此外，它可以被实现在诸如膝上型计算机522的个人计算机中。可替选地，来自计算设备500的组件可以与诸如设备550的客户端设备(未示出)中的其它组件组合。此类设备中的每一个均可以包含计算设备500、550中的一个或多个，并且整个系统可以包括由彼此通信的多个计算设备500、550。

计算设备550包括处理器552、存储器564、诸如显示器554的输入/输出设备、通信接口566和收发器568以及其它组件。设备550还可以被提供有存储设备，诸如微驱动器或其它设备，以提供附加存储。组件550、552、564、554、566和568中的每一个均使用各种总线来互连，并且若干组件可以被酌情安装在公共主板上或者以其它方式安装。如上所述，计算设备550也可以包括专用硬件电路以及用于至少以上参考设备550描述的用于实现系统100的各种处理的附加专用计算元件。

处理器552可以处理计算设备550内的用于执行的指令，包括存储在存储器564中的指令。处理器还可以包括单独的模拟和数字处理器。例如，处理器可以提供用于设备550的其它组件的协调，诸如对用户接口、由设备550运行的应用以及由设备550进行的无线通信的控制。

处理器552可以通过耦合到显示器554的控制接口558和显示器接口556来与用户进行通信。显示器554可以是例如TFT LCD显示器或OLED显示器或其它适当的显示技术。显示接口556可以包括用于驱动显示器554以向用户呈现图形和其它信息的适当的电路。控制接口558可以从用户接收命令并且对它们进行转换以用于提交给处理器552。此外，可以提供与处理器552通信的外部接口562，使得能实现设备550与其它设备的近区域通信。外部接口562可以提供用于有线通信(例如，经由对接过程)，或者无线通信(例如，经由蓝牙或者其它这样的技术)。

存储器564存储计算设备550内的信息。在一个实施方式中，存储器564是计算机可读介质。在一个实施方式中，存储器564是一个或多个易失性存储器单元。在另一实施方式中，存储器564是一个或多个非易失性存储器单元。扩展存储器574还可以通过扩展接口572来提供并连接到设备550，所述扩展接口572可以包括例如SIMM卡接口。这种扩展存储器574可以为设备550提供额外的存储空间，或者还可以为设备550存储应用或其它信息。具体地，扩展存储器574可以包括用于执行或者补充上述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器574可以作为用于设备550的安全模块被提供，并且可以被编程有允许安全地使用设备550的指令。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将标识信息放置在SIMM卡上。

如在下面所讨论的，存储器可以包括例如闪速存储器和/或MRAM存储器。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是可以是计算机或机器可读介质，诸如存储器564、扩展存储器574或处理器552上的存储器。

设备550可以通过通信接口566以无线方式通信，所述通信接口566必要时可以包括数字信号处理电路。通信接口566可以提供用于在各种模式或协议下通信，所述各种模式或协议诸如GSM话音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器568来发生。此外，短距离通信可以例如使用蓝牙、Wi-Fi或其它这种收发器(未示出)来发生。此外，GPS接收器模块570可以向设备550提供附加的无线数据，其可以由在设备550上运行的应用酌情使用。

设备550还可以使用音频编解码器560来可听地通信，所述音频编解码器560可以从用户接收口语信息并将它转换为可用的数字信息。音频编解码器560可以同样地为用户生成可听声音，诸如通过扬声器，例如在设备550的头戴式耳机中。这种声音可以包括来自话音电话呼叫的声音，可以包括录制声音(例如，语音消息、音乐文件等)并且还可以包括由在设备550上操作的应用所生成的声音。如图中所示，可以以许多不同的形式实现计算设备550。例如，它可以作为蜂窝电话580被实现。它还可以作为智能电话582、个人数字助理或其它类似的移动设备的一部分被实现。

这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门地设计的ASIC、计算机硬件、固件、软件和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向存储系统、至少一个输入设备和至少一个输出设备传送数据和指令。

这些计算机程序，也称为程序、软件、软件应用或代码，包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所用，术语“机器可读介质”、“计算机可读介质”指代任何计算机程序产品、装置和/或设备，例如，磁盘、光盘、存储器、用于将机器指令和/或数据提供给可编程处理器的可编程逻辑设备(PLD)，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，此处描述的系统和技术可以在计算机上实现，该计算机具有：用于将信息显示给用户的显示设备，例如，CRT(阴极射线管)或LCD(液晶显示器)监视器；以及用户可以通过其向计算机提供输入的键盘和指示设备，例如，鼠标或轨迹球。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

这里描述的系统和技术可以在包括以下的计算系统中实现：后端部件(例如，作为数据服务器)、或者包括中间件部件(例如，应用服务器)、或者包括前端组件(例如，具有用户可以通过其与此处描述的系统和技术的实施方式进行交互的图形用户界面或Web浏览器的客户端计算机)、或此类后端、中间件或前端部件的任意组合。系统的组件可以通过数字数据通信的任何形式或介质(诸如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在相应计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。

如本说明书中所使用的，术语“模块”旨在包括但不限于被配置成执行一个或多个软件程序的一个或多个计算机，所述一个或多个软件程序包括使计算机的处理单元/设备执行一个或多个功能的程序代码。术语“计算机”旨在包括任何数据处理或计算设备/系统，诸如台式计算机、膝上型计算机、大型计算机、个人数字助理、服务器、手持设备、智能手机、平板计算机、电子阅读器或任何其他能够处理数据的电子设备。

已经描述了多个实施例。然而，将理解，可以在不脱离本发明的精神和范围的情况下进行各种修改。因此，其他实施例在所附权利要求的范围内。尽管本说明书包含许多特定的实施细节，但是这些不应被解释为对所要求保护的范围的限制，而应被解释为对特定实施例而言特定的特征的描述。在单独的实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。

相反，在单个实施例的上下文中描述的各种特征也可以分离地在多个实施例中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。

类似地，尽管在附图中以特定顺序描绘操作，但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有图示的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品或封装到多个软件产品中。

已经描述了本主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的一些过程不一定需要所示的特定顺序或连续顺序来实现期望的结果。

Claims (21)

1.一种计算机实现的方法，包括：

由计算系统接收与书签相关联的第一输入；

响应于接收到所述输入，由所述计算系统获得用于得出所述书签的注释的上下文数据；

由所述计算系统的注释引擎获得多个注释，所述多个注释是使用所述上下文数据中包括的信息以及与所述书签相关联的所述第一输入的转录来得出的；

通过所述注释引擎为每个注释生成重要性值，所述重要性值表征每个注释与下述中的至少一个之间的关系：

i)所述上下文数据中包括的所述信息；或

ii)所述第一输入的所述转录；

由所述注释引擎生成用于检索所述书签的注释集，所述注释集中的每个注释是从所获得的多个注释中生成的，并且每个注释具有超过阈值的重要性值；以及

由所述计算系统使用所述注释集中的特定注释来检索用于访问资源页面的所述书签。

2.根据权利要求1所述的方法，其中，使用所述特定注释包括：

由所述计算系统接收第二输入；和

由所述注释引擎基于所述第二输入来从所述注释集中选择所述特定注释以使得检索所述书签；以及

由所述计算系统使用所述特定注释来检索用于访问所述资源页面的所述书签。

3.根据权利要求2所述的方法，其中，选择包括：

分析所述第二输入的转录；

从所述第二输入的所述转录中获得一个或多个词项；

对于所述注释集中的每个注释：

确定相似性分值，所述相似性分值指示所述第二输入的所述转录中的词项与用于检索所述书签的所述注释中的词项相匹配的程度；以及

基于所述注释的所述相似性分值超过阈值相似性分值来选择所述特定注释。

4.根据前述权利要求中的任一项所述的方法，其中，所述特定注释被配置为触发以使得检索所述书签，并且所述方法进一步包括：

由所述计算系统基于对第二输入的转录的分析来确定触发条件被满足；

响应于确定所述触发条件被满足而由所述计算系统从书签索引中检索所述书签；以及

响应于从所述书签索引中检索到所述书签而由所述计算系统提供所述书签以在客户端设备处显示。

5.根据前述权利要求中的任一项所述的方法，其中，用于得出所述注释的所述上下文数据是从多个数据源中获得的，所述多个数据源中的每个数据源包括下述中的至少一个：

i)所述书签的标识符；

ii)作为所述书签被存储的资源标识符；

iii)使用所述资源标识符访问的资源页面；

iv)所述资源页面的文本；或

v)基于引用所述资源标识符的搜索查询从搜索引擎获得的信息。

6.根据权利要求5所述的方法，其中，用于得出所述注释的所述上下文数据包括N元语法和描述实体的数据，所述N元语法和描述所述实体的所述数据中的每一个是参考所述第一输入的所述转录从多个数据源中获得的。

7.根据权利要求5或权利要求6所述的方法，其中：

i)所述资源页面由web浏览器应用生成，并且

ii)所述资源标识符是提供用于访问所述资源页面的资源地址的统一资源定位符(URL)。

8.根据权利要求5或权利要求6所述的方法，其中：

i)所述资源页面由使用客户端设备访问的应用生成，所述应用被配置成在应用索引中存储一个或多个深层链接，并且

ii)所述资源标识符是针对所述资源页面的统一资源定位符(URL)并且从包括有关所述应用的地址数据的所述应用索引中获得。

9.根据权利要求5至8中的任一项所述的方法，其中，所述资源标识符是下述中的至少一个：

a)标识由使用客户端设备访问的应用生成的所述资源页面的屏幕图像的数据，或

b)提供用于访问所述应用的所述资源页面的资源地址的深层链接。

10.一种电子系统，包括：

一个或多个处理设备；

一个或多个用于存储指令的机器可读存储设备，所述指令能够由所述一个或多个处理设备执行以执行操作，所述操作包括：

由计算系统接收与书签相关联的第一输入；

响应于接收到所述第一输入，由所述计算系统获得用于得出所述书签的注释的上下文数据；

由所述计算系统的注释引擎获得多个注释，所述多个注释是使用所述上下文数据中包括的信息以及与所述书签相关联的所述第一输入的转录来得出的；

通过所述注释引擎为每个注释生成重要性值，所述重要性值表征每个注释与下述中的至少一个之间的关系：

i)所述上下文数据中包括的所述信息；或

ii)所述第一输入的所述转录；

由所述注释引擎生成用于检索所述书签的注释集，所述注释集中的每个注释是从所获得的多个注释中生成的，并且每个注释具有超过阈值的重要性值；以及

由所述计算系统使用所述注释集中的特定注释来检索用于访问资源页面的所述书签。

11.根据权利要求10所述的电子系统，其中，使用所述特定注释包括：

由所述计算系统接收第二输入；和

由所述注释引擎基于所述第二输入来从所述注释集中选择所述特定注释以使得检索所述书签；以及

由所述计算系统使用所述特定注释来检索用于访问所述资源页面的所述书签。

12.根据权利要求11所述的电子系统，其中，选择包括：

分析所述第二输入的转录；

从所述第二输入的所述转录中获得一个或多个词项；

对于所述注释集中的每个注释：

确定相似性分值，所述相似性分值指示所述第二输入的所述转录中的词项与用于检索所述书签的所述注释中的词项相匹配的程度；以及

基于所述注释的所述相似性分值超过阈值相似性分值来选择所述特定注释。

13.根据权利要求10至12中的任一项所述的电子系统，其中，所述特定注释被配置为触发以使得检索所述书签，并且所述方法进一步包括：

由所述计算系统基于对第二输入的转录的分析来确定触发条件被满足；

响应于确定所述触发条件被满足而由所述计算系统从书签索引中检索所述书签；以及

响应于从所述书签索引中检索到所述书签而由所述计算系统提供所述书签以在客户端设备处显示。

14.根据权利要求10-13中的任一项所述的电子系统，其中，用于得出所述注释的所述上下文数据是从多个数据源中获得的，所述多个数据源中的每个数据源包括下述中的至少一个：

i)所述书签的标识符；

ii)作为所述书签被存储的资源标识符；

iii)使用所述资源标识符访问的资源页面；

iv)所述资源页面的文本；或

v)基于引用所述资源标识符的搜索查询从搜索引擎中获得的信息。

15.根据权利要求14所述的电子系统，其中，用于得出所述注释的所述上下文数据包括N元语法和描述实体的数据，所述N元语法和描述所述实体的所述数据中的每一个是参考所述第一输入的转录从多个数据源中获得的。

16.根据权利要求14或权利要求15所述的电子系统，其中：

i)所述资源页面由web浏览器应用生成，并且

ii)所述资源标识符是提供用于访问所述资源页面的资源地址的统一资源定位符(URL)。

17.根据权利要求14或权利要求15所述的电子系统，其中：

i)所述资源页面由使用客户端设备访问的应用生成，所述应用被配置成在应用索引中存储一个或多个深层链接，并且

ii)所述资源标识符是针对所述资源页面的统一资源定位符(URL)并且是从包括有关所述应用的地址数据的所述应用索引中获得的。

18.根据权利要求14至17中的任一项所述的电子系统，其中，所述资源标识符是下述中的至少一个：

a)标识由使用客户端设备访问的应用生成的所述资源页面的屏幕图像的数据，或

b)提供用于访问所述应用的所述资源页面的资源地址的深层链接。

19.一种存储指令的一个或多个机器可读存储设备，所述指令能够由一个或多个处理设备执行以执行操作，所述操作包括：

由计算系统接收与书签相关联的第一输入；

响应于接收到所述第一输入，由所述计算系统获得用于得出所述书签的注释的上下文数据；

由所述计算系统的注释引擎获得多个注释，所述多个注释是使用所述上下文数据中包括的信息以及与所述书签相关联的所述第一输入的转录来得出的；

通过所述注释引擎为每个注释生成重要性值，所述重要性值表征每个注释与下述中的至少一个之间的关系：

i)所述上下文数据中包括的所述信息；或

ii)所述第一输入的所述转录；

由所述注释引擎生成用于检索所述书签的注释集，所述注释集中的每个注释是从所获得的多个注释中生成的，并且每个注释具有超过阈值的重要性值；以及

由所述计算系统使用所述注释集中的特定注释来检索用于访问资源页面的所述书签。

20.根据权利要求19所述的机器可读存储设备，其中，使用所述特定注释包括：

由所述计算系统接收第二输入；和

由所述注释引擎基于所述第二输入来从所述注释集中选择所述特定注释以使得检索所述书签；以及

由所述计算系统使用所述特定注释来检索用于访问所述资源页面的所述书签。

21.一种存储指令的一个或多个机器可读存储设备，所述指令能够由一个或多个处理设备执行以执行根据权利要求1至9中的任一项所述的方法。

Images