CN109154935A - 对用于任务完成的信息的智能捕获、存储和取回 - Google Patents

Abstract

提供了对用于任务完成的信息的智能捕获、存储和取回。用户可以显式地请求捕获信息，或者用户信息从一个或多个数据流被隐式地捕获。对捕获的信息的语义理解被提供，其中离线过程被运行，离线过程分析捕获的信息以将它们装入一组预定义的高值场景中。每当捕获落入这样的场景中时，关于捕获的附加的结构化信息被提取。此外，各方面提供了在数据储存库中存储和索引信息。用户被支持使用自然语言界面显式地取回存储的信息，或者存储的信息可以基于上下文而被主动地提供给用户以支持任务完成。

Description

对用于任务完成的信息的智能捕获、存储和取回

背景技术

计算设备用户被暴露于大量信息，包括用户可能需要以便帮助记住并且能够在想要或需要时访问的信息。存储信息的传统示例方法是“保存”范例，例如，用户将信息存储在文档中，这些文档诸如文字处理文档、幻灯片演示文档、电子表格、便签文档、邮件消息等。这样方式对于例如存储大量信息的台式计算机用户可能是有效的。但是，用户需要记住信息被存储的位置以访问和使用保存的信息。

另外，很多计算机用户正在从个人计算机范例转向仅移动或移动优先范例，并且与用户如何消费信息相关联的消费模式正在改变。例如，用户越来越多地存储主要与实体相关联的信息片段，诸如餐馆名称、联系人姓名和/或号码、日期、事实、方向、会员号、帐户信息等，并且可以利用各种方式来存储和访问信息。例如，用户可以使用联系人或笔记应用来录入和存储信息，或者使用嵌入式摄像头以用于捕获信息的图像。这样的方式可能要求用户显式地捕获信息，并且然后在需要时查找和取回信息。作为另一示例，用户可以显式地命令个人助理应用基于日期、一天中的时间、用户要去或离开的地方或与用户联系的人来提供针对具体项目的提醒。虽然这种示例方式支持信息的上下文显现(surface)，但是它还需要用户的显式动作来捕获信息。除此之外，随着技术进步，用户的期望也会发生变化。例如，用户越来越期望被应用于存储的信息的智能以及系统利用附加的元数据来提供丰富的信息。

发明内容

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式部分中被进一步描述。本发明内容并非旨在标识要求保护的主题内容的所有特征，也并非旨在限制要求保护的主题内容的范围。

各方面涉及用于支持对用于任务完成的信息的智能捕获、存储和取回的设备、方法和计算机可读介质。智能捕获存储和响应(ICSR)系统被提供以用于接收显式地捕获的信息或者用于隐式地捕获与用户相关联的信息，在语义上理解信息，基于信息来生成推断，以及反应性地或主动地取回并且基于上下文来向用户提供有意义的信息。

在下面的附图和描述中阐述了一个或多个方面的细节。从对以下具体实施方式的阅读和对相关联的附图的回顾，其他特征和优点将是清楚的。应当理解，以下具体实施方式仅是说明性的而非限制性的；本公开内容的适当范围由权利要求限定。

附图说明

被并入在本公开内容中并且构成本公开内容的一部分的附图示出了本公开内容的各个方面。在附图中：

图1是示出其中可以实现对用于任务完成的信息的智能捕获、存储和取回的示例环境的简化框图；

图2是示出示例ICSR系统的各种组件的简化框图；

图3是捕获信息的示例显式请求的图示；

图4是表示实体以及它们的属性的结构化示意图以及它们如何与用户相关的示例图表的一部分的图示；

图5是示出在用于提供对用于任务完成的信息的智能捕获、存储和取回的示例方法中涉及的一般阶段的流程图；

图6是示出可以用以实践示例的计算设备的物理组件的框图；

图7A和图7B是可以用以实践各方面的移动计算设备的框图；以及

图8是可以在其中实践各方面的分布式计算系统的框图。

具体实施方式

以下详细描述参考附图。只要可能，在附图和以下描述中使用相同的附图标记来指代相同或相似的元素。虽然可以描述本公开内容的各方面，但是修改、适配和其他实现方式是可能的。例如，可以对附图中示出的元素进行替换、添加或修改，并且可以通过将阶段替换、重新排序或添加到所公开的方法来修改本文中描述的方法。因此，以下具体实施方式不限制本公开内容，相反，本公开内容的适当范围由所附权利要求限定。示例可以采用硬件实现方式或完全软件实现方式或组合软件和硬件方面的实现方式的形式。因此，以下具体实施方式不应当被视为具有限制意义。

本公开内容的各方面涉及用于提供对用于任务完成的信息的智能捕获、存储和取回的设备、方法和计算机可读介质。例如，各方面支持一种用来显式地捕获信息的手段，诸如通过自由格式文本、标记的照片或要记住的显式命令。另外，各方面支持一种用来隐式地捕获用户信息的手段，诸如通过理解存储的图像、访问的网页等的不同数据流。此外，提供了对捕获的信息的语义理解。例如，离线过程被运行，这些离线过程分析捕获的信息以将它们装入(bucket)到一组预定义的高值场景中。只要捕获落入这样的场景中，关于捕获的更多结构化信息就会被提取。此外，各方面提供了在数据储存库中存储和索引信息。用户能够使用自然语言界面显式地取回存储的信息，或者存储的信息可以被主动地提供给用户以支持任务完成。根据一个方面，捕获的信息被存储在后端服务器上，并且用于对信息的智能捕获、存储和取回的大量数据分析和处理由后端服务器设备执行，从而节省了存储器并且减少了用户的计算设备的处理器负载。

图1示出了其中可以实现对用于任务完成的信息的智能捕获、存储和取回的计算环境100的表示的简化框图。如图所示，示例环境包括执行智能数字个人助理112的计算设备102，智能数字个人助理112能够通过网络114或网络的组合远程地访问智能捕获存储和响应(ICSR)系统106，网络包括例如但不限于广域网(例如，因特网)、局域网、专用网络、公共网络、分组网络、电路交换网络、有线网络和/或无线网络。计算设备102可以是用于执行应用104以用于执行各种任务的各种类型的计算设备之一(例如，平板计算设备、台式计算机、移动通信设备、膝上型计算机、膝上型/平板计算机混合计算设备、大屏幕多点触摸显示器、游戏设备、智能电视、可穿戴设备、连接汽车(connected aotomobile)、智能家居设备或其他类型的计算设备。这些计算设备的硬件关于图6、图7A、图7B和图8而被更详细地讨论。

在一个示例中，应用104包括生产力应用，用户可以在计算设备102上利用生产力应用以用于各种任务，这些任务可以包括例如写入、计算、绘制、取得和组织笔记，组织、准备演示文稿，发送和接收电子邮件，浏览web内容，制作音乐，等等。应用104可以包括可以被在本地存储在计算设备102上的胖客户端应用，或者可以包括驻留在远程服务器上并且通过网络114或网络的组合可访问的瘦客户端应用(即，web应用)。瘦客户端应用可以被托管在浏览器控制的环境中，或者以浏览器支持的语言而被编码，并且依赖于公共web浏览器以渲染在计算设备102上可执行的应用。

在一个示例中，智能数字个人助理112在计算设备102的操作系统(OS)层中被实例化。在另一示例中，由智能数字个人助理112提供的功能使用在计算设备102的应用或硬件层中被支持的组件而被全部或部分地实现。根据一个方面，智能数字个人助理112操作以针对用户执行功能或服务，诸如设置提醒，识别自然用户输入，经由搜索引擎使用外部数据来回答问题，搜索计算设备102上或与计算设备102通信的数据存储储存库110中的文件，执行计算和转换，跟踪飞行和包裹，检查天气，设置警报，启动应用104，发送消息，创建日历事件，等等。这样的功能或服务可以例如基于用户输入(例如，由用户做出的显式请求)而被执行，或者主动地基于上下文信息而被执行，这些上下文信息诸如时间/日期、用户的位置、语言、时间表、被安装在计算设备102上的应用104、用户的偏好、用户的行为(其中这样的行为在通知用户和用户同意的情况下被监测/跟踪)、存储的联系人(在某些情况中，包括到本地用户或远程用户的社交图的链接，诸如由外部社交联网服务保持的那些链接)、呼叫历史、消息接发历史、浏览历史、设备类型、设备能力、通信网络类型和/或在其中被提供的特征/功能、移动数据计划约束/限制、与通信的其他各方相关联的数据(例如，时间表、偏好等)等。传统数字个人助理的一些示例包括(由华盛顿州雷蒙德市的微软公司发布)、(由加利福尼亚州库比蒂诺的苹果计算机发布)和GOOGLE NOW^TM(由加利福尼亚州山景城的谷歌公司发布)。

根据一个方面，智能数字个人助理112或应用104采用用户界面(UI)116，通过该用户界面，用户可以提交问题、命令或其他口头输入，并且通过该用户界面，对这样的输入或其他信息的响应可以被递送给用户。在一个示例中，输入可以包括由计算设备102的麦克风捕获的用户语音。这一示例并非旨在是限制性的，并且用户输入可以按照其他方式而被提供。例如，可以采用各种用户界面技术，其中用户输入可以经由硬件输入设备而被接收，这些硬件输入设备诸如鼠标、键盘、遥控器、笔/触笔等。作为另一示例，用户输入可以经由自然输入设备/方法而被接收，这些自然输入设备/方法支持用户以“自然的”方式与计算设备102交互，诸如依赖于语音识别、触摸和触笔识别、屏幕上和屏幕附近两者的手势识别、空中手势、头部和眼睛跟踪、声音和语音、视觉、触摸、悬停、手势和机器智能的自然输入设备/方法。响应可以按照文本、图像或智能数字个人助理112或被示出在应用104的图形用户界面(GUI)内的显示器上的其他可视内容的形式被使得对用户可见。响应还可以包括计算机生成的语音或经由计算设备102的(多个)扬声器而被播放或被连接到计算设备的其他音频内容。

如图1中所示，计算设备102经由一个或多个网络114被通信地连接到ICSR系统106。根据一个方面，ICSR系统106包括一个或多个计算机(例如，服务器计算机108)，它们被编程为提供服务以支持智能捕获、存储和取回用于任务完成的信息的操作。在一个示例中，ICSR系统106被与智能数字个人助理后端系统集成或通信地附接，该智能数字个人助理后端系统操作以提供支持智能数字个人助理112和在其他计算设备上执行的其他智能数字个人助理的操作的服务。在一个示例中，计算设备102包括应用程序编程接口(API)118，API118操作以支持智能数字个人助理112与各种应用104通信，例如，以经由存储的指令访问ICSR系统106功能。在另一示例中，ICSR系统106能够与各种应用104直接地通信以用于提供对用于任务完成的信息的智能捕获、存储和取回。

现在参考图2，包括ICSR系统106的各种组件的简化框图被示出。应当领会到，各种组件的全部或组合可以跨多个服务器计算机108而被实现。根据一个方面，当用户利用智能数字个人助理112或应用104来显式地请求捕获信息(例如，“记住我姐姐的生日是6月24日”)或者显式地请求取回捕获的信息(例如，以问题、命令或执行与捕获的信息相关的功能的请求的形式(例如，“我姐姐的生日是什么时候”？或“向乔短信通知我姐姐的生日”))时，智能数字个人助理112或应用104操作以利用反应端点202来将请求发送给ICSR系统106。在另一示例中，反应端点202被表现在被连接到用户的服务(例如，应用服务、用户拥有帐户的服务)中。

根据示例，当用户通过由智能数字个人助理112或应用104采用的UI 116提交问题、命令或其他输入时，该输入被发送给自然语言(NL)处理器208。在一个示例中，输入是由用户录入或由用户说出并且转换为文本的文本串，例如，经由语音识别服务或与智能数字个人助理112或应用104集成或通信的语音到文本服务。根据一个方面，NL处理器208说明操作以从用户接收显式请求的软件模块、系统或设备(诸如捕获信息的显式请求或取回捕获的信息的显式请求)，以及处理、理解和从请求提取信息以用于提供响应。应当领会到，NL处理器208包括用于在人类语音被说出时理解人类语音的功能。

图3中所示的示例示出了用户302通过由在计算设备102上执行的智能数字个人助理112采用的自然输入UI 116来提供请求304，诸如口头命令。在所示的示例中，用户302说出指令智能数字个人助理112“记住我姐姐的生日是6月24日”的命令(即，请求304)。因此，智能数字个人助理112生成用户的请求304的文本串306，并且将文本串306发送给反应端点202以用于传输给NL处理器208。

再次参考图2，根据一个方面，NL处理器208包括获取/设置分类器210和实体/意图提取器212。获取/设置分类器210操作以确定用户的请求304是获取请求还是设置请求。例如，如果用户302显式地请求智能数字个人助理112捕获信息，则请求被分类为设置请求。作为另一示例，如果用户302显式地请求智能数字个人助理112取回信息(其可以是执行与捕获的信息相关的功能的请求)，则请求被分类为获取请求。

实体/意图提取器212操作以处理接收的字符串306，并且将数据转换为集合(键，值)对集合，其中键指代与请求304的主题对应的特定特征，并且值表示针对该特征的特定描述性信息。例如，在图3中所示的示例中，实体/意图提取器212操作以提取“姐姐的生日”作为键并且提取“6月24日”作为值。

仍然参考图2，ICSR系统106还包括捕获和响应服务214，捕获和响应服务214包括反应模块216和主动模块220。根据一个方面，反应模块216包括数据类型标识符218和数据处置器219。数据类型标识符218操作以确定存储显式捕获的信息的位置。在一个示例中，数据类型标识符218关于请求304是否包括高业务影响(HBI)信息做出确定，这些信息诸如认证/授权凭证(即，用户名和口令、私有密码密钥、PIN、以及硬件或软件令牌)、高度敏感的个人可标识信息(PII)(包括政府提供的证书(即，护照、社会保障或驾驶执照号码))、财务数据(诸如信用卡信息、信用报告或个人收入声明)、医疗信息(诸如记录和生物识别标识符)等。当HBI信息被标识出时，数据类型标识符218将键-值对分类为HBI信息，并且例如做出将键-值对存储在HBI存储库235索引240中的确定，这可以采用更严格的权限和授权以用于访问HBI分类的信息。当HBI信息未被标识出时，数据类型标识符218操作以做出将键-值对存储在个人数据存储库236索引240中的确定。

根据一个方面，数据处置器219操作以对确定的数据存储库索引240执行索引查询，并且确定键或键-值对是否已经存在。当做出键或键-值对已经存在的确定时，数据处置器219操作以覆写存储的数据。当做出先前没有存储键和键-值对的确定时，数据处置器219操作以将键-值对存储在确定的数据存储库235、236中。根据一个示例，由ICSR系统106的各种组件执行的上述处理步骤在查询时被执行，例如，当用户302做出捕获信息的显式请求304时。图2中所示的虚线有助于图示查询时间、非查询时间处理组件和数据存储库。

根据一个方面，ICSR系统106的非查询时间处理组件被采用以对捕获的信息提供语义理解。ICSR系统106的一个非查询时间处理组件包括数据挖掘平台226，以说明其中大量数据(例如，从点击流和遥测到文档、多媒体和表格数据)被分析以取回有价值的信息的数据存储/查询系统。在一个示例中，数据挖掘平台226操作以访问HBI数据存储库235索引240和个人数据存储库236索引240，并且执行数据丰富服务228以用于理解实体、实体类型以及捕获的信息的实体之间的关系。

根据一个方面，数据丰富服务228包括实体、动作和测量(EAM)标识符232，以说明操作以标识实体、实体的属性和实体的与其他实体的关系和事件的软件模块、系统或设备。在一个示例中，EAM标识符232分析捕获的信息，并且确定捕获的信息是否可以被分类为具有预定义模式的捕获。例如，与生日相关的捕获的信息可以被识别为生日捕获，其中预定义模式包括EAM标识符232提取的人物对象和日期对象。继续上面的示例，其中用户302显式地请求捕获与用户的姐姐的生日相关的信息，EAM标识符232操作以分析存储的捕获，并且标识实体和实体的属性。例如，EAM标识符232操作以标识“姐姐的生日”涉及用户的姐姐，例如，其被命名为贝拉，并且“6月24日”是日期对象。

此外，EAM标识符232操作以标识实体的与其他实体的关系和事件以及与实体、实体类型或与其他相关联实体相关联的相关动作。例如，基于可以包括先前显式或隐式捕获的数据的其他存储数据，EAM标识符232可与确定贝拉是青少年，并且具有对绘画和瑜伽的亲和力，并且喜欢由称为普拉那的音乐组合的音乐。因此，EAM标识符232操作以创建表示每个实体的对象，例如：

实体＝普拉那；

实体类型＝音乐组合；

相关动作＝购买门票、流传输音频和/或视频，下载音频和/或视频，

购买商品，获取相关的音乐，......

根据一个方面，数据丰富服务228还包括任务优先级生成器234，以说明操作以基于对用户302确定的重要性来对动作或任务划分优先级的软件模块、系统或设备。例如，任务优先级生成器234操作以基于收集的数据(诸如用户的对先前建议的任务的使用或反应、搜索日志(例如，用户搜索过的内容、他们点击过的内容)、浏览器日志(例如，用户访问的站点、浏览顺序)、广告日志(例如，用户点击的广告、被示出的内容))来对与实体相关联的标识的相关动作(即，任务)划分优先级。收集的数据可以与特定用户302相关联，或者可以与集体用户相关联。

根据一个方面，数据丰富服务228还操作以将标识的实体、属性和划分优先级的任务传递到推理生成器246。推理生成器246说明操作以索引并且表示标识的实体、属性和知识图238中的实体之间的关系并且标识图中的对象之间的附加关系的软件模块、系统或设备。例如，推理生成器246操作以将实体和属性表示为节点，并且将实体之间的属性和关系表示为边，从而提供实体以及它们的属性以及它们如何与用户302相关的结构化示意图。用于用户302的示例知识图238的一部分在图4中被示出。例如，第一节点402表示用户302，并且通过表示姐姐关系的边406被连接到表示贝拉的下一节点404。此外，表示贝拉的节点404通过表示生日关系的边410被连接到表示日期1995年6月24日的另一节点408。

再次参考图2，推理生成器246还操作以将图238和索引240中表示的语义丰富数据存储在个人数据存储库236或HBI数据存储库235中，以支持进行查询以获取关于其中所包含的实体的信息。在一个示例中，用户302能够显式地请求信息，其中在索引240上针对显式请求的信息进行查询。在另一示例中，可以例如基于上下文向用户302主动地提供信息，其中在索引240上针对上下文特定的信息进行自动化查询。下面将更详细地描述显式和主动信息取回。

根据一个方面，数据丰富服务228还包括候选捕获生成器230，以说明操作以挖掘存储的数据并且确定是否存在用于针对用户302捕获和存储的潜在候选信息项的软件模块、系统或设备。例如，数据挖掘平台226可以访问一个或多个数据存储库，诸如在线数据存储库242。在一个示例中，在线数据存储库242是包括用户的文档、照片、音乐、电子邮件附件、联系人等的基于云的储存库。候选捕获生成器230操作以挖掘用户的数据，并且分析数据以用于确定信息项是否是用来针对用户隐式地捕获和存储的信息。在一个示例中，候选捕获生成器230分析数据以确定信息项与预定义模式是否匹配，其中预定义模式定义特定捕获类型的语义。根据一个方面，分析包括分析光学字符识别(OCR)数据、全球定位卫星(GPS)数据或与存储的数据相关联的其他元数据。

在一个示例中，用户可以具有被存储在在线数据存储库242中的会员卡的照片捕获。通过使用诸如OCR的识别技术，会员卡的语义可以被提取和构造。候选捕获生成器230可以包括用于定义要提取的各种语义的会员卡的预定义模式。因此，当在在线数据存储库242中发现具有预定义模式的信息项(诸如会员卡的图像)时，候选捕获生成器230隐式地捕获该信息项并且将其传递给EAM标识符232。例如，对于会员卡，EAM标识符232可以标识和提取商业实体、数字、条形码等。可以具有定义可提取语义的预定义模式的信息项的其他非限制性示例包括策略文档、护照、出生证明、信用卡、药物等。例如，对于策略文档，EAM标识符232可以标识和提取业务实体、策略号、策略到期日等。根据一个方面，如同显式捕获，隐式捕获的预定义语义可以被标识和提取，并且然后被传递给推理生成器246，其中可以对提取的信息进行索引、绘制图形，并且其中可以发现和生成新的关系。例如，使用知识图，与关联于捕获的实体相关的附加元数据可以被标识并且作为被连接到捕获的实体的节点存储在图238中，从而提供丰富的数据。另外，存储的丰富数据被索引。

根据一个方面，ICSR系统106还包括主动模块220，主动模块220包括捕获确认器222。捕获确认器222说明操作以标识尚未被确认的捕获(诸如隐式捕获的信息)以用于呈现给用户302的软件模块、系统或设备。例如，当智能数字个人助理112被打开时，经由主动端点204对捕获确认器222进行调用以针对关于用户302而被标识的新的数据而查询索引240，例如，由候选捕获生成器230发现的信息项。在一个示例中，主动端点204被表现在用户的计算设备102上。在另一示例中，主动端点204表现在被连接到用户的服务(例如，应用服务、用户具有帐户的服务)中。

当尚未被确认的新数据被发现时，捕获被呈现给用户302以用于确认。例如，如果针对特定航空公司的会员卡(例如，包括附加元数据)被隐式地捕获，则智能数字个人助理112向用户302指示会员卡被捕获，并且向用户询问用户是否想要系统记住会员卡。当用户指示他/她不希望系统记住捕获时，捕获确认器222操作以从索引240移除捕获。否则，当用户指示他/她想要系统记住捕获时，捕获确认器222操作以在索引240中将捕获标记为确认的捕获，并且包括附加元数据的模式化捕获准备好被用于任务完成。

在一些示例中，捕获的信息可以经由主动端点204而被主动地显现给用户。根据一个方面，上下文数据(例如，时间/日期、用户的位置、语言、时间表、被安装在设备上的应用、用户的偏好、用户的行为(这样的行为在通知用户和用户同意的情况下被监测/跟踪)、存储的联系人(在某些情况中，包括指向本地用户或远程用户的社交图的链接，诸如由外部社交联网服务保持的那些)、呼叫历史、消息接发历史、浏览历史、设备类型、设备能力、通信网络类型和/或其中提供的特征/功能、移动数据计划约束/限制、与通信的其他各方相关联的数据(例如，他们的时间表、偏好等)经由主动端点204被传送给ICSR系统106。

如图2中所示，主动模块220还包括上下文触发器224，以说明操作以接收上下文数据、针对响应于上下文数据的确认的捕获信息而查询索引240的软件模块、系统或设备。例如，考虑用户302正在利用浏览器应用104导航到与航空公司X相关联的网站以用于预订机票。根据系统的语义理解，ICSR系统106知道存在与航空公司X相关的捕获的信息，例如，针对航空公司X的捕获的会员卡，其中语义理解使得系统能够知道会员卡帮助用户省钱并且向用户302提供益处。因此，上下文触发器224针对信息而查询索引240以向用户主动地显现。例如，当上下文触发器224标识主动地显现给用户的相关信息时，标识的信息经由主动端点204被取回并且被提供给用户。作为示例，用户的航空公司X会员卡号码可以被自动地输入到网站中的适当字段。根据其他示例，可以按照其他方式向用户提供基于上下文的主动地取回的与用户相关的捕获的信息，诸如通过自动地执行与主动地取回的捕获的信息相关的功能，操作计算设备102，或者执行各种其他功能。

根据一个示例，当用户302显式地请求执行与取回显式或隐式捕获的信息相关的功能时，反应端点202操作以将请求传递给NL处理器208。用户302可以经由与智能数字个人助理112的交互(通过自然语言UI或GUI)请求捕获的信息，请求执行任务或提供与捕获的信息相关的服务的，等等。作为示例，用户302可以说出或键入诸如“贝拉的生日是什么时候”或“我的航空公司X会员卡号码是什么？”等请求。因此，该请求由反应端点202接收，并且请求被发送到NL处理器208，NL处理器208操作以标识用户正在请求信息以及用户正请求查询索引240的信息。

如上所述，NL处理器208包括操作以确定用户的请求304是获取请求还是设置请求的获取/设置分类器210。在其中用户302显式地请求取回捕获的信息或显式地请求执行与捕获的信息相关的功能的场景中，获取/设置分类器210将请求分类为获取请求。此外，实体/意图提取器212处理接收的字符串306，并且将数据转换为集合(键，值)对集合，其中键指代与请求304的主题对应的特定特征，并且值表示针对用于查询索引240的该特征的具体描述性信息。

反应端点202还操作以从ICSR系统106接收响应以用于呈现给用户102。例如，当对索引240进行查询并且请求的信息被找到时，响应被生成并且被提供给用户302，例如，通过自然语言UI、GUI、或通过执行任务，提供服务，收集信息，操作计算设备102，或者通过执行各种其他功能。功能的列表并非旨在是穷举的，并且其他功能可以由智能数字个人助理112提供以用于任务完成。在一些示例中，捕获服务206被利用，其中ICSR系统功能被公开作为对其他体验的服务。此外，在一些示例中，ICSR系统106包括度量生成器244，以说明操作以测量用户302是否正在利用捕获的信息以例如用于提供针对机器学习的反馈的软件模块、系统或设备。

已经描述了示例操作环境和各种示例，图5是示出在用于提供对用于任务完成的信息的智能捕获、存储和取回的示例方法500中涉及的一般阶段的流程图。方法500在“操作”502处开始，并且前进到其中信息被捕获的“操作”504。在一个示例中，用户302做出捕获信息的显式请求，其中反应端点202将请求传递给ICSR系统106。在另一示例中，被存储在在线数据存储库242中的数据被分析，并且信息项被标识为隐式地捕获的候选，例如，信息项被标识为包括预定义模式的项。

方法500前进到其中捕获的信息被理解的“操作”504。对于显式捕获的信息，NL处理器208能够从捕获的信息提取键和值，并且确定在何处存储提取的数据集。显式地和隐式地捕获的信息由数据丰富服务228处理，其中信息被分析以用于标识实体、属性和动作，并且被传递给推理生成器246以用于发现元数据并且生成新的关系以进一步丰富数据并且向数据提供模式化结构。例如，捕获的信息在知识图240中被表示为被连接到用户的节点和边的网络。

方法500继续到其中丰富数据被存储和索引的“操作”506。在“操作”508处，捕获的信息被取回。在一个示例中，用户302做出取回捕获的信息的显式请求，诸如经由通过自然语言UI或GUI与智能数字个人助理112或应用104的交互。在另一示例中，经由主动端点204，对上下文触发器224进行调用以查看确认的捕获的信息并且基于由主动端点提供的上下文数据来确定是否存在向用户主动地显现的任何信息。

在“操作”510处，响应于显式请求或响应于发现要向用户主动地显现的信息，经由反应端点202或主动端点204将捕获的信息提供给用户。例如，捕获的信息可以按照被示出在智能数字个人助理112或应用104的GUI中的显示器上的文本、图像或其他可视内容的形式使用户可看见，可以按照经由计算设备102的(多个)扬声器或被连接到计算设备的(多个)扬声器而被回放的计算机生成的语音或其他音频内容的形式对用户可听见，或者可以通过执行任务或提供服务而被提供给用户(“操作”512)。方法500在“操作”598处结束。

虽然已经在与在计算机上的操作系统上运行的应用程序一起执行的程序模块的一般上下文中描述了实现方式，但是本领域技术人员将认识到，这些方面也可以与其他程序模块一起被实现。通常，程序模块包括例程、程序、组件、数据结构和执行特定任务或实现特定抽象数据类型的其他类型的结构。

本文中描述的各方面和功能可以经由多种计算系统来操作，这些计算系统包括但不限于台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或板(slate)型计算机、笔记本计算机和膝上型计算机)、手持设备、多处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机和大型计算机。

另外，根据一个方面，本文中描述的各方面和功能在分布式系统(例如，基于云的计算系统)上操作，其中应用功能、存储器、数据存储和取回以及各种处理功能通过诸如因特网或内联网的分布式计算网络彼此远程操作。根据一个方面，用户界面和各种类型的信息经由车载计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元而被显示。例如，用户界面和各种类型的信息在用户界面和各种类型的信息被投影到的墙壁表面上显示和交互。与实践实现方式的多个计算系统的交互包括击键输入、触摸屏输入、语音或其他音频输入、手势输入，其中相关联的计算设备配备有用于捕获和解释用户手势以控制计算设备等的功能的检测(例如，相机)功能。

图6至图8和相关联的描述提供了对其中实践示例的各种操作环境的讨论。然而，关于图6至图8示出和讨论的设备和系统是出于示例和说明的目的，而不是限制用于实践本文所描述的方面的大量计算设备配置。

图6是示出可以用以实践本公开内容的示例的计算设备600的物理组件(即，硬件)的框图。在基本配置中，计算设备600包括至少一个处理单元602和系统存储器604。根据一个方面，取决于计算设备的配置和类型，系统存储器604包括但不限于易失性存储装置(例如，随机存取存储器)、非易失性存储装置(例如，只读存储器)、闪存或这样的存储器的任何组合。根据一个方面，系统存储器604包括操作系统605和适合于运行软件应用650的一个或多个程序模块606。根据一个方面，系统存储器604包括操作以使得软件应用650能够经由存储的指令来采用本公开内容的教导的ICSR系统106。例如，操作系统605适合于控制计算设备600的操作。此外，各方面结合图形库、其他操作系统或任何其他应用程序而被实践，并且不限于任何特定应用或系统。这一基本配置在图6中由虚线608内的那些组件示出。根据一个方面，计算设备600具有附加特征或功能。例如，根据一个方面，计算设备600包括附加数据存储设备(可移除和/或不可移除)，诸如例如磁盘、光盘或磁带。这样的附加存储装置在图6中由可移除存储设备609和不可移除存储设备610示出。

如上所述，根据一个方面，多个程序模块和数据文件被存储在系统存储器604中。当在处理单元602上执行时，程序模块606(例如，ICSR系统106)执行过程，这些过程包括但不限于图5中所示的方法500的阶段中的一个或多个阶段。根据一个方面，根据示例使用其他程序模块，并且其他程序模块包括诸如电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等应用。

根据一个方面，计算设备600具有一个或多个输入设备612，诸如键盘、鼠标、笔、声音输入设备、触摸输入设备等。根据一个方面，还包括(多个)输出设备614，诸如显示器、扬声器、打印机等。上述设备是示例，并且可以使用其他设备。根据一个方面，计算设备600包括允许与其他计算设备618的通信的一个或多个通信连接616。合适的通信连接616的示例包括但不限于射频(RF)发射器、接收器和/或收发电路；通用串行总线(USB)、并行和/或串行端口。

本文中使用的术语计算机可读介质包括计算机存储介质装置和制品。计算机存储介质包括以用于诸如计算机可读指令、数据结构或程序模块的信息的存储的任何方法或技术而被实现的易失性和非易失性、可移除和不可移除介质。系统存储器604、可移除存储设备609和不可移除存储设备610都是计算机存储介质示例(即，存储器存储装置)。根据一个方面，计算机存储介质包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者可以被用于存储信息并且可以由计算设备600访问的任何其他制品。根据一个方面，任何这样的计算机存储介质是计算设备600的一部分。计算机存储介质不包括载波或其他传播的数据信号。

根据一个方面，通信介质由计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制的调制的数据信号中的其他数据体现，并且包括任何信息递送介质。根据一个方面，术语“调制的数据信号”描述以使得能够在信号中对信息编码的方式设置或改变一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接等有线介质以及诸如声学、射频(RF)、红外和其他无线介质等无线介质。

图7A和图7B示出了可以用以实践这些方面的移动计算设备700，例如，移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图7A，示出了用于实现这些方面的移动计算设备700的示例。在基本配置中，移动计算设备700是具有输入元件和输出元件两者的手持式计算机。移动计算设备700通常包括显示器705和允许用户向移动计算设备700中输入信息的一个或多个输入按钮710。根据一个方面，移动计算设备700的显示器705用作输入设备(例如，触摸屏显示器)。如果被包括，则可选的侧输入元件715允许进一步的用户输入。根据一个方面，侧输入元件715是旋转开关、按钮或任何其他类型的手动输入元件。在备选示例中，移动计算设备700包括更多或更少的输入元件。例如，在一些示例中，显示器705可以不是触摸屏。在备选示例中，移动计算设备700是便携式电话系统，诸如蜂窝电话。根据一个方面，移动计算设备700包括可选的小键盘735。根据一个方面，可选的小键盘735是物理小键盘。根据另一方面，可选的小键盘735是在触摸屏显示器上被生成的“软”小键盘。在各个方面中，输出元件包括用于示出图形用户界面(GUI)的显示器705、视觉指示器720(例如，发光二极管)和/或音频换能器725(例如，扬声器)。在一些示例中，移动计算设备700并入用于向用户提供触觉反馈的振动换能器。在又一示例中，移动计算设备700并入用于向外部设备发送信号或从外部设备接收信号的外围设备端口740，诸如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)。

图7B是示出移动计算设备的一个示例的架构的框图。也就是说，移动计算设备700并入用来实现一些示例的系统(即，架构)702。在一个示例中，系统702被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息接发客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些示例中，系统702被集成为计算设备，诸如集成的个人数字助理(PDA)和无线电话。

根据一个方面，一个或多个应用程序750被加载到存储器762中并且在操作系统764上或与其相关联地运行。应用程序的示例包括电话拨号器程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息接发程序等。根据一个方面，ICSR系统106被加载到存储器762中。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768被用于存储在系统702被断电时不应当被丢失的持久性信息。应用程序750可以在非易失性存储区域768中使用和存储信息，诸如电子邮件或由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统702上，并且被编程为与驻留在主计算机上的对应同步应用交互，以使被存储在非易失性存储区域768中的信息与被存储在主计算机处的对应信息保持同步。应当领会到，其他应用可以被加载到存储器762中并且在移动计算设备700上运行。

根据一个方面，系统702具有被实现为一个或多个电池的电源770。根据一个方面，电源770还包括对电池进行补充或再充电的外部电源，诸如AC适配器或电动对接支架。

根据一个方面，系统702包括执行传输和接收射频通信的功能的无线电772。无线电772经由通信载体或服务提供商促进系统702与“外部世界”之间的无线连接。去往和来自无线电772的传输在操作系统764的控制下被进行。换言之，由无线电772接收的通信可以经由操作系统764被传播给应用程序750，反之亦然。

根据一个方面，视觉指示器720被用于提供视觉通知，和/或音频接口774被用于经由音频换能器725产生可听通知。在所示的示例中，视觉指示器720是发光二极管(LED)并且音频换能器725是扬声器。这些设备可以被直接地耦合到电源770，从而使得当被激活时，它们保持开启持续由通知机制指示的持续时间，即使处理器760和其他组件可能关闭以节省电池电量。LED可以被编程为无限期地保持开启，直到用户采取动作来指示设备的通电状态。音频接口774被用于向用户提供可听信号以及从用户接收可听信号。例如，除了被耦合到音频换能器725之外，音频接口774还可以被耦合到麦克风以接收可听输入，诸如以促进电话交谈。根据一个方面，系统702还包括使得车载相机730的操作能够记录静止图像、视频流等的视频接口776。

根据一个方面，实现系统702的移动计算设备700具有附加特征或功能。例如，移动计算设备700包括附加数据存储设备(可移除和/或不可移除)，诸如磁盘、光盘或磁带。这样的附加存储装置在图7B中由非易失性存储区域768示出。

根据一个方面，由移动计算设备700生成或捕获并且经由系统702被存储的数据/信息在本地被存储在移动计算设备700上，如上所述。根据另一方面，数据被存储在由设备经由无线电772或经由移动计算设备700与关联于移动计算设备700的单独计算设备(例如，诸如因特网的分布式计算网络中的服务器计算机)之间的有线连接可访问的任何数目的存储介质上。应当领会到，这样的数据/信息可以经由移动计算设备700经由无线电772或经由分布式计算网络而被访问。类似地，根据一个方面，根据公知的数据/信息传输和存储装置，包括电子邮件和协作数据/信息共享系统，这样的数据/信息在计算设备之间被容易地传送以用于存储和使用。

图8示出了如上所述的用于重复内容块的自动呈现的系统的架构的一个示例。与ICSR系统106相关联地被开发、交互或编辑的内容能够被存储在不同的通信信道或其他存储类型中。例如，可以使用目录服务822、web门户824、邮箱服务826、即时消息接发存储库828或社交网络站点830来存储各种文档。ICSR系统106操作以使用这些类型的系统等中的任何系统来提供对用于任务完成的信息的智能捕获、存储和取回，如本文所述。根据一个方面，服务器820将ICSR系统106提供给客户端805a-c(统称为客户端805)。作为一个示例，服务器820是通过web提供ICSR系统106的web服务器。服务器820通过网络840通过web向客户端805提供ICSR系统106。通过示例，客户端计算设备被实现并且体现在个人计算机805a、平板计算设备805b或移动计算设备805c(例如，智能手机)或其他计算设备中。客户端计算设备的这些示例中的任何示例可操作以从存储库816获取内容。

例如，以上参考根据各方面的方法、系统和计算机程序产品的框图和/或操作图示描述了实现方式。框中记录的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时地被执行，或者这些框有时可以按照相反的顺序被执行，这取决于涉及的功能/动作。

本申请中提供的一个或多个示例的描述和说明并非旨在以任何方式限制或约束要求保护的范围。本申请中提供的各方面、示例和细节被认为足以传达所有权并且使得其他人能够制作和使用最佳模式。实现方式不应当被解释为限于本申请中提供的任何方面、示例或细节。无论是组合地还是单独地被示出和描述，旨在选择性地包括或省略各种特征(结构和方法)以产生具有特定特征集的示例。已经提供了本申请的描述和说明，本领域技术人员可以设想落入被体现在本申请中的总体发明性概念的更广泛方面的精神内的而没有脱离本公开内容的更广泛的范围的变型、修改和备选示例。

Claims (15)

1.一种用于减少计算设备上的处理器负载以用于对用于任务完成的信息的智能捕获、存储和取回的方法，包括：

分析捕获的信息项以用于标识相关联的实体、相关联的属性和相关联的动作，其中所述捕获的信息项与用户相关联；

将与所述捕获的信息项相关联的所述实体、所述属性和所述动作存储在知识图中；

在索引中索引与所述捕获的信息项相关联的所述实体、所述属性和所述动作；

接收针对所述捕获的信息项而查询所述索引的指示；

针对所述捕获的信息项而查询所述索引；以及

取回所述捕获的信息项以用于在端点计算设备上向所述用户提供所述捕获的信息项以用于任务完成。

2.根据权利要求1所述的方法，其中：

分析捕获的信息项包括分析隐式捕获的信息项；并且

在分析所述捕获的信息项之前，挖掘存储的数据以用于标识要针对所述用户而捕获和存储的信息项。

3.根据权利要求2所述的方法，其中挖掘存储的数据包括挖掘针对所述用户的基于云的储存库，所述基于云的储存库包括所述用户的文档、照片和电子邮件附件。

4.根据权利要求3所述的方法，其中挖掘存储的数据以用于标识要针对所述用户而捕获和存储的信息项包括分析与所述存储的数据相关联的光学字符识别元数据。

5.根据权利要求2所述的方法，其中标识要针对所述用户而捕获和存储的信息项包括确定信息项与预定义模式是否匹配，其中所述预定义模式定义特定捕获类型的语义。

6.根据权利要求1所述的方法，其中：

分析捕获的信息项包括分析显式捕获的信息项；并且

在分析所述捕获的信息项之前：

从所述用户接收捕获所述信息项的请求的指示；

对所述请求执行自然语言处理以提取键和值数据集；以及

在所述索引中索引所述键和值数据集。

7.根据权利要求1所述的方法，其中接收针对捕获的信息项而查询所述索引的指示包括经由通过自然语言用户界面或图形用户界面与智能个人数字助理的交互来接收针对所述捕获的信息项的显式请求。

8.根据权利要求1所述的方法，其中接收针对捕获的信息项而查询所述索引的指示包括：接收与所述用户相关联的上下文数据以用于确定所述索引是否包括能够基于所述上下文数据而被主动地显现给所述用户的一个或多个捕获的信息项。

9.一种用于减少计算设备上的处理器负载以用于对用于任务完成的信息的智能捕获、存储和取回的计算设备，包括：

处理单元；以及

包括计算机可读指令的存储器，所述计算机可读指令在由所述处理单元执行时可操作以：

分析捕获的信息项以用于标识相关联的实体、相关联的属性和相关联的动作，其中所述捕获的信息项与用户相关联；

将与所述捕获的信息项相关联的所述实体、所述属性和所述动作存储在知识图中；

在索引中索引与所述捕获的信息项相关联的所述实体、所述属性和所述动作；

接收针对捕获的信息项而查询所述索引的指示；

针对所述捕获的信息项而查询所述索引；以及

取回所述捕获的信息项以用于在端点计算设备上向所述用户提供所述捕获的信息项以用于任务完成。

10.根据权利要求9所述的计算设备，其中：

所述捕获的信息是隐式捕获的信息项；并且

在分析所述捕获的信息项之前，所述计算设备操作以挖掘存储的数据以用于标识要针对所述用户而捕获和存储的信息项，所述存储的数据包括被存储在基于云的储存库中的数据，所述储存库包括所述用户的文档、照片和电子邮件附件。

11.根据权利要求10所述的计算设备，其中在挖掘存储的数据以用于标识要针对所述用户而捕获和存储的信息项时，所述计算设备操作以分析与所述存储的数据相关联的光学字符识别元数据。

12.根据权利要求9所述的计算设备，其中：

所述捕获的信息项是显式捕获的信息项；并且

在分析所述捕获的信息项之前，所述计算设备还操作以：

从所述用户接收捕获所述信息项的请求的指示；

对所述请求执行自然语言处理以提取键和值数据集；以及

在所述索引中索引所述键和值数据集。

13.根据权利要求9所述的计算设备，其中在分析捕获的信息项以用于标识相关联的实体、相关联的属性和相关联的动作时，所述计算设备还操作以基于与所述用户相关联或与集体用户相关联的收集的数据来区分一个或多个动作的优先级，所述收集的数据选自包括以下的组：

对先前建议的动作的反应；

搜索日志；

浏览器日志；以及

广告日志。

14.根据权利要求9所述的计算设备，其中在接收针对捕获的信息项而查询所述索引的指示时，所述计算设备还操作以接收与所述用户相关联的上下文数据以用于确定所述索引是否包括能够基于所述上下文数据而被主动地显现给所述用户的一个或多个捕获的信息项。

15.一种计算机可读存储设备，包括计算机可读指令，所述计算机可读指令在由处理单元执行时可操作以：

分析显式或隐式捕获的信息项以用于标识相关联的实体、相关联的属性和相关联的动作，其中所述捕获的信息项与用户相关联；

基于与所述用户相关联或与集体用户相关联的收集的数据来区分一个或多个动作的优先级；

将与所述捕获的信息项相关联的所述实体、所述属性和所述动作存储在知识图中；

在索引中索引与所述捕获的信息项相关联的所述实体、所述属性和所述动作；

接收针对捕获的信息项而查询所述索引的指示；

针对所述捕获的信息项而查询所述索引；以及

取回所述捕获的信息项以用于在端点计算设备上向所述用户提供所述捕获的信息项以用于任务完成。