CN107209781A

CN107209781A - 使用自然语言的上下文搜索

Info

Publication number: CN107209781A
Application number: CN201680006884.9A
Authority: CN
Inventors: A.拉姆布希亚; H.赛义德; E.多兰
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2015-01-21
Filing date: 2016-01-18
Publication date: 2017-09-26
Anticipated expiration: 2036-01-18
Also published as: US10509829B2; EP3248114A1; WO2016118435A1; US20160210363A1; CN107209781B

Abstract

在诸如智能电话、平板型计算机、可穿戴计算设备、个人计算机（PC）、游戏控制台等这样的设备上被支持的上下文感知的数字助理被配置为，具有使用户能够使用诸如时间、日期、事件、位置、时间表、活动、联系人或者设备这样的上下文参考启动对内容的搜索的自然语言界面。所述用户因此可以使用自然语言来表述适用于广受欢迎的内容的上下文，而不必制定使用具体的语法的查询。所述数字助理可以综合地搜索跨应用（即，第一和第三方应用两者）、设备和服务的内容。

Description

使用自然语言的上下文搜索

背景技术

数字助理可以为设备用户提供多种特征，并且可以使得更易于使用语音交互与设备交互以便执行任务、获得信息和保持与朋友和同事连接的。通常，用户可以使用包括语音的自然输入与数字助理交互，并且数字助理可以作出响应，包括使用它自己的语音向用户说话。当前的特征对于许多使用场景以令人满意的方式执行，但增加的功能可以使数字助理变得甚至更有益和富有成效。

发明内容

在诸如智能电话、平板型计算机、可穿戴计算设备、个人计算机（PC）、游戏控制台、智能的基于地方的设备、车辆等这样的设备上被支持的上下文感知的数字助理被配置为，具有使用户能够使用诸如时间、日期、事件、位置、时间表、活动、联系人或者设备这样的上下文参考启动对内容的搜索的自然语言界面。所述用户因此可以使用自然语言来表述适用于广受欢迎的内容的上下文，而不必制定使用具体的语法的查询。所述数字助理可以综合地搜索跨应用（即，第一和第三方应用两者）、设备和服务或者这三者的任何组合的内容。相应地，在使用设备时，用户可以简单地通过指定将被用作搜索准则的上下文来要求所述数字助理搜索具体的内容。例如，所述用户可以当在地铁上时使用平板型设备要求所述数字助理找到在一周的早些时候与朋友合作的文档。所述数字助理可以响应于所述用户的自然语言请求发起搜索，并且在单个的、集成的用户界面（UI）中向所述用户提供综合的结果，所述UI诸如是被所述数字助理或者在所述设备上运行的操作系统支持的画布。所述用户可以从所述搜索结果中选择所述数字助理可以在本地设备上渲染和/或从远程设备和/或服务下载的内容。

使用所述数字助理发起上下文搜索通过让用户以放弃严格语法规则的灵活、直观或者自然的方式制定搜索查询来改进用户体验。通过在搜索时使用上下文，所述数字助理可以提供结果，可以预期所述结果是比传统搜索方法更微妙、富有意义、综合和与所述用户相关的。另外，通过跨应用、设备和服务扩展搜索并且然后合并结果，所述数字助理为用户提供从设备UI上的单个地方找到、访问和管理他们的内容的简单的并且有效的方法。所述上下文感知的数字助理通过使所述用户能够快速地并且准确地定位来自多种源、服务、应用和位置的特定的内容来提高用户在与所述设备交互时的效率。还减少了所述用户出错和输入错误的机会。相应地，在所述用户使用所述上下文感知的数字助理来搜索、访问和管理内容时，所述设备可以在保护诸如是电池电力、存储器、处理循环、网络使用、设备使用等这样的计算资源的同时更高效地运行，所述计算资源可能是有限的（例如，对于电池运行的和/或移动的设备）。

提供本概要以便以简化形式介绍下面在详细说明中进一步描述的概念的选择。本概要不旨在标识所要求保护的主题的关键特征或者必要特征，其也不旨在被用作在确定所要求保护的主题的范围时的辅助。此外，所要求保护的主题不限于解决在本公开内容的任何部分中指出的任何或者全部缺点的实现方式。应当认识到，上面描述的主题可以被实现为计算机控制的装置、计算机进程、计算系统或者诸如是一个或多个计算机可读存储介质这样的制品。通过阅读下面的详细说明和回顾关联的附图，这些和各种其它的特征将是显而易见的。

附图说明

图1示出了与应用和服务对接的说明性的数字助理；

图2示出了设备可以在其中通过网络进行通信和交互的说明性的计算环境；

图3示出了对于数字助理的说明性的输入和可以被数字助理执行的一般功能的说明性的分类法；

图4、5和6示出了用户与数字助理之间的说明性的接口；

图7示出了可搜索的内容的说明性的分类法；

图8示出了上下文参考的说明性的分类法；

图9示出了说明性的上下文搜索场景；

图10-12示出了在实现本发明的使用自然语言执行的上下文搜索时可以被执行的说明性的方法；

图13是可以部分上被用于实现本发明的使用自然语言执行的上下文搜索的诸如个人计算机（PC）这样的说明性的计算机系统的简化方框图；

图14示出了可以部分上被用于实现本发明的使用自然语言执行的上下文搜索的说明性的设备的方框图；

图15是说明性的移动设备的方框图；以及

图16是说明性的多媒体控制台的方框图。

类似的标号在附图中指示类似的元素。除非另外指示，否则元素不是按比例绘制的。

具体实施方式

图1示出了用户105使用作为数字助理112的宿主的设备110的用于实现本发明的使用自然语言执行的上下文搜索的说明性的通信环境100的概览。数字助理112通常与被远程服务提供商130支持的服务118互操作。数字助理112被配置为，使能实现与应用140和服务145的交互。应用在某些情况下可以包括第一方和第三方应用。服务145可以由可以与本地客户端和/或应用交互的远程服务提供商提供。

现在呈现使用自然语言执行的上下文搜索的说明性的实现方式的各种细节。图2示出了各种用户105使用通过通信网络215进行通信的相应的设备110的说明性的环境200。每个设备110包括数字助理112的实例。设备110在某些情况下可以支持语音电话能力，并且除了各种其它特征之外通常支持诸如是互联网浏览和多媒体（例如，音乐或者视频）消费这样的数据消费型应用。设备110可以例如包括用户经常用于作出和接收语音和/或多媒体（即，视频）呼叫、参与消息传送（例如，文本传送）和电子邮件通信、使用应用和访问使用数据的服务、浏览万维网等的用户装置、移动电话、蜂窝电话、特征电话、平板型计算机和智能电话。

然而，还设想替换的类型的电子设备是在通信环境100内可用的，只要它们被配置为具有通信能力并且可以连接到通信网络115。这样的替换的设备多种多样地包括手持型计算设备、PDA（个人数字助理）、便携式媒体播放器、使用头戴式耳机和耳机的设备（例如，兼容蓝牙的设备）、平板型设备（即，组合智能电话/平板型设备）、可穿戴计算设备、头戴式显示器（HMD）系统、诸如是GPS（全球定位系统）系统这样的导航设备、膝上型PC（个人计算机）、台式计算机、被安装在汽车和其它车辆里的计算平台、嵌入式系统（例如，被安装在家庭或者办公室里的那些嵌入式系统）、多媒体控制台、游戏系统等。在下面的讨论中，对术语“设备”的使用旨在覆盖被配置为具有通信能力并且能够连接到通信网络115的全部设备。在某些情况下，给定的设备可以通过第二设备或者通过使用在第二设备中被支持的能力进行通信，以便获得对应用、服务或者内容中的一项或多项的访问。

环境200中的各种设备110可以支持不同的特征、功能和能力（在这里被一般地称为“特征”）。在给定的设备上被支持的特征中的一些特征可以是与在其它设备上被支持的那些特征相似的，而其它特征可以是对于给定的设备来说唯一的。在各种设备110上被支持的特征之间的重叠和/或区分的程度可以随实现方式变化。例如，某些设备110可以支持触摸控制、手势识别和语音命令，而其它设备110可以使能实现更有限的UI。某些设备可以支持视频消费和互联网浏览，而其它设备可以支持更有限的媒体处置和网络接口特征。

如所示的，设备110可以访问通信网络115以便实现各种用户体验。通信网络可以包括采用各种组合或者子组合的多种网络类型和网络基础设施中的任何网络类型和网络基础设施，包括蜂窝网络、卫星网络、诸如Wi-Fi和以太网这样的IP（互联网协议）网络、公共交换电话网（PSTN）和/或诸如蓝牙®网络这样的短距网络。网络基础设施可以例如由移动运营商、企业、互联网服务提供商（ISP）、电话服务提供商、数据服务提供商等支持。通信网络115通常包括支持与互联网220的连接的接口，使得移动设备110可以访问由一个或多个内容提供商225提供的内容，并且在某些情况下还访问服务提供商130。还可以在环境200中支持搜索服务235。

通常使通信网络115能够支持各种类型的设备到设备通信，包括过顶通信和不使用常规电话号码以便提供各方之间的连接的通信。

诸如腕带和其它可穿戴设备这样的附属设备214也可以出现在环境200中。这样的附属设备214通常适于使用例如是蓝牙这样的短距通信协议与设备110互操作，以便支持诸如监控穿戴者的生理机能（例如，心率、采用的步幅、燃烧的卡路里）和环境状况（温度、湿度、紫外线（UV）水平）和显露来自被耦合的设备110的通知这样的功能。

图3示出了通常可以由数字助理112原生地或者结合应用140或者服务145支持的功能300的说明性的分类法。对于数字助理112的输入通常可以包括用户输入305、来自内部源的数据310和可以包括第三方内容318的来自外部源的数据315。例如，来自内部源的数据310可以包括由设备上的GPS（全球定位系统）部件或者某个其它的位置感知的部件报告的设备110的当前的位置。外部源数据315包括例如由诸如服务提供商130（图1）这样的外部系统、数据库、服务等提供的数据。

各种输入可以单独地或者以各种组合被使用以便使数字助理112能够在它运行时使用上下文数据320。上下文数据可以例如包括时间/日期、用户的位置、语言、时间表、被安装在设备上的应用、用户的偏好、用户的行为（其中，在具有向用户的通知和用户的同意的情况下监控/跟踪这样的行为）、已存储的联系人（在某些情况下包括对本地用户或者远程用户的社交图的链接，所述社交图诸如是由外部社交网络服务维护的那些社交图）、呼叫历史、消息传送历史、浏览历史、设备类型、设备能力、通信网络类型和/或在其中被提供的特征/功能、移动数据计划约束/限制、与通信的其他方相关联的数据（例如，他们的时间表、偏好）等。

如所示的，功能300说明性地包括：与用户交互325（例如通过自然语言UI和其它图形UI）；执行任务330（例如，在用户的日历中记录约会、发送消息和电子邮件）；提供服务335（例如，回答来自用户的问题、为目的地的方向绘制地图、设置闹钟、转发通知、读电子邮件、新闻、博客）；搜集信息340（例如，找到被用户请求的关于书或者电影的信息、定位最近的意大利餐厅）；操作设备345（例如，设置偏好、调整屏幕亮度、打开和关闭诸如Wi-Fi和蓝牙这样的无线连接、与其它设备通信、控制智能家电）；以及，执行各种其它功能350。功能300的列表不旨在是详尽的，并且可以由数字助理112和/或应用140提供如对于本发明的使用自然语言的上下文搜索的具体的实现方式可能被需要的其它功能。

如图4中所示，数字助理112可以使用具有用户界面（UI）的自然语言界面405，该用户界面可以获取来自用户105的语音输入410。语音输入410可以被用于调用设备110上的各种行动、特征和功能、向系统和应用提供输入等。在某些情况下，语音输入410可以被独自地使用以支持具体的用户体验，而在其它情况下，可以结合其它非语音输入或者诸如实现设备上的物理控制或者在UI上被实现的虚拟控制的那些输入或者使用手势的那些输入（如下面描述的）这样的输入使用语音输入。

数字助理112还可以使用如图5中所示的具有UI的手势识别系统505。在这里，系统505可以将由用户105执行的手势510感应为用于调用设备110上的各种行动、特征和功能、向系统和应用提供输入等的输入。可以使用诸如光学感应、触摸感应、接近度感应等这样的各种技术感应用户手势510。在某些情况下，可以使用语音命令、手势和对真实或者虚拟控件的物理操纵的各种组合来与数字助理交互。在某些场景中，可以自动地调用数字助理。例如，由于数字助理通常维护对设备状态和其它上下文的感知，所以数字助理可以被诸如用户输入、所接收的通知或者所检测的事件这样的具体的上下文调用。

如图6中所示，数字助理可以暴露触觉用户界面605，触觉用户界面605使用户105能够使用物理交互610以支持设备110上的用户体验。这样的物理交互可以包括使用例如是在触摸屏上的轻击、轻拂或者拖拽等这样的基于触摸的输入对诸如按钮、菜单、键盘这样的物理和/或虚拟控件的操纵。

数字助理可以被配置为，从设备上的任何UI内的任何位置或者从任何当前的用户体验内被启动。例如，用户105可以正在进行电话呼叫、浏览web、观看视频或者听音乐，并且同时地从那些体验中的任一个体验内启动数字助理。可以在某些情况下通过操纵物理或者虚拟用户控件和/或在其它情况下通过语音命令和/或手势启动数字助理。

可以使用本发明的使用自然语言执行的上下文搜索来搜索各种类型的内容。内容可以由应用140（图1）和/或服务145提供和/或支持。图7示出了可搜索的内容700的说明性的分类法。应当指出，可搜索的内容可以被存储在设备的本地，或者被存储在设备的远端但仍然是对于设备可访问的。例如，可搜索的内容可以被存储在云存储库中、是在诸如局域网这样的网络上可用的、使用与另一个设备的连接被访问等。

如图7中所示，可搜索的内容700可以包括预先存在的和/或之前被捕获的内容705（例如，市场上可得的内容和/或用户生成的内容（UGC））以及与实况事件（例如，音乐会、演讲、体育赛事、音频评论/口述、视频博客（vlogs））相关联的内容710两者。如所示的，现有的和/或之前被捕获的内容705的示例包括图像715、音频720、视频725、多媒体730、文件735、应用740和其它内容和/或信息。图7中所示的可搜索的内容是说明性的，并且不旨在是详尽的。被使用的内容的类型可以根据具体的实现方式的需求变化。

图8示出了可以在执行上下文搜索时被使用的说明性的上下文参考805。上下文参考805可以包括日期/时间810、事件815、位置820、活动825、联系人830、设备835、用户偏好840或者如对于上下文搜索的具体的实现方式可能被需要的其它参考845。

图9示出了用户105具有与在设备110上运行的数字助理112的交互的说明性的上下文搜索场景。在该说明性的场景中，通过名字“Cortana”调用数字助理。用户首先要求搜索他之前与同事合作的文件。在这里，由数字助理从用户的语言中解析出的上下文参考包括日期/时间、联系人和设备。数字助理响应地使用该上下文发起搜索，并且将搜索结果呈现给用户。用户然后要求对于音乐文件的另一个搜索。在这种情况下，上下文参考包括位置和活动。相应地，数字助理可以审查用户的日历以确定何时用户位于该具体的位置处，以便找到被请求的内容。

图10示出了用于操作设备上的数字助理的说明性的方法1000的流程图。除非专门指出，否则在流程图中被示出并且在随附的文本中被描述的方法或者步骤将不限于具体的次序或者顺序。另外，方法或者其步骤中的一些方法或者步骤可以并发地发生或者被执行，并且并非全部方法或者步骤必须在给定的实现方式中被执行（取决于这样的实现方式的要求），并且某些方法或者步骤可以被可选地使用。

在步骤1005中，数字助理暴露用户界面，并且在步骤1010中从用户接收自然语言输入。在步骤1015中，对来自用户的输入进行解析以标识上下文参考。数字助理可以在步骤1020中发起对与上下文参考相匹配的内容的搜索。数字助理在步骤1025中提供搜索结果。结果可以被排序，并且在某些情况下显示合适的上下文参考。

图11示出了可以在包括一个或多个处理器、UI和存储计算机可读指令的存储器设备的设备上被执行的说明性的方法1100的流程图。在步骤1105中，暴露被配置为用于使用UI执行的与用户的语音交互的数字助理。在步骤1110，接收来自用户的语音输入。在步骤1115中，触发使用来自语音输入的上下文参考执行的搜索。在步骤1120中，数字助理处置在搜索结果中被标识的内容。处置可以采取各种合适的形式。例如，数字助理可以取回用于消费的内容、将内容或者对内容的链接提供给其他用户、设备、位置、应用或者服务、存储或者复制内容、操纵或者变换内容、编辑内容、增强内容等。这样的处置可以还是响应于例如使用自然语言界面或者协议通过UI执行的与用户的交互的。

在步骤1125中，在设备UI上示出搜索结果。搜索结果可以以经聚合的方式被呈现，使得用户可以到UI上的单个地方来查看、访问和操纵满足搜索准则的内容。还可以在步骤1130中使用音频将搜索结果提供给用户。例如，数字助理可以向用户大声读搜索结果。

图12示出了可以被支持数字助理的服务执行的说明性的方法1200的流程图。在步骤1205中，服务可以接收来自在设备上被实例化的应用和/或服务的注册。在步骤1210中监控与已注册的应用和服务的用户交互（通常在具有向用户的通知并且具有用户同意的情况下）。在步骤1215中利用包括时间、日期、事件、位置、时间表、活动、联系人或者设备中的一项或多项的上下文参考标签为内容加标签。在步骤1220中接收来自用户的搜索请求，并且在步骤1225中执行响应的搜索。在步骤1230中将搜索结果发射给设备。

图13是可以利用其实现本发明的使用自然语言执行的上下文搜索的诸如PC、客户端机器或者服务器这样的说明性的计算机系统1300的简化方框图。计算机系统1300包括处理器1305、系统存储器1311和将包括系统存储器1311的各种系统部件耦合到处理器1305的系统总线1314。系统总线1314可以是包括存储器总线或者存储器控制器、外设总线或者使用多种总线架构中的任一种总线架构的本地总线的几种类型的总线结构中的任一种总线结构。系统存储器1311包括只读存储器（ROM）1317和随机存取存储器（RAM）1321。包含诸如在启动期间帮助在计算机系统1300内的元件之间传输信息的基本例程的基本输入/输出系统（BIOS）1325被存储在ROM 1317中。计算机系统1300可以进一步包括用于从被内部安置的硬盘（未示出）读和向其写的硬盘驱动器1328、用于从可移除磁盘1333（例如，软盘）读或者向其写的磁盘驱动器1330和用于从诸如CD（压缩盘）、DVD（数字多功能光盘）或者其它光学介质这样的可移除光盘1343读或者向其写的光盘驱动器1338。分别通过硬盘驱动器接口1346、磁盘驱动器接口1349和光盘驱动器接口1352将硬盘驱动器1328、磁盘驱动器1330和光盘驱动器1338连接到系统总线1314。驱动器及其关联的计算机可读存储介质为计算机系统1300提供对计算机可读指令、数据结构、程序模块和其它数据的非易失性的存储。尽管该说明性的示例包括硬盘、可移除磁盘1333和可移除光盘1343，但在本发明的数字助理的一些应用中，也可以使用诸如是盒式磁带、闪存卡、数字视频磁盘、数据带盒、随机存取存储器（RAM）、只读存储器（ROM）等这样的可以存储可被计算机访问的数据的其它类型的计算机可读存储介质。另外，如本文中使用的，术语计算机可读存储介质包括一种媒体类型的一个或多个实例（例如，一个或多个磁盘、一个或多个CD）。出于本说明书和权利要求的目的，短语“计算机可读存储介质”及其变型不包括波、信号和/或其它的暂时性的和/或无形的通信介质。

可以将包括操作系统1355、一个或多个应用程序1357、其它程序模块1360和程序数据1363的一些程序模块存储在硬盘、磁盘1333、光盘1343、ROM 1317或者RAM 1321上。用户可以通过诸如键盘1366这样的输入设备和诸如鼠标这样的指点设备1368向计算机系统1300中输入命令和信息。其它的输入设备（未示出）可以包括麦克风、操纵杆、游戏摇杆、碟形卫星天线、扫描仪、轨迹球、触摸板、触摸屏、触摸敏感设备、语音命令模块或者设备、用户运动或者用户手势捕获设备等。这些和其它的输入设备通常通过耦合到系统总线1314的串行端口接口1371被连接到处理器1305，但可以通过诸如并行端口、游戏端口或者通用串行总线（USB）这样的其它接口被连接。监视器1373或者其它类型的显示设备也经由诸如视频适配器1375这样的接口被连接到系统总线1314。除了监视器1373之外，个人计算机通常包括诸如扬声器和打印机这样的其它外设输出设备（未示出）。图13中所示的说明性的示例还包括主机适配器1378、小型计算机系统接口（SCSI）总线1383和被连接到SCSI总线1383的外部存储设备1376。

计算机系统1300是可以使用与诸如远程计算机1388这样的一个或多个远程计算机的逻辑连接在连网环境中运行的。远程计算机1388可以被选择为另一个个人计算机、服务器、路由器、网络PC、对等设备或者其它常见的网络节点，并且通常包括上面关于计算机系统1300描述的元件中的许多或者全部元件，尽管在图13中示出了仅单个有代表性的远程存储器/存储设备1390。图13中所描绘的逻辑连接包括局域网（LAN）1393和广域网（WAN）1395。这样的网络环境通常例如被部署在办公室、企业级计算机网络、内联网和互联网中。

当在LAN网络环境中被使用时，通过网络接口或者适配器1396将计算机系统1300连接到局域网1393。当在WAN网络环境中被使用时，计算机系统1300通常包括宽带调制解调器1398、网关或者其它的用于建立通过诸如互联网这样的广域网1395的通信的装置。经由串行端口接口1371将可以位于内部或者外部的宽带调制解调器1398连接到系统总线1314。在连网环境中，可以将与计算机系统1300或者其部分相关的程序模块存储在远程存储器存储设备1390中。应当指出，图13中所示的网络连接是说明性的，并且取决于本发明的使用自然语言执行的上下文搜索的应用的具体的要求，可以使用其它的在计算机之间建立通信链路的装置。

图14示出了能够执行本文中描述的各种部件以便提供本发明的使用自然语言执行的上下文搜索的设备的说明性的架构1400。因此，图14中说明的架构1400示出了可能适于服务器计算机、移动电话、PDA、智能电话、台式计算机、上网本计算机、平板型计算机、GPS设备、游戏控制台和/或膝上型计算机的架构。可以使用架构1400来执行本文中呈现的部件的任一个方面。

图14中说明的架构1400包括CPU（中央处理单元）1402、包括RAM 1406和ROM 1408的系统存储器1404以及将存储器1404耦合到CPU 1402的系统总线1410。包含诸如在启动期间帮助在架构1400内的元件之间传输信息的基本例程的基本输入/输出系统被存储在ROM1408中。架构1400进一步包括用于存储被用于实现应用、文件系统和操作系统的软件代码或者其它被计算机执行的代码的大容量存储设备1412。

通过被连接到总线1410的大容量存储装置控制器（未示出）将大容量存储设备1412连接到CPU 1402。大容量存储设备1412及其关联的计算机可读存储介质为架构1400提供非易失性的存储。

尽管包含在本文中的对计算机可读存储介质的说明指诸如硬盘或者CD-ROM驱动器这样的大容量存储设备，但本领域的技术人员应当认识到，计算机可读存储介质可以是任何可以被架构1400访问的可用存储介质。

通过示例而非限制，计算机可读存储介质可以包括使用任何用于存储诸如计算机可读指令、数据结构、程序模块或者其它数据这样的信息的方法或者技术实现的易失性和非易失性、可移除和非可移除介质。例如，计算机可读介质包括但不限于RAM、ROM、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、闪存或者其它固态存储器技术、CD-ROM、DVD、HD-DVD（高清DVD）、蓝光或者其它光学存储装置、盒式磁带、磁带、磁盘存储装置或者其它磁性存储设备、或者可以被用于存储期望的信息并且可以被架构1400访问的任何其它介质。

根据各种实施例，架构1400可以使用通过网络与远程计算机的逻辑连接在连网环境中运行。架构1400可以通过被连接到总线1410的网络接口单元1416连接到网络。应当认识到，网络接口单元1416也可以被用于连接到其它类型的网络和远程计算机系统。架构1400还可以包括用于接收和处理来自包括键盘、鼠标或者电子手写笔（未在图14中示出）这样的一些其它设备的输入的输入/输出控制器1418。类似地，输入/输出控制器1418可以向显示屏、打印机或者其它类型的输出设备（也未在图14中示出）提供输出。

应当认识到，本文中描述的软件组件可以在被加载到CPU 1402中并且被执行时将CPU 1402和整个架构1400从通用计算系统变换为被定制为促进本文中呈现的功能的专用计算系统。可以由可以单个地或者集体地采取任何数量的状态的任何数量的晶体管或者其它分立的电路元件构造CPU 1402。更具体地，CPU 1402可以响应于被包含在本文中公开的软件模块内的可执行指令而运行为有限状态机。这些计算机可执行指令可以通过指定CPU1402如何在状态之间转变对CPU 1402进行变换，因此对构成CPU 1402的晶体管或者其它分立的硬件元件进行变换。

对本文中呈现的软件模块进行编码还可以对本文中呈现的计算机可读存储介质的物理结构进行变换。在本说明的不同的实现方式中，对物理结构的具体的变换可以取决于各种因素。这样的因素的示例可以包括但不限于：被用于实现计算机可读存储介质的技术、计算机可读存储介质的特性被表征为主要还是辅助存储装置等。例如，如果计算机可读存储介质被实现为基于半导体的存储器，则可以通过变换半导体存储器的物理状态将本文中公开的软件编码在计算机可读存储介质上。例如，软件可以变换组成半导体存储器的晶体管、电容器或者其它分立的电路元件的状态。软件也可以变换这样的部件的物理状态以便在其上存储数据。

作为另一个示例，本文中公开的计算机可读存储介质可以使用磁性或者光学技术来实现。在这样的实现方式中，本文中呈现的软件可以变换磁性或者光学介质的物理状态（在软件被编码在其中时）。这些变换可以包括改变给定的磁性介质内的具体的位置的磁性特性。这些变换还可以包括改变给定的光学介质内的具体的位置的物理特征或者特性以变更那些位置的光学特性。对物理介质的其它变换是可能的，而不脱离本说明的范围和精神，并且仅为了促进本讨论而提供了前述示例。

鉴于以上内容，应当认识到，为了存储和执行本文中呈现的软件组件，许多类型的物理变换在架构1400中发生。还应当认识到，架构1400可以包括其它类型的计算设备，包括手持型计算机、嵌入式计算机系统、智能电话、PDA和本领域的技术人员已知的其它类型的计算设备。还设想架构1400可以不包括图14中所示的部件中的全部部件，可以包括未在图14中被明确地示出的其它部件，或者可以使用与图14中所示的架构完全不同的架构。

图15是包括如在1502处概括地示出的多种可选的硬件和软件部件的诸如移动电话或者智能电话这样的说明性的设备110的功能性方框图。移动设备中的任何部件1502可以与任何其它的部件通信，尽管为了易于说明，并非全部连接被示出。移动设备可以是多种计算设备（例如，蜂窝电话、智能电话、平板型计算机、手持型计算机、可穿戴计算设备、HMD设备、PDA等）中的任一种计算设备，并且可以允许与诸如蜂窝或者卫星网络这样的一个或多个移动通信网络1504的无线双向通信。

所说明的设备110可以包括用于执行诸如信号编码、数据处理、输入/输出处理、功率控制和/或其它功能这样的任务的控制器或者处理器1510（例如，信号处理器、微处理器、微控制器、ASIC（专用集成电路）或者其它的控制和处理逻辑电路）。操作系统1512可以控制对部件1502的分配和使用，包括控制功率状态、上锁定状态和下锁定状态，并且为一个或多个应用程序1514提供支持。应用程序可以包括常见的移动计算应用（例如，图像捕获应用、电子邮件应用、日历、联系人管理器、web浏览器、消息传送应用）或者任何其它的计算应用。

所说明的设备110可以包括存储器1520。存储器1520可以包括非可移除存储器1522和/或可移除存储器1524。非可移除存储器1522可以包括RAM、ROM、闪存、硬盘或者其它公知的存储器存储技术。可移除存储器1524可以包括闪存或者在GSM（全球移动通信系统）系统中是公知的订户身份模块（SIM）卡或者诸如“智能卡”这样的其它公知的存储器存储技术。存储器1520可以被用于存储用于运行操作系统1512和应用程序1514的数据和/或代码。示例数据可以包括web页面、文本、图像、声音文件、视频数据或者经由一个或多个有线或者无线网络被发送到一个或多个网络服务器或者其它设备和/或从一个或多个网络服务器或者其它设备被接收的其它数据集。

存储器1520还可以被布置为或者包括使用任何用于存储诸如计算机可读指令、数据结构、程序模块或者其它数据的方法或者技术实现的一个或多个计算机可读存储介质。例如，计算机可读介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或者其它固态存储器技术、CD-ROM（压缩盘ROM）、DVD（数字多功能光盘）、HD-DVD（高清DVD）、蓝光或者其它光学存储装置、盒式磁带、磁带、磁盘存储装置或者其它磁性存储设备、或者可以被用于存储期望的信息并且可以被设备110访问的任何其它介质。

存储器1520可以被用于存储诸如国际移动订户身份（IMSI）这样的订户标识符和诸如国际移动设备标识符（IMEI）这样的设备标识符。可以将这样的标识符发射到网络服务器以便标识用户和装置。设备110可以支持：一个或多个输入设备1530，诸如触摸屏1532；用于实现用于语音识别、语音命令等的语音输入的麦克风1534；照相机1536；物理键盘1538；轨迹球1540；和/或接近度传感器1542；以及一个或多个输出设备1550，诸如扬声器1552和一个或多个显示器1554。在某些情况下，使用手势识别的其它输入设备（未示出）也可以被使用。其它可能的输出设备（未示出）可以包括压电式或者触觉输出设备。一些设备可以提供多于一项输入/输出功能。例如，可以将触摸屏1532和显示器1554合并到单个输入/输出设备中。

无线调制解调器1560可以被耦合到天线（未示出），并且如本领域中公知的那样，可以支持处理器1510与外部设备之间的双向通信。调制解调器1560被图形化地示出，并且可以包括用于与移动通信网络1504通信的蜂窝调制解调器和/或其它的基于无线的调制解调器（例如，蓝牙1564或者Wi-Fi 1562）。无线调制解调器1560通常被配置为用于与诸如GSM网络这样的一个或多个蜂窝网络的通信，用于单个蜂窝网络内、蜂窝网络之间或者设备与公共交换电话网（PSTN）之间的数据和语音通信。

设备可以进一步包括至少一个输入/输出端口1580、电源1582、诸如GPS接收器这样的卫星导航系统接收器1584、加速度计1586、陀螺仪（未示出）和/或物理连接器1590，物理连接器1590可以是USB端口、IEEE 1394（火线）端口和/或RS-232端口。所说明的部件1502不是必需的或者无所不包的，因为任何部件可以被删除，并且其它部件可以被添加。

图16是多媒体控制台1600的说明性的功能性方框图。多媒体控制台1600具有中央处理单元（CPU）1601，中央处理单元1601具有1级高速缓存1602、2级高速缓存1604和闪存ROM（只读存储器）1606。1级高速缓存1602和2级高速缓存1604临时地存储数据，并且因此减少存储器访问循环的数量，因此提升处理速度和吞吐量。CPU 1601可以被配置为具有多于一个核，并且因此具有额外的1级和2级高速缓存1602和1604。闪存ROM 1606可以存储在多媒体控制台1600被加电时的开机过程的初始阶段期间被加载的可执行代码。

图形处理单元（GPU）1608和视频编码器/视频编解码器（编码器/编解码器）1614构成用于高速和高分辨率图形处理的视频处理管道。经由总线将数据从GPU 1608运送到视频编码器/视频编解码器1614。视频处理管道将数据输出到A/V（音频/视频）端口1640以用于向电视机或者其它显示器发射。将存储器控制器1610连接到GPU 1608以便促进对诸如但不限于是RAM这样的各种类型的存储器1612的处理器访问。

多媒体控制台1600包括优选在模块1618上被实现的I/O控制器1620、系统管理控制器1622、音频处理单元1623、网络接口控制器1624、第一USB（通用串行总线）主机控制器1626、第二USB控制器1628和前端面板I/O组件1630。USB控制器1626和1628充当外设控制器1642（1）和1642（2）、无线适配器1648和外部存储器设备1646（例如，闪存、外部CD/DVD ROM驱动器、可移除介质等）的主机。网络接口控制器1624和/或无线适配器1648提供对网络（例如，互联网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的多种有线或者无线适配器部件中的任一种有线或者无线适配器部件。

提供系统存储器1643以便存储在开机过程期间被加载的应用数据。介质驱动器1644被提供，并且可以包括DVD/CD驱动器、硬盘驱动器或者其它可移除介质驱动器。介质驱动器1644可以位于多媒体控制台1600的内部或者外部。可以经由介质驱动器1644访问应用数据以用于被多媒体控制台1600执行、回放等。经由诸如串行ATA总线或者其它高速连接（例如，IEEE 1394）这样的总线将介质驱动器1644连接到I/O控制器1620。

系统管理控制器1622提供与确保多媒体控制台1600的可用性相关的多种服务功能。音频处理单元1623和音频编解码器1632构成具有高保真度和立体声处理的对应的音频处理管道。经由通信链路在音频处理单元1623与音频编解码器1632之间运送音频数据。音频处理管道将数据输出到A/V端口1640以用于被外部音频播放器或者具有音频能力的设备再现。

前端面板I/O组件1630支持电力按钮1650和弹出按钮1652以及被暴露在多媒体控制台1600的外表面上的任何LED（发光二极管）或者其它指示器的功能。系统电源模块1639向多媒体控制台1600的部件提供电力。风扇1638冷却多媒体控制台1600内的电路。

经由包括串行和并行总线、存储器总线、外设总线和使用多种总线架构中的任一种总线架构的处理器或者本地总线的一个或多个总线使CPU 1601、GPU 1608、存储器控制器1610和多媒体控制台1600内的各种其它部件互连。通过示例，这样的架构可以包括外设部件互连（PCI）总线、PCI-Express总线等。

在多媒体控制台1600被加电时，应用数据可以从系统存储器1643被加载到存储器1612和/或高速缓存1602和1604中，并且在CPU 1601上被执行。应用可以呈现在导航到在多媒体控制台1600上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在运行时，可以从介质驱动器1644启动或者播放被包含在介质驱动器1644内的应用和/或其它媒体，以便向多媒体控制台1600提供额外的功能。

多媒体控制台1600可以通过简单地将该系统连接到电视机或者其它显示器而被运行为独立的系统。在该独立模式下，多媒体控制台1600允许一个或多个用户与系统交互、看电影或者听音乐。然而，伴随着集成通过网络接口控制器1624或者无线适配器1648使之变得可用的宽带连接，多媒体控制台1600可以进一步被运行为较大网络社区中的参与者。

在多媒体控制台1600被加电时，设定的量的硬件资源被多媒体控制台操作系统预留给系统使用。这些资源可以包括对存储器（例如，16 MB）、CPU和GPU循环（例如，5%）、网络带宽（例如，8 kbps）等的预留。因为这些资源在系统开始时间时被预留，所以被预留的资源从应用的角度看不存在。

具体地，存储器预留优选是大得足以包含启动内核、并发的系统应用和驱动器的。CPU预留优选是不变的，使得如果被预留的CPU使用未被系统应用使用，则空闲线程将消耗任何未被使用的循环。

就GPU预留而言，通过使用GPU中断来调度用于将弹出窗口渲染到覆盖中的代码而显示由系统应用生成的轻量级消息（例如，弹出窗口）。覆盖所需的存储器的量取决于覆盖区域大小，并且覆盖优选地随屏幕分辨率而缩放。在整个用户界面被并发的系统应用使用的情况下，优选使用独立于应用分辨率的分辨率。可以使用缩放器来设置该分辨率，使得消除对于变更频率和导致TV重新同步的需求。

在多媒体控制台1600开机并且系统资源被预留之后，并发的系统应用执行以便提供系统功能。将系统功能封装在在上面描述的被预留的系统资源内执行的系统应用的集合中。操作系统内核标识作为系统应用线程与游戏应用线程的线程。系统应用优选被调度为以预定的时间和间隔在CPU 1601上运行，以便向应用提供一致的系统资源视图。调度将对于在控制台上运行的游戏应用最小化高速缓存中断。

在并发的系统应用需要音频时，由于时间敏感性，所以异步地将音频处理调度到游戏应用。多媒体控制台应用管理器（在下面被描述）控制在系统应用活跃时的游戏应用音频水平（例如，静音、衰减）。

输入设备（例如，控制器1642（1）和1642（2））被游戏应用和系统应用共享。输入设备不是被预留的资源，而将在系统应用与游戏应用之间被切换，以使得每个应用将具有设备的焦点。应用管理器优选控制输入流的切换而不知道游戏应用的知识，并且驱动器维护与焦点切换有关的状态信息。

现在通过说明而非作为全部实施例的详尽的列表呈现本发明的使用自然语言执行的上下文搜索的各种示例性实施例。一个示例包括一种在设备上被执行的用于促进使用上下文参考执行的对内容的搜索的方法，所述方法包括：暴露用户界面，所述用户界面支持来自设备用户的用于搜索的自然语言输入；通过用户界面从用户接收自然语言输入；针对上下文参考对所接收的自然语言输入进行解析，上下文参考包括时间、日期、事件、位置、时间表、活动、联系人或者设备中的一项；以及，提供搜索的结果，所述搜索结果标识与所解析的上下文参考中的一项或多项上下文参考相匹配的内容。

在另一个示例中，所述方法进一步包括：使用上下文参考标签提供搜索结果。在另一个示例中，所述方法进一步包括：针对给定的一块内容确定上下文参考标签，并且将该上下文参考标签应用于该内容。在另一个示例中，至少部分上由在设备上运行的数字助理支持用户界面。在另一个示例中，数字助理通过在设备上被支持的语音接口使用口头语音与用户交互。在另一个示例中，数字助理通过在设备上被支持的图形用户界面与用户交互，并且进一步包括在图形用户界面上显示搜索结果。在另一个示例中，所述方法进一步包括：将数字助理配置为，响应于语音输入、手势输入或者手工输入，执行以下各项中的至少一项：共享联系人信息、共享已存储的联系人、调度会议、查看用户的日历、调度提醒、发出呼叫、操作设备、玩游戏、做出购买、做笔记、调度闹钟或者唤醒提醒、发送消息、针对更新检查社交媒体、挖取网站、与搜索服务交互、共享或者示出文件、发送对于网站的链接或者发送对于资源的链接。在另一个示例中，内容被存储在一个或多个远程的基于云的存储库或者基于云的服务中。在另一个示例中，所述方法进一步包括：根据上下文参考对搜索结果进行排序。在另一个示例中，所述方法进一步包括：使在搜索结果中被标识的内容能够是对于在设备上的消费可用的。

一个进一步的示例包括一种设备，所述设备包括：一个或多个处理器；被配置为使用图形或者音频与所述设备的用户交互的用户界面（UI）；以及，存储计算机可读指令的存储器设备，所述计算机可读指令在被一个或多个处理器执行时，执行用于执行以下操作的方法：在所述设备上暴露数字助理，其中，数字助理被配置为用于使用UI执行与设备用户的语音交互，从设备用户接收语音输入，触发使用被包括在语音输入中的上下文参考执行的对内容的搜索，以及，使用数字助理处置在来自搜索的结果中被标识的内容。

在另一个示例中，所述设备进一步包括：在UI上作为经聚合的列表显示搜索结果。在另一个示例中，所述设备进一步包括：使用数字助理来使用音频提供搜索结果。在另一个示例中，数字助理被配置为，使用自然语言界面来使用口头话语与用户交互。在另一个示例中，内容的至少一部分包括用于标识与该部分相关联的上下文参考的一个或多个标签。在另一个示例中，标签标识时间、日期、事件、位置、时间表、活动、联系人或者设备中的一项或多项。

一个进一步的示例包括存储指令的一个或多个计算机可读存储设备，指令在被安置在基于云的计算机服务器中的一个或多个处理器执行时，执行包括以下步骤中的步骤的方法：接收来自在一个或者多个本地设备上运行的应用和服务的注册；监控一个或多个本地设备处的与已注册的应用和服务的用户交互；以及，响应于监控，使用上下文参考标签对内容加标签，上下文参考标签包括时间、日期、事件、位置、时间表、活动、联系人或者设备中的一项或多项。

在另一个示例中，所述一个或多个计算机可读存储器设备进一步包括：从用户接收对于与一个或多个上下文参考相匹配的内容的搜索请求。在另一个示例中，所述一个或多个计算机可读存储器设备进一步包括：响应于所述请求而执行搜索。在另一个示例中，，所述一个或多个计算机可读存储器设备进一步包括：将搜索结果发射给本地设备中的一个或多个本地设备。

基于前述内容，应当认识到，已在本文中公开了用于使用自然语言执行的上下文搜索的技术。尽管以专用于计算机结构化特征、方法学和变换性动作、具体的计算机器和计算机可读存储介质的语言描述了本文中呈现的主题，但应当理解，在所附权利要求中定义的本发明不必限于本文中描述的具体的特征、动作或者介质。相反，作为实现权利要求的示例形式公开了具体的特征、动作和介质。

上面描述的主题仅作为说明被提供，并且不应当理解为是限制。可以对本文中描述的主题作出各种修改和变更，而不遵循所说明和描述的示例实施例和应用，并且不脱离在下面的权利要求中被阐述的本发明的真实的精神和范围。

Claims

1.一种设备，包括：

一个或多个处理器；

用户界面（UI），其被配置使用图形或者音频与所述设备的用户交互；以及

存储器设备，其存储计算机可读指令，所述计算机可读指令在被所述一个或多个处理器执行时，执行以下的方法：

在所述设备上暴露数字助理，其中，所述数字助理被配置用于使用所述UI进行与设备用户的语音交互，

从所述设备用户接收语音输入，

触发使用被包括在所述语音输入中的上下文参考的对内容的搜索，以及

使用所述数字助理处置在来自所述搜索的结果中被标识的内容。

2.根据权利要求1所述的设备，进一步包括：在所述UI上作为经聚合的列表显示搜索结果。

3.根据权利要求1所述的设备，进一步包括：使用所述数字助理来使用音频提供搜索结果。

4.根据权利要求1所述的设备，其中，所述数字助理被配置为，使用自然语言界面来使用口头话语与所述用户交互。

5.根据权利要求1所述的设备，其中，所述数字助理响应于语音输入、手势输入或者手动输入而被配置为，执行以下项中的至少一项：共享联系人信息、共享已存储的联系人、调度会议、查看用户的日历、调度提醒、发出呼叫、操作设备、玩游戏、做出购买、做笔记、调度闹钟或者唤醒提醒、发送消息、针对更新检查社交媒体、挖取网站、与搜索服务交互、共享或者示出文件、发送对于网站的链接或者发送对于资源的链接。

6.根据权利要求1所述的设备，其中，所述内容被存储在一个或多个远程的基于云的存储库或者基于云的服务中。

7.根据权利要求1所述的设备，进一步包括：根据所述上下文参考对所述搜索结果进行排序。

8.根据权利要求1所述的设备，进一步包括：使在所述搜索结果中被识别的内容能够是对于在所述设备上的消费可用的。

9.根据权利要求1所述的设备，其中，内容的至少一部分包括用于标识与该部分相关联的上下文参考的一个或多个标签。

10.根据权利要求9所述的设备，其中，所述标签标识时间、日期、事件、位置、时间表、活动、联系人或者设备中的一项或多项。