CN107924311A - 基于上下文信号的定制化计算体验 - Google Patents

Abstract

提供用于基于上下文信号来定制化或定制计算体验的系统、方法和计算机可读存储介质。检测与计算设备的用户相关联的一个或多个上下文信号。基于检测到的上下文信号，例如考虑用户的历史动作和/或多个用户的累积历史动作，预测用户的可能动作，因为这样的动作与检测到的上下文信号有关。诸如操作菜单的至少有一个用户界面被自动地(也就是说，在没有肯定的用户交互的情况下)定制为包括菜单项，菜单项可以激活功能来帮助完成可能动作。

Description

基于上下文信号的定制化计算体验

背景技术

计算设备具有有限的屏幕空间以将可用命令和功能传送给用户。今天的计算设备可以执行大量不同的任务。即使在单个程序或应用中，应用可以执行的不同任务的数量也可能是巨大的。考虑到可用于显示选项的有限屏幕空间，应用和设备向用户呈现所有相关选项是一种挑战。需要更好地利用有限的计算机资源来呈现用户在给定上下文中想要的选项。

发明内容

提供本发明内容以简化的形式介绍将在以下具体实施方式中进一步描述概念的选择。本发明内容并不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用作确定所要求保护的主题的范围的辅助手段。

在各个方面，提供了用于通过动态地改变用户界面以包括用户在给定的上下文中想要的命令来高效地使用有限的诸如屏幕空间的计算资源的系统、方法和计算机可读存储介质。从与计算设备的用户交互中提取与计算设备的用户相关联的一个或多个上下文信号(例如，个人、习惯和/或环境提示)。基于检测到的上下文信号，例如，考虑用户的历史动作和/或多个用户的累积历史动作，预测用户的可能动作，因为这样的动作与检测到的上下文信号有关。在一个方面中，上下文信息可以包括用户通信的内容和其他当前活动的对象。

在一个方面，应用中的菜单项基于最近用户与设备的交互而不仅仅是应用内的交互的内容，而被自动地改变以包括用户可能采取的一个或多个动作。例如，来自电子邮件应用的电子邮件内容可用于在图片共享应用中生成定制的菜单项。当检测到信号时，应用接口的自动修改通过减少需要生成的接口数量，使得计算系统更高效。在由用户选择的情况下，在最高级别界面上显示可用操作避免了用于生成在其中可用动作通常被默认找到的多个低级别界面的需要。后跟有自动应用和/或程序UI修改的这种可能动作预测附加地可以节省用户的时间和精力，并且可以用作针对特定动作的用户的提醒，该特定动作是当给定的情况(例如，信号)集合被检测到时他或她通常采取的特定动作。

附图说明

本文描述的技术是通过示例而非限制的方式在附图中被图示，在附图中类似的附图标记表示类似的元件，并且在附图中：

图1是适用于本公开的实现的示例操作环境的框图；

图2是描绘适合于实现本公开的各方面的示例计算架构的图；

图3是示出了根据本文描述的技术的一方面的用于基于上下文信号来定制化用户计算体验的示例性方法的流程图；

图4是示出了根据本文描述的技术的一方面的基于上下文信号用于定制化用户体验的另一示例性方法的流程图；

图5-7是示出了根据本文描述的技术的一方面的推断可能用户动作的附加示例性方法的流程图；以及

图8是适于在实现本文描述的技术的各方面中使用的示例性计算环境的框图。

具体实施方式

本文描述的各种技术以足够的特殊性来阐述以满足法定要求。然而，描述本身并不旨在限制本专利的范围。而是，发明人已经预期，所要求保护的主题也可以以其他方式被实施，以包括结合其他当前或未来的技术的、与本文中所描述的步骤类似的不同步骤或步骤的组合。此外，尽管术语“步骤”和/或“框”在本文中可以被用于暗示所采用的方法的不同元素，但是这些术语不应该被解释为意味着本文公开的各个步骤之中或之间的任意特定顺序，除非和除了当单独步骤的顺序被明确描述。

在各个方面，提供了通过动态地改变用户界面以包括用户可能在给定上下文中使用的命令或菜单项，来高效地利用有限的计算资源(诸如屏幕空间)的系统、方法和计算机可读存储介质。从用户交互的内容中提取与用户和计算设备的交互(例如，个人、习惯和/或环境提示)相关联的一个或多个上下文信号。在一个方面，上下文信息可以包括用户通信的内容和其他当前活动的计算对象。

如本文所利用的“上下文信号”可以反映可以影响用户期望参与特定计算机应用或计算机程序的可能性或概率的用户的任意属性(例如，身体特征)、用户与系统的历史交互(例如，动作、习惯和系统交互模式)、和/或用户最近与系统的交互(“最近”是根据预定时间帧相对于给定时间点来定义的)。这样的上下文信号可以仅通过示例而非限制的方式包括：计算设备的用户的位置(例如利用全球定位系统(GPS)信号、因特网协议(IP)地址等来确定)、一天中的时间(通常(例如上午或下午)或精确的(例如，下午6点))、日期(精确的或通常是特定的月份、季节等)、用户的身体特征(例如，用户是否瘫痪并且仅能够进行语音输入等)、用户当前在计算设备上参与的任务、用户最近在计算设备上参与的任务(再次，其中“最近”是根据预定时间帧相对于给定时间点来定义的)、用户当前在计算设备上参与的对象(例如，诸如联系人、文件、图像或类似物的实体)、用户最近在计算设备上参与的对象、用户当前正在计算设备上执行的功能、用户在计算设备上最近执行的功能、当前正在计算设备上利用的硬件、计算设备上最近利用的硬件、当前计算设备正在利用的软件、以及计算设备上最近利用的软件。

根据本文的方面，检测与用户相关联的一个或多个上下文信号。这种检测可以利用传感器(例如，用于标识位置的GPS传感器、集成在计算系统内的时间/日期传感器、被配置为从用户简档中挖掘数据和特征的传感器等)发生。基于检测到的上下文信号，可以预测用户的可能动作。这样的预测可以例如考虑到用户的历史动作和/或多个用户的累积历史动作，因为这样的动作涉及检测到的上下文信号。用户打开菜单时，自动生成至少一个UI特征，如菜单项。

本文描述的技术可以监视跨多个设备的用户与各种应用的交互，以确认用户交互和后续动作之间的模式。后续动作在本文被描述为可能动作。可能动作可以结合计算机应用而被执行。观察到的动作和可能动作可以形成一系列的关联规则。例如，用户交互的分析可以揭示将数字图片下载到相册中的用户随后将一个或多个照片传送给照片中描绘的人的模式。在这种情况下，观察到的交互将会下载数字图片，并且可能动作将是共享数字图片。

可能动作可以与上下文信息相关联，该上下文信息指示用户将何时或在何种上下文中执行可能动作。与可能动作相关联的上下文可以在下载数字照片的阈值时间量内打开诸如电子邮件程序的通信应用。本文描述的技术的方面可以将这个可能动作序列存储在语义动作存储库内，该语义动作存储库存储用于特定用户的多个可能动作序列。

此外，与用户交互相关联的文本或其他数据可被提取并存储为语义数据，以用于在生成定制菜单项中使用并帮助应用完成用户的可能动作。照片中描绘的人可以形成语义数据。所描绘的人可以与电子邮件地址或电话号码相关联，电子邮件地址或电话号码可以被提供以帮助用户发送电子邮件或文本。

本文描述的技术的方面可以利用可能动作序列来生成定制的用户界面特征，诸如定制的菜单动作。定制的菜单动作可以包括从用户交互中提取的内容。定制的菜单动作可以替代通常在菜单中示出的默认菜单动作。返回到电子邮件应用示例，默认的菜单或用户界面可以包括“新电子邮件”动作。本文描述的技术可以用定制的动作按钮来替代“新电子邮件”动作，定制的动作按钮描述“给Sam的新的电子邮件”，其中Sam是在最近下载的照片中呈现的人的名字。

因此，在所预测的用户动作是用户将与作为照片的主题的朋友共享她的朋友的照片的情况下(部分地基于包括用户在用户设备上拍摄照片的用户交互)，在查看照片时，可以向用户提供对具有与启动应用(例如电子邮件、即时消息、文本等)以与照片的那些特定朋友共享照片相对应的菜单项的菜单的访问。可以使用面部识别或与内容相关联的其他上下文信息以及从用户的联系人列表确定的他们的联系人信息来确定照片中的朋友的身份。此外，在一些实施例中，用于共享照片的接收者字段(诸如电子邮件中的“收件人”字段)可以被自动填充有照片中的特定朋友的地址信息。以这种方式，在拍摄一组朋友的照片(用户交互)之后，可以向用户呈现(不管用户的哪个用户设备用于拍照)有菜单(或者通知或类似的内容项)，以促进执行可能动作，即与照片中的人共享照片。

内容逻辑可以指定也被描述为上下文的条件，用于呈现定制动作。例如，假设周三用户收到邀请她在周六晚上参加派对的电子邮件。在星期六晚上，当确定用户在她的车内时，用户电话上的地图/导航程序(或个人助理应用)包括用于导航到派对的位置的菜单选项。用于呈现到派对的指示的菜单的条件和相关时间是基于电子邮件的内容确定的。

此外，在一些实施例中，可以使用来自其他类似用户(即，众包)的用户交互(其可以包括历史活动)来生成可能动作序列。具体地，用户活动历史也可以结合用户自己的活动历史而被利用。例如，对于给定用户，基于具有与给定用户共同的特征或特性，可以标识与给定用户类似的其他用户集合。这可以包括位于给定用户附近的其他用户、给定用户的社交媒体朋友、工作同事(可以根据与给定用户相关联的上下文信息的分析来确定)、具有类似用户交互的其他用户等。可以依赖来自其他用户的关于用户活动历史的信息来推断给定用户的可能动作。这在针对给定用户存在较少的用户活动历史的情况下，诸如在用户是新用户的情况下，可能是特别有用的。

已经简要描述了本文描述的技术的各个方面的概述，下面描述了其中可以实现本文描述的技术的各方面的示例性操作环境，以便于提供各个方面的一般上下文。通常参照附图并且具体地首先参考图1，用于实现本文描述的技术的示例性操作环境被示出并一般地被指定为示例性操作环境100。示例性操作环境100仅仅是合适的计算环境的一个示例，并且不旨在启示关于本文描述的技术的方面的使用范围或功能的任意限制。示例性操作环境100也不应被解释为具有与任意一个部件或所图示的部件的任意组合有关的任意依赖性或要求。

现在转到图1，提供了示出其中可以采用本公开的一些方面的示例操作环境100的框图。应该理解，本文描述的这种和其他的布置仅作为示例被阐述。除了所示出的那些之外或者可以代替所示的那些，可以使用其它布置和元件(例如，机器、接口、功能、顺序和功能分组等)，并且为了清楚起见可以将一些元件完全省略。此外，本文描述的元件中的许多元件是功能实体，其可以被实现为离散或分布式部件或结合其他部件实现，并且以任意合适的组合和位置来实现。本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，一些功能可以由执行存储器中存储的指令的处理器来执行。

在未示出的其他部件中，示例操作环境100包括多个用户设备，诸如用户设备102a和102b到102n；多个数据源，诸如数据源104a和104b到104n；服务器106；以及网络110。应该理解，图1中所示的环境100是一个合适的操作环境的示例。例如，图1中所示的部件中的每一个可以经由诸如结合图8所描述的计算设备800的任意类型的计算设备来实现。这些部件可以经由网络110彼此通信，网络110可以包括但不限于一个或多个局域网(LAN)和/或广域网(WAN)。在示例性实现中，网络110包括各种可能的公共和/或专用网络中的任一种中的因特网和/或蜂窝网络。

用户设备102a和102b到102n可以是操作环境100的客户端侧的客户端设备，而服务器106可以在操作环境100的服务器侧上。用户设备可以促进任务的完成并且进行用户交互的记录。可以分析用户交互以标识初始交互和后续动作之间的模式。服务器106可以包括服务器侧软件，该服务器侧软件被设计为绘合用户设备102a和102b到102n上的客户端侧软件工作，以便实现本公开中讨论的特征和功能的任意组合。例如，服务器106可以运行可能动作推断引擎270，其标识可能动作。服务器106可以从用户设备接收通信记录。提供操作环境100的这种划分以图示适合的环境的一个示例，并且针对每个实现不要求服务器106和用户设备102a和102b至102n的任意组合保持为分离的实体。

用户设备102a和102b到102n可以包括能够由用户使用的任意类型的计算设备。例如，在一个方面中，用户设备102a到102n可以是本文关于图8描述的计算设备的类型。作为示例而非限制，用户设备可以被实施为个人计算机(PC)、膝上型计算机、移动或移动设备、智能手机、平板计算机、智能手表、可穿戴计算机、虚拟现实耳机、增强现实眼镜、个人数字助理(PDA)、MP3播放器、全球定位系统(GPS)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、遥控器、电器、消费电子设备、工作站或这些描绘的设备的任意组合、或任意其他合适的设备。

数据源104a和104b至104n可以包括数据源和/或数据系统，其被配置为使得数据可用于结合图2描述的操作环境100或系统200的各种组成中的任意组成。(例如，在一个方面中，一个或多个数据源104a到104n向图2的用户数据收集部件214提供(或使得可用于访问)用户数据。)数据源104a和104b到104n可以与用户设备102a和102b到102n以及服务器106分离，或者可以被并入和/或集成到这些部件中的至少一个中。在一个方面，数据源104a至104n中的一个或多个包括一个或多个传感器，其可以被集成到用户设备102a、102b或102n或服务器106中的一个或多个中或者与用户设备102a、102b或102n或服务器106中的一个或多个相关联。使得由数据源104a至104n可用的感测用户数据的示例进一步结合图2的用户数据收集部件214进行描述。数据源104a至104n可以包括存储关于场所、用户或与特定用户动作有关的其他实体的信息的知识库。

操作环境100可以被用于实现图2中描述的系统200的部件中的一个或多个，包括用于收集用户数据、监视用户动作、生成可能动作序列、确定可能动作、和/或呈现定制的菜单选项的部件。

现在参考图2，利用图1，提供了示出适于实现实施例的、并且一般地将其指定为系统200的示例计算系统架构的方面的框图。系统200仅表示适当的计算系统架构的一个示例。除了所示的那些布置和元件之外或者代替所示的那些布置和元件，可以使用其它的布置和元件，并且为了清楚起见可以一起省略一些元件。此外，与操作环境100一样，本文描述的许多元件是功能实体，其可以被实现为离散或分布式部件或者与其他部件相结合，并且以任意合适的组合和位置来实现。

示例系统200包括结合图1描述的网络110，其可通信地耦合系统200的部件，系统200的部件包括用户数据收集部件214、呈现部件218、用户活动监视器280、可能动作推断引擎270、个性化引擎260和存储装置225。用户活动监视器280(包括其部件282、284和286)、个性化引擎260(包括其部件262和264)、用户数据收集部件214、呈现部件218、以及可能动作推断引擎270(包括其部件272、274、276、278和279)可以被实施为编译的计算机指令或函数、程序模块、计算机软件服务、或在例如诸如结合图8描述的计算设备800的一个或多个计算机系统上执行的处理的布置的集合。

在一个实施例中，由系统200的部件执行的功能与一个或多个个人助理应用、服务或例程相关联。具体而言，这样的应用、服务或例程可以在一个或多个用户设备(诸如用户设备102a)、服务器(诸如服务器106)上运行，可以跨一个或多个用户设备和服务器分布，或者可以在云中实现。此外，在一些实施例中，系统200的这些部件可以在云中跨网络分布，该网络包括一个或多个服务器(诸如服务器106)和客户端设备(诸如用户设备102a)；或者可以驻留在用户设备上，诸如用户设备102a。此外，这些部件、由这些部件执行的功能或由这些部件执行的服务可以在计算系统的适当的抽象层处实现，诸如操作系统层、应用层、硬件层等。备选地或另外地，本文描述的这些部件和/或实施例的功能可以至少部分地通过一个或多个硬件逻辑部件来执行。例如但非限制，可以使用的示意性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。另外，尽管本文关于示例系统200中示出的特定部件描述了功能，但是可以预期，在一些实施例中，这些部件的功能可以被共享，或者跨其他部件分布。

继续图2，用户数据收集部件214通常负责从诸如图1的数据源104a和104b至104n的一个或多个数据源访问或接收(并且在一些情况下还标识)用户数据。在一些实施例中，可以采用用户数据收集部件214来促进针对用户活动监视器280、可能动作推断引擎270或个性化引擎260的特定用户(或者在一些情况下，包括众包数据的多个用户)的用户数据的积累。数据可以被用户数据收集部件214接收(或访问)、并且可选地被累积、重新格式化和/或组合，并且被存储在诸如存储装置225的一个或多个数据存储库中，其中它可以用于系统200的其他部件中。例如，用户数据可以存储在用户简档240中或与用户简档240相关联，如本文所述。在一些实施例中，任意个人标识数据(即，具体标识特定用户的用户数据)不被上传或以其他方式从具有用户数据的一个或多个数据源提供，不被永久存储，和/或不可用于用户活动监视器280和/或可能动作推断引擎270。

用户数据可以从多种来源接收，其中数据可以以各种格式可用。例如，在一些实施例中，经由用户数据收集部件214接收的用户数据可以经由一个或多个传感器来确定，该传感器可以位于一个或多个用户设备(诸如用户设备102a)、服务器(诸如服务器106)和/或其他计算设备上或与其相关联。如本文所使用的，传感器可以包括用于感测、检测或以其他方式从数据源104a获得诸如用户数据的信息的功能、例程、部件或其组合，并且可以被实施为硬件、软件或两者。作为示例而非限制，用户数据可以包括从一个或多个传感器感测或确定的数据(本文被称为传感器数据)，诸如移动设备的位置信息、用户设备的属性或特性(诸如设备状态、收费数据、日期/时间、或从诸如移动设备的用户设备导出的其它信息)、用户活动信息(例如：应用使用；在线活动；搜索；诸如自动语音标识的语音数据；活动日志；包括呼叫、文本、即时消息和电子邮件的通信数据；网站发布；与通信事件相关联的其他用户数据等)，在一些实施例中，用户活动信息包括发生在多于一个用户设备上的用户活动、用户历史、会话日志、应用数据、联系人数据、日历和日程表数据、通知数据、社交网络数据、新闻(包括搜索引擎或社交网络上的流行或趋势项目)、在线游戏数据、电子商务活动(包括来自诸如 视频流服务、游戏服务或的在线账户的数据)、用户账户数据(其可包括来自与个人助理应用或服务相关联的用户偏好或设置的数据)、家庭传感器数据、家电数据、全球定位系统(GPS)数据、车辆信号数据、交通数据、天气数据(包括预测)、可穿戴设备数据、其他用户设备数据(其可以包括设备设置、简档、与网络有关的信息(例如，网络名称或ID、域信息、工作组信息、连接数据、Wi-Fi网络数据、或配置数据、与模型号、固件或设备、诸如例如用户使移动电话与蓝牙耳机配对的设备配对有关的数据、或其他网络有关信息)、陀螺仪数据、加速计数据、支付或信用卡使用数据(其可包括来自用户的PayPal账户的信息)、购买历史数据(诸如来自用户的Xbox Live、Amazon.com或eBay账户的信息)、可由传感器(或其他检测器)部件感测或以其他方式检测到的其他传感器数据(包括从与用户相关联的传感器部件导出的数据(包括位置、运动、取向、定位、用户访问、用户活动、网络访问、用户设备充电、或能够由一个或多个传感器部件提供的其它数据)、基于其他数据导出的数据(例如，可以从Wi-Fi、蜂窝网络或IP地址数据导出的位置数据))、以及可以如本文所述被感测或确定的几乎任意其他数据源。

在一些方面，可以在用户数据流或信号中提供用户数据。“用户信号”可以是来自对应数据源的用户数据的馈送或流。例如，用户信号可以来自智能电话、家庭传感器设备、GPS设备(例如，用于位置坐标)、车辆传感器设备、可穿戴设备、用户设备、陀螺仪传感器、加速计传感器、日历服务、电子邮件帐户、信用卡帐户或其他数据源。在一些实施例中，用户数据收集部件214连续地、周期性地或根据需要接收或访问数据。

用户活动监视器280通常负责监视可用于确定关于用户交互的用户活动信息的信息的用户数据，其可包括标识和/或跟踪特征(在本文中有时被称为“变量”)或与特定用户交互和有关上下文信息有关的其他信息。用户活动监视器280的实施例可以从所监视的用户数据来确定与特定用户相关联的用户交互。由用户活动监视器280确定的用户活动信息(关于用户交互)可以包括来自与用户相关联的多个用户设备和/或来自与用户相关联的基于云的服务的用户交互信息(诸如电子邮件、日历、社交媒体或类似信息源)，并且其可以包括与所标识的用户交互相关联的上下文信息。用户活动监视器280可以确定当前或接近实时的用户交互信息，并且还可以确定历史用户交互信息，在一些实施例中，其可以基于随时间收集用户活动的观察并且访问过去活动的用户日志(诸如例如浏览历史记录)来确定。此外，在一些实施例中，用户活动监视器280可以确定来自其他类似用户(即，众包)的用户交互(其可以包括历史活动)。具体地，众包的用户活动历史也可以结合用户自己的活动历史而被利用。例如，对于给定用户，基于具有与给定用户共同的特征或特性，可以标识与给定用户类似的其他用户集合。这可以包括位于给定用户附近的其他用户、给定用户的社交媒体朋友、工作同事(其可以根据与给定用户相关联的上下文信息的分析来确定)、具有类似用户交互的其他用户等。可以依赖关于来自其他用户的用户活动历史的信息来推断给定用户的可能动作。这在针对给定用户存在较少的用户活动历史的情况下，诸如在用户是新用户的情况，可能是特别有用的。

在一些实施例中，由用户活动监视器280确定的信息可以被提供给可能动作推断引擎270，在一些实现中，该信息包括有关的上下文信息或语义信息。一些实施例还可以将该信息提供给个性化引擎260。如前所述，用户交互特征可以通过监视从用户数据收集部件214接收的用户数据而被确定。在一些实施例中，用户数据和/或根据用户数据确定的、关于用户交互的信息被存储在用户简档中，诸如用户简档240。

在一个实施例中，用户活动监视器280包括一个或多个应用或服务，一个或多个应用或服务分析经由一个或多个用户设备和/或与用户相关联的基于云的服务检测到的信息，以确定用户交互信息和有关的上下文信息。关于与用户相关联的用户设备的信息可以从经由用户数据收集部件214使得可用的用户数据来确定，并且可以被提供给系统200的其他部件中的可能动作推断引擎270。

如示例系统200所示，用户活动监视器280包括用户交互标识器282、上下文信息提取器284和语义信息分析器286。在一些实施例中，用户活动监视器280、其子部件中的一个或多个子部件、或系统200的其他部件(诸如可能动作推断引擎270)可以从所接收的用户数据确定解释性数据。解释性数据对应于由系统200的这些部件或用户活动监视器280的子部件利用的用于解释用户数据的数据。例如，可以使用解释性数据来向用户数据提供其他上下文，其可以支持由部件或子部件做出的确定或推论。此外，可以预期，用户活动监视器280、其子部件、以及系统200的其他部件的实施例可以使用用户数据和/或将用户数据与解释性数据结合使用，以用于执行本文所述的子部件的目标。另外，尽管本文描述了用户活动监视器280及其子部件可如何标识用户交互信息的几个示例，但是在本公开的各种实施例中，用户交互标识和用户活动监视的许多变体是可能的。

通常，用户交互标识器282负责确定(或标识)已发生的用户交互。用户交互标识器282的实施例可被用于确定当前用户交互或一个或多个历史用户交互。用户交互标识器282的一些实施例可以监视针对与用户交互(诸如所接收或发送的通信的指示、所使用的应用、所访问的、所修改的、所复制的等的文件、导航到的网站、社交媒体活动、下载和呈现或播放的在线内容、或类似的用户交互)相对应的与用户交互有关的特征或变量的用户数据。

另外，用户交互标识器282的一些实施例从用户数据中提取关于用户交互的信息，该信息可以包括当前用户交互信息、历史用户交互信息和/或诸如上下文信息的有关信息。(备选地或另外地，在一些实施例中，上下文信息提取器284确定并提取上下文信息。)所提取的用户交互信息的示例可以包括应用使用、在线活动、搜索、通信(例如，包括未接来电的呼叫、电子邮件、即时消息、社交媒体发布、文本或其他通信事件)、使用持续时间、应用数据或内容(例如，电子邮件、消息、发布、用户状态、通知等的内容)或与用户交互有关的几乎任意其他数据。在系统200的其他部件中，由用户交互标识器282确定的所标识的用户交互信息可以被提供给用户活动监视器280、可能动作推断引擎270或个性化引擎260的其他子部件。另外，所确定的用户交互信息可以被存储在与用户相关联的用户简档中，诸如在用户简档240的用户交互信息部件242中。在一些实施例中，用户交互标识器282或用户活动监视器280(或其它子部件)对检测到的用户交互信息执行合并。例如，重叠信息可以被组合和重复，或者冗余信息被消除。

在一些实施例中，可以解释用户交互有关特征以确定用户交互已经发生。例如，在一些实施例中，用户交互标识器282采用用户交互标识逻辑，其可以包括规则、条件和关联，以标识用户交互。一旦确定了用户交互，这些特征或附加的有关特征可以被检测并与检测到的活动相关联，以用于在推断可能用户动作中使用。

在一些实施例中，用户交互标识器282在用户的每个用户设备上运行或与用户的每个用户设备相关联。用户交互标识器282可以包括以下功能：轮询或分析诸如操作系统或所安装的应用的用户设备的方面，以确定用户交互有关特征、网络通信和/或经由用户设备可检测的其他用户交互。

上下文信息提取器284一般负责确定与用户交互有关的上下文信息(由用户交互标识器282或用户活动监视器280标识)，诸如与用户交互相关联的上下文特征或变量，有关信息，其可以包括与用户交互相关联的内容(例如，通信内容(其可以包括关于通信的各方的信息(即，发送者/呼叫者或接收者))、应用、浏览的网站、收听的音乐、播放的电影等等)，并进一步负责将所确定的上下文信息与所检测的用户交互相关联。

上下文信息提取器284的一些实施例确定与用户动作有关的上下文信息。作为示例而非限制，这可以包括在用户交互中标识的实体或与交互有关的实体(例如，场所、人物、对象等，诸如由用户发送的群组电子邮件的收件人、或用户在用户的移动设备上拍摄的照片中的人物，其可以使用用户的联系人或社交媒体朋友的面部识别来标识)、与用户交互相关联的用户设备的位置或场所、关于位置场所信息的信息(例如，这是用户的办公室位置、家庭位置、学校、餐厅、移动剧院等)、时间、天和/或日期；或可以用于确定用户活动的模式的、与可检测的用户交互有关的任意其他信息。

在使用与用户设备有关的上下文信息的实施例中，用户设备可以通过检测和分析用户设备的特性来标识，诸如设备硬件、诸如操作系统(OS)的软件、网络有关特性、经由设备访问的用户帐户、以及类似的特性。例如，可以使用许多操作系统的功能来确定关于用户设备的信息，以提供关于硬件、OS版本、网络连接信息、安装的应用等的信息。在一些实施例中，针对与用户相关联的每个设备可以确定设备名称或标识(设备ID)。关于与用户相关联的所标识的用户设备的这个信息可以被存储在与用户相关联的用户简档中，诸如在用户简档240中的一个或多个用户账户和设备244。在一个实施例中，用户设备可以被轮询、询问或以其他方式分析以确定关于设备的上下文信息。该信息可以用于确定设备的标签或标识(例如，设备ID)，使得一个用户设备上的用户交互可以被识别并且与另一个用户设备上的用户交互相区分。在一些实施例中，用户可以声明或注册用户设备，诸如通过经由设备登录帐户、在设备上安装应用、连接到询问设备的在线服务、或者以其他方式向应用或服务提供关于设备的信息。在一些实施例中，登录到与用户相关联的账户(诸如微软账户或网络护照、电子邮件账户、社交网络等)的设备被标识并被确定为与用户相关联。

在一些实现中，上下文信息提取器284可以从用户数据收集部件214接收用户数据、在一些情况下解析数据、并标识和提取上下文特征。上下文特征可以被存储为与用户交互相关联的上下文信息的有关集合，并且可以存储在诸如用户交互信息242中的用户简档中。在一些情况下，上下文信息个性化引擎260可以对用户体验进行个性化。在一些实施例中，上下文信息也可以从一个或多个用户的用户数据来确定，其可以由用户数据收集部件214提供，以替代针对特定用户的用户活动信息或除了针对特定用户的用户活动信息之外。

语义信息分析器286通常负责确定与由用户活动监视器280所标识的用户交互有关的特征(其可以包括上下文信息特征)相关联的语义信息。例如，尽管关于用户交互的内容的特征可以指示用户收听的、甚至在用户接收的电子邮件中提及的特定音频文件，语义分析可以确定音乐的类别、相关音乐、题目或主题、或用于用户交互的、与音频文件相关联的其他实体。语义信息分析器286可以确定与用户交互在语义上有关的附加的用户交互有关的特征(包括关于用户交互的上下文信息)，其可以被用于推断用户的可能动作。

具体地，可以对可以包括上下文信息的用户交互信息执行语义分析，以表征用户交互的各个方面。例如，与特定用户交互相关联的用户交互有关特征可以被分类，诸如按类型、时间框帧或位置、工作有关的、家庭有关的、主题、有关实体等。在一些实施例中，语义信息分析器286使用诸如关系知识图的语义知识表示。语义信息分析器286也可以被用于表征用户交互有关的内容或其他上下文信息，诸如基于用户访问的频率来确定与用户交互相关联的位置对应于用户感兴趣的枢纽或场所(例如用户的家、工作、体育馆等)。语义分析可以将用户交互分类为与工作或家庭相关联。以这种方式，由语义信息分析器286提供的语义分析可以提供用户交互的其他相关特征以用于在推断可能用户动作中使用。附加地，从语义信息分析器286确定的语义信息可以与由上下文信息提取器284确定的上下文信息合并(或成为其一部分)。就这一点而言，语义信息可以被认为是关于用户交互的附加的上下文信息。

继续图2的系统200，可能动作推断引擎270通常负责基于从用户活动监视器280确定的接收到的用户交互有关的信息来确定用户的很可能或可能的动作。在一些实施例中，可能动作推断引擎270可以在服务器上运行，作为跨多个设备的分布式应用，或在云中运行。可能动作推断引擎270可以向个性化引擎260提供指示所确定的可能动作的信息，其中可以消耗该信息以向用户提供定制化的用户体验。附加地，在一些实现中，可能动作推断引擎270可以被配置为发送用于启动计算机应用的信号和/或用于促进推断的可能动作的程序的信号。

在高级别，可能动作推断引擎270可以接收用户交互有关的信息，其可以包括上下文信息，并且其可以从与用户活动监视器280相关联的客户端应用或服务上传。一个或多个推断算法可以被应用于用户交互有关的信息以确定一个或多个可能用户动作集合。在一些实施例中，针对推断的动作也确定对应的置信度分数。具体地，置信度分数可以指示推断的强度，其可以反映用户将来将执动作的可能性。更具体地，在一些实施例中，对应的置信度权重或置信度分数可以关于推断的用户动作而被确定。置信度分数可以基于推断的强度，其可以通过以下各项确定：观察(例如，特定用户交互的观察)的数目、与交互相关联的特征的数目、用户的动作多频繁地与过去推断的动作相一致、用户交互观察的年龄或新鲜度、或者用户交互与推断的未来动作之间的关联的强度，例如，在用户几乎总是与她的朋友共享她拍摄她朋友的照片的情况下，可以确定在用户交互(例如，拍摄朋友的照片)和推断的未来动作(例如，将照片通过电子邮件或通过消息发送给照片中的朋友)之间存在较强的关联。在一些情况下，当对内容进行个性化时可以考虑置信度分数。例如，在一些实施例中，在使用推断的动作来提供本文描述的实施例的改进的用户体验或其他服务之前可能需要最小置信度分数。在一个实施例中，利用0.6的阈值，使得仅可以考虑具有0.6(或更大)发生可能性的推断动作。

在一些实现中，可能动作推断引擎270可以基于与从用户活动监视器280接收到的用户交互相关联的上下文信息(包括内容)来确定用户模式、习惯或兴趣。这种信息可以包括但不限于关于用户期望的动作、当用户的历史动作与特定的检测到的用户交互相关时的用户的历史动作、以及当累积的历史动作与特定的检测到的用户动作相关时(例如，诸如先前描述的众包的信息)的多个用户的累积的历史动作的信息。

如示例系统200所示，可能动作推断引擎270的实施例包括动作预测部件272、动作启动部件274、对象确定部件276、聚焦部件278和参与确定部件279。当从用户活动监视器280接收用户交互信息时，动作预测部件272可以被配置为基于所接收的信息来预测用户的至少一个很可能的或可能的动作。这样的预测可以例如考虑到用户的历史动作和/或多个用户的累积的历史动作，因为这样的动作与检测到的用户交互相关信息相关。在一些方面中，动作预测部件272可以被配置为利用针对这样的历史动作信息的用户交互信息242，以用于在进行相关动作预测中使用。

在一些实施例中，动作启动部件274可以被配置为向例如与用户相关联的用户设备、个性化引擎260或消费预测的用户动作(未示出)的其他应用或服务发送用于促进由动作预测部件272所预测的可能动作的计算机应用和/或程序的启动的信号。术语“预测的动作”和“可能动作”可以在本公开中互换使用，并且具有相同的含义。动作启动部件274可以被配置为通知用户设备或个性化引擎260，基于对所接收的用户交互有关信息的分析，用户可能在用户设备上执行特定动作。在一些实施例中，动作启动部件274还可以指令用户设备自动启动适当的计算机应用，即没有用于促进这种启动的肯定的用户动作。在一些实施例中，个性化引擎260还可以接收关于作为预测的用户动作的基础的用户交互的信息，其可以包括上下文信息。此外，在个性化引擎260接收到预测的用户动作的一些实现中，由可能动作推断引擎270的诸如子部件276、278或279的某些子部件提供的功能是不需要的，并且可能动作推断引擎270的实施例可以省略这些或其他子部件。

对象确定部件276被配置为确定与用户的第一可能动作相关联的目标对象，例如，诸如可以关于的联系人、文件、图像等的实体，关于该目标对象用户可能期望聚焦启动的计算机程序或应用。相应地，聚焦部件278可以被配置为将自动启动的计算机程序或应用聚焦在目标对象周围，以进一步促进预测的可能动作。在某些方面，聚焦部件278可以通过向用户设备或个性化引擎260发送信号来聚焦计算机程序或应用，该信号指示所启动的程序可以关于其聚焦的目标对象。

有时并且在一些实施例中，在检测到指示用户的可能期望动作的用户交互有关信息中的上下文特征时，用户可以以其他方式参与用户设备。在这样的情况下，如果计算系统200在与用户设备相关联的活动窗口等中自动启动可能期望的计算机应用或程序，则对用户可以是破坏性的。在这样的情况下，如果在计算环境的背景中启动用于促进期望的动作的计算机应用或程序，则其可以是较少破坏性的并且改善用户计算体验。在其他情况下，例如，在用户当前不参与用户设备的情况下，在前景或用户设备的活动窗口中启动用于促进期望动作的计算机应用或程序可以是完全可接受的。为了促进这样的方面，参与确定部件279可以被配置为确定用户当前是否正在参与特定用户设备，该特定用户设备可以从上下文信息中被标识，并且被配置为因此指令用于促进预测的可能动作的计算机程序或应用在适当的情况下在特定用户设备的背景或特定用户设备的前景中被启动。

继续参考图2，示例计算机系统200包括个性化引擎260。可以预期，本公开的一些实现可以与个性化引擎260一起操作，以促进提供如前所述的个性化用户体验。因此，个性化引擎260可以被认为是可以消费关于用户动作预测的信息的应用或服务(或应用或服务的集合)的一个示例。

在高层次上，个性化引擎260负责生成并提供个性化用户体验的方面，诸如个性化内容或定制化的向用户递送的内容。内容可以作为以下各项提供给用户：关于与预测的用户动作相关联的应用的个性化菜单(或菜单内的项目)；可以包括推荐、请求或建议的通知(包括例如通知菜单中的通知项目)；或诸如结合呈现部件218所描述的通知。个性化内容可以被提供给与用户相关联的用户设备、用户的应用或服务，或者可以在其可以由另一个应用或服务消耗的情况下作为API的一部分被提供。如之前所描述的，内容可以在诸如就在用户执行预测的用户动作之前的用户最可能期望接收内容的时间处提供。

如示例计算机系统200所示，个性化引擎260包括内容项目生成器262和内容逻辑生成器264。内容项目生成器262一般负责基于预测用户动作来生成用于呈现给用户的内容。在一个实施例中，所生成的内容可以包括用于与所预测的用户动作有关的应用或服务的用户界面菜单项。在一些实施例中，内容项目生成器262确定与预测的用户动作相对应的内容，诸如用于执行与可能动作(诸如启动应用、导航到网站或接收信息)有某种关联的活动或服务的推荐、建议或菜单项。

例如，在预测的用户动作是用户将与作为照片的主题的朋友共享她的朋友的照片的情况下(部分地基于包括用户在用户设备上拍摄照片的用户交互)，则在查看照片时，可以向用户提供对具有与启动应用(例如电子邮件、即时消息、文本等)以与照片中的那些特定的朋友共享照片相对应的菜单项的菜单的访问。可以使用面部识别或与内容相关联的其他上下文信息以及从用户的联系人列表确定的他们的联系人信息来确定照片中的朋友的身份。此外，在一些实施例中，用于共享照片的接收者字段(诸如电子邮件中的“收件人”字段)可以被自动填充有照片中的特定朋友的地址信息。以这种方式，在拍摄一组朋友的照片(用户交互)之后，用户可以被呈现(不管用户的哪个用户设备被用于拍照)有菜单(或者通知或类似的内容)，以促进执行可能动作，即与照片中的人共享照片。

由内容项目生成器262生成的内容项目可被提供给呈现部件218以用于在用户设备上呈现给用户。在一些实施例中，所生成的内容项目可以被存储在与用户相关联的用户简档中，诸如用户简档240的内容项目部件248中。在一些情况下，内容可以包括指定用于呈现内容(或以其他方式向用户提供信息)的条件的内容逻辑。因此，内容逻辑生成器264通常负责生成该逻辑。在各种实现中，可以基于诸如时间、位置、模式或与呈现内容(诸如菜单或其他通知)有关的其他参数的用户数据来生成内容逻辑。例如，内容项目可以包括指定应该在与预测用户动作相对应的时间的特定时间帧内呈现内容的逻辑。类似地，内容逻辑可以指定用于呈现内容的条件，诸如当用户数据中的位置信息指示用户正在工作时、或者在他的汽车中驾驶时。例如，假设在周三用户收到邀请她在周六晚上参加派对的电子邮件。在星期六晚上，当确定用户在她的车内时，用户电话上的地图/导航程序(或个人助理应用)包括用于导航到派对的位置的菜单选项。用于呈现具有到派对的指示的菜单的条件和相关时间是基于电子邮件的内容确定的。

内容逻辑可以进一步指定如何(即，哪种格式)呈现内容，例如，在确定用户正在驾驶的情况下，内容可以以音频格式提供(例如，通过基于计算机的语音)。由内容逻辑生成器264生成的内容逻辑可以与内容项目一起存储在诸如用户简档240的内容项目部件248中。在一些实施例中，内容逻辑可以基于用户偏好或设置(诸如由用户偏好246提供的)来确定，其可以由用户明确地提供或者可以从与使用相关的和时间相关的特征(其可以包括用户模式)或者由其他用户提供的设置来推断。

示例系统200还包括呈现部件218，其一般负责基于来自个性化引擎260的个性化内容来向用户呈现内容和相关信息。呈现部件218可以包括用户上的、跨越多个用户设备的或在云中的一个或多个应用或服务。例如，在一个实施例中，呈现部件218管理跨与用户相关联的多个用户设备向用户呈现个性化内容。呈现部件218基于内容逻辑、用户交互相关信息、当前用户数据和/或预测的用户动作，可以确定内容被呈现(或提供)在哪个用户设备上，以及呈现的上下文，诸如如何提供(以何种格式和多少内容，其可以依赖于用户设备或上下文)、何时提供等等。具体地，在一些实施例中，呈现部件218将内容逻辑应用于用户交互相关信息、当前用户数据、和/或预测的用户动作以确定内容呈现的各方面。

在一些实施例中，呈现部件218生成与个性化内容相关联的用户界面特征。这些功能可以包括界面元素(诸如图形按钮、滑块、菜单、音频提示、告警、警报、振动、弹出窗口、通知栏或状态栏项、应用内通知、或与用户接口的其他类似的特征)、查询和提示。

示例系统200还包括存储装置225。存储装置225通常存储包括本文描述的实施例中使用的数据、计算机指令(例如，软件程序指令、例程或服务)、逻辑、简档和/或模型的信息。在一个实施例中，存储装置225包括数据存储库(或计算机数据存储器)。此外，尽管被描绘为单个数据存储部件，但是存储装置225可以被实施为一个或多个数据存储库或者可以在云中。

如示例系统200所示，存储装置225存储一个或多个用户简档240；其示例实施例在图2中被示意性地提供。示例用户简档240包括与特定用户相关联的信息，该信息尤其包括关于所标识的用户交互、用户帐户和用户设备数据244、用户偏好246以及内容项目248的信息。存储在用户简档240中的信息可用于示例系统200的例程或其他部件。

如前所述，存储在用户交互信息部件242中的数据可以从用户活动监视器280被确定。用户帐户和用户设备部件244包括关于被访问的、使用的或以其他方式与特定用户相关联的用户设备的信息，其可以如上所述从上下文信息提取器284或者从用户数据来确定。用户账户和用户设备部件244还可以包括与用户的用户账户相关联的数据，诸如计算机相关的用户账户、诸如Microsoft.NET护照的在线账户(例如，电子邮件、社交媒体等)、与诸如用户电子邮件、文本、即时消息、呼叫和其他通信的账户有关的用户数据；社交网络账户和数据，诸如新闻馈送；在线活动；以及日历、约会、应用数据等。用户账户和用户设备部件244的一些实施例可以跨一个或多个数据库、知识图或数据结构存储信息。

用户偏好246通常包括关于与特定用户交互、内容或个性化相关联的用户偏好的用户设置。如前所述，一些偏好或设置可由用户明确提供或从用户数据或设备特征推断。内容项目248包括从个性化引擎260确定的内容，其可以包括内容逻辑。在一些情况下，内容项目248可以包括待定内容项目以用于将来呈现给用户。

现在转到图3，图示了根据本文所描述的技术的各方面的示出的用于基于上下文信号来定制化用户计算体验的示例性方法300的流程图。如框310所指示的，例如，利用图2的系统200的用户数据收集部件214，可以检测与计算设备的用户相关联的至少一个第一上下文信号。如框312所指示的，用户的第一可能动作基于至少一个第一上下文信号可以被预测(例如，利用图2的系统200的可能动作推断引擎270)。仅作为示例，考虑到用户的历史动作和/或多个用户的累积的历史动作，来进行这样的预测，因为这样的动作与所检测的至少一个第一上下文信号有关。如方框314所指示的，从安装在计算设备上的多个计算机程序和计算机应用中选择的至少第一计算机程序或计算机应用可以被自动启动(即，没有肯定的用户交互)。这可以例如利用图2的可能动作推断引擎270的动作启动部件274来完成。在各方面中，第一计算机程序或计算机应用可以被配置为促进第一可能动作。

参考图4，图示了根据本文描述的技术的各方面示出了用于基于上下文信号来定制或定制化用户体验的另一示例性方法400的流程图。如框410所指示的，可以例如利用图2的系统200的用户数据收集部件214来检测与计算设备的用户相关联的多个上下文信号。如框412所指示的，用户的可能动作基于多个上下文信号可以被预测(例如，利用图2的系统200的可能动作推断引擎270)。仅作为示例，考虑到用户的历史动作和/或多个用户的累积的历史动作，来进行这样的预测，因为这样的动作与检测到的多个上下文信号有关。如方框414所指示的，可以自动启动从计算设备上安装的多个计算机程序和计算机应用中选择的计算机程序或计算机应用(即，没有肯定的用户交互)。这可以例如利用图2的可能动作推断引擎270的动作启动部件274来完成。在各方面中，计算机程序或计算机应用可被配置用于促进可能动作。

如方框416所指示的，可以例如利用图2的可能动作推断引擎270的对象确定部件276来确定与可能动作相关联的目标对象。如方框418所指示的，启动的计算机程序或计算机应用可以例如利用图2的可能动作推断引擎270的聚焦部件278来聚焦于目标对象周围。

可以理解，本文描述的技术的各个方面提供尤其用于基于上下文信号和/或先前的用户动作和/或先前别人的动作来定制化或定制用户计算体验的系统、方法和计算机可读存储介质。检测与计算设备的用户相关联的上下文信号。基于检测到的上下文信号，例如，考虑用户的历史动作和/或多个用户的累积历史动作来预测用户的可能动作，因为这样的动作与检测到的上下文信号有关。至少一个计算机程序或计算机应用被自动启动(即，没有肯定的用户动作)，所启动的程序或应用被配置用于辅助用户参与第一个可能动作。

现在转到图5，描述了推断可能用户动作的方法500。

在步骤510处，接收与在计算系统上运行的第一应用的用户交互。用户交互包括内容。

在步骤512，使用可能动作推断引擎来标识与用户交互关联的可能动作。可能动作与由一个或多个可能上下文因素定义的上下文相关联。

在步骤514，可能动作被存储在语义动作数据存储库中。语义动作数据存储库可以跨与第一用户相关联的多个设备而可访问。可能动作推断引擎可以访问语义动作数据存储库内的可能动作序列以确定用户动作何时与指定的序列相一致。在找到确认之后，可以修改诸如菜单的用户界面以帮助用户执行可能动作。

在步骤516，通过分析信号数据以确认当前上下文因素、以及将当前上下文因素与关联于上下文的可能上下文因素进行比较来确定上下文被满足。在一个方面中，可能动作与上下文相关联，可能动作当由当前上下文满足时可以使得定制的界面被呈现或生成。例如，初始操作可以是用户下载照片。这可以触发共享这些照片的可能动作的激活。上下文是打开通信应用，诸如电子邮件或发短信应用。作为一个示例，在打开发短信应用时，可以生成应用内的定制菜单以帮助用户将特定照片共享给照片中指定的特定人员。

在步骤518，包括用于通过第二应用执行可能动作的定制菜单选项的第二应用的动作菜单被输出用于显示。用户然后可以选择定制的菜单选项。在选择定制的菜单选项时，附加的语义数据可以被传送给应用以帮助应用执动作。例如，照片可以示出一个或多个人。语义信息可以包括这些人的电子邮件地址。电子邮件地址可以在用户的联系人信息、社交图或诸如用户简档240的其他数据储存库中查找。语义信息不一定在照片或与照片的其他用户交互中找到。在其他情况下，不从用户交互中获取语义信息。应该注意，用户交互可以与在第一设备上运行的第一应用，并且第二应用可以在第二设备上运行。例如，用户可以使用他们的移动设备将照片从他们的移动设备下载到相册中。然后用户可以选择使用个人计算机或平板计算机来共享照片。

现在转到图6，提供了推断可能用户动作的方法600。在步骤610处，接收与计算系统的多个用户交互。

在步骤612，多个用户交互被分析以构建可能动作序列。在一些方面，多个用户交互可以产生多个可能动作序列。可能动作序列包括初始交互、可能动作和可能动作上下文。在初始交互之后在可能动作的用户性能之间计算出高于阈值的相关性时，可能动作序列是被标识。换句话说，用户依次执行可能动作中的初始交互阈值次数以上，以建立两个动作相关的特定置信度分数。此外，可能动作可以与上下文相关联。可能动作上下文由一个或多个上下文因素来定义，该上下文因素描述了当可能动作被执行时同时存在的情况。

在一些实施例中，可以使用来自其他类似用户(即，众包)的用户交互(其可以包括历史活动)来生成可能动作序列。具体地，用户活动历史也可以结合用户自己的活动历史而被利用。例如，对于给定用户，基于具有与给定用户共同的特征或特性，可以标识与给定用户类似的其他用户集合。这可以包括位于给定用户附近的其他用户、给定用户的社交媒体朋友、工作同事(可以从与给定用户相关联的上下文信息的分析来确定)、具有类似用户交互的其他用户等。来自其他用户的关于用户活动历史的信息可以被依赖以用于推断给定用户的可能动作。这在针对给定用户存在较少用户活动历史的情况下，诸如用户是新用户的情况下，可以是特别有用。

在步骤614，可能动作序列被存储在语义动作数据存储库中。在步骤616，确定特定用户交互以匹配初始交互。在步骤618，确定上下文以匹配当前上下文。

在步骤620，在确定上下文匹配当前上下文并且特定用户动作匹配初始交互时，用于执行可能动作的定制菜单选项被输出以用于显示。

现在转到图7，提供了推断可能用户动作的方法700。在步骤710处，接收到与计算系统的用户交互。用户交互包括内容。在步骤712处，可能动作推断引擎被用来通过可能动作序列来标识与用户交互相关的可能动作。在步骤714，包括用于执行可能动作的定制菜单选项的动作菜单被输出以用于显示。定制的菜单动作包括从用户交互中提取的内容。

示例性的操作环境

一般地参考附图，并且具体地首先参考图8，用于实现本文描述的技术的各方面的示例性操作环境被示出并且一般地被指定为计算设备800。计算设备800仅仅是合适的计算环境的一个示例，并不旨在对本文描述的技术的使用范围提出任意限制。计算设备800也不应被解释为具有与所图示的部件的任意一个或组合有关的任意依赖性或要求。

本文描述的技术可以在计算机代码或机器可用指令的一般上下文中进行描述，所述计算机代码或机器可用指令包括由诸如个人数据助理或其他手持设备的计算机或其他机器执行的诸如程序部件的计算机可执行指令。通常，包括例程、程序、对象、部件、数据结构等的程序部件是指执行特定任务或实现特定抽象数据类型的代码。本文描述的技术可以在包括手持式设备、消费电子产品、通用计算机、专业计算设备等的各种系统配置中实践。本文描述的技术的各方面还可以在分布式计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。

继续参考图8，计算设备800包括直接或间接耦合以下设备的总线810：存储器812、一个或多个处理器814、一个或多个呈现部件816、输入/输出(I/O)端口818、I/O部件820和示意性电源822。总线810表示可以是一个或多个总线(诸如地址总线、数据总线或其组合)的东西。尽管为了清楚起见，图8的各个方框被用线条示出，但是实际上，描绘各个部件不是那么清楚，并且比喻性地，线条将更准确地是灰色和模糊的。例如，可以将诸如显示设备的呈现部件看作是I/O部件。另外，处理器有存储器。本发明人就此认识到这是本领域的本质，并且重申图8的图仅仅是可以结合本文所描述的技术的一个或多个方面使用的示例性计算设备的说明。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等类别之间不进行区分，因为所有这些都被预期为在图8的范围内，并且称为“计算机”或“计算设备”。

计算设备800通常包括各种计算机可读介质。计算机可读媒体可以是可以由计算设备800访问的任意可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于诸如计算机可读指令、数据结构、程序模块或其它数据的信息的存储的任意方法或技术实现的易失性和非易失性、可移动和不可移动介质。

计算机存储介质包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备。计算机存储介质不包含传播的数据信号。

通信介质通常实施计算机可读指令、数据结构、程序模块或以诸如载波或其他传输机制的已调制数据信号中的其他数据，并且包括任意信息传递介质。术语“已调制数据信号”是指具有其特性中的一个或多个、被以将信息编码到信号中的这种方式设置或改变的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、RF、红外线和其他无线介质的无线介质。以上任意一个的组合也应被包括在计算机可读介质的范围内。

存储器812包括以易失性和/或非易失性存储器形式的计算机存储介质。存储器812可以是可移除的、不可移除的或其组合。示例性存储器包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备800包括从诸如总线810、存储器812或I/O部件820的各种实体读取数据的一个或多个处理器814。呈现部件816向用户或其他设备呈现数据指示。示例性的呈现部件816包括显示设备、扬声器、打印部件、振动部件等。I/O端口818允许计算设备800在逻辑上耦合到其他设备，包括I/O部件820，其中一些可以是内置的。

示意性I/O部件包括麦克风、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、显示设备、无线设备、控制器(诸如触控笔、键盘和鼠标)、自然用户界面(NUI)等等。在各方面中，提供笔式数字转换器(未示出)和伴随的输入仪器(也未示出，但其可包括仅作为示例的笔或触控笔)以便数字地捕获手写用户输入。笔式数字转换器和处理器814之间的连接可以是直接的或者经由利用串行端口、并行端口和/或本领域已知的其它接口和/或系统总线耦合。此外，数字转换器输入部件可以是与诸如显示设备的输出部件分离的部件，或者在一些方面中，数字转换器的可用输入区域可以与显示设备的显示区域共存、与显示设备集成、或者可以作为覆盖或以其他方式附加到显示设备的分离的设备存在。任意和所有这样的变体及其任意组合都被预期是在本文描述的技术的方面的范围内。

NUI处理空中手势、语音或由用户生成的其他生理输入。适当的NUI输入可以被解释为用于与计算设备800相关联地呈现的墨迹笔划。这些请求可以被发送到适当的网络元件以用于进一步处理。NUI实现语音识别、触摸和触控笔识别、面部识别、生物识别、屏幕上和屏幕附近的手势识别、空中手势、头和眼睛跟踪、以及与计算设备800上的显示相关联的触摸识别的任意组合。计算设备800可以配备有深度相机，诸如立体相机系统、红外相机系统、RGB相机系统以及这些的组合，用于手势检测和识别。另外，计算设备800可以配备有使能运动的检测的加速度计或陀螺仪。加速度计或陀螺仪的输出可被提供给计算设备800的显示器以绘制沉浸式增强现实或虚拟现实。

计算设备可以包括无线电装置824。无线电装置824发送和接收无线电通信。计算设备可以是适于通过各种无线网络接收通信和介质的无线终端。计算设备800可以经由诸如码分多址(“CDMA”)、全球移动系统(“GSM”)或时分多址(“TDMA”)以及其他无线协议的无线协议来通信以与其他设备进行通信。无线电通信可以是短距离连接、远距离连接、或短距离和长距离无线电信连接的组合。当我们提到“短”和“长”类型的连接时，我们不是指两个设备之间的空间关系。相反，我们通常将短距离和长距离称为连接的不同类别或类型(即主连接和辅连接)。短程连接可以包括到提供对无线通信网络的访问的设备(例如，移动热点)的连接，诸如使用802.11协议的WLAN连接。到另一个计算设备的蓝牙连接是短程连接的第二个示例。远程连接可以包括使用CDMA、GPRS、GSM、TDMA和802.16协议中的一个或多个的连接。

已经关于特定方面描述了本文所描述的技术，这些特定方面在所有方面均旨在是示意性的而不是限制性的。尽管本文描述的技术易于进行各种修改和替代构造，但是其某些图示的方面在附图中示出并且已经在上面进行了详细描述。然而，应该理解，不旨在将本文所描述的技术限制于所公开的具体形式，相反，旨在覆盖落入本文描述的技术的精神和范围内的所有修改、替代构造和等同技术。

Claims (15)

1.一种计算系统，包括：

处理器；

一个或多个传感器，被配置为提供传感器数据，所述传感器数据至少包括移动计算设备的位置数据；以及

计算机存储存储器，具有存储在其上的计算机可执行指令，所述计算机可执行指令在由所述处理器执行时，实现推断可能用户动作的方法，所述方法包括：

(1)从用户接收(510)与在所述计算系统上运行的第一应用的用户交互，所述用户交互包括内容；

(2)使用可能动作推断引擎以标识(512)与所述用户交互相关联的可能动作，所述可能动作与由一个或多个可能上下文因素定义的上下文相关联；

(3)将所述可能动作存储(514)在语义动作数据存储库中；

(4)通过分析信号数据以确认当前上下文因素、以及将所述当前上下文因素与关联于所述上下文的可能上下文因素进行比较，来确定(516)所述上下文被满足；以及

(5)输出(518)以用于显示针对第二应用的动作菜单，所述动作菜单包括用于通过所述第二应用执行所述可能动作的定制菜单选项。

2.根据权利要求1所述的系统，其中所述语义动作数据存储库是跨与所述用户相关联的多个设备可访问的。

3.根据权利要求1所述的系统，其中所述用户交互是以下中的一项或多项：所述用户发送的电子邮件、所述用户接收的电子邮件、所述用户发送的文本、所述用户接收的文本以及与所述用户相关联的社交发布。

4.根据权利要求1所述的系统，其中所述第一应用在第一计算设备上运行，并且所述第二应用在第二计算设备上运行。

5.根据权利要求1所述的系统，其中所述动作菜单的默认版本不包括所述定制菜单选项。

6.根据权利要求1所述的系统，其中所述定制菜单选项包括从所述内容中提取的文本。

7.根据权利要求1所述的系统，其中所述方法还包括：在所述定制菜单选项被选择时，将附加内容从所述语义动作数据存储库自动传送到所述第二应用，其中所述附加内容被用于完成所述可能动作，并且在与所述交互相关联的所述内容中不被找到。

8.一种推断可能用户动作的方法，所述方法包括：

接收(610)与计算系统的多个用户交互；

分析(612)所述多个用户交互以建立可能动作序列，所述可能动作序列包括初始交互、可能动作和可能动作上下文，其中在所述初始交互之后在所述可能动作的用户性能之间计算出高于阈值相关性时，所述可能动作序列被标识，其中所述可能动作上下文由一个或多个上下文因素定义，所述上下文因素在所述可能动作被执行时描述同时出现的情况；

将所述可能动作序列存储(614)在语义动作数据存储库中；

确定(616)与所述初始交互匹配的特定用户交互已经发生；

确定(618)所述上下文与当前上下文匹配；以及

输出(620)以用于显示用以执行所述可能动作的定制菜单选项。

9.根据权利要求8所述的方法，其中确定所述上下文匹配所述当前上下文包括：分析信号数据以确认当前上下文因素，以及将所述当前上下文因素与关联于所述上下文的可能上下文因素进行比较。

10.根据权利要求9所述的方法，其中所述定制菜单选项包括从所述特定用户交互中提取的内容。

11.根据权利要求9所述的方法，其中所述计算系统包括与用户相关联的多个终端用户设备，并且所述多个用户交互是与所述多个终端用户设备中的多于一个终端用户设备的用户交互。

12.根据权利要求11所述的方法，其中所述初始用户交互在第一终端用户设备上被执行，并且所述定制菜单选项被输出以用于在第二终端用户设备上显示。

13.根据权利要求8所述的方法，其中所述可能动作序列包括所述初始交互与所述可能动作之间的关联规则。

14.根据权利要求8所述的方法，其中所述方法还包括向与所述用户相关联的客户端设备传送所述可能动作序列。

15.根据权利要求8所述的方法，其中所述初始用户交互是通过第一应用，并且所述可能动作是通过与所述第一应用不同的第二应用。