CN108205467A - 重复动作的智能辅助 - Google Patents

Abstract

本申请涉及重复动作的智能辅助。提供一种系统和方法，使得计算系统能够识别重复动作的序列并且提出自动重复任何这样的识别的动作。一种示例方法包括：确定当前用户动作序列与先前用户动作序列相似；确定先前序列是可再现的；以及当可再现时，发起请求核准基于先前序列来完成当前序列的提示的显示；以及响应于接收到核准的指示，完成先前序列。另一种示例方法包括：确定第一当前用户交互序列是完成的并且与任何保存的用户交互序列不相似；将所述第一当前序列保存为先前序列；将第二当前序列标识为满足与先前序列的相似度阈值；以及发起请求核准以将先前序列保存为快捷方式的提示的显示。

Description

重复动作的智能辅助

技术领域

本申请涉及重复动作的智能辅助。本申请要求于2016年12月19日提交的名称为“Smart Assist for Repeated Actions”的美国专利申请No.15/383,966的优先权，该申请的公开内容以引用方式并入本文中。

背景技术

许多用户在移动装置上重复进行某些任务，诸如，订购比萨、请求出租车/汽车服务、下载银行对帐单、购买公共交通等。对于这些任务，每当用户执行任务时，用户重复由动作序列表示的工作流。

发明内容

系统和方法识别由用户重复的工作流，了解用户何时开始重复它们，并且提出(offer)自动地完成序列。工作流被表示为动作序列。该序列中的每个动作被描述为处于高级别，例如，不参照屏幕坐标或像素位置，以使得与之前完成的工作流的比较更稳健。该系统可将当前工作流——即使不完整——与之前执行的工作流进行比较，以确定当前工作流是否表示之前执行的动作序列。如果当前工作流足够相似，则系统可提出为用户再现工作流。在一些实施方式中，系统还可计算当前工作流和相似的先前工作流的置信度分数，并且可仅当系统确信系统能够自动成功地完成工作流时提出再现工作流。一些实施方式可使得用户能够将被表示为动作序列的重复动作流中的一个或多个保存为例如在主画面上的快捷方式(shortcut)、作为应用选项和/或语音命令。

根据本公开的某些方面，一种方法包括确定使用移动应用的当前用户动作序列与先前用户动作序列相似，并且计算反映所述先前序列的可再现性的置信度分数。该方法还包括：当置信度分数满足置信度阈值时，发起请求对使用所述先前序列来完成所述当前用户动作序列的核准的提示的显示，并且响应于接收到对所述完成的核准的指示，完成先前序列。

根据本公开的某些方面，一种方法包括确定第一当前用户交互序列与先前用户交互序列不满足相似度阈值，确定第一当前动作序列完整，并且将第一当前序列保存为第一先前序列。该方法还包括将第二当前序列标识为与所述第一先前序列满足所述相似度阈值，并且发起请求对将所述第一先前序列保存为快捷方式的核准的提示的显示。

根据本公开的某些方面，系统包括至少一个处理器和存储指令的存储器，该指令在由至少一个处理器执行时使系统生成用户界面。用户界面被配置成发起记录动作的快捷方式序列，动作序列中的每个动作是与用户界面的用户交互的高级描述。用户界面还可被配置成接收动作序列中的帐户数据将被包括在动作中的指示。用户界面还可被配置成接收允许共享先前动作序列的指示。用户界面还可被配置成清除先前存储的动作序列。用户界面还可被配置成重命名快捷方式动作序列。用户界面还可被配置成选择其中系统捕获动作序列的应用。用户界面还可被配置成接收可共享先前动作序列的指示。

在一个一般方面，一种在计算机可读存储装置上实施的计算机程序产品包括指令，所述指令当由形成在衬底中的至少一个处理器执行时，致使移动装置执行所公开的方法、操作或过程中的任一个。另一个一般方面包括一种具有用户界面的系统和用于产生用户界面的方法，其使得用户能够控制和自定义在移动装置上何时执行动作以及执行什么动作可被存储在工作流中，以便与未来可能的重复动作进行比较。另一个一般方面包括用于确定何时提出完成动作的辅助的系统和/或方法，其基本如在附图中的至少一个所示/或结合其描述的，并且如在权利要求书中更完全阐述的。

可实现本文中描述的主题的实施方式中的一个或多个，以实现以下优点中的一个或多个。作为一个示例，实施方式提供了用于重复经常使用的动作序列的快捷方式。快捷方式可由用户显式请求，或者可以基于过去执行的相似动作序列的分析向用户建议。当用户发起快捷方式时，系统自动完成快捷方式所表示的工作流。作为另一示例，系统可标识重复的工作流并且提出自动完成用户的工作流。自动完成的这些示例通过减少完成工作流的时间并且减少或消除完成工作流所需的用户输入来减少电池使用、处理周期、RAM存储器使用和其他系统资源使用。因此，可提供持续和/或引导的人机交互过程。该过程可向用户提供执行技术任务的辅助。还可辅助用户正确地操作诸如移动装置的技术系统。提供了改进的人机交互并且减少了用户执行技术任务所需的输入。用于将工作流记录为动作序列的框架是灵活的，并且动作被以高级别捕获，允许标识相似的序列，不管用户界面的布局的改变(例如，移动控件或输入本文框)和序列内的动作次序的改变。一些实施方式提供了一种具有细粒度的控制机制，例如允许用户确定哪条信息可或不可被捕获作为序列的部分、是否禁用或共享序列、何时捕获序列等。

在附图和以下描述中阐述了一个或更多个实施方式的细节。根据说明书和附图并且根据权利要求书，将清楚其他特征。

附图说明

图1是图示了根据所公开的主题的示例系统的框图。

图2图示了根据实施方式的具有智能辅助提示的移动计算装置的示例显示。

图3图示了根据实施方式的具有快捷方式提示的移动计算装置的示例显示。

图4图示了根据实施方式的用于为动作代理选择参数的示例用户界面。

图5图示了根据所公开的实施方式的用于识别重复动作并且提供智能辅助的示例处理的流程图。

图6示出了可用于实现所描述的技术的计算机装置的示例。

图7示出了可用于实现所描述的技术的分布式计算机装置的示例。

各个图中类似的参考符号指示类似的元件。

具体实施方式

用于在计算装置(尤其是移动装置)上进行更有效处理的系统识别用户何时已经开始重复且可重复的工作流，并且使得用户能够指令装置完成工作流，而无需来自用户的其他输入或者最小输入。示例系统观察用户提供到移动应用或web站点的输入以及通过应用向用户提供哪些文本、图像和声音。示例系统将表示工作流的动作序列(输入、响应等)记录成高级别，使得对用户界面(例如，广告横幅)的屏幕布局和可变部分的轻微改变不影响序列。该系统对捕获什么序列提供用户控制。

示例系统可存储工作流描述，例如动作序列，并且可使用可以是部分地机器学习的相似度引擎来确定用户何时正重复先前序列。相似度度量将可包括序列的任何特性的为序列记录的信号作为输入，这些信号可包括一天中的时间、星期几、所使用的应用、输入的数量和类型、被按下的屏幕的大致面积、输入顺序等。相似度引擎可被配置成即使在存在稍微改变的组件的情况下也评估相似度，包括序列内的动作的不同顺序。因此，稍微改变的布局、web页面上的不同横幅或移动应用中的不同广告或报价不影响比较序列的能力。例如，相似度引擎可以是基于编辑距离。

当系统确定动作序列与先前序列足够相似时，系统可提出完成工作流。在一些实施方式中，在提出完成工作流之前，系统可生成关于系统是否可再现由序列表示的动作的预测。动作预测器可生成该预测，并且动作预测器可以是基于几个因素来提供置信度分数的另一个机器学习模型(完全或部分学习的)，因素诸如在相同场境(context)中的跨多个序列的用户行为、动作的场境、其他用户(如果可用)的相似序列、用户界面的改变频率等。置信度分数可被分为低、中等或高。如果置信度低，则系统可不执行任何动作。如果是中，则系统可将序列标记为可能建议的完成。例如，系统可“观察和学习”以查看用户是否再次执行该动作——这会在下一次遇到它时增加置信度。如果置信度分数高，系统可向用户建议该序列。用户可以可选地将工作流保存为快捷方式。如果用户选择使系统再现序列，则系统可在后台再现动作或向用户显示由序列输入的内容以及应用的响应。示例系统可对捕获什么动作、捕获什么信息以及保存的序列是否可用于共享提供用户控制。

图1是根据示例实施方式的智能辅助系统100的框图。智能辅助系统提供了减少资源消耗和用户输入以完成某些重复工作流的处理。在一些实施方式中，辅助系统100智能地选择提出完成哪些重复的工作流，使得系统避免建议不可自动成功完成的工作流。智能辅助系统100跨越移动应用提供一致的用户体验，使得在用户核准的情况下，任何应用中重复的动作序列可被自动完成，或者换句话说，在智能辅助下完成。在一些实施方式中，系统100还可包括提出移动装置的用户与另一用户共享工作流的处理，例如，以将工作流所表示的动作序列传递到另一个移动装置。智能辅助允许移动装置自动地执行或完成工作流，而无需用户输入，或者用户进行最小输入。这节省了系统资源，诸如，电池消耗、内存使用、处理器周期，因为装置可比人类用户更快地完成工作流。

智能辅助系统100可包括移动装置180。移动装置180可以是任何移动个人计算装置，诸如，智能电话或其他手持计算装置、平板、可穿戴式计算装置等，其在封闭的移动环境中操作，而非在常规开放的基于web的环境中操作。在一些实施方式中，移动装置可以是个人计算机、上网本、或膝上型计算机。移动装置180可以是计算机装置600的示例，如图6中描绘的。移动装置180可包括形成在基板中的一个或多个处理器，处理器被配置成执行一个或多个机器可执行指令或多个软件、固件或其组合。移动装置180可包括操作系统115。移动装置180可包括被配置成暂时地、永久地、半永久地或其组合方式地存储一个或多个数据的一个或多个计算机存储器。因此，移动装置180可包括以软件、固件或其组合的形式表示机器可执行指令的应用，包括移动应用110、动作助理120和/或设置UI 140。移动装置180还可包括一个或多个输出装置103。输出装置可包括用于显示可视内容的显示装置和用于呈现音频内容的扬声器。

移动装置180可包括动作助理120。动作助理120可被配置成观察由用户提供到一个或多个移动应用、web应用和/或web站点的输入，这些中的任一个可被称为“应用”。动作助理120还可观察由应用提供到用户的文本、图像和声音。用户动作表示诸如轻击、扫略、文本输入、或用户采取以与应用的用户界面进行交互的任何其他动作的用户输入手势。例如，用户动作可以是用户采取以与移动装置180的触摸屏进行交互的任何动作。用户动作也可以是用户经由诸如鼠标、键盘、轨迹班、麦克风等的输入装置而输入的任何文本或选择。动作助理120可以以高级别捕获观察结果并且将捕获的观察结果作为由动作序列表示的工作流进行存储。因此，动作序列可包括以高级别捕获的输入、结果、响应等。以高级别捕获的序列不包括诸如用户选择的像素位置的细节。确切地，以高级别捕获的动作标识用户通过动作实现的功能。例如，比萨订单工作流可被捕获为以下动作序列：

1.进入主菜单

2.选择大比萨

3.通过添加腊肠和橄榄，升级大比萨

4.输入数量2

5.选择<add to cart(添加到购物车)>控件

6.选择大比萨

7.通过添加青椒、洋葱、橄榄和蘑菇修改大比萨

8.输入数量1

9.选择<add to cart>控件

10.选择<checkout(结算)>控件

11.确认所保存的支付信息

12.选择可能最早的配送时间

13.选择<确认订单>控件

14.退出应用

作为另一示例，比萨订单工作流可被捕获为以下动作序列，该动作序列图示了更结构化的方法：

1.[select:main_menu]

2.[select:size.lg]

3.[select:topping.pep]&[select:topping.bo]

4.[select:q.2]

5.[select:add_cart]

6.[select:size.lg]

7.[select:topping.gp]&[select:topping.o]&[select:topping.bo]&select[topping.mush]

8.[select:q.1]

9.[select:add_cart]

10.[select:checkout]

11.[select:cc1]

12.[select:del.asap]

13.[select:order]

14.[select:exit]

如以上两个示例所图示的，序列包括关于应用提供的内容的特征(例如，顶部控制及其值)以及关于由用户提供的输入的特征(选择哪些控件以及哪些值)。动作助理120可用多种方式来确定一个动作序列与另一动作序列之间的边界。例如，系统可基于用户将序列指定为完整的显式命令来确定序列已经结束。作为另一示例，系统可基于用户切换成另一应用或用户关闭应用来确定序列已经结束。作为另一示例，系统可基于来自应用的通知(例如，指示“订单已完成”、“接收到订单”或类似内容的消息)来确定序列已经结束。

动作助理120可将动作的序列作为供后续参考的先前序列存储在例如先前序列170中。除了存储动作的序列之外，动作助理120还可存储关于序列的元数据。元数据也可被称为序列的信号。这些信号可包括序列的任何特性，包括一天中的时间、星期几、所使用的应用、输入的数量和类型、被按下的屏幕的大致面积、输入顺序、装置是否正在移动等。例如，作为序列的场境，动作助理120可为每个动作记录指示何时发生动作的时间戳(包括工作日、一天中的时间、这天是否是假期等)、指示用户在哪里的位置戳、位置历史、先前使用的应用、先前的动作序列等。在一些实施方式中，信号可被存储为值阵列，例如，浮点数的阵列、文本串的阵列、枚举值的阵列等。该系统可将元数据与动作序列一起存储，例如在先前序列170中。

动作助理120可使用可以是部分学习的相似度引擎155和先前序列170来确定用户何时开始重复动作。相似度引擎155可以是生成当前动作序列与先前序列170中的一个或多个之间的相似度度量的预测模型。相似度引擎155可将当前动作序列、例如来自先前序列中的一个或多个先前动作序列170、以及每个序列的元数据或信号作为输入。在一些实施方式中，元数据可以被提供为特征向量。相似度引擎155提供当前序列与先前序列中的每个之间的相似度度量。例如，相似度度量可以是基于诸如编辑距离的多个不同度量。在一些实施方式中，系统可仅当先前序列与当前动作序列具有某个最小共同性、诸如共享同一应用时，选择先前动作序列。相似度引擎155被配置成即使存在稍微改变的组件时也评估相似度。因此，web页面上的不同横幅、移动应用中的不同广告或优惠、稍微改变的布局、或动作的不同顺序不影响相似度引擎155比较两个序列的能力。在一些实施方式中，相似度度量可由机器学习算法来生成。在一些实施方式中，可从服务器(例如，服务器190)向移动装置180周期性提供相似度引擎155。

动作助理120使用相似度度量来确定当前动作集合是否与一个或多个先前集合充分相似。例如，动作助理120可将度量与相似度阈值进行比较。可以基于多个因素，诸如系统是否在过去做出了好预测、先前序列是否被保存为快捷方式、有多少先前序列彼此以及与当前序列匹配等，来调节阈值。由相似度引擎155计算的相似度度量可取决于当前工作流有多完整。例如，仅仅打开用于从特定餐馆订购比萨的移动应用可与用于该特定应用的先前序列充分相似，因为多个先前序列对于该应用而言足够相似。因此，相似度引擎155可具有用户将希望使用应用来再次执行相同动作的高置信度。相比之下，用户可使用预约移动应用来在多个不同餐厅进行预约。因此，在没有进一步场境的情况下，仅仅打开预约应用与任何一个特定先前序列不足够相似。例如，如果用户在该月份的同一时间或者当在特定位置处预约同一个餐馆，在当前动作序列共享这些信号时，可使用这些信号来提高针对于该餐厅的特定先前序列而言的相似度度量。

当动作助理120确定当前动作序列与先前序列足够相似时，动作助理120可生成关于系统是否可再现先前序列所表示的动作的预测。动作助理120可使用动作预测器150来生成预测。在一些实施方式中，动作预测器150可使用相似度度量作为置信度分数。换句话说，相似度度量可满足相似度阈值，并且如果满足，则可将相似度阈值与一个或多个置信度阈值进行比较。在一些实施方式中，动作预测器150可以是提供单独置信度分数的完全或部分学习的另一个机器学习模型。置信度分数可以基于若干因素，诸如在同一场境中跨多个序列的用户的行为、工作流的场境、其他用户的相似序列(如果可用)、工作流的用户界面的改变频率、工作流的用户界面中的选择变化性等。置信度分数可被分类为低、中等或高。如果置信度低，则动作助理120可不再跟踪工作流，并且不提出再现工作流。置信度分数可能低因为难以可靠地再现序列中的先前用户动作。如果置信度分数被归类为中，则系统可将序列标记为可能建议的完成。例如，在一些实施方式中，系统可进入“观察和学习”模式，以确定用户是否再次执行该工作流。在一些实施方式中，除非关于计算环境的属性(例如，用户设置、特定应用)阻止这种模式，否则系统可处于“观察和学习”模式。在下一次动作助理120遇到该序列时，动作预测器150可增加置信度分数。一旦已遇到相同序列最小次数，置信度分数可被归类为高而非中。另一方面，动作助理120可在一段时间之后确定该序列不随时间重复，例如，该序列经常变化，并且动作预测器150可将置信度分数从中等降至低。中等置信度分数指示关于是否可完成动作序列的不确定性。

如果置信度分数被归类为高，则动作助理120可发起提出用户完成动作的提示。如果用户指示核准系统完成该动作，则动作助理120还可发起给用户机会将动作序列、或者换言之工作流作为快捷方式保存在例如快捷方式序列172中的提示。快捷方式序列可以是用户已经指定为快捷方式的先前序列。这可响应于提示而完成，或者可在用户记录动作序列的显式模式下完成，当序列完成时该动作序列被指定为快捷方式。每个快捷方式序列可与相应的语音命令关联，使得用户可借助语音命令来发起快捷方式。快捷方式也可与可布置在移动装置的主画面或移动装置的用户界面中的某个其他位置上的控件(例如，可选择图标)关联。在一些实施方式中，快捷方式序列可与名称或描述相关联。在一些实施方式中，快捷方式序列可与用户所选择的特定输入序列，诸如长按和扫略，相关联。

当用户选择使系统完成工作流，例如再现先前序列时，动作助理120使用先前序列来完成工作流。因此，再现工作流意味着完成工作流，例如，执行不在当前动作序列中的序列中而是在先前动作序列中的动作。如果用户使用快捷方式(例如，语音命令或选择快捷方式的图标)发起工作流，则再现工作流包括执行包括在针对快捷方式的动作序列中的所有动作。在一些实施方式中，动作助理120可在后台再现动作。这可只包括在动作序列结束时显示应用生成的最终用户界面。这还可包括在自动执行动作的同时显示一些间歇性的用户界面，而非所有的用户界面。在一些实施方式中，动作助理120可像用户实际上正提供输入一样再现工作流，即，向用户显示在动作助理120执行动作时输入的内容和应用响应于输入而产生的用户界面。

为了再现工作流，动作助理120使用与当前动作序列相似的先前动作序列来向与先前序列相关联的应用提供输入。因为动作助理120是操作系统的部分，所以动作助理120能够访问由应用(例如，移动应用、web应用或web站点)生成的用户界面组件。因此，例如，动作助理120可识别用户界面中的文本框并且为文本框提供文本，或者寻找控件并且模拟控件选择。可以经由模拟用户行为，例如点击、轻击、打字等，或其他常规方法，来实现动作序列的再现。

动作助理120可使用辅助参数130来确定何时观察和存储动作序列、用动作序列存储什么样的信息、在再现动作中使用什么信息、是否可共享序列等。例如，辅助参数130可包括指示动作助理120对其活跃的一个或多个应用的参数。作为另一示例，辅助参数130可包括指示动作助理120对其从不活跃的一个或多个应用的参数。如果动作助理120不工作，则动作助理不观察、捕获或保存动作序列，因此不提出完成序列。

辅助参数130可包括识别不被捕获为动作序列的部分的输入的一个或多个参数。例如，用户可指定动作助理120不能记录或存储用户名、密码、帐号、用户标识符等。当动作助理120观察将不被捕获/描述/记录的动作中的输入时，动作助理120可结束当前动作序列。换句话说，在一些实施方式中，将不被捕获的输入终止序列。该序列可被认为是完整的，因为任何其他动作不能自动再现。在一些实施方式中，动作助理120可使用令牌取代由用户提供的输入，使得可以在没有输入的情况下捕获动作。在这种实施方式中，动作助理120不能自动再现动作——动作助理120将需要用户提供由令牌表示的输入，以继续再现完整序列。在一些实施方式中，除非用户特别要求针对动作序列中的动作收集此信息，否则默认地针对动作不收集诸如支付或帐户信息的特定输入。

计算装置180还可包括设置UI 140。设置UI 140可被配置成使得用户能够查看、添加或改变辅助参数130中的参数。换句话说，在一些实施方式中，设置UI 140可向移动装置180的用户提供控制动作助理120的能力。由设置UI 140提供的粒度级别可取决于实施方式。例如，设置UI 140可使得用户能够选择移动应用110或移动应用110的类型，并且为该应用110或应用类型来开启或关闭动作助理120。作为另一示例，设置UI 140可使得用户能够对包括在动作序列中的输入施加限制。作为另一示例，设置UI 140可使得用户能够禁用动作助理120。作为另一示例，设置UI 140可使得用户能够选择输入限制的等级。限制可允许捕获移动装置180上的动作序列，但是阻止或不允许共享序列。例如，一些用户可与另一装置共享快捷方式序列172或与服务器190共享先前序列以帮助训练和细化相似度引擎155和/或动作预测器150。其他用户可使用设置UI 140来阻止任何共享。在一些实施方式中，设置UI 140可使得用户能够删除先前序列170中的一些或所有动作序列。在一些实施方式中，动作助理120的开发者可提供设置UI 140。在一些实施方式中，移动应用110的开发者可提供与移动应用110相关的设置UI 140的一些功能。换句话说，当用户下载并安装移动应用110时，移动应用可使得用户能够使得动作助理120对于移动应用110而言是活跃的或不是活跃的。设置UI 140还可包括显式地记录快捷方式序列的控件或选项。这是用户显式执行动作的集合并且将该集合保存为快捷方式序列的一种特殊训练模式。如同其他快捷方式序列一样，用户可以能够为快捷方式保存名称、控制和/或语音命令。

虽然设置UI 140、相似度引擎155、动作预测器150和动作助理120被图示为在移动装置180上运行的单独应用，但是应当理解，在设置UI 140、相似度引擎155、动作预测器150、动作助理120中标识的一个或多个组件可以是操作系统115的部分。在一些实施方式中，动作助理120、相似度引擎155、动作预测器150和设置UI 140的所有组件都可以是操作系统115的部分。在一些实施方式中，可以在服务器190处执行设置UI 140的一个或多个组件，所以例如用户可具有动作助理配置文件，动作助理配置文件被下载以更新用户所登陆到的任何移动装置的辅助参数130。

智能辅助系统100可包括服务器190，服务器190可以是采取可分布于多个计算装置的多个不同装置形式的计算装置，例如，标准服务器、一组这样的服务器、或机架式服务器系统。另外，服务器190可在个人计算机，例如膝上型计算机中实现。服务器190可以是如图6中描绘的计算机装置600或如图7中描绘的计算机装置700的示例。服务器190可包括移动装置180的用户的用户帐户，并且可用于存储用户的信息，诸如辅助参数配置文件。服务器190还可在用户许可的情况下接收先前序列。服务器190可使用先前序列来例如经由跨用户训练更好地训练和改进相似度引擎155。服务器190可使用先前序列来例如经由跨用户训练更好地训练和改进动作预测器150。在一些实施方式中，服务器190可被配置成当跨多个用户确定移动应用的模式时，通知移动应用的开发者。例如，通过分析许多用户的先前的匿名化的序列，服务器190可确定90％的用户共享相似的工作流，即，相似的动作序列。此高共性证明了用户对工作流的需求，并且系统可向应用的开发者通知该工作流，使得工作流可被本地提供(其可比再现动作序列更快地执行)。

移动装置180可通过网络160与服务器190和其他移动装置通信。网络160可以是例如互联网，或者网络160可以是使用例如网关装置、网桥、交换机和/或其它等实现的有线或无线局域网(LAN)、广域网(WAN)。网络160还可表示蜂窝通信网络。经由网络160，服务器190可与移动装置180通信并且向移动装置180发送数据/从移动装置180接收数据，并且移动装置180可与服务器190和其他计算装置通信并且将数据发送到服务器190和其他计算装置。

智能辅助系统100表示一个示例配置，并且实施方式可包含其他配置。例如，一些实施方式可将设置UI 140、动作助理120、操作系统115、移动应用110、相似度引擎155和动作预测器150的组件中的一个或多个组合到单个模块或引擎中，设置UI 140的组件中的一个或多个可由服务器190执行。作为另一示例，诸如辅助参数130和先前序列170的数据储存中的一个或多个可被组合成单个数据储存，可分布于多个数据储存或文件，可分布于多个计算装置上，或者可被存储在服务器190处。

从智能辅助系统100收集或存储用户特定数据或者利用个人信息的意义上说，可向用户提供控制程序或特征是否收集用户信息(例如，关于用户社交网络的信息、社交动作或活动、用户输入动作、职业、用户偏好或用户的当前位置)或者控制是否和/或如何接收可能与用户更相关的内容的机会。另外，某个数据可在它被存储或使用之前接受一种或更多种方式的处理，使得个人可标识信息被去除。例如，可对用户身份进行处理，使得不能确定用户的个人可标识信息，或者可在获得位置信息的情况下归纳用户的地理位置(诸如，到城市、邮政编码或州级)，使得不能确定用户的特定位置。因此，用户可控制如何收集关于用户的并且供智能辅助系统使用的信息。

这里要注意并且适用于本文中描述的各种实施例，可提供确定动作和其他功能的捕获是否与正在装置屏幕上显示的图像的内容、布局、功能或其他方面的使用权一致的能力和相应的设置能力。例如，在这样做可违反服务条款、内容许可或其他使用限制时，一些辅助参数130可限制动作序列的保存。可手动或自动地，诸如由用户在创建新服务或装置使用许可时，或者通过应用安装程序等，来进行这些设置并且这些设置可能经由设置UI 140是不可修改的。

图2图示了根据实施方式的具有智能辅助提示的移动计算装置的示例显示。诸如图1的系统100的智能辅助系统可在显示器200中生成提示205。在图2的示例中，用户已经至少在一个先前时间使用了比萨店应用来订购大型薄皮辣香肠比萨和大型蔬菜比萨。因此，在图2的示例中，系统已经存储了捕获用户提供的用于完成订单的输入的至少一个先前动作序列。例如，先前动作序列可被存储为(例如，存储在先前序列170中)：

1.打开比萨店应用

2.选择<customize(定制)>控件

3.选择大尺寸，选择薄皮

4.选择<next(下一步)>控件

5.选择腊肠和橄榄

6.选择数量2

7.选择<add to cart(添加到购物车)>控件

8.选择<continue order(继续订单)>控件

9.选择<Vegetable(蔬菜)>控件

10.输入数量1

11.选择<add to cart>控件

12.选择<checkout>控件

13.确认所保存的支付信息

14.选择可能最早的配送时间

15.选择<confirm order(确认订单)>控件

16.退出应用

系统可已经基于多种因素确定了该先前序列与当前序列相似。例如，系统的用户可在星期五晚上多次下订单，并且当前时间对应于星期五晚上。作为另一示例，用户可能仅在过去下该订单。在这些情况中的任一个中，一旦用户打开比萨店应用，系统就可提出提示205。作为另一示例，系统可确定该顺序与上述用户将两个大型薄皮比萨放在购物车中之后的先前动作序列相似。当由包括小比萨订单的比萨店应用的另一个序列时，可能出现这种情况。当然，可使用其他因素来确定当前序列是相似的。

除了确定当前序列与先前序列相似之外，系统可确定存在可再现动作的高置信度。例如，比萨店应用用户界面不会常更改和/或应用内可存在可靠用户行为的历史。一旦系统决定当前动作序列与先前序列足够相似，系统就可发起提示205的显示。提示205可包括要再现的动作序列的描述210。描述210是使用常规技术生成的序列的高级描述的文本版本。提示205还可包括核准控件215和反对控件220。在一些实施方式中，如果用户选择反对控件220，系统可例如借助属性或将置信度设置为低值来将序列标记为拒绝，使得系统不再针对这个用户而提出完成动作序列。在一些实施方式中，当用户选择反对控件220时，系统可升高置信度阈值，这造成系统较不太频繁地提供序列。如果用户选择核准控件215，则系统可开始再现动作。例如，系统可模拟在先前动作序列中由用户提供的输入。因为以高级别记录动作，所以系统可再现动作，无论布局如何改变。然而，影响例如输入框、下拉菜单等的控件的界面的改变可影响再现动作的能力。在一些实施方式中，显示器200可在动作被再现时显示动作。在一些实施方式中，显示器200可在后台再现序列，例如，不显示比萨店应用所产生的介入画面，或仅显示特定画面，例如确认下订单的画面。此实施方式进一步减少了系统资源的使用，因为原本将会呈现给显示器的多个画面替代地由动作助理来操纵。

图3图示了根据实施方式的具有快捷方式提示的移动计算装置的示例显示。诸如图1的系统100的智能辅助系统可在显示器300中生成提示305。在图3的示例中，用户可能已经选择了图2的核准控件215，并且系统可确定先前序列之前没有被保存为快捷方式序列，并且用户之前没有指示对快捷方式的反对。在再现先前序列中的动作之前，系统随后可生成提示305。快捷方式提示305可包括核准控件310或325、犹豫控件315和/或反对控件320。如果用户选择反对控件320，则系统可将先前序列标记为显式反对作为快捷方式，并且继续再现序列。这可借助状态标志或先前序列的属性或性质来完成。因此，可不再要求用户将序列保存为快捷方式，但是可以在如图2的提示205的自动完成提示中提出序列。

如果用户选择犹豫控件315，则系统可继续再现先前动作序列。该系统可在下一次用户执行先前动作序列时再次提供提示305。如果用户选择核准控件310，则系统可将先前动作序列保存为快捷方式序列。在一些实施方式中，这可经由先前序列的状态标志或先前序列的属性或性质来实现。在一些实施方式中，系统可将先前序列存储到或移至另一个数据储存。在一些实施方式中，选择核准控件310可致使系统发起使得用户能够为快捷方式提供名称、图标和/或位置的另一个用户界面的显示。例如，系统可使得用户能够指定快捷方式被包括在主画面、小部件(widget)菜单或其他某个位置中。在一些实施方式中，图标可以是比萨店移动应用的图标的修改版本，其提供该快捷方式再现比萨店移动应用中的动作的可视指示。在一些实施方式中，提示305可包括被配置成使用户记录用于快捷方式的语音命令的核准控件325。语音命令可使得用户能够通过语音激活来发起快捷方式，即，再现与快捷方式序列相关联的动作。当然，其他实施方式可允许用户将输入动作与快捷方式相关联，例如，长按比萨店应用主菜单的菜单控件或一些其他输入动作。

图4图示了根据实施方式的用于为动作代理选择参数的示例用户界面。诸如图1的系统100的智能辅助系统可生成用户界面400。在一些实施方式中，用户界面400可由设置UI140生成。在一些实施方式中，可由web应用例如在访问用户账户的服务器处生成用户界面400。在图4的示例中，用户界面400允许用户选择和调节由动作代理使用的参数。这些设置可跨移动装置上执行的任何应用进行应用，或者可应用于特定应用。在一些实施方式中，每个移动应用可具有与示例用户界面400中图示的元件相似的元件的设置用户界面。在这些实施方式中，输入或删除的参数适用于该特定移动应用。

在图4的示例中，用户界面400包括用于指定可由动作助理用于确定何时收集和存储用户动作序列的各种参数、如何处理动作(例如，可共享或不可共享)以及收集哪些类型的信息的控件。在一些实施方式中，用户界面可包括用于禁用动作助理的控件410。控件410允许用户关闭动作助理。当动作助理被禁用时，不会观察、捕获和存储序列动作。因此，动作助理不能提供自动完成先前序列的提示。在一些实施方式中，禁用动作助理还可禁用快捷方式序列。在其他实施方式中，当用户调用快捷方式时，动作助理仍然可再现快捷方式序列。用户界面还可包括设置或清除共享参数的控件415。当选择共享参数时，动作助理可与服务器共享先前序列，使得服务器可跨用户执行相似度引擎和/或动作预测器的学习。当然，动作助理可在共享之前从先前序列中去除个人信息。例如，如果此信息出现在序列中，则可在共享之前用令牌替换用户名、支付信息、地址等。共享参数还可使用户能够与另一个装置和/或另一个用户共享快捷方式序列。例如，用户可向用户拥有的另一个移动装置发送快捷方式序列。作为另一示例，用户可向另一个用户的移动装置发送快捷方式序列。如果与另一个用户共享，则动作助理可去除个人信息。

用户界面400还可包括用于指示特定输入是否不经受自动化的若干控件。不经受自动化的输入不被存储为动作序列的部分。在一些实施方式中，用户界面可包括控件420，控件420指示当存储动作序列时动作助理可包括用户登录信息。例如，用户会需要用户名和密码以登录到应用。如果没有选择控件420，则动作助理可不存储用户名或密码。因此，如果没有选择控件420，则登录信息不经受自动化。在一些实施方式中，这会造成动作助理放弃序列或关闭序列，使得序列在请求登录信息的界面处停止。在一些实施方式中，动作助理可将用户名和密码存储为令牌，该令牌指示在用户不为该令牌供应值的情况下动作助理不能执行序列。因此，例如，动作助理可再现序列，直到需要用户名的序列中的动作为止；此时，移动装置正在显示请求用户名和密码的用户界面。一旦用户已经供应了该输入，动作助理就可继续再现剩余的序列。在此情形下，动作助理可执行序列的半自动再现；再现不是完全自动的，因为它在序列期间的某个时刻需要进行用户交互。

用户界面400还可包括控件425，控件425设置指示是否在该序列中包括输入的支付或帐户的参数。如同登录数据一样，用户可选择包括支付信息，尽管默认选项可不包括支付信息。因此，如果没有选择控件425，则支付和账户信息不经受自动化。如果不包括支付信息，则动作助理可执行序列的半自动再现，如以上关于登录信息所讨论的。

用户界面400还可包括设置指示在序列中是否包括关于用户的信息的参数的控件430。例如，如果没有选择控件430，则动作助理可不存储用户的姓名、出生日期、性别等，如果它们被提供为动作序列的部分。因此，如果没有选择控件430，则个人信息不经受自动化。如同登录和支付信息一样，如果没有存储用户信息，则动作助理可忽略序列，终止序列，或用令牌替换输入项。

用户界面400还可包括用于指定白名单的控件435，或者控件610还可包括用于保护诸如扫略、点击、污渍、轻击等的手势或用户输入动作的合集的控件630。如以上讨论的，例如，动作助理可捕获这样的用户交互，以辅助进行重复任务的自动化。控件630可使得用户能够关闭这些用户输入动作的合集。如同其他控件620和625一样，可在应用特定用户界面中提供控件630，使得当特定应用正在运行时，动作助理不收集用户输入动作。

用户界面400还可包括控件435，控件435使得用户能够选择动作助理可在哪些应用中操作或者动作助理可不在哪些应用中操作。换句话说，参数可包括显式标识针对其启用动作助理的应用的应用的白名单、或可显式针对其禁用动作助理的应用的黑名单。选择控件435可发起列出白名单或黑名单中的应用的另一个窗口或用户界面的显示以及用于从列表中移除应用或将应用添加到列表中的控件。

用户界面400还可包括使得用户能够与另一个用户共享快捷方式序列的控件440。对控件440的选择可致使系统发起允许用户例如经由装置标识符、电话号码、用户名等选择另一个装置并且选择快捷方式序列中的一个进行分享的另一个窗口或用户界面。在一些实施方式中，可经由语音命令来实现共享。例如，对控件440的选择可发起监听装置标识符和快捷方式序列标识符的监听模式。

用户界面400还可包括使得用户能够进入显式训练模式的控件445。在显式训练模式下，用户所执行的动作被保存为快捷方式序列。换句话说，系统不将该序列与先前序列进行比较来确定它是否足够相似并随后对完成计算置信度分数；而是，系统仅仅观察用户所执行的动作序列并且将其标记为快捷方式序列。显式训练模式可通过用户的动作来结束或在系统通常关闭动作序列的时刻结束，系统可询问用户是否应该结束快捷方式序列。

用户界面400还可包括用于管理快捷方式序列的控件450。用户可命名或重命名快捷方式序列，删除快捷方式序列，记录针对快捷方式序列的语音命令等。用户界面400还可包括数据储存中删除先前保存的序列的控件455。在一些实施方式中，控件455的致动可删除未被标记为快捷方式序列的所有序列。尽管是在单个用户界面中图示，但实施方式可包括具有所描述功能的多个用户界面。

图5图示了根据所公开的实施方式的用于标识重复动作并且提供智能辅助的示例过程500的流程图。过程500可以由在移动装置上执行的动作助理，诸如图1的系统100的动作助理120执行。过程500可用于标识用户之前已经执行的动作序列，并且用于为用户自动或半自动地再现或完成序列。自动执行动作序列意味着用户在序列再现期间不提供输入。替代地，动作助理使用先前动作序列来提供实现与先前序列所实现结果相似的结果所需的输入。半自动执行动作序列意味着可在再现动作序列期间的某个时刻要求用户提供一个或多个数据项。例如，用户可在再现动作序列期间提供支付信息或登录密码。过程500可以在用户同意的情况下在后台持续运行。在一些实施方式中，过程500的部分可持续运行，使得系统可监视用户动作并且组织动作，以便未来进行比较。换句话说，系统可使用过程500的部分在训练模式下收集信息，例如，收集用于在稍后时间与当前序列进行比较的先前序列。

过程500可通过动作助理捕获当前用户动作序列开始(505)。系统以高级别、换言之功能级别捕获当前用户动作序列。因此，系统通过标识所选择的控件的名称或标识符来捕获当前动作集合中的每个动作，并且在不参考像素坐标的情况下标识用户键入或说出的内容。这使得再现动作更稳健。因此，只要用户界面中的控件不改变名称，就可再现动作序列中的每个动作。在一些实施方式中，动作可与控件名称软匹配，以在再现动作中提供更大的灵活性。在一些实施方式中，每个动作可具有可以是人类不可读的结构化表示。这些动作可以是作为数据记录序列存储的信息。当用户与移动装置进行交互时，动作助理捕获当前的动作序列。换句话说，在用户提供输入时，捕获当前动作序列。除了记录动作之外，系统还可记录动作的信号，诸如，一天中的时间、执行的应用、位置、移动装置的移动、输入相对于画面上可见的其他元件的相对位置、或由动作表示的工作流的任何其他特性。因此，捕获当前动作序列包括捕获与动作相关的信号。

动作助理可确定动作序列是否与先前动作序列相似(510)。动作助理可按某个周期性时间间隔或每当将动作添加到当前动作序列时执行比较。通过在当前动作顺序完成先前序列执行相似度比较，系统可提出为用户再现动作。动作助理可使用相似度度量来确定当前动作序列是否与先前动作序列相似。相似度度量可以是机器学习的模型。先前动作序列可以是由用户在较早时间提供的并且在获得用户许可的情况下存储在数据储存中的序列。系统可用与先前动作序列和当前动作序列一起存储的信号作为输入并且可生成两个序列的相似度度量。在一些实施方式中，系统可仅当两个序列共享某些最小需求，例如在同一移动应用或web页面上运行时，确定先前序列和当前序列之间的相似度度量。当相似度度量满足——即达到或超过——相似度阈值时，当前序列和先前序列可被确定是相似的。

在当前序列与先前序列不相似(510，否)时，动作助理可确定当前动作序列是否已完成(515)。动作助理可基于许多不同因素，诸如用户关闭移动应用或web页面、用户完成或确认支付或订单、接收到确认电子邮件、接收到确认文本消息、选择完成控件(例如，“finish(完成)”、“submit(提交)”、登出等)、不活跃的、选择“睡眠”模式和其他类似的用户动作和事件，来确定序列是完整的。如果动作序列未完成(515，否)，系统可继续捕获针对当前序列的动作(505)。如果动作序列已完成(515，是)，则系统可将当前序列动作连通当前序列的信号一起保存为先前动作序列(525)。在一些实施方式中，系统可用置信度分数来保存当前动作序列。但是，因为与先前动作序列不相似的当前动作序列还未生成置信度分数，所以系统可不用置信度分数来存储这种类型的序列。

在当前序列与先前序列相似(510，是)时，系统可计算当前动作序列和相似的先前动作序列(520)的置信度分数。置信度分数可以是经过训练以预测动作助理是否可正确地再现由先前动作集合表示的工作流的部分或全部机器学习的模型。预测模型可采用各种信号作为输入。一个示例信号是用户在同一个web应用、web页面或移动应用中跨多个工作流(先前动作序列)的行为。这可包括按钮或其他控件选择的数量。例如，如果用户已经跨与当前序列相似的多个先前序列选择了“提交”控件五次和数量控件一次，则该信号可有助于用户重复执行相同工作流的高置信度。预测模型也可使用场境信号。例如，工作流可在一天中的特定时间或者当用户处于特定位置时是一致的，而在其他情况下不一致。如果当前动作序列的场境与一致动作的场境匹配，则模型可具有较高置信度，否则具有较低置信度。用作输入的输入信号的另一示例可以是在同一场境中的用户聚合行为。在获得用户同意的情况下，可使用从不同用户发送到中央服务器的匿名化的日志来生成此信息。输入信号的另一个示例是移动应用或web页面的用户界面改变的频率。如果按钮、文本框和其他控件和输入频繁改变，则预测器对再现工作流的置信度可较低。另一个示例输入信号是特定工作流中可用的选项的变化性以及跟随所述工作流的可能性。如果变化性低，则即使没有多个先前序列，预测模型也可具有高置信度，但是如果变化性高，则预测模型可能具有较低置信度，除非许多先前序列指示用户遵循(或者总计，多个用户遵循)特定序列。另一个示例输入信号是工作流是否已被用户保存为快捷方式。如果当前动作序列类似于也标记或标注为快捷方式的先前动作序列，则预测模型可输出高置信度分数。

预测模型可被配置成提供可被分类为低、中等或高的置信度分数。如果置信度分数满足——即，达到或超过——第一置信度阈值，则置信度分数可被视为高。如果置信度分数无法达到第一置信度阈值但是达到或超过第二置信度阈值，则置信度分数可被视为中等。如果置信度分数无法满足第一置信度阈值和第二置信度阈值，则该分数被视为低。如果置信度分数低，则系统可针对该序列禁用动作助理，因为它太难再现相似的工作流。因此，一旦用户开始新的序列，系统就可继续捕获另一个动作序列(505)。如果置信度分数被视为中等，则系统可确定该动作是否已完成，如果已完成(515，是)，则可以以观察和学习模式保存当前序列(525)。例如，当前序列可被保存为具有置信度分数的先前序列。在下一次系统遇到相似序列时，该先前置信度分数可被用作预测模型的输入信号。预测模型可修改置信度分数，使得系统最终达到动作序列所表示的工作流的低或高置信度。如果动作未完成，则系统可在用户完成序列时继续观察和学习。

当置信度分数高时，系统可生成向用户询问用户是否想要再现该动作的提示(530)。该提示可与图2的提示205相似。如果用户不想再现动作(535，否)，则系统可继续捕获另一个工作流，例如从步骤505开始。在一些实施方式中，系统可将先前的相似工作流标记为被反对，使得它们不被再次提供，或者必须达到较高阈值以被再次呈现。如果用户确实想要再现动作(535，是)，则系统可确定先前动作序列是否已经被保存为快捷方式(540)。如果已保存(540，是)，则系统可进行到再现先前动作序列所表示的工作流(560)。为了再现工作流，系统可使用先前序列中的动作来提供输入并且选择控件，例如按钮、菜单选项、单选框或复选框输入、下拉菜单选择等。系统可在后台或前台再现动作。当在后台被再现时，用户不会看到响应于所提供的输入和系统所选择的控件而生成的用户界面。在前台，用户可看到用户界面。

如果先前动作集合尚未保存为快捷方式(540，否)，则系统可发起提示，询问用户是否想要将动作保存为快捷方式(545)。该提示可与图3的提示305相似。当用户不想将工作流保存为快捷方式(550，否)时，系统可进行到再现由先前动作序列表示的工作流(560)。当用户确实想要将工作流保存为快捷方式(550，是)时，系统可为用户提供将快捷方式标识符与先前动作序列关联的方式(555)。快捷方式标识符可以是用于触发快捷方式的名称、语音命令、输入序列和图标等。在一些实施方式中，系统还可将描述与快捷方式关联。用户可在任何时间通过提供与快捷方式相关联的语音命令或者选择与快捷方式相关联的图标或者执行与快捷方式相关联的输入序列来再现快捷方式序列。因此，当系统接收到语音命令时，例如，系统可检索与语音命令相关联的先前序列并且执行步骤560。除了再现快捷方式序列之外，系统还可被配置成与一个或多个装置和/或用户共享快捷方式序列。例如，系统可提出用户选择快捷方式序列并且将其发送到另一个装置。其他装置可与用户或与另一个用户相关联。在一些实施方式中，如果与另一个用户相关联，则可在发送之前对序列中该用户特有的输入，例如出生日期、用户名、帐户信息，进行匿名化。

图6示出了可与这里描述的技术一起使用的可作为图1的系统100和/或移动装置180操作的通用计算机装置600的示例。计算装置600旨在表示诸如膝上型计算机、桌面型计算机、工作站、个人数字助理、蜂窝电话、智能电话、平板、服务器、和包括可穿戴装置的其他计算装置的各种示例形式的计算装置。这里所示出的组件、其连接和关系及其功能意味着仅仅是示例，并不意味着限制本文中描述和/或要求保护的发明的实施方式。

计算装置600包括经由接口608连接的处理器602、存储器604、存储装置606和扩展端口610。在一些实施方式中，计算装置600可包括经由接口608连接的收发器646、通信接口644和GPS(全球定位系统)接收器模块648，还有其他组件。装置600可通过通信接口644无线通信，通信接口644在必要时可包括数字信号处理电路。组件602、604、606、608、610、640、644、646和648中的每个可被安装在公共母板或酌情以其他方式安装。

处理器602可处理在计算装置600内执行的指令，包括存储在存储器604中或存储装置606上的指令，以在诸如显示器616的外部输入/输出装置上显示GUI的图形信息。显示器616可以是监视器或平板触摸屏显示器。在一些实施方式中，可酌情使用多个处理器和/或多条总线连同多个存储器和多种类型的存储器。此外，可连接多个计算装置600，其中，每个装置提供必要操作的一部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。

存储器604将信息存储在计算装置600内。在一个实施方式中，存储器604是易失性存储器单元。在另一实施方式中，存储器604是非易失性存储器单元。存储器604还可以是诸如磁盘或光盘的另一种形式的计算机可读介质。在一些实施方式中，存储器604可包括通过扩展接口提供的扩展存储器。

存储装置606能够为计算装置600提供大量存储。在一个实施方式中，存储装置606可以是或包括诸如软盘装置、硬盘装置、光盘装置或磁带装置、闪存存储器或其他类似固态存储装置的计算机可读介质，或者包括存储区域网络中的装置或其他配置的装置阵列。计算机程序产品可在此计算机可读介质中有形地实施。计算机程序产品还可包括指令，这些指令在被执行时执行诸如上述方法的一种或多种方法。计算机或机器可读介质是诸如存储器604、存储装置606或处理器602上存储器的存储装置。

接口608可以是管理计算装置600的带宽密集型操作的高速控制器，或者是管理较低带宽密集型操作的低速控制器，或者这些控制器的组合。可提供外部接口640，以便使得装置600能够与其他装置进行近区通信。在一些实施方式中，控制器608可耦合到存储装置606和扩展端口614。可包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的扩展端口可例如通过网络适配器与诸如键盘、指示装置、扫描仪或诸如交换机或路由器的网络装置的一个或多个输入/输出装置耦合。

计算装置600可按多种不同形式来实现，如图中所示。例如，它可被实现为标准服务器630或者在一组这样的服务器中多次实现。它也可被实现为机架服务器系统的部分。此外，它在诸如膝上型计算机632、个人计算机634、或平板/智能电话636的计算装置中实现。整个系统可由彼此通信的多个计算装置600组成。其他配置是可能的。

图7示出了可与这里描述的技术一起使用的可作为图1的服务器190的示例的通用计算机装置700的示例。计算装置700旨在表示诸如服务器、刀片服务器、数据中心、大型机和其他大规模计算装置之类的大规模数据处理装置的各种示例形式。计算装置700可以是具有通过一个或多个通信网络互连的多个处理器(可能包括网络连接的存储节点)的分布式系统。这里所示出的组件、其连接和关系及其功能意味着仅仅是示例，并不意味着限制本文献中描述和/或要求保护的发明的实施方式。

分布式计算系统700可包括任何数量的计算装置780。计算装置780可包括通过局域网或广域网、专用光学链路、调制解调器、网桥、路由器、交换机、有线或无线网络等进行通信的服务器或机架服务器、大型机等。

在一些实施方式中，每个计算装置可包括多个机架。例如，计算装置780a包括多个机架758a-758n。每个机架可包括诸如处理器752a-752n和762a-762n的一个或多个处理器。处理器可包括数据处理器、网络附接的存储装置、和其他受计算机控制的装置。在一些实施方式中，一个处理器可作为主处理器操作并且控制调度和数据分配任务。处理器可通过一个或多个机架交换机758互连，并且一个或多个机架可通过交换机778连接。交换机778可处理多个连接的计算装置700之间的通信。

每个机架可包括诸如存储器754和存储器764的存储器以及诸如756和766的存储装置。存储装置756和766可提供大容量存储，并且可包括易失性或非易失性存储装置，诸如网络附接的盘、软盘、硬盘、光盘、磁带、闪存或其他类似的固态存储装置、或者装置的阵列，包括存储区网络中的装置或其他配置。存储器756或766可以在多个处理器、多个机架或多个计算装置之间共享，并且可包括存储能由处理器中的一个或多个执行的指令的计算机可读介质。存储器754和764可包括例如易失性存储器单元、非易失性存储器单元，和/或其他形式的计算机可读介质，诸如磁盘或光盘、闪存存储器、高速缓存、随机存取存储器(RAM)、只读存储器(ROM)及其组合。诸如存储器754的存储器也可以在处理器752a-752n之间共享。诸如索引的数据结构可例如跨存储装置756和存储器754进行存储。计算装置700可包括未示出的其他组件，诸如控制器、总线、输入/输出装置、通信模块等。

诸如系统100的整个系统可由彼此通信的多个计算装置700组成。例如，装置780a可与装置780b、780c和780d通信，并且这些可统称为系统100。作为另一示例，图1的系统100可包括一个或多个计算装置700。计算装置中的一些可在地理位置上彼此靠近，而其他计算装置可在地理位置上远离。系统700的布局仅是示例，并且系统可采取其他布局或配置。

根据本公开的某些方面，一种方法包括确定使用移动应用的用户动作的当前序列与先前用户动作序列相似并且计算反映先前序列再现性的置信度分数。该方法还包括：当置信度分数满足置信度阈值时，发起请求核准使用先前序列来完成当前用户动作序列的提示的显示，并且响应于接收到完成的核准的指示来完成先前序列。

这些和其他方面可包括以下特征中的一个或多个。例如，该方法还可包括确定先前序列不是快捷方式序列，发起显示请求核准将先前序列保存为快捷方式序列的提示，以及响应于接收到对保存的核准的指示将先前序列保存为快捷方式序列。在一些实施方式中，该方法还可包括在移动装置的主画面中添加用于再现快捷方式序列中的动作的图标。作为另一示例，置信度分数可基于用户跨越同一应用中的多个动作序列的行为，基于用于动作序列的场境特征，和/或基于跨越同一应用中跨越多个用户动作序列的用户的聚合行为。作为另一示例，确定当前动作序列与先前动作序列相似可包括用户提供的输入的特征和应用呈现的内容的特征。

作为另一示例，该方法还可以包括确定第二当前用户交互序列与任何先前用户交互序列不相似，确定第二当前序列是否完成，并且当第二当前序列完成时将第二当前序列作为第二先前序列保存。在一些实施方式中，可以以中等置信度分数保存第二当前序列。作为另一示例，置信度阈值可以是第一置信度阈值，所述方法还包括当置信度分数无法满足第一置信阈值但满足第二置信度阈值时，将当前序列保存为具有中等置信度的保存序列。

根据本公开的某些方面，一种方法包括确定第一当前用户交互序列无法满足与先前用户交互序列的相似度阈值，确定第一当前动作序列已完成，并且将第一当前序列保存为第一先前序列。该方法还包括将第二当前序列标识为满足与第一先前序列的相似度阈值，并且发起显示请求核准将第一先前序列保存为快捷方式的提示。该方法可在获得用户同意的情况下在后台持续运行。该方法不需要由用户特别触发。

这些和其他方面可包括以下特征中的一个或多个。例如，该方法可包括生成第一先前序列和第二当前序列之间的置信度分数，置信度分数指示自动再现第一先前序列的置信度，并且当置信度分数达到第一置信度阈值时发起显示提示。作为另一示例，该方法可包括发起显示请求核准再现第一先前动作序列的提示，并且当指示核准再现时再现第一先前动作序列。作为另一示例，该方法可包括当接收到对保存的核准时将语音命令与第一先前动作序列相关联。作为另一示例，该方法可包括当接收到对保存的核准时将可选择图标与第一先前动作序列相关联。作为另一示例，确定第一当前用户交互序列已完成可包括确定当前动作序列中的当前动作包括不经受自动化的输入和/或确定用户退出移动应用。

根据本公开的某些方面，系统包括至少一个处理器和存储指令的存储器，该指令在由至少一个处理器执行时使系统生成用户界面。用户界面被配置成发起记录动作的快捷方式序列，动作序列中的每个动作是与用户界面的用户交互的高级描述。用户界面还可被配置成接收动作序列中的帐户数据将被包括在动作中的指示。用户界面还可被配置成接收允许共享先前动作序列的指示。用户界面还可被配置成接收清除先前存储的动作序列。用户界面还可被配置成重新命名快捷方式动作序列。用户界面还可被配置成选择其中系统捕获动作序列的应用。用户界面还可被配置成接收可共享先前动作序列的指示。

根据本公开的某些方面，系统包括至少一个处理器和存储指令的存储器，该指令在由至少一个处理器执行时致使系统执行本文中公开的方法中的任一种。

各种实施方式可包括在可编程系统上能执行和/或能解释的一个或多个计算机程序中的实现，该可编程系统包括可以是专用目的或通用目的的至少一个可编程处理器，其被耦合到存储系统、至少一个输入装置和至少一个输出装置，以从其接收数据和指令并且向其发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于基底中形成的可编程处理器的机器指令，并且可用高级程序和/或面向对象编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何非暂态计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器(包括读访问存储器)、可编程逻辑器件(PLD))。

这里描述的系统和技术可在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有用户可通过其与这里描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)或此类后端组件、中间件组件或前端组件的任何组合的计算系统中实现。可通过任何形式或介质的数字数据通信(例如，通信网络)来将系统中的组件互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是由于计算机程序在相应计算机上运行并且彼此具有客户端-服务器关系而引起的。

已经描述了多种实施方式。但是，可在不脱离本发明的精神和范围的情况下进行各种修改。另外，附图中描绘的逻辑流不需要是所示出的特定次序或顺序的次序来实现所期望的结果。另外，可在所描述的流中提供其他步骤，或者可从所描述的流中消除这些步骤，并且可在所描述的系统中添加或去除其他组件。因此，其他实施方式在随附权利要求书的范围内。

Claims (23)

1.一种方法，包括：

确定针对移动应用的当前用户动作序列与先前用户动作序列相似；

计算反映所述先前序列的可再现性的置信度分数；

当所述置信度分数满足置信度阈值时，发起请求对使用所述先前序列来完成用户动作的所述当前序列的核准的提示的显示；以及

响应于接收到对所述完成的核准的指示，完成用户动作的所述先前序列。

2.根据权利要求1所述的方法，还包括：

确定所述先前序列不是快捷方式序列；

发起请求对将所述先前序列保存为快捷方式序列的核准的提示的显示；

响应于接收到对保存的核准的指示，将所述先前序列保存为快捷方式序列。

3.根据权利要求2所述的方法，还包括：

将用于再现所述快捷方式序列中的动作的图标添加到移动装置的主画面。

4.根据权利要求1所述的方法，其中，所述置信度分数是基于所述用户在该相同应用中跨越用户动作的多个序列的行为。

5.根据权利要求1所述的方法，其中，所述置信度分数基于用户动作的所述当前序列的场境特征。

6.根据权利要求1所述的方法，其中，所述置信度分数基于跨越各用户在该相同应用中的多个用户动作序列的聚合行为。

7.根据权利要求1所述的方法，其中，确定用户动作的所述当前序列与用户动作的所述先前序列相似包括由所述用户提供的输入的特征和由所述应用呈现的内容的特征。

8.根据权利要求1所述的方法，还包括：

确定用户动作的第二当前序列与用户动作的任何先前序列不相似；

确定所述第二当前序列是否完整；

当所述第二当前序列完整时，将所述第二当前序列保存为第二先前序列。

9.根据权利要求8所述的方法，其中，所述第二当前序列与中等置信度分数一起保存。

10.根据权利要求1所述的方法，其中，所述置信度阈值是第一置信度阈值，并且所述方法还包括：

当所述置信度分数不满足所述第一置信阈值但满足所述第二置信度阈值时，将所述当前序列保存为具有中等置信度的已保存序列。

11.一种方法，包括：

确定用户动作的第一当前序列不满足与用户动作的先前序列的相似度阈值；

确定用户动作的所述第一当前序列完整；

将所述第一当前序列保存为第一先前序列；

将用户动作的第二当前序列标识为满足与所述第一先前序列的相似度阈值；以及

发起请求对将所述第一先前序列保存为快捷方式的核准的提示的显示。

12.根据权利要求11所述的方法，还包括：

生成所述第一先前序列和所述第二当前序列之间的置信度分数，所述置信度分数指示自动再现用户动作的所述第一先前序列的置信度；以及

当所述置信度分数满足第一置信度阈值时，发起所述提示的显示。

13.根据权利要求11所述的方法，还包括：

发起请求对再现用户动作的所述第一先前序列的核准的提示的显示；以及

响应于接收到对再现用户动作的所述第一先前序列的核准，再现用户动作的所述第一先前序列。

14.根据权利要求11所述的方法，还包括：

当接收到对保存的核准时，将语音命令与用户动作的所述第一先前序列相关联。

15.根据权利要求11所述的方法，还包括：

当接收到对保存的核准时，将可选择图标与用户动作的所述第一先前序列相关联。

16.根据权利要求11所述的方法，其中，确定用户动作的所述第一当前序列完整包括：

确定用户动作的所述当前序列中的当前用户动作包括不经受自动化的输入。

17.根据权利要求11所述的方法，其中，确定用户动作的所述第一当前序列完整包括：

确定用户退出了移动应用。

18.一种系统，包括：

至少一个处理器；以及

存储器，所述存储器存储指令，所述指令当由所述至少一个处理器执行时，使所述系统生成用户界面，所述用户界面被配置成：

发起记录动作的快捷方式序列，动作的所述快捷方式序列中的每个动作是与对应的用户界面的用户交互的高级描述；

接收动作的特定序列中的帐户数据将被包括在相应的动作中的指示；以及

接收允许共享动作的先前序列的指示。

19.根据权利要求18所述的系统，其中所述用户界面还被配置成：

清除先前存储的动作的序列。

20.根据权利要求18所述的系统，其中所述用户界面还被配置成：

重命名所记录的动作的所述快捷方式序列。

21.根据权利要求18所述的系统，其中所述用户界面还被配置成：

选择所述系统在其中捕获动作的序列的一个或多个应用。

22.根据权利要求18所述的系统，其中所述用户界面还被配置成：

接收能共享动作的先前序列的指示。

23.一种系统，包括：

至少一个处理器；以及

存储器，所述存储器存储指令，所述指令当由所述至少一个处理器执行时，使所述系统执行根据权利要求1至17中的任一项所述的方法。