CN115668140A - 当使用默认建议模型不合理时使用临时机器学习模型生成能够选择的建议 - Google Patents

Abstract

本文阐述的实施方式涉及在生成能够选择的建议时选择性地依赖(多个)附加建议模型，同时还保持对默认建议模型的访问。能够使用一个或多个附加的多域机器学习(ML)模型来生成能够选择的建议，该模型对于客户端应用来说是可选的，而不管默认建议模型是否对生成合适的建议仍然有用。在一些实施方式中，由于客户端应用采用各种附加的多域ML模型，特定模型能够至少基于用户反馈和/或其他数据被标识为改进客户端应用的建议。然后能够选择特定模型以替换和/或补充默认建议模型，以便提供更准确的建议，当这些建议被选择时初始化能够节省时间和计算资源的动作。

Description

当使用默认建议模型不合理时使用临时机器学习模型生成能 够选择的建议

背景技术

人类可以使用本文称为“自动化助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“会话代理”等)的交互式软件应用参与人机对话。例如，人类(当他们与自动化助理交互时可能被称为“用户”)可以使用口头自然语言输入(即话语)和/或通过提供文本(例如，键入的)自然语言输入来提供命令和/或请求，该口头自然语言输入在某些情况下可以转换为文本然后进行处理。

在一些场境(context)中，可以向用户呈现用于使计算设备执行特定操作(诸如调用自动化助理来初始化动作)的能够选择的建议。此类建议能够基于当用户例如发送消息、浏览互联网和/或以其他方式与应用交互时在计算设备处渲染的应用内容。尽管一些应用能够包括用于生成此类建议的本机模块或应用编程接口(API)，但可能存在用于生成建议的过程不充分的情况。例如，当使用先前采用的建议模型进行处理时，用户之间的对应文本可能不会导致任何合适的(多个)建议出现在计算设备的界面处(例如，在应用的界面和/或自动化助理的界面处)。

此类情况能够导致用户错过初始化自动化助理或其他应用以完成节省时间、能量和其他资源的任务的机会。此外，尽管默认建议模型在某些场境中是有利的，但对默认建议模型的更新(或用替代建议模型替换默认建议模型)可能不会频繁地推送到用户设备。这种缺乏快速的模型更新和/或模型替换会妨碍对(多个)时间和/或能量节省动作建议进行标识。可以使用(多个)更新的建议模型而不是使用(多个)默认建议模型来确定这些建议。(多个)更新的建议模型能够比(多个)默认建议模型更鲁棒(例如，提供比默认建议模型更大的覆盖范围)。然而，虽然此类更新的建议模型可能更鲁棒，但它们可能缺乏准确性，并且如果部署得太快(例如，在足够的训练和/或验证之前)可能会中断其他服务。当渲染和/或选择(多个)不准确的建议时，此类缺乏准确性和服务中断也能够导致各种设备和/或网络资源的浪费。

发明内容

本文阐述的实施方式涉及在生成与由客户端应用生成的应用内容相关的能够选择的建议时选择性地依赖附加建议模型。客户端应用可以以其他方式采用建议过程(例如，基于规则的方法、应用建议模型和/或其他过程)来向用户渲染能够选择的建议。例如，能够选择的建议可以是能够选择的图形用户界面元素，当该元素被选择时，使另一个应用初始化动作。例如，客户端应用能够是渲染能够选择的GUI元素的消息传递应用，当该元素被选择时会使自动化助理初始化动作(例如，调度事件)。在用户事先许可的情况下，该动作能够基于在消息传递应用的用户之间的对话内容。为了标识要建议的特定动作，消息传递应用或单独的应用(例如，自动化助理)能够使用应用建议模型来处理某些应用内容，该应用建议模型可以是与自动化助理相关联的默认模型。在某些情况下，当自动化助理依赖未经过充分测试的建议模型时，可能会导致计算资源的延迟和管理不善。为了确保建议模型之间的有效转换，默认建议模型能够在生成建议时保持可用，并且在某些条件下能够同时和/或附加地依赖其他附加建议模型。

例如，用户能够使用消息传递应用与另一用户就特定事件进行通信。能够通过在消息传递应用的界面处渲染的应用内容来表征特定事件。在处理应用内容时能够默认依赖第一建议模型，以促进针对用户渲染能够选择的建议元素。在一些实施方式中，使用第一建议模型对应用内容的处理能够导致例如建议用户调用的一个或多个自动化助理命令。然而，当处理确实导致或确实未导致任何建议被标识和/或具有阈值概率和/或阈值分数的任何建议被标识时，能够使用第二建议模型以帮助标识要渲染的建议。

在一些实施方式中，能够使用第二建议模型进一步处理应用内容以便为用户生成一个或多个能够选择的建议。例如，自动化助理能够采用第二建议模式和/或一个或多个附加建议模型以帮助标识可能对用户有用和/或以其他方式保存计算资源的一个或多个助理动作。当自动化助理标识消息传递应用要建议的助理动作或其他内容时，自动化助理能够将助理动作或其他内容传送给消息传递应用。作为响应，消息传递应用能够选择渲染例如能够选择的建议元素，该元素标识使用第二建议模型标识的助理动作。以这种方式，消息传递应用能够继续依赖使用默认过程生成的建议来渲染建议(例如，使用第一建议模型)，但也可以选择性地转换为依赖于经由自动化助理或其他应用可用的其他附加建议模型。

在一些实施方式中，第一应用的任务能够是从多个不同的附加建议模型中选择合适的附加建议模型。能够与第二应用一起在客户端计算设备处提供第一应用，该第二应用能够提供用户能够通过其接收建议的界面。能够通过网络连接更新第一应用以允许客户端应用访问最近变得可用的附加建议模型。第二应用能够可选地通过网络连接被更新，并且能够尝试为用户生成建议，而不管第一应用是否被更新。例如，第二应用能够采用应用编程接口(API)来与第一应用交互以便从第一应用接收建议数据。最初，第二应用能够执行诸如assistant_suggestion(application_content()、application_suggestion_model)之类的函数，以便接收基于应用内容和应用建议模型的建议。槽值“application_content()”能够参考第二应用生成的应用内容，并且槽值“application_suggestion_model”能够标识第一应用在处理应用内容时将使用的模型。即使在第一应用被更新以提供对一个或多个不同的附加建议模型的访问之后，第一应用也能够支持“application_suggestion_model”。

例如，当更新的第一应用从第二应用接收到促进执行函数的请求时，更新的第一应用能够处理“application_content()”以促进向第二应用提供建议数据。在一些实施方式中，当使用“application_suggestion_model”处理“application_content()”未能导致标识建议时，第二应用能够基于应用内容选择不渲染建议。然而，第一应用能够可选地使用“application_content()”连同另一个模型，以便继续标识建议。例如，基于应用内容，第一应用能够标识在从应用内容生成建议时要采用的一个或多个附加建议模型。在一些实施方式中，附加建议模型能够由提供第一应用的实体视为“实验模型”，因此该实体可以避免将附加建议模型指派为默认模型而无需预先测试。因此，通过允许第一应用使用附加建议模型来生成建议数据，附加建议模型能够被测试而不会显著影响以其他方式依赖于不同应用建议模型的第二应用的可操作性。换言之，为第二应用提供模型的实体能够测试和/或训练其他建议模型，而无需在测试期间完全撤销对其他合适的应用建议模型的访问。

当第一应用已经标识出要测试的合适的附加建议模型时，第一应用能够使用附加建议模型和应用内容来生成建议数据——尽管第二应用没有请求第一应用明确地采用附加建议模型。然后第二应用能够基于建议数据来确定是否渲染一个或多个能够选择的建议元素。在一些实施方式中，当第二应用使用特定的附加建议模型来渲染能够选择的建议元素时，能够标识用户反馈(例如，输入和/或其他用户参与)。经用户事先许可，用户反馈能够被体现为第一应用和/或提供第一应用的实体能够访问的反馈数据。然后能够基于来自各种不同设备和/或用户交互的反馈数据进一步训练那个特定的附加建议模型。这能够改进能够由使用附加建议模型的特定应用渲染的用户建议的准确性。

提供以上描述作为本公开的一些实施方式的概述。以下更详细地描述了这些实施方式和其他实施方式的进一步描述。

其他实施方式可以包括非暂时性计算机可读存储介质，其存储指令，该指令能够由一个或多个处理器(例如，(多个)中央处理单元(CPU)、(多个)图形处理单元(GPU)、和/或(多个)张量处理单元(TPU))执行以执行方法，诸如以上和/或本文其他地方描述的方法中的一个或多个。其他实施方式可以包括一个或多个计算机的系统，该一个或多个计算机包括一个或多个处理器，该处理器可操作以执行所存储的指令以执行方法，诸如以上和/或本文别处描述的方法中的一个或多个。

应当理解，前述概念和本文更详细描述的附加概念的所有组合都被认为是本文公开的主题的一部分。例如，出现在本公开的结尾处的要求保护的主题的所有组合都被认为是本文公开的主题的一部分。

附图说明

图1A、图1B和图1C图示了与计算设备交互的用户的视图，该计算设备能够使用一个或多个建议模型以执行用于生成建议的试验过程，同时支持一个或多个现有默认建议模型。

图2图示了涉及在生成能够选择的建议时选择性地依赖(多个)附加建议模型并且同时还保持对默认建议模型的访问的系统。

图3A和图3B图示了用于保留默认建议模型的使用并且同时允许采用其他模型来确定其他模型的准确性的方法。

图4是示例计算机系统的框图。

具体实施方式

图1A、图1B和图1C图示了与计算设备112交互的用户110的视图100、视图140和视图160，该计算设备112能够使用一个或多个建议模型来执行用于生成建议的试验过程——同时支持一个或多个现有的默认建议模型。例如，图1A图示了用户110与计算设备112交互以便访问消息传递应用102的视图100。在与计算设备112交互时，消息传递应用102能够渲染应用内容，诸如在用户110与一个或多个其他人之间的群组消息的自然语言内容，如状态108所示。用户110能够使用他们的手114将自然语言内容输入到消息传递应用102的字段106中。在界面116处渲染的内容的一个或多个部分(例如，在界面116处显示的文本)能够被认为是应用内容，其能够是能够在计算设备112的界面116处渲染的一个或多个建议的基础。建议能够被渲染为能够选择的建议元素，当其被选择时能够使一个或多个应用运行以促进帮助用户进行与应用内容相关的操作。例如，能够选择的建议元素能够包括内容，该内容能够：作为口头命令被提供给自动化助理，被并入到应用的输入字段，被传送给另一个设备和/或应用，和/或以其他方式用于帮助用户110和/或装置或模块进行一个或多个操作。

在一些实施方式中，消息传递应用102能够通过将建议请求122传送到能够经由计算设备112访问的附加应用120来请求建议数据124。响应于接收到建议请求122，附加应用120能够访问一个或多个不同建议模型126的第一建议模型126-A。在一些实施方式中，附加应用120和/或消息传递应用102能够基于在处理在先的应用内容和/或针对消息传递应用102生成一个或多个建议时先前已经使用过的第一建议模型126-A来标识第一建议模型126-A。附加地或可替代地，附加应用120和/或消息传递应用102能够基于第一建议模型126-A被指派为用于在处理应用内容和生成消息传递应用102的一个或多个建议时使用的默认模型而标识第一建议模型126-A。

在一些实施方式中，附加应用120能够包括建议引擎118，该建议引擎118在为消息传递应用102生成建议数据124时采用一个或多个建议模型。附加地或可替代地，建议数据124能够由消息传递应用102和/或附加应用120用于在计算设备112的界面处渲染一个或多个能够选择的建议元素。在一些实施方式中，附加应用120可以使用第一建议模型126-A生成建议数据124，但确定建议数据124没有标识适合渲染给用户110的建议。例如，能够为一个或多个建议分配不满足阈值的概率，该阈值是基于一个或多个用户与各种能够选择的建议元素的交互而建立的。附加地或可替代地，附加应用120可以尝试使用第一建议模型126-A来生成建议数据，但是生成建议数据的过程可能不会导致能够标识的建议。

当附加应用120未能标识一个或多个建议，或未能标识一个或多个适合在界面116处渲染的建议时，附加应用120和/或消息传递应用102能够采用不同的建议模型以便标识其他建议(例如，对应于一个或多个其他动作)。在一些实施方式中，附加应用120能够使用(多个)不同的建议模型来生成建议数据，而无需来自消息传递应用102对于以下部分的明确请求：(i)使用不同的建议模型和/或(ii)尝试生成其他建议数据。附加地或可替代地，当确定建议数据124适合渲染给用户110时，附加应用120能够使用应用内容生成建议数据。

如图1B的视图140中提供的，附加应用120能够访问应用内容146，其能够表征图1A和/或图1B中提供的界面116的内容。附加应用120能够使用第二建议模型126-B来处理应用内容146。第二建议模型126-B能够不同于第一建议模型126-A并且能够可选地使用至少一些未用于训练第一建议模型126-A的训练数据量来训练。附加地或可替代地，第二建议模型126-B能够是与第一建议模型126-A的机器学习模型不同类型的机器学习模型。例如，第二建议模型126-B能够是多域神经网络模型，而第一建议模型126-A可以不是多域神经网络模型。

附加应用120能够基于使用建议引擎118和第二建议模型126-B处理应用内容146来生成建议数据148。建议数据148能够由附加应用120提供给消息传递应用102，并且消息传递应用102能够基于建议数据148来渲染一个或多个能够选择的建议元素144。附加地或可替代地，附加应用120能够生成建议数据148以基于建议数据148渲染一个或多个能够选择的建议元素144。用户110能够通过以下方式选择能够选择的建议元素144(如状态150所示)：使用他们的手114；提供口头话语(例如、“助理，告诉我附近的递送选项”；和/或，在阈值时间段内提供指示用户110打算初始化与能够选择的建议元素144相关联的动作的另一输入。

在一些实施方式中，第一建议模型126-A能够保持可用于帮助生成建议，而第二建议模型126-B也可用于帮助生成建议。其他建议模型126也能够在第一建议模型126-A保持可用的同时可用，至少用于在处理数据以促进生成能够选择的建议和/或用于帮助一个或多个用户的其他内容时使用。例如，第二建议模型126-B能够用于计算设备112作为用于确定使用第二建议模型126-B生成的建议的准确性和/或适合性的测试。当该测试正在进行时，附加应用120能够利用第一建议模型126-A，其能够是已经被附加应用120可靠地用于在测试之前提供合适建议数据的建议模型。通过这种方式，对各种模型的测试将不会中断生成建议的可靠过程——至少直到经过测试的模型历史上被用于生成可靠的建议数据为止。例如，当由建议数据表征的特定建议的一个或多个概率和/或分数满足阈值时，能够认为建议数据是可靠的。在一些实施方式中，当确定第二建议模型126-B对于生成至少与使用第一建议模型126-A所生成的建议一样合适的建议是有用的时候，能够将第二建议模型126-B指派为第一建议模型126-A的替代。例如，能够确定使用第二建议模型126-B生成的建议与使用第一建议模型126-A生成的另一建议之间的相关程度。当相关程度满足阈值时，能够将第二建议模型126-B指派为默认建议模型和/或替换第一建议模型126-A。附加地或可替代地，当相关程度未能满足阈值时，第二建议模型126-B能够被进一步训练和/或能够随着第二建议模型126-B被连续测试而被进一步评估。

在一些实施方式中，当用户110选择能够选择的建议元素144时，反馈数据162能够由消息传递应用102和/或附加应用120生成，并且由附加应用120处理。反馈数据162能够用于进一步细化建议模型的准确性，和/或进一步训练建议模型。例如，响应于用户110在阈值时间段内选择能够选择的建议元素144，附加应用120(例如，自动化助理)能够被调用并且初始化对于“附近的递送选项”的互联网搜索。当附加应用120标识用于向用户110建议的搜索结果时，附加应用120能够使到达搜索结果的链接被填充在消息传递应用102的字段106中。

能够通过从消息传递应用102提供给附加应用120的反馈数据162来表征用户110对(多个)建议的选择。反馈数据162然后能够由附加应用120和/或单独的应用或设备处理以进一步训练第二建议模型126-B。在一些实施方式中，使用由附加应用120基于反馈数据162生成的训练数据164来训练第二建议模型126-B。附加地或可替代地，能够进一步训练第二建议模型126-B以便使用第二建议模型126-B生成的建议将对应于更频繁地满足阈值的概率。在一些实施方式中，能够经由远程计算设备访问第二建议模型126-B，该远程计算设备在用户在先许可的情况下使用来自各种不同客户端设备和/或各种不同用户的反馈数据训练。当在测试后确定第二建议模型126-B被充分训练时，能够指派第二建议模型126-B来代替第一建议模型126-A。换言之，当第二建议模型126-B被充分训练时，第二建议模型126-B能够被指派为“默认”模型以在生成建议时使用——而不是第一建议模型126-A作为“默认”模型。

图2图示了系统200，其在生成能够选择的建议时选择性地依赖(多个)附加建议模型，同时还保持对默认建议模型的访问和/或采用默认建议模型。自动化助理204能够作为在一个或多个计算设备(诸如计算设备202和/或服务器设备)处提供的助理应用的一部分来操作。用户能够经由(多个)助理接口220与自动化助理204交互，助理接口220能够是麦克风、相机、触摸屏显示器、用户界面和/或能够在用户与应用之间提供接口的任何其他装置。例如，用户能够通过向助理接口220提供口头的、文本的和/或图形输入以使自动化助理204初始化一个或多个动作(例如，提供数据、控制外围设备、访问代理、生成输入和/或输出等)来初始化自动化助理204。可替代地，能够基于使用一个或多个训练的机器学习模型对场境数据236的处理来初始化自动化助理204。场境数据236能够表征自动化助理204能够在其中访问的环境的一个或多个特征，和/或预测打算与自动化助理204交互的用户的一个或多个特征。

计算设备202能够包括显示设备，该显示设备能够是显示面板，该显示面板包括触摸界面，用于接收触摸输入和/或手势以允许用户经由触摸界面控制计算设备202或另一个设备的应用234。在一些实施方式中，计算设备202能够没有显示设备，从而提供可听的用户界面输出，而不提供图形用户界面输出。此外，计算设备202能够提供用于接收来自用户的口头自然语言输入的用户界面，诸如麦克风。在一些实施方式中，计算设备202能够包括触摸界面并且能够没有相机，但是能够可选地包括一个或多个其他传感器。

计算设备202和/或其他第三方客户端设备能够通过诸如互联网的网络与服务器设备通信。附加地，计算设备202和任何其他计算设备能够通过诸如Wi-Fi网络的局域网(LAN)相互通信。计算设备202能够将计算任务卸载到服务器设备以便节省在计算设备202处的计算资源。例如，服务器设备能够托管自动化助理204，和/或计算设备202能够向服务器设备发送在一个或多个助理接口220处接收到的输入。然而，在一些实施方式中，自动化助理204能够被托管在计算设备202处，并且能够在计算设备202处执行能够与自动化助理操作相关联的各种过程。

在各种实施方式中，能够在计算设备202上实现自动化助理204的所有方面或少于所有方面。在这些实施方式中的一些实施方式中，自动化助理204的各方面经由计算设备202实现并且能够与服务器设备对接，服务器设备能够实现自动化助理204的其他方面。服务器设备能够可选地经由多线程服务于多个用户及其相关联的助理应用。在经由计算设备202实现自动化助理204的所有方面或少于所有方面的实施方式中，自动化助理204能够是与计算设备202的操作系统分离的应用(例如，安装在操作系统的“顶部”)——或者能够可替代地由计算设备202的操作系统直接实现(例如，被认为是操作系统的应用，但与操作系统集成)。

在一些实施方式中，自动化助理204能够包括输入处理引擎206，其能够采用多个不同的模块来处理计算设备202和/或服务器设备的输入和/或输出。例如，输入处理引擎206能够包括语音处理引擎208，其能够处理在助理接口220处接收到的音频数据以标识包含在音频数据中的文本。音频数据能够从例如计算设备202传输到服务器设备，以便在网络连接可用时在计算设备202处保存计算资源。附加地或可替代地，能够在计算设备202处专门处理音频数据。

用于将音频数据转换为文本的过程能够包括：语音识别算法，该语音识别算法能够使用神经网络，和/或用于标识对应于单词或短语的音频数据组的统计模型。从音频数据转换的文本能够由数据解析引擎210解析并且作为文本数据对于自动化助理204可用，该文本数据能够用于生成和/或标识(多个)命令短语、(多个)意图、(多个)动作、(多个)槽值，和/或用户指定的任何其他内容。在一些实施方式中，能够将由数据解析引擎210提供的输出数据提供给参数引擎212以确定用户是否提供了与能够由自动化助理204执行的特定意图、动作和/或例程和/或能够经由自动化助理204访问的应用或代理相对应的输入。例如，助理数据238能够存储在服务器设备和/或计算设备202处，并且能够包括定义一个或多个能够由自动化助理204执行的动作的数据以及执行动作所需的参数。参数引擎212能够为意图、动作和/或槽值生成一个或多个参数，并且将一个或多个参数提供给输出生成引擎214。输出生成引擎214能够使用一个或多个参数与助理接口220通信用于向用户提供输出，和/或与一个或多个应用234通信用于向一个或多个应用234提供输出。

在一些实施方式中，自动化助理204能够是能够安装在计算设备202的操作系统“顶部”和/或本身能够形成计算设备202的操作系统的一部分(或全部)的应用。自动化助理应用包括，和/或可以访问设备上语音识别、设备上自然语言理解和设备上履行。例如，能够使用设备上语音识别模块来执行设备上语音识别，该设备上语音识别模块使用本地存储在计算设备202处的端到端语音识别机器学习模型来处理音频数据(由(多个)麦克风检测到)。设备上语音识别为音频数据中存在的口头话语(如果有的话)生成经识别的文本。此外，例如，能够使用设备上NLU模块执行设备上自然语言理解(NLU)，该设备上NLU模块处理使用设备上语音识别生成的经识别的文本，以及可选的场境数据，以生成NLU数据。

NLU数据能够包括对应于口头话语的(多个)意图和针对(多个)意图的可选的(多个)参数(例如，槽值)。能够使用设备上履行模块来执行设备上履行，该设备上履行模块利用NLU数据(来自设备上NLU)，和可选的其他本地数据来确定要采取的(多个)动作以解析口头话语的(多个)意图(以及针对意图的可选的(多个)参数)。这能够包括确定对口头话语的本地和/或远程响应(例如，答案)、用于基于口头话语执行的与本地安装的(多个)应用的(多个)交互、基于口头话语传输到(多个)物联网(IoT)设备(直接或经由对应的(多个)远程系统)的(多个)命令，和/或基于口头话语要执行的其他(多个)解析动作。然后，设备上履行能够启动所确定的(多个)动作的本地和/或远程执行/实施以解析口头话语。

在各种实施方式中，能够至少选择性地利用远程语音处理、远程NLU和/或远程履行。例如，经识别的文本能够至少有选择地被传输到(多个)远程自动化助理组件以用于远程NLU和/或远程履行。例如，经识别的文本能够可选地被传输以用于与设备上执行并行的远程执行，或响应于设备上NLU和/或设备上履行的失败被传输。然而，设备上语音处理、设备上NLU、设备上履行和/或设备上执行能够被优先考虑，至少是由于它们在解析口头话语时提供的延迟减少(由于没有解析口头话语所需要的(多次)客户端服务器往返)。此外，设备上功能能够是在没有网络连接或网络连接受限的情况下唯一可用的功能性。

在一些实施方式中，计算设备202能够包括一个或多个应用234，其能够由与提供计算设备202和/或自动化助理204的实体不同的第三方实体提供。自动化助理204和/或计算设备202的应用状态引擎能够访问应用数据230以确定能够由一个或多个应用234执行的一个或多个动作，以及一个或多个应用234的每个应用的状态和/或与计算设备202相关联的相应设备的状态。自动化助理204和/或计算设备202的设备状态引擎能够访问设备数据232以确定能够由计算设备202和/或与计算设备202相关联的一个或多个设备执行的一个或多个动作。此外，应用数据230和/或任何其他数据(例如，设备数据232)能够由自动化助理204访问以生成场境数据236，其能够表征特定应用234和/或设备正在执行的场境，和/或特定用户正在访问计算设备202、访问应用234和/或任何其他设备或模块的场境。当一个或多个应用234在计算设备202处执行时，设备数据232能够表征在计算设备202处执行的每个应用234的当前操作状态。此外，应用数据230能够表征执行应用234的一个或多个特征，诸如在一个或多个应用234的方向上渲染的一个或多个图形用户界面的内容。

在一些实施方式中，计算设备202能够包括建议请求引擎222，其能够处理从计算设备202的一个或多个应用234和/或单独的计算设备接收的请求。请求能够使自动化助理204标识可以向用户建议的一个或多个动作、内容和/或其他数据。例如，建议请求能够使建议请求引擎222访问由提供建议请求的应用渲染的内容。附加地或可替代地，在用户在先许可的情况下，建议请求能够使建议请求引擎222访问当前、先前或将最终在计算设备202的界面处渲染的内容。然后能够根据建议过程处理由建议请求引擎222访问的内容。

在一些实施方式中，能够使用内容处理引擎216来选择建议过程，该内容处理引擎216能够基于建议请求来标识特定建议过程。例如，内容处理引擎216能够最初地标识先前用于针对提供建议请求的应用234提供建议的建议过程。附加地或可替代地，内容处理引擎216能够最初地标识被指派为用于提供建议请求的应用234的默认建议过程的建议过程。能够包括应用数据230、设备数据232和/或场境数据236的内容的处理能够导致建议数据的生成。建议数据能够表征能够在计算设备202的界面处渲染的一个或多个建议，以便帮助用户初始化特定动作和/或访问某些其他内容。然而，在某些情况下，使用默认建议过程对内容的处理可能不会导致任何建议被标识。

当内容处理引擎216已经完成了使用初始建议过程对内容的处理时(例如，使用建议模型228的第一建议模型)，内容处理引擎216能够使用另一个建议模型(例如，建议模型228的第二建议模型)来处理所述内容或其他内容。该其他建议模型能够是，但不限于实体用来确定其他建议模型的准确性的测试模型或实验模型。例如，第一建议模型能够是自动化助理204在生成建议时先前使用的默认建议模型，并且第二建议模型能够是使用相对于用于训练第一建议模型的训练数据不同的训练数据训练的模型。附加地或可替代地，第一建议模型能够是与第二建议模型不同类型的建议模型。

当内容处理引擎216使用其他建议模型处理内容时，内容处理引擎216能够生成附加建议数据。附加建议数据能够表征与基于使用初始建议过程处理内容而标识的建议相同或不同的建议。提供建议请求的应用能够从自动化助理204接收建议数据的每个实例并且使用建议数据选择性地渲染一个或多个能够选择的建议元素。附加地或可替代地，自动化助理204能够使用建议数据的实例选择性地渲染一个或多个能够选择的建议元素。

在一些实施方式中，自动化助理204能够包括反馈处理引擎218，其能够处理表征用户与一个或多个能够选择的建议元素之间交互的输入。输入的处理能够产生反馈数据，模型指派引擎226能够使用该反馈数据来将准确度值分配给相应的建议模型。在一些实施方式中，当确定第二建议模型的准确度大于第一建议模型的准确度时，自动化助理204能够将第二建议模型指派为“默认”模型。在一些实施方式中，每个模型能够在单独的服务器设备处可用，并且能够根据来自各种不同用户和/或各种他们各自设备的反馈数据来训练每个模型。附加地或可替代地，能够在自动化助理204处提供训练引擎224，以便根据由反馈处理引擎218生成的反馈数据本地训练每个模型。

在一些实施方式中，第二建议模型能够保持在服务器计算设备处以便在客户端计算设备处保留计算资源——至少直到第二建议模型已经被认定为足够准确以被提供给客户端计算设备为止。在客户端计算设备处维持“默认”模型能够保留计算资源，诸如网络带宽，否则这些计算资源能够由通过各种网络连接将数据传送到各种服务器设备来消耗。此外，在客户端计算设备处维持默认模型——在客户端计算设备处没有其他实验模型，能够减轻在生成建议之间的延迟，因为在客户端计算设备处不会专门执行对其他模型的实验。因此，通过将某些模型的托管限制在服务器计算设备上，能够保留客户端计算设备的计算资源，诸如存储器和处理带宽。

在一些实施方式中，模型指派引擎226能够生成和/或修改表征特定模型在生成与应用相关联的能够选择的建议时使用的适用性的模型数据。模型指派引擎226能够基于根据用户与能够选择的建议元素之间的交互而生成的反馈数据来修改与特定建议模型相关联的模型数据。当交互被确定为正交互时和/或当对应的反馈数据被确定为满足阈值时，能够修改模型数据以反映该确定。附加地或可替代地，当确定一个或多个交互的反馈数据满足阈值时，能够修改模型数据以将对应的建议模型指派为默认建议模型。附加地或可替代地，当交互被确定为负交互时和/或当对应数据被确定为不满足阈值时，能够修改模型数据以反映该确定。附加地或可替代地，当确定一个或多个交互的反馈数据不满足阈值时，能够修改模型数据以进一步将对应的建议模型表征为在用于生成建议时不太准确。然后能够使用模型数据的变化将某些模型排在其他模型之上，并且最终将最准确的模型指派为默认模型，以便在针对特定应用和/或多个应用生成建议时使用。

图3A和图3B图示了用于保留默认建议模型的使用并且同时允许采用其他模型来确定其他模型的准确性的方法300和方法320。方法300能够由一个或多个计算设备、应用和/或能够与自动化助理相关联的任何其他装置或模块来执行。方法300能够包括确定是否已经接收到建议请求的操作302。能够从用户正在与之交互的应用接收建议请求，并且能够由诸如自动化助理或其他应用的附加应用接收建议请求。建议请求能够包括使自动化助理使用建议模型来处理建议请求以促进自动化助理将建议数据提供回应用的数据。

当确定已经接收到建议请求时，方法300能够进行到操作304，否则附加应用能够继续确定是否已经接收到建议请求。操作304能够包括确定当前建议过程是否可用于针对应用生成建议。当前建议过程能够是包括使用一组规则、一个或多个机器学习模型、和/或用于针对应用生成建议数据的任何其他装置或模块来处理应用内容的过程。当当前建议过程不可用于生成建议时，方法300能够进行到操作308。否则，当当前建议过程可用时，方法300能够进行到操作306。

操作306能够包括使用当前建议过程生成建议数据。例如，当前建议过程能够包括使用一个或多个规则、模型和/或其他过程数据来处理应用内容(例如，计算设备的显示器的屏幕截图)以便生成建议数据。方法300然后能够进行到操作308，其能够包括确定是否有另一个建议模型可供在处理应用内容时使用以生成其他建议数据。其他建议模型能够是但不限于，无论建议过程是否导致生成任何建议，都可以使用的备份或“回退”建议模型。在一些实施方式中，其他建议模型能够在应用、附加应用(例如，自动化助理)、和/或单独的计算设备处可用，以促进在跨各种设备部署其他建议模型之前进一步训练其他建议模型。

当确定另一个建议模型可用时，方法300能够进行到操作310，该操作310能够包括使用其他建议模型生成附加建议数据。当生成附加建议数据时，附加应用能够使用其他建议模型和应用内容，其能够与操作306的当前建议过程所使用的应用内容相同或不同。例如，用于其他建议模型的应用内容能够是屏幕截图，而用于当前建议过程的其他应用内容可能不包括屏幕截图。相反，用于当前建议过程的其他应用内容能够包括应用和/或附加应用能够访问的不同屏幕截图和/或不同应用数据。

当确定另一建议不可用时，方法300能够可选地从操作308进行到可选操作312，可选操作312能够包括提供一个或多个默认建议。默认建议能够是，但不限于能够选择的建议元素，当该能够选择的建议元素被选择时，使附加应用初始化并且执行默认动作。例如，默认动作能够是通过可听地和/或可视地向用户询问用户希望获得什么帮助(例如，“我能帮您什么？”)。附加地或可替代地，默认动作能够是访问单独的设备和/或应用，和/或访问互联网。此后，方法300能够进行到操作302并且继续监视建议请求。

当执行操作310时，方法300能够从操作310进行到操作314，该操作314能够包括使应用基于生成的建议数据和/或附加建议数据来渲染一个或多个能够选择的建议元素。例如，能够选择的(多个)元素能够由应用或附加应用渲染，并且当被选择时，能够使应用和/或附加应用初始化一个或多个动作的执行。方法300能够从操作314继续，经由继续元素“A”(在图3A的方法300处圈出)到继续元素“A”(在图3B的方法320处圈出)，到可选操作316。

可选操作316能够包括确定用户是否与根据操作314渲染的一个或多个能够选择的建议元素交互。当确定用户已经与一个或多个能够选择的建议元素交互时，方法300能够从操作316进行到可选操作318，该可选操作318能够包括根据用户交互使一个或多个建议模型进一步训练。根据操作318进一步训练的一个或多个建议模型能够对应于用于生成用户与之交互的一个或多个建议元素的一个或多个相应模型。当确定用户没有与一个或多个能够选择的建议交互时，方法300能够进行到可选操作322。可选操作322能够包括根据用户交互的缺乏使一个或多个建议模型进一步训练。根据操作322进一步训练的一个或多个建议模型能够对应于用于生成用户未与之交互的一个或多个建议元素的一个或多个相应模型。

在一些实施方式中，操作316能够是确定根据当前建议过程生成的建议数据与使用其他建议模型生成的附加建议数据之间的相关性的可选操作。此后，能够根据相关程度是否满足阈值来训练其他建议模型。附加地或可替代地，能够根据用户是否与使用其他建议模型生成的能够选择的建议元素交互来训练其他建议模型。通过这种方式，其他建议模型能够被训练以提供以其他方式经由当前建议过程提供的建议，并且还可以被训练以提供用户更有可能与之交互的建议，从而鼓励用户采用附加应用执行节省计算资源的操作。方法300能够经由继续元素“B”进行到操作302，以便继续确定是否已经从应用接收到建议请求。

图4是示例计算机系统410的框图400。计算设备410通常包括至少一个处理器414，其经由总线子系统412与多个外围设备通信。这些外围设备可以包括存储子系统424(包括例如存储器子系统424和文件存储子系统426)、用户接口输出设备420、用户接口输入设备422和网络接口子系统416。输入和输出设备允许用户与计算设备410交互。网络接口子系统416提供到外部网络的接口并耦合到其他计算设备中的对应的接口设备。

用户接口输入设备422可以包括键盘、诸如鼠标、轨迹球、触摸板或图形输入板的定点设备、扫描仪、并入显示器的触摸屏、诸如话音识别系统、麦克风、和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括将信息输入到计算设备410或通信网络上的所有可能类型的设备和方式。

用户接口输出设备420可以包括显示子系统、打印机、传真机、或诸如音频输出设备的非视觉显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备、或用于创建可视图像的某种其他机构。显示子系统还可以诸如经由音频输出设备提供非可视显示。通常，术语“输出设备”的使用旨在包括将信息从计算设备410输出到用户或另一机器或计算设备的所有可能类型的设备和方式。

存储子系统424存储提供本文描述的一些或所有模块的功能性的程序和数据构造。例如，存储子系统424可以包括执行方法300的选定方面、和/或实现系统200、计算设备112、消息传递应用102、附加应用120和/或本文讨论的任何其他应用、设备、装置和/或模块中的一个或多个的逻辑。

这些软件模块通常由处理器414单独或与其他处理器组合执行。在存储子系统424中使用的存储器425能够包括多个存储器，其包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)430和其中存储固定指令的只读存储器(ROM)432。文件存储子系统426能够为程序和数据文件提供永久存储，并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移动介质、CD-ROM驱动器、光驱动器或可移动介质盒。实现某些实施方式的功能性的模块可以由文件存储子系统426存储在存储子系统424中，或存储在(多个)处理器414能够访问的其他机器中。

总线子系统412提供一种机制，用于让计算设备410的各种组件和子系统按预期相互通信。尽管总线子系统412被示意性地显示为单条总线，总线子系统的替代实施方式可以使用多条总线。

计算设备410可以是各种类型，其包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理系统或计算设备。由于计算机和网络的不断变化的性质，为了说明一些实施方式，图4中描绘的计算设备410的描述仅旨在作为特定示例。计算设备410的许多其他配置可能具有比图4中描绘的计算设备更多或更少的组件。

在本文描述的系统收集关于用户(或本文通常称为“参与者”)的个人信息或可以使用个人信息的情况下，可以向用户提供机会来控制程序或功能是否收集用户信息(例如，关于用户社交网络、社交行为或活动、职业、用户偏好或用户当前地理位置的信息)，或控制是否和/或如何从内容服务器接收可能与用户更相关的内容。此外，在存储或使用某些数据之前，可能会以一种或多种方式对其进行处理，使得个人身份信息被去除。例如，用户的身份可能会被处理，因此无法确定用户的个人身份信息，或者用户的地理位置可能会在获取地理位置信息的情况下被概括(诸如概括到城市、邮政编码或州级)，使得无法确定用户的特定地理位置。因此，用户可以控制如何收集和/或使用关于用户的信息。

虽然这里已经描述和说明了若干实施方式，但是可以利用用于执行功能和/或获得结果和/或本文描述的一个或多个优点的各种其他装置和/或结构，并且每个这种变化和/或修改被认为在本文描述的实施方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和配置都意味着是示例性的，并且实际参数、尺寸、材料和/或配置将取决于教导所针对的一个或多个特定应用。本领域技术人员将认识到或能够仅使用常规实验来确定本文描述的特定实施方式的许多等效物。因此，应当理解，前述实施方式仅作为示例呈现，并且在所附权利要求及其等价物的范围内，可以以不同于具体描述和要求保护的方式实现实施方式。本公开的实施方式针对本文所述的每个单独的特征、系统、物品、材料、套件和/或方法。此外，如果此类特征、系统、文章、材料、套件和/或方法不相互矛盾，则两个或更多此类特征、系统、物品、材料、套件和/或方法的任何组合包含在本公开的范围内。

在一些实施方式中，由一个或多个处理器实现的方法被阐述为包括以下操作：接收请求以使用应用内容来生成建议数据的请求，其中，所述应用内容由经由计算设备能够访问的应用生成。所述方法还能够包括以下操作：响应于接收到所述请求，使用第一建议模型处理所述应用内容以生成所述建议数据。所述方法还能够包括以下操作：基于处理所述应用内容，确定所述建议数据是否不足以在所述计算设备的界面处渲染。所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：使得使用第二建议模型来处理所述应用内容以促进生成附加建议数据，其中，所述第一建议模型被指定为相对于生成与所述应用相关联的能够选择的建议而言的默认建议模型。所述方法还可以包括以下操作：确定所述附加建议数据足以在所述计算设备的界面处渲染，以及使所述计算设备渲染基于所述附加建议数据的一个或多个能够选择的建议。

在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：处理表征在用户与基于所述附加建议数据的所述一个或多个能够选择的建议之间的交互的反馈数据，以及，基于处理所述反馈数据，确定在所述用户与所述一个或多个能够选择的建议之间的所述交互是否导致对所述一个或多个能够选择的建议的特定能够选择的建议的选择。在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及当在所述用户与所述一个或多个能够选择的建议之间的所述交互导致所述特定能够选择的建议的所述选择时：使所述第二建议模型被指定为相对于生成与所述应用相关联的能够选择的建议而言的所述默认建议模型。

在一些实施方式中，所述方法可以还包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及当在所述用户与所述一个或多个能够选择的建议之间的所述交互导致所述特定能够选择的建议的所述选择时：基于所述用户对所述特定能够选择的建议的所述选择，使所述第一建议模型不再被指定为所述默认建议模型。所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及当在所述用户与所述一个或多个能够选择的建议之间的所述交互导致所述特定能够选择的建议的所述选择时：使所述第一建议模型和所述第二建议模型都被指派当为当针对所述应用提供后续能够选择的建议时使用。在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：处理表征在用户与基于所述附加建议数据的所述一个或多个能够选择的建议之间的交互的反馈数据；以及，基于处理所述反馈数据，确定是否将所述第二建议模型而不是所述第一建议模型指定为所述默认建议模型，或者确定是否将所述第二建议模型与所述第一建议模型相结合用作附加默认建议模型。

在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及当确定所述第二建议模型被指定为所述默认建议模型或所述附加默认建议模型时：相对于生成与所述应用相关联的能够选择的建议，使所述第二建议模型被指定为所述默认建议模型或所述附加默认建议模型。在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及当确定所述第二建议模型被指定为所述默认建议模型或所述附加默认建议模型时：使所述第二建议模型从服务器计算设备被提供给所述计算设备，其中，所述第一建议模型被存储在所述计算设备处。在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及当所述反馈数据未能满足将所述第二建议模型指定为所述默认建议模型的阈值时：基于未能满足所述阈值的所述反馈数据，修改表征所述第二建议模型的适合性的模型数据，以在生成与所述应用相关联的能够选择的建议时使用。

在一些实施方式中，使得使用所述第二建议模型来处理所述应用内容包括：将所述应用内容传送到服务器计算设备，其中，所述服务器计算设备提供对所述第二建议模型的访问。在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据足以在所述计算设备的所述界面处渲染时：使所述计算设备渲染基于所述建议数据的一个或多个其他能够选择的建议，以及使得使用所述第二建议模型来处理所述应用内容以促进生成所述附加建议数据。在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据足以在所述计算设备的所述界面处渲染时：确定使用所述第二建议模型生成的所述附加建议数据与使用所述第一建议模型生成的所述建议数据之间的相关程度。

在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据足以在所述计算设备的所述界面处渲染时：基于所述相关程度修改表征所述第二建议模型相对于其他模型的适用性的模型数据，以在生成与所述应用相关联的能够选择的建议时使用。所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：确定在所述应用内容与所述计算设备能够访问的其他建议模型的一个或多个附加建议模型之间的相应相关性，以及基于相对于在所述应用内容和所述其他建议模型之间的其他相关程度而言的所述第二建议模型的相关程度来标识所述第二建议模型。

在一些实施方式中，所述方法还可以包括以下操作：当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：确定在所述应用与所述计算设备能够访问的其他建议模型的一个或多个附加建议模型之间的相应相关性，以及基于相对于在所述应用和所述其他建议模型之间的其他相关程度而言的所述第二建议模型的相关程度来标识所述第二建议模型。在一些实施方式中，所述第二建议模型是多域神经网络模型。在一些实施方式中，所述方法可以还包括：响应于接收到所述请求而访问所述应用内容，其中，所述应用内容表征由所述应用执行的一个或多个操作，并且其中，所述一个或多个操作的操作包括渲染包含在所述用户和另一用户之间的交互期间生成的内容的图形用户界面。在一些实施方式中，由响应于来自所述用户的口头话语的自动化助理接收所述请求。在一些实施方式中，所述附加建议数据表征能够经由所述自动化助理初始化的一个或多个助理动作。

在又一实施方式中，一种由一个或多个处理器实现的方法被阐述为包括诸如以下部分的操作：由第一应用根据用于生成第一建议数据的建议生成过程来处理应用内容，其中，至少部分地经由用户经由计算设备访问的第二应用来提供所述应用内容，并且其中，所述建议生成过程先前已经被用于生成基于先前经由所述第二应用提供的其他应用内容的能够选择的建议。在一些实施方式中，所述方法可以还包括以下操作：由所述第一应用使用用于生成第二建议数据的建议模型来处理所述应用内容，其中，所述建议生成过程不同于使用所述建议模型来处理所述应用内容，并且其中，所述建议模型先前未被用于处理先前经由所述第二应用提供的所述其他应用内容。在一些实施方式中，所述方法可以还包括以下操作：由所述第一应用使所述计算设备的界面渲染：基于所述第一建议数据和所述建议生成过程的第一能够选择的建议元素，以及基于所述第二建议数据和所述建议模型的第二能够选择的建议元素。

在一些实施方式中，根据所述建议生成过程来处理所述应用内容包括：访问正在所述计算设备的图形用户界面处渲染的图形内容的图像，其中，所述第一能够选择的建议元素不同于所述第二能够选择的建议元素。

在又一实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如以下部分的操作：由应用使计算设备的界面渲染基于用户与应用之间的交互的内容。所述方法还可以包括以下操作：从附加应用接收表征能够由所述附加应用执行的一个或多个动作的建议数据，其中，所述建议数据是使用建议生成过程生成的，所述建议生成过程先前已经被用于使用所述应用的在先应用内容生成能够选择的建议。所述方法可以还包括以下操作：从所述附加应用接收表征能够由所述附加应用执行的一个或多个其他动作的附加建议数据，其中，所述附加建议数据是使用建议模型生成的，所述建议模型先前不可用于所述附加应用以从所述在先应用内容生成所述能够选择的建议。所述方法还可以包括以下操作：由所述应用使所述计算设备的所述界面渲染：基于所述建议数据的第一能够选择的建议元素，其中，所述用户对所述第一能够选择的建议元素的选择使所述附加应用初始化所述一个或多个动作的执行，以及基于所述附加建议数据的第二能够选择的建议元素，其中，所述用户对所述第二能够选择的建议元素的单独选择使所述附加应用初始化所述一个或多个其他动作的执行。

在一些实施方式中，所述方法可以还包括以下操作：在使所述计算设备的所述界面渲染所述第一能够选择的建议元素和所述第二能够选择的建议元素之后：响应于所述用户与所述第二能够选择的建议元素交互，使所述附加应用在针对所述应用生成后续建议数据时继续采用所述建议模型。在一些实施方式中，所述方法可以还包括以下操作：在使所述计算设备的所述界面渲染所述第一能够选择的建议元素和所述第二能够选择的建议元素之后：响应于所述用户在阈值时间段内未与所述第二能够选择的建议元素交互，使所述附加应用在针对所述应用生成其他建议数据时不再采用所述建议模型。

Claims (27)

1.一种由一个或多个处理器实现的方法，所述方法包括：

接收对于使用应用内容生成建议数据的请求，

其中，所述应用内容由经由计算设备能够访问的应用生成；

响应于接收到所述请求，使用第一建议模型处理所述应用内容以生成所述建议数据；

基于处理所述应用内容，确定所述建议数据是否不足以在所述计算设备的界面处渲染；以及

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：

使使用第二建议模型来处理所述应用内容以促进生成附加建议数据，

其中，所述第一建议模型被指定为相对于生成与所述应用相关联的能够选择的建议而言的默认建议模型，

确定所述附加建议数据足以在所述计算设备的所述界面处渲染，以及

使所述计算设备渲染基于所述附加建议数据的一个或多个能够选择的建议。

2.根据权利要求1所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：

处理表征在用户与基于所述附加建议数据的所述一个或多个能够选择的建议之间的交互的反馈数据，以及

基于处理所述反馈数据，确定在所述用户与所述一个或多个能够选择的建议之间的所述交互是否导致对所述一个或多个能够选择的建议的特定能够选择的建议的选择。

3.根据权利要求2所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及

当在所述用户与所述一个或多个能够选择的建议之间的所述交互导致对所述特定能够选择的建议的所述选择时：

使所述第二建议模型被指定为相对于生成与所述应用相关联的能够选择的建议而言的所述默认建议模型。

4.根据权利要求2或3所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及

当在所述用户与所述一个或多个能够选择的建议之间的所述交互导致对所述特定能够选择的建议的所述选择时：

基于所述用户对所述特定能够选择的建议的所述选择，使所述第一建议模型不再被指定为所述默认建议模型。

5.根据权利要求2至4中任一项所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及

当在所述用户与所述一个或多个能够选择的建议之间的所述交互导致对所述特定能够选择的建议的所述选择时：

使所述第一建议模型和所述第二建议模型二者被指派为用于在针对所述应用提供后续能够选择的建议时使用。

6.根据权利要求1所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：

处理表征在用户与基于所述附加建议数据的所述一个或多个能够选择的建议之间的交互的反馈数据，以及

基于处理所述反馈数据，确定是否将所述第二建议模型而不是所述第一建议模型指定为所述默认建议模型，或者确定是否将所述第二建议模型与所述第一建议模型相结合用作附加默认建议模型。

7.根据权利要求6所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及

当确定所述第二建议模型被指定为所述默认建议模型或所述附加默认建议模型时：

相对于生成与所述应用相关联的能够选择的建议，使所述第二建议模型被指定为所述默认建议模型或所述附加默认建议模型。

8.根据权利要求6所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及

当确定所述第二建议模型被指定为所述默认建议模型或所述附加默认建议模型时：

使所述第二建议模型从服务器计算设备被提供给所述计算设备，

其中，所述第一建议模型被存储在所述计算设备处。

9.根据权利要求6所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时，以及

当所述反馈数据未能满足将所述第二建议模型指定为所述默认建议模型的阈值时：

基于未能满足所述阈值的所述反馈数据，修改表征所述第二建议模型的适合性的模型数据，以用于在生成与所述应用相关联的能够选择的建议时使用。

10.根据前述权利要求中任一项所述的方法，其中，使使用所述第二建议模型来处理所述应用内容包括：

将所述应用内容传送到服务器计算设备，

其中，所述服务器计算设备提供对所述第二建议模型的访问。

11.根据前述权利要求中任一项所述的方法，还包括：

当确定所述建议数据足以在所述计算设备的所述界面处渲染时：

使所述计算设备渲染基于所述建议数据的一个或多个其他能够选择的建议，以及

使使用所述第二建议模型来处理所述应用内容以促进生成所述附加建议数据。

12.根据权利要求11所述的方法，还包括：

当确定所述建议数据足以在所述计算设备的所述界面处渲染时：

确定使用所述第二建议模型生成的所述附加建议数据与使用所述第一建议模型生成的所述建议数据之间的相关程度。

13.根据权利要求12所述的方法，还包括：

当确定所述建议数据足以在所述计算设备的所述界面处渲染时：

基于所述相关程度来修改表征所述第二建议模型相对于其他模型的适用性的模型数据，以用于在生成与所述应用相关联的能够选择的建议时使用。

14.根据前述权利要求中任一项所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：

确定在所述应用内容与所述计算设备能够访问的其他建议模型的一个或多个附加建议模型之间的相应相关性，以及

基于相对于在所述应用内容与所述其他建议模型之间的其他相关程度而言的所述第二建议模型的相关程度来标识所述第二建议模型。

15.根据权利要求1至12中任一项所述的方法，还包括：

当确定所述建议数据不足以在所述计算设备的所述界面处渲染时：

确定在所述应用与所述计算设备能够访问的其他建议模型的一个或多个附加建议模型之间的相应相关性，以及

基于相对于在所述应用与所述其他建议模型之间的其他相关程度而言的所述第二建议模型的相关程度来标识所述第二建议模型。

16.根据前述权利要求中任一项所述的方法，其中，所述第二建议模型是多域神经网络模型。

17.根据前述权利要求中任一项所述的方法，还包括：

响应于接收到所述请求而访问所述应用内容，

其中，所述应用内容表征由所述应用执行的一个或多个操作，以及

其中，所述一个或多个操作中的操作包括渲染包括在所述用户与另一用户之间的交互期间生成的内容的图形用户界面。

18.根据前述权利要求中任一项所述的方法，其中，由响应于来自所述用户的口头话语的自动化助理接收所述请求。

19.根据权利要求18所述的方法，其中，所述附加建议数据表征能够经由所述自动化助理初始化的一个或多个助理动作。

20.一种由一个或多个处理器实现的方法，所述方法包括：

由第一应用根据用于生成第一建议数据的建议生成过程来处理应用内容，

其中，至少部分地经由用户经由计算设备访问的第二应用来提供所述应用内容，以及

其中，所述建议生成过程先前已经被用于生成基于先前经由所述第二应用提供的其他应用内容的能够选择的建议；

由所述第一应用使用用于生成第二建议数据的建议模型来处理所述应用内容，

其中，所述建议生成过程不同于使用所述建议模型来处理所述应用内容，以及

其中，所述建议模型先前未被用于处理先前经由所述第二应用提供的所述其他应用内容；以及

由所述第一应用使所述计算设备的界面渲染：

基于所述第一建议数据和所述建议生成过程的第一能够选择的建议元素，以及

基于所述第二建议数据和所述建议模型的第二能够选择的建议元素。

21.根据权利要求20所述的方法，其中，根据所述建议生成过程来处理所述应用内容包括：

访问正在所述计算设备的图形用户界面处渲染的图形内容的图像，

其中，所述第一能够选择的建议元素不同于所述第二能够选择的建议元素。

22.一种由一个或多个处理器实现的方法，所述方法包括：

由应用使计算设备的界面渲染基于用户与所述应用之间的交互的内容；

从附加应用接收表征能够由所述附加应用执行的一个或多个动作的建议数据，

其中，所述建议数据是使用建议生成过程生成的，所述建议生成过程先前已经被用于使用所述应用的在先应用内容生成能够选择的建议；

从所述附加应用接收表征能够由所述附加应用执行的一个或多个其他动作的附加建议数据，

其中，所述附加建议数据是使用建议模型生成的，所述建议模型先前不可用于所述附加应用以从所述在先应用内容生成所述能够选择的建议；以及

由所述应用使所述计算设备的所述界面渲染：

基于所述建议数据的第一能够选择的建议元素，

其中，所述用户对所述第一能够选择的建议元素的选择使所述附加应用初始化所述一个或多个动作的执行，以及

基于所述附加建议数据的第二能够选择的建议元素，

其中，所述用户对所述第二能够选择的建议元素的单独选择使所述附加应用初始化所述一个或多个其他动作的执行。

23.根据权利要求22所述的方法，还包括：

在使所述计算设备的所述界面渲染所述第一能够选择的建议元素和所述第二能够选择的建议元素之后：

响应于所述用户与所述第二能够选择的建议元素交互，使所述附加应用在针对所述应用生成后续建议数据时继续采用所述建议模型。

24.根据权利要求22所述的方法，还包括：

在使所述计算设备的所述界面渲染所述第一能够选择的建议元素和所述第二能够选择的建议元素之后：

响应于所述用户在阈值时间段内未与所述第二能够选择的建议元素交互，使所述附加应用在针对所述应用生成其他建议数据时不再采用所述建议模型。

25.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行根据前述权利要求中任一项所述的方法。

26.一种包括指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行根据权利要求1至24中任一项所述的方法。

27.一种系统，包括用于执行权利要求1至24中任一项的方法的一个或多个处理器。

Images