CN110622136B - 经由可选图形元素初始化与自动代理的会话 - Google Patents

Abstract

提供了用于响应于对由非自动助理应用渲染的图形用户界面处呈现的可选元素的用户选择而在自动助理应用中调用代理模块的方法、装置、系统和计算机可读介质。被调用的代理模块可以与在非自动助理图形用户界面中渲染的其他内容相关联并且可以可选地使用基于经由非自动助理应用的用户交互的值来被调用。响应于调用可以从代理模块接收响应内容，以及由自动助理应用经由自动助理界面提供的对应的内容。以这些和其他方式，对可选元素的选择引起从非会话界面到会话自动助理界面的转变——其中，在自动助理界面中调用(与非会话界面中的内容有关的)代理。

Description

经由可选图形元素初始化与自动代理的会话

背景技术

自动助理(也称为“个人助理模块”、“移动助理”或“聊天机器人”)可以经由各种计算设备与用户交互，所述计算设备诸如智能电话、平板电脑、可穿戴设备、汽车系统、独立的个人助理设备等。自动助理接收来自用户的输入(例如，键入和/或口头的自然语言输入)并且使用响应内容(例如，视觉和/或听觉自然语言输出)进行响应。

自动助理可以通过与各种本地和/或第三方代理的交互来提供广泛的功能性。为了使用户利用自动助理来执行特定功能，通常，用户通常必须首先明确地调用自动助理(例如，通过特定的口语短语和/或特定的硬件输入)，然后提供与特定功能相关联的特定调用短语。调用短语经由自动助理调用可以执行特定功能的代理。但是，用户可能不知道自动助理的各种功能性和/或可能不知道经由自动助理调用此类功能的调用短语。此外，用户可能不知道，尽管用户的设备中的一个可能没有加载自动助理以用于回答查询(例如，从平板电脑获取航班详细信息)，但是用户仍然可以从具有自动助理的其他设备获取答案。结果，在一些情况下，用户可能利用其他资源效率较低的应用来执行特定功能。此外，即使用户调用自动助理，在一些情况下，用户仍然可能需要与自动助理进行大量的资源密集交互(例如，对话回合)以发现如何经由自动助理执行特定功能。例如，用户可能需要进行大量对话回合才能发现自动助理能够启用特定功能的执行。

发明内容

本文描述了用于调用自动助理以与和应用相关联的代理模块进行通信的技术。一些实施方式使得可选元素能够在与自动助理应用分离的应用的非自动助理图形用户界面中被呈现给用户。响应于用户对可选元素的选择，自动助理可以调用对应于可选元素并且与经由非自动助理界面呈现的内容相关联的代理模块。在那些实施方式中的一些实施方式中，可以以单个轻敲、单击或其他“单一选择”的方式选择可选元素。以这些和其他方式，用户可以选择可选元素以从非会话界面转变到会话自动助理界面——其中，在自动助理界面中调用(与非会话界面中的内容有关的)代理。在一些实施方式中，通过以这种方式在自动助理界面中调用代理，可以减少由用户进行的执行代理模块的功能所需的输入量。特别地，代理模块可以基于图形用户界面被直接调用，而不是首先调用自动助理并且然后提供与特定代理模块或代理模块的功能相关联的特定调用短语。可以经由自动助理直接调用与图形用户界面相关联的代理模块。通过不需要针对特定代理模块的进一步的调用短语，至少减少了由用户进行的所需的输入量。以此方式，不需要自动助理的一般查询的输出以及对针对特定代理模块的进一步的调用短语的处理。输入的这种减少可以节省计算资源并且使各种用户受益，例如，具有关于灵活性的问题的那些用户。此外，可以促进发现各种自动助理功能性，从而促进对潜在地更资源高效的自动助理界面的使用以进一步交互。

在一些实施方式中，一种由一个或多个处理器实现的方法被阐述为包括步骤，诸如接收对在由计算设备的非自动助理应用渲染的图形用户界面上的可选元素的选择。可选元素可以指示可以经由与非自动助理应用分离的自动助理应用调用与图形用户界面相关联的代理。步骤可以进一步包括响应于对可选元素的选择而经由自动助理应用调用代理。代理可以是可以经由自动助理应用调用的多个可用代理中的一个。步骤可以进一步包括响应于调用代理而从代理接收响应内容，并且经由自动助理界面由自动助理应用提供基于从代理接收的响应内容的输出。

在其他实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如使可选元素显示在正在运行非自动助理应用的计算设备上的步骤。可选元素可以被配置为使自动助理初始化与非自动助理应用相关联的代理模块。步骤可以进一步包括接收对可选元素的选择，以及响应于接收到对可选元素的选择，确定计算设备是否可访问自动助理。步骤还可以包括当确定计算设备不可访问自动助理时，执行对应于可选元素的链接以使默认网页打开并呈现可口述命令短语，以与代理模块通信。

在其他实施方式中，一种非瞬时性计算机可读介质被阐述为存储指令，该指令当由一个或多个处理器执行时，使一个或多个处理器执行步骤，该步骤包括：确定用户正在观看非自动助理应用的应用界面。应用界面可以包括用于经由自动助理应用初始化与代理模块的通信的第一可选元素。代理模块可以被配置为执行与非自动助理应用相关联的动作。步骤可以进一步包括接收对第一可选元素的选择。第一可选元素可以包括识别代理模块和用于执行动作的参数的链接。步骤还可以包括使会话界面被呈现给用户。会话界面可以由自动助理配置为用户与代理模块之间的中介。此外，步骤可以包括在会话界面处提供第二可选元素。第二可选元素可以基于在链接中识别的参数以推进动作。

另外，一些实施方式包括一个或多个计算设备的一个或多个处理器，其中，一个或多个处理器可操作以执行存储在相关联的存储器中的指令，并且其中，指令被配置为使得实现前述方法中的任何一个。一些实施方式还包括存储可由一个或多个处理器执行以实现前述方法中的任何一个的计算机指令的一个或多个非瞬时性计算机可读存储介质。

附图说明

图1A、图1B和图1C示出了用户在移动设备处激活会话用户界面的图。

图2示出了可以被用来与和网站相关联的代理模块进行交互的会话用户界面。

图3示出了用于在客户端设备处提供会话界面以便使用户熟悉可用于控制各种应用和/或网站的可口述命令的系统。

图4A、图4B和图4C示出了在计算设备的用户界面处呈现的会话用户界面。

图5示出了用于使代理模块经由自动助理执行功能的方法。

图6示出了根据是否存在用于执行操作的本机应用来限制响应于对可选元素的选择而执行的操作的方法。

图7示出了根据代理模块是否可访问的经由自动助理与代理模块交互的方法。

图8是示例性计算机系统或计算设备的框图。

具体实施方式

所述的实施方式涉及用于使用自动助理来与和应用相关联的代理模块交互的系统、方法和装置。作为一个示例，假设用户已经经由客户端设备的Web浏览器应用访问了比萨公司的“订购比萨”网页。可以经由Web浏览器应用呈现可选元素，该可选元素在被选择时，使客户端设备的自动助理应用调用“比萨公司”的代理，并且向用户呈现由“比萨公司”的代理生成的自动助理界面输出。换句话说，响应于对元素的选择，自动助理应用可以调用代理以使用户能够经由自动助理界面与代理进行对话。在一些实施方式中，可选元素可以作为网页的内容被包括(例如，由比萨公司嵌入网页中)。此外，在一些实施方式中，响应于对可选元素的选择，可以使用基于经由Web浏览器应用的用户交互的意图和/或意图参数的值(例如，“槽值”)来调用代理。例如，如果用户已经与“订购比萨”网页进行交互以选择“大1浇头”比萨，则可以使用“订购比萨”意图以及槽值“大”和“1浇头”来调用代理。

图1A-1C示出了从移动设备的应用106激活的会话用户界面114的图。具体地，图1A示出了在移动设备的用户界面108处显示的应用106的图100。应用106可以是例如旅馆预订应用，其允许用户经由用户界面预订旅馆。移动设备可以包括自动助理或者与单独的设备处的自动助理通信，以协助移动设备的各种功能。例如，自动助理可以响应于口头命令并且将口头命令转换成文本，该文本可以由与诸如应用106的应用相关联的代理模块使用。移动设备104的应用可以与专门设计以协助用户执行与应用106相关联的功能的代理模块相关联。在一些实施方式中，自动助理可以初始化与用户的口语或文字会话并且充当用户与和应用106相关联的代理模块之间的中介。但是，用户可能不知道可用于与应用106相关联的自动助理或代理模块的可口述命令，从而为用户提供用于与代理模块交互的效率较低的手段。为了向用户介绍可用于经由自动助理与代理模块通信的可口述命令，自动助理可以提供经由对第一可选元素112的选择被初始化的会话用户界面114。

第一可选元素112可以包括短语，该短语向用户指示用户可以使用他们的自动助理与和应用106相关联的代理模块通信。例如，第一可选元素112可以包括短语“使用自动助理”，这通知用户102用户能够通过用户的自动助理执行与应用106或代理模块有关的功能。最初，如果用户102不知道任何可口述命令，则用户102可以选择第一可选元素112或说出短语“使用自动助理”。响应于用户102选择第一可选元素112或说出短语“使用自动助理”，自动助理可以初始化并调用对应于应用106的代理模块。第一可选元素112可以与特定识别代理模块的链接或命令和/或代理模块要执行的命令或意图相关联。在一些实施方式中，链接可以是诸如“http://assistant.url/hotel-agent-module/hotel-booking”的通用资源定位符(URL)或识别代理模块的任何命令。该链接还可以包括在选择第一可选元素112之前，由用户提供给应用的任何信息。例如，如图1A所示，用户可能已经选择了旅馆预订的日期(“3/14”)和客人数量(“1”)。因此，链接可以识别代理模块并且包括日期和客人数量。以这种方式，自动助理可以被通知旅馆预订的进度并且可以利用指定的日期和客人数量来调用代理。例如，可以利用“旅馆预订”意图和“日期”槽参数的值“3/14”以及“客人数量”槽参数的值“1”来调用代理。这样的链接的示例可以是“http://assistant.url/agent-module/hotel-booking-date_0314_guests_l”。在一些实施方式中，链接或命令可以包括不透明的参数(例如，“.../date_889293”)以隐藏代理如何从自动助理接收输入的细节，从而消除恶意URL创建者造成的损害。

在一些实施方式中，响应于用户选择第一可选元素112，自动助理可以使用链接和链接中的代理模块标识符来确定自动助理是否可访问代理模块。如果代理模块可用于自动助理，则自动助理可以调用代理模块并且可选地向用户呈现可用于进一步与代理模块交互的命令。例如，在图1B中，已经在会话界面114中调用了与应用106相关联的代理模块，并且响应于调用在会话界面中呈现基于由代理模块生成的响应内容的输出(“代理:…是什么”)。例如，代理模块可能已经利用“旅馆预订”意图被调用并且作为响应提供了图1B中所示的输出。

在一些实施方式中，自动助理可以访问提供给应用106的历史命令的索引。自动助理可以使用历史命令的索引来为用户提出建议以与代理模块交互。一旦识别了相应的代理模块或者识别了历史命令，则移动设备104上的自动助理或其他应用就可以在会话用户界面114中向用户呈现命令列表，如图1B的图116所示。例如，可以使用短语“我的先前预订的位置”来提供建议元素120。如果选择了建议元素120，则自动助理可以指令代理模块将旅馆的位置预订为用户先前预订旅馆的相同位置。自动助理可以确定搜索与用户与应用106之间的交互相对应的用户数据的先前旅馆预订的位置。替选地，可以使用短语“我的日历中的位置”来提供建议元素122。如果选择了建议元素122，则自动助理可以指令代理模块根据用户日历中存储的在链接中指示的日期(“3/14”)时的事件来预订旅馆的位置。自动助理还可以提供文本输入元素124和声音输入元素132，该文本输入元素124在被选择时，允许用户将输入键入到会话用户界面114中，以及该声音输入元素132在被选择时，允许用户对自动助理说出输入。以这种方式，用户可以可选地在选择代理模块的建议的输入或经由自动助理向代理模块提供文本或口语输入之间选择。然后，可以通过自动助理将来自用户的输入提供给代理模块，以使代理模块能够生成继续该对话的进一步的响应内容。

命令列表可以包括用于使用自动助理和代理模块之间的交互来推进在应用处开始的操作的命令。命令列表可以是代理模块理解的可口述命令或由用户说出并且使用自动助理或移动设备或远程设备上的其他应用转换为文本的文本命令。例如，与第一可选元素112相关联的链接可以识别自动助理将如何接收输入和/或提供输出的模态。模态可以是文本、语音或用于接收输入并提供输出的任何其他媒介。可以在提供给自动助理的链接中识别模态。例如，链接可以识别代理模块、意图或动作和/或模态(例如，“http://assistant.url/agent-module/hotelbooking-text modality”)。

响应于用户选择图1B的图116中的建议元素120、122或124中的任一个，可以更新会话用户界面114，如图1C的图118所示。图1C的更新的会话用户界面130可以包括来自代理模块的进一步的响应内容。例如，一旦自动助理已经将旅馆预订的位置传送给代理模块，则代理模块可以将对应于旅馆预订的付款的进一步的响应内容发送给自动助理。自动助理可以向用户呈现可选响应元素以用于响应于代理模块。自动助理可以使用来自代理模块的响应内容来搜索自动助理可以访问的用户数据，并且基于该搜索生成可选响应。例如，由于代理模块已经向自动助理提供了要求支付的查询，因此自动助理可以针对支付信息搜索用户数据。如果自动助理确定用户在移动设备上具有已存储的支付卡，则自动助理可以呈现包括短语“使用我的已存储的卡支付”的响应元素126。在一些实施方式中，一旦与代理模块的交互完成，自动助理可以预测用户还希望执行一些其他功能。在这样的情况下，自动助理可以向用户呈现可以响应于一个代理模块(例如，旅馆预订代理模块)并且调用用于完成另一功能(例如，预订航班)的另一代理模块的双代理响应元素128。例如，自动助理可以提供包括短语“使用已存储的卡支付…”的双代理响应元素128，该短语在被说出或选择时，可以指令代理模块使用已存储的卡向用户收取旅馆预订的费用。同时，自动助理可以使用双代理响应元素128提供短语“…并帮我预订航班”。响应于用户选择双代理响应元素128，自动助理还可以调用对应于航班预订应用或网站的代理模块。以这种方式，可以减少由用户进行的执行某些操作所需的输入的数量。这对于具有可能妨碍用户有效地向移动设备提供输入的灵活性问题或其他疾病的用户可能是有益的。

图2示出了可以被用来与和网站206相关联的代理模块进行交互的会话用户界面214。当在移动设备204上浏览网站206时，用户202可能不知道可以通过由自动助理和/或代理模块解释的可口述命令控制与网站206相关联的某些功能。为了使用户202更熟悉可口述命令，可以指令用户202初始化自动助理，这可以根据本文所述的实施方式提供会话用户界面214。例如，如图2的图200所示，用户202可能正在浏览食品订购网站206。在查看网站206时，用户202可以识别在移动设备204的用户界面208处呈现的第一可选元素212。第一可选元素212可以包括短语，该短语向用户202指示自动助理可以被用来与和网站206相关联的代理模块交互以执行与网站206相关联的某些功能。例如，第一可选元素212可以包括短语“使用自动助理”，如图2所示。第一可选元素212可以与诸如URL的链接相关联，该链接可以被提供给自动助理以在移动设备204处打开会话用户界面。例如，该链接可以识别适用于从用户202接收可口述命令的代理模块，以执行与网站206相关联的功能(例如，订购食品)。这样的链接可以例如具有结构：http://assistant.url/food％ordering％agent％module，其中，“％”表示空格字符，并且在主机名之后标识代理模块的类型(例如“食品订购”)。在一些实施方式中，如果移动设备204包括对应于网站206的第三方应用(例如，食品订购应用)，则链接可以由自动助理转移到第三方应用，以继续用户202与食品订购应用之间的会话。否则，自动助理可以接收链接，以在移动设备204或单独的计算设备224上提供会话用户界面214。

作为又一示例，网站206可以是食品配送订购网站，其中，用户可以(例如，经由下拉菜单、单选按钮、自由格式文本)与网站206交互以选择食品订购中的项和/或配料(例如比萨的浇头)并且可以可选地完成配送的订购并为配送的订购付款。如果用户通过与网站206的交互来部分填写食品订单，则可以将所选配料中的一个或多个的值传输到自动助理，以使自动助理能够使用这样的值调用与网站206相关联的代理模块(例如，以在调用代理模块时，将这样的值包括为传输到代理模块的槽值)。在一些实施方式中，托管网站206的服务器可以生成这样的值以传递给自动助理。例如，响应于用户与网站206的交互，可以由服务器动态地生成可选图形元素的链接，使得该链接包括对这样的值的指示(例如，“http://assistant.url/agent-module/order-pizz_toppings＝pepperoni-mushroom-peppers”)。例如，可以响应于用户与网站206的交互，由服务器动态地更新与可选图形元素相关联的链接。作为另一示例，服务器可以响应于对可选图形元素的选择而传输命令，其中，该命令包括这样的值并且可选地还指示代理模块。例如，可以由服务器定制从服务器提供给自动助理的命令以包括经由用户与网站206的交互为比萨选择的浇头(例如，命令“ACTION＝com.assistant.toppingsjDepperoni-bacon-onion.StartConversation”)。在一些实施方式中，自动助理本身可以处理网站206的界面内容，以直接确定这样的值。例如，可以处理界面的一个或多个屏幕截图以确定字段的标题的文本和/或字段的所选的值，并且这样的标题和/或值被用来确定适当值以用于与调用请求一起传递给代理模块。在一些实施方式中，其中，在调用相关联的代理模块时，利用从用户与非自动助理界面的交互得出的值，可以减少(例如，消除)通过自动助理界面的这样的值的重复的再次输入。这可以节省各种资源，因为可以使用这样的值调用代理模块——从而消除经由自动助理界面的对话回合来定义这样的值的需要。

在一些实施方式中，自动助理可能在正在查看网站206的移动设备204处不可用，但是，移动设备204可以通过网络连接到包括自动助理的单独的计算设备224。在该实施方式中，当用户202选择第一可选元素212时，移动设备204可以向计算设备224提供链接(或其他内容)以在计算设备224处调用自动助理。自动助理可以使用链接来识别代理模块并且识别与正在网站206上执行的当前操作的状态有关的数据。

会话用户界面214可以包括多个不同的可选元素，其包括对应于可口述命令的短语以经由自动助理与代理模块交互。短语可以基于自动助理处理网站的内容的结果、由代理模块或网站提供给自动助理的预配置命令和/或如由自动助理记录的用户与网站的历史交互。例如，会话用户界面214上的可选元素可以包括诸如“订购食品配送”的短语，该短语可以基于如在提供给自动助理的链接(或其他命令)中详述的订购的状态。该短语可以由用户202说出，并且由自动助理转换成文本。此后，可以将文本提供给与网站206相关联的代理模块。代理模块可以接收文本并且根据该文本完成食品配送。

在一些实施方式中，链接可以包括用于在与代理模块的交互期间引导自动助理的参数。例如，用户202可以在选择第一可选元素212之前，至少部分地填写食品订购网站206。由用户202填写的网站206的部分可以包括订购数据，诸如配送位置、食品的数量和/或饮料订购。该数据可以体现在对应于第一可选元素212的链接中。例如，对应于第一可选元素212的链接可以是“http://assistant.url/agent-module/breakfast-order/drink-coffee-location-market-street”)。该链接可以由自动助理解析，以便识别将由代理模块执行的后续操作或意图的参数。例如，如在链接中识别的意图“早餐订购”可以包括在意图可以被完成之前需要识别的多个参数。自动助理可以使用参数“咖啡”和“市场街”来告知用户该订购的当前状态，以及请求用于完成订购的附加信息(例如“为食品付款”)。

在一些实施方式中，可以根据网站206的内容来预配置在会话用户界面214处提供的可选元素中的每个。换句话说，移动设备204的自动助理和/或解析器引擎可以处理网站206的内容，以便生成用于与网站206交互的可选元素和/或可口述命令。在其他实施方式中，网站206的代理模块可以与可以被存储在移动设备204或计算设备224上或移动设备204或计算设备224可访问的预配置命令和参数相关联。这些预配置的命令和参数可以由移动设备204的自动助理和/或解析器引擎处理，以生成可口述命令和/或可选元素以经由自动助理与代理模块交互。以这种方式，可以使用户202意识到与网站206或代理模块用声音交互的能力以通过不依赖于完全键入命令来简化网站206的功能。这对于疲劳或有灵活性问题的用户可能是有益的。

在一些实施方式中，网站206可以与多个不同的代理模块相关联，并且自动助理可以根据用户202的当前和/或先前的活动来识别最合适的代理模块以进行初始化。例如，用户202可能正在查看食品订购网站206，并且该食品订购网站206可以与多个不同的代理模块相关联，每个不同的代理模块可以专门订购特定类型的食品。例如，第一代理模块可以专门订购早餐食品，而第二代理模块可以专门订购晚餐食品。自动助理可以确定用户202更可能对订购早餐食品感兴趣并且提供包括可口述命令“关于订购早餐食品与代理谈话”的可选元素。自动助理可以基于用户202正在浏览网站206的一天中的时间、从网站订购早餐食品的过去历史、诸如消息和/或日历条目的移动设备204可访问的媒体和/或适合于当预测用户202的动作时使用的任何其他数据，确定用户202更可能订购早餐食品。由网站提供的可选元素可以对应于专门识别多个不同代理模块的链接。例如，可选元素可以对应于列出用于自动助理从中选择并且初始化的代理模块的命令(例如，“ACTION＝com.

assistant.BreakfastAgentModule.StartConversation,com.

assistant.LunchAgentModule.StartConversation,OR com.

assistant.DinnerAgentModule.StartConversation”。可以在网站206上提供该命令以供自动助理接收。替选地，可选元素可以对应于识别代理模块的链接(例如，“http://assistant.url/agentmodules/breakfast-agent_lunch-agent_dinner-agent”)。然后，自动助理可以接收链接或命令，使得自动助理可以基于对用户数据的分析选择最合适的代理模块以进行初始化。

在一些实施方式中，当在移动设备204处从计算设备224初始化自动助理时，自动助理可以分析用户数据以确定是否应当从计算设备224初始化另一代理。例如，自动助理可以知道与用户202经常在计算设备224上访问的电影网站相关联的代理模块。用户202可以选择第一可选元素212来初始化自动助理，以与和食品订购网站206相关联的代理模块交互。同时，自动助理还可以为用户202提供与和电影网站相关联的代理模块进行通信的选项，如图2所示。例如，自动助理可以同时提供可选元素218和可选元素222，其均可以与不同代理模块或网站的不同动作相关联。以这种方式，用户能够通过对完成两个单独的动作的单个自动助理依次说出两个命令(例如，“订购食品配送并开始看最近观看的电影”)来与两个不同的代理模块用声音通信。

图3示出了用于在客户端设备302处提供会话界面316以便使用户熟悉可用于控制各种应用304和/或网站的可口述命令的系统300。在客户端设备302上操作的应用304可以与可以协助用户执行与应用304相关联的功能的一个或多个代理模块310相关联。代理模块310可以被存储在客户端设备302或诸如服务器设备的远程设备上。在一些实施方式中，服务器设备可以存储客户端设备302可访问的一个或多个自动助理。自动助理320可以为了控制客户端设备302的某些特征以及与代理模块310交互的目的接收由客户端设备302的麦克风记录的语音数据并且解释语音数据。

在一些实施方式中，客户端设备302和/或服务器设备可以包括可选元素引擎326，该可选元素引擎326可以生成用于在客户端设备302处提供可选元素的数据。可选元素引擎326可以生成可选元素以便经由自动助理320协助用户初始化与代理模块310的通信，以执行与应用304和/或Web浏览器314相关联的功能。例如，当用户正在操作应用304或在Web浏览器314上查看网站时，可以通知可选元素引擎326。作为响应，可选元素引擎326可以生成可选元素，该可选元素当在客户端设备302的界面上被选择时，可以在客户端设备302上初始化会话界面316。可选元素可以包括由可选元素引擎326生成或由自动助理320提供的短语。可选元素引擎326和/或自动助理320可以知道与应用304相关联的代理模块310，并且针对可选元素提供指示自动助理可以被用来与代理模块310交互的短语。例如，可选元素的短语可以是“使用自动助理来执行应用功能”，其可以由用户说出以打开会话界面316。替选地，用户可以选择可选元素以打开会话界面316。

会话界面316可以包括多个不同的可选元素，这些元素包括可以基于用户数据312的短语。例如，代理模块310可以对应于游戏应用304，并且代理模块310可以接受来自用户的键入命令。尽管代理模块310可以由制造商设计成接受键入的预配置命令312，但是可以使用自动助理320来将用户的口头词语转换成代理模块310可以理解的命令。例如，最初，当用户打开游戏应用304时，可以向可选元素引擎326通知游戏应用304被打开，并且可选元素引擎326可以使用短语“使用自动助理”提供可选元素。此后，用户可以选择可选元素或说出短语，以便初始化自动助理320来与对应于游戏应用304的代理模块310通信。当应用304是例如国际象棋游戏应用时，可以为会话界面316提供具有对应于棋子移动的短语的多个不同的可选元素。短语可以基于用户数据312，诸如由用户输入的先前命令、从代理模块310传送的数据和/或由文本解析引擎324提供的经解析的应用内容。为了选择对应于可选元素的移动，用户可以选择可选元素或说出位于该可选元素处的短语。例如，会话界面316的可选元素可以包括短语“移动兵”。可选元素可以对应于识别要执行的动作(例如，在国际象棋应用中移动兵)的链接，并且可以使得会话界面316使用可用于完成动作的附加短语(例如，“移至A5”)更新。然后可以将该链接提供给与应用304相关联的代理模块310。

在一些实施方式中，用户可以说出短语，并且可以将由客户端设备302捕获的音频数据提供给自动助理320以进行处理。例如，自动助理320可以包括语音到文本引擎322，该语音到文本引擎322可以接收由客户端设备302捕获的音频数据并且将音频数据转换为文本。当音频数据正在被客户端设备302的麦克风捕获时，文本可以对应于用户的口头词语。自动助理320还可以包括文本解析引擎324，该文本解析引擎324可以解析文本并且识别对应于代理模块310和/或在Web浏览器314处提供的网站的输入参数的特定的单词或短语。此后，自动助理320可以由经解析的文本生成链接或命令并且将链接或命令发送到代理模块或网站以进行处理。例如，当用户在游戏应用304的会话界面316上看到短语“移动兵”时，用户可以在客户端设备302处说出短语“移动兵”。然后，客户端设备302可以捕获话音的音频数据并且与自动助理320共享音频数据。然后，自动助理320可以生成包括对应于话音的经解析的文本的链接，并且将该链接传输到代理模块310或游戏应用304。例如，链接可以是URL，诸如“http://assistant.url/chess-agent-module/move-pawn”，其可以由代理模块310处理并转换为供应用304使用以推进国际象棋游戏的命令。该链接还可以由可选元素引擎326使用以生成新的可选元素，这些新的可选元素将替换会话界面316上的先前的可选元素中的至少一些。

在一些实施方式中，如果用户正在Web浏览器314上查看网站，并且网站不与代理模块310相关联，仍然可以向用户呈现用于与网站交互的会话界面316。例如，用户可能正在查看不与代理模块310相关联的旅馆网站。尽管如此，可选元素引擎326可以使客户端设备302显示包括短语“使用自动助理”的可选元素。以这种方式，尽管没有可用的代理模块310，也可以通知用户旅馆网站可用于接收可口述命令。响应于用户选择可选元素或说出短语“使用自动助理”，Web浏览器314可以打开会话界面316，以便向用户呈现附加可选元素。附加可选元素可以由可选元素引擎326基于网站的内容和/或可以包括来自应用304的数据的用户数据312生成，该用户数据312诸如消息、日历数据、浏览器历史、订购历史、行车方向和/或基于用户活动的任何其他数据。可选元素可以对应于Web链接，该Web链接识别可口述命令的内容中的至少一些并且可以由托管网站的服务器处理。然后，可以将Web链接提供给网站或Web浏览器314，以推进旅馆预订过程。如果用户选择说出如在可点击元素处指定的短语“预订伊利诺伊州的旅馆”，则可以将对应于口头短语“预订伊利诺伊州的旅馆”的音频数据提供给自动助理320。此后，自动助理320可以在语音到文本引擎322处将话音转换为文本，然后在文本解析引擎324处解析文本。然后，经解析的文本可以在可选元素引擎326处被转换为Web链接，然后将该Web链接提供给网站或Web浏览器314以推进预订过程。此后，可选元素引擎326可以用可选元素重新填充会话界面316以根据从代理模块310收到的查询来推进预订过程。例如，可选元素可以对应于诸如“选择预订日期”、“选择房间大小”的命令和/或与预订旅馆有关的任何其他命令。

图4A-图4C示出了在计算设备的用户界面处呈现的会话用户界面。具体地，图4的图400示出了在计算设备的Web浏览器处呈现的网站的第一用户界面406。网站可以是例如宣传用户可以收听的各种广播电台的广播网站。网站可以包括在第一用户界面406处呈现的第一可选元素408。第一可选元素408可以向用户提供自动助理可以被用来与和网站相关联的代理模块交互的指示。例如，第一可选元素408可以包括短语“使用自动助理”，其可以由用户说出以使自动助理在计算设备处打开会话用户界面410。用户还可以通过触摸第一用户界面406或向计算设备提供一些其他选择命令来选择第一可选元素408。响应于选择第一用户界面406或用户说出的短语，自动助理可以接收识别代理模块与网站相关联的链接。自动助理还可以执行查询以识别与网站相关联的应用是存在于计算设备上还是以其他方式可由计算设备访问。然后，自动助理可以在会话用户界面410上提供发现。

图4B中的图402的会话用户界面410可以包括第一代理模块部分412和第二代理模块部分416。第一代理模块部分412可以对应于会话用户界面410的与和网站相关联的代理模块有关的部分。第二代理模块部分416可以对应于会话用户界面410的与和网站相关联的本地应用有关的部分。例如，因为广播网站是音频收听网站，所以自动助理可以识别计算设备上的音频有关应用，并且向用户呈现可口述命令以与和音频有关应用相关联的代理交互。一个音频有关应用可以是播客应用，如图400所示。但是，在一些实施方式中，有关应用可以是与控制自动助理应用的一方不同的第三方应用。

自动助理可以同时呈现与网站(例如，广播网站)相关联的代理模块和与有关应用(例如播客应用)相关联的代理模块两者有关的可选元素。可选元素可以包括基于对应于用户与网站以及应用两者之间的交互的用户数据的可口述命令短语。例如，可选元素414的第一集合可以对应于用户先前使用网站执行的动作。可口述命令短语“开始音乐”可以对应于用户之前选择以便使广播网站开始播放音乐的开始按钮。如由自动助理记录的对开始按钮的先前选择可以被转换成可以在会话用户界面410处选择和/或对计算设备说出的可选元素。此外，可选元素418的第二集合可以对应于用户在诸如播客应用的有关应用上执行的动作。例如，用户开始播客的先前动作可以由自动助理记录并且用作提供包括可口述命令短语“开始播客”的可选元素的基础。

在一些实施方式中，会话用户界面410可以通知用户与和有关应用相关联的代理模块进行交谈的能力。例如，会话用户界面410可以提供包括可口述命令短语“与播客代理交谈”的可选元素。响应于选择写着“与播客代理交谈”的可选元素，自动助理可以将会话用户界面410更新为包括与播客应用有关的建议的第二用户界面426。例如，第一更新界面部分418可以包括对应于由自动助理或与播客应用相关联的代理模块记录的先前动作或预测动作的多个不同的可选元素420。此外，自动助理可以基于与用户在操作播客应用时先前执行的历史动作有关的用户数据来提供第二更新的界面部分422。例如，与播客有关的历史动作可以是订购食品配送。用户可能具有回家、打开播客和订购食品的惯例，因此自动助理可以识别该惯例并提供会话界面，以更有效地完成该惯例。在第二更新界面部分422处提供的每个可选元素424可以由用户选择或者可以对计算设备用声音说出，以便执行在可选元素424的可口述命令短语中识别的动作。此外，自动助理可以识别对应于有关应用的一个或多个代理模块并且提供可选元素424，该可选元素424当被选择时，可以初始化经由自动助理与代理模块的会话。例如，有关应用(例如，食品配送应用)可以与亚洲食品代理和埃塞俄比亚食品代理相关联。与食品配送应用相关联的不同代理模块中的每一个可以专门协助食品配送应用的动作的类别，并且自动助理可以通知用户他们能够经由自动助理与代理模块对接(interface)。

图5示出了用于使代理模块经由自动助理执行功能的方法500。方法500可以由客户端设备、服务器设备、在该设备上运行的模块或应用和/或适于与应用交互的任何其他装置来执行。方法500可以包括在计算设备处接收对识别与应用相关联的代理模块的链接的选择的框502。应用可以是计算设备上的包括可以通过用户输入操作的内容的任何应用。例如，应用可以是家庭监控应用，其允许用户使用应用控制用户的家中的各种设备。链接可以是可选元素，该链接包括指示自动助理可以被用来与和应用相关联的代理模块交互的短语。例如，链接可以包括短语“使用自动助理”并且可以通过选择链接或说出短语“使用自动助理”来激活链接。在框504处，进行自动助理是否可被计算设备访问的确定。自动助理可以是充当代理模块和用户之间的接口的单独的应用或模块，以便引导用户执行与应用相关联的功能。如果自动助理可用于计算设备，则在框508处，可以使用自动助理打开会话界面。例如，可以在代理模块被调用的情况下打开会话界面。例如，响应于调用代理模块，会话界面可以被打开并且可以呈现基于从代理模块接收的内容的输出。如果自动助理不可用于计算设备，那么在框506处，可以在浏览器的默认网页上打开会话界面。在框510处，在会话界面处接收用户界面输入。用户界面输入可以是由用户提供的键入和/或口头输入和/或对在会话界面上呈现的可选元素的选择。例如，用户可以提供键入或口头输入以(经由会话界面)与代理模块进行对话和/或可以选择包括建议的文本短语或其他建议的内容的呈现的可选元素，以推进与代理模块的对话。在框512处，基于在框510处接收到的用户界面输入，将进一步的内容提供给代理模块。然后，代理模块可以基于提供给代理模块的进一步的内容来生成进一步的响应内容。可以提供这类进一步的响应内容(或其转换)以呈现给用户来推进与用户的会话，并且该方法可以可选地返回到框510以接收响应于进一步的响应内容的进一步的用户界面输入。代理模块生成的其他响应内容将取决于在框510处接收到的用户界面输入。

图6示出了用于根据是否存在用于执行操作的客户端应用来限制响应于对可选元素的选择而执行的操作的方法600。方法600可以由客户端设备、服务器设备、在设备上运行的模块或应用和/或适合于与应用交互的任何其他装置执行。方法600可以包括打开包括可选元素和可口述命令短语的会话用户界面的框602。会话用户界面可以包括与可以由与应用或网站相关联的代理模块执行的动作相对应的多个可选元素。在框604处，可以接收对可选元素的选择。可以通过计算设备的触摸界面、连接到计算设备的外围设备和/或用于选择计算设备的界面处的可选元素的任何其他机制来选择可选元素。在框606处，进行命令短语是否对应于受限动作的确定。受限动作可以是在操作期间可能使用有关用户的隐私信息的操作。例如，非自动助理应用或网站可以是食品订购网站，以及可选元素可以对应于使用与用户相关联的支付信息订购食品的操作。替选地，非自动助理应用或网站可以是社交媒体网站，并且可选元素可以对应于公开发布用户图像的操作。如果在框606处，命令短语不对应于受限动作，则在框608处，可以执行对应于可选元素的命令。例如，不对应于受限动作的命令可以是执行游戏应用中的功能或访问新闻网站提供的新闻文章。这样的命令可以通过说出命令短语或选择可选元素来执行。如果命令短语确实对应于受限动作，则在框610处，进行是否存在用于执行命令的客户端应用的确定。如果存在客户端应用，则在框614处，使得客户端应用接收命令。例如，如果命令短语对应于从网站订购食品，则客户端应用可以是与网站相关联的食品订购应用。以这种方式，可以将受限动作留给客户端应用。可以以诸如URL的链接的形式将命令提供给客户端应用，该链接识别用于执行命令的代理模块。例如，当客户端应用是食品订购应用品时，链接可以是例如“http://assistant.url/foodwebsite/food％ordering％agent”。以这种方式，客户端应用可以注意到用户先前正在查看食品网站并且他们对订购食品感兴趣，如由标识符“food％ordering％agent”所指示(其中％可以理解为空格)。此后，可以初始化食品订购代理并且可以更新会话用户界面以包括对应于用于继续食品订购的命令短语的不同可选元素。否则，如果不存在用于执行初始可口述命令短语的客户端应用，则在框612处，可以在计算设备处提供命令受制的指示。此后，用户可以通过网站(而不是会话用户界面)手动继续订购或中止订购。

图7示出了用于根据代理模块是否可访问经由自动助理与代理模块交互的方法700。方法700可以由客户端设备、服务器设备、在该设备上运行的模块或应用和/或适于与应用交互的任何其他装置来执行。方法700可以包括在会话用户界面处提供可选元素以执行与非自动助理应用相关联的功能的框702。可选元素可以与链接或命令相关联，该链接或命令可以识别代理模块、代理模块要执行的动作或意图和/或在执行动作或意图时由代理模块使用的参数。替选地，可选元素可以对应于用于初始化自动助理的命令调用。在框704处，自动助理可以接收对可选元素的选择。然后，自动助理可以识别对应于可选元素的代理模块。在框706处，进行自动助理是否可访问代理模块的确定。当代理模块被加载到与自动助理相同的设备上，或者自动助理能够与包括代理模块的网络设备通信时，自动助理可以访问代理模块。如果自动助理能够访问代理模块，则在框710处，可以初始化代理模块以便推进与非自动助理应用的交互。换句话说，自动助理可以充当用户与代理模块更有效地通信的接口。然而，如果自动助理不可访问代理模块，则在框712处，可以在默认网页上打开对应于可选元素的链接以传达可口述命令短语以用于经由自动助理执行与非自动助理应用相关联的功能。以这种方式，尽管没有自动助理可访问的代理模块，仍然将为用户提供用于推进用户与非自动助理应用的交互的帮助。

图8是示例性计算机系统810的框图800。计算机系统810通常包括经由总线子系统812与多个外围设备通信的至少一个处理器814。这些外围设备可以包括存储子系统824、用户接口输出设备820、用户接口输入设备822和网络接口子系统816，该存储子系统824包括例如存储器子系统825和文件存储子系统826。输入设备和输出设备允许用户与计算设备810交互。网络接口子系统816提供到外部网络的接口并且耦合至其它计算机系统中的对应接口设备。

用户接口输入设备822可以包括键盘、诸如鼠标、轨迹球、触摸板或者图形输入板的指示设备、扫描仪、并入显示器中的触摸屏、诸如语音识别系统、麦克风的音频输入设备和/或其它类型的输入设备。一般而言，使用术语“输入设备”旨在包括将信息输入到计算机系统810中或者到通信网络上的所有可能类型的设备和方法。

用户接口输出设备820可以包括显示子系统、打印机、传真机、或者非视觉显示器，诸如，音频输出设备。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或者用于创建可见的图像的一些其它机制。显示子系统还可以诸如经由音频输出设备提供非视觉显示。一般而言，使用术语“输出设备”旨在包括将信息从计算机系统810输出至用户或者至另一机器或者计算机系统的所有可能类型的设备和方法。

存储子系统824存储提供本文所述的模块中的一些或者所有的功能性的编程和数据结构。例如，存储子系统824可以包括执行方法500、600、700的所选方面和/或实现本文所述的服务器设备、客户端设备、数据库、引擎和/或模块的逻辑。

这些软件模块通常由处理器814单独或者与其它处理器组合执行。用在存储子系统824中的存储器825可以包括多个存储器，该多个存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)830以及存储固定指令的只读存储器(ROM)832。文件存储子系统826可以为程序和数据文件提供永久存储并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移动介质、CD-ROM驱动器、光盘驱动器或者可移动介质盒。实现某些实施方式的功能性的模块可以由文件存储子系统826存储在存储子系统824中或者可以存储在可由处理器814访问的其它机器中。

总线子系统812提供用于使计算机系统810的各种组件和子系统按照预期彼此通信的机制。虽然总线子系统812被示意性地示出为单个总线，但是总线子系统的替选实施方式可以使用多个总线。

计算机系统810可以是各种类型的，包括工作站、服务器、计算集群、刀片式服务器、服务器场或者任何其它数据处理系统或者计算设备。由于计算机和网络的多变的性质，所以图8中图示的计算机系统810的描述仅仅旨在作为为了说明一些实施方式的目的的具体示例。计算机系统810的许多其它配置可能具有比图8中描绘的计算机系统更多或者更少的组件。

在本文所述的系统收集有关用户的个人信息或可以利用个人信息的情况下，可以为用户提供控制程序或特征是否收集用户信息(例如，有关用户的社交网络、社交动作或活动、职业、用户的喜好或用户当前的地理位置的信息)或控制是否和/或如何从服务器接收与用户更相关的内容的机会。而且，某些数据在它被存储或使用之前可能以一种或多种方式处理，以便移除个人可识别信息。例如，可以处理用户的身份，以便无法针对用户确定任何个人可识别信息，或者可以在获取地理位置信息的情况下概括用户的地理位置(例如概括到市、邮政编码或州级)，使得无法确定用户的具体地理位置。因此，用户可以控制如何收集有关用户的信息和/或使用该信息。

虽然在本文中已经描述和示出了多个实施方式，但是可以利用用于执行功能和/或获得结果和/或本文所述的优点中的一个或多个的各种其它装置和/或结构，并且认为这类变形和/或修改中的每一个在本文所述的实施方式的范围内。更一般地，本文所述的所有参数、尺寸、材料和配置意在是示例性的，并且实际参数、尺寸、材料和/或配置将取决于使用了本教导的具体一个应用或多个应用。本领域的技术人员仅仅使用常规实验即将认识或者能够确定本文所述的具体实施方式的许多等同物。因此，将理解到，前述实施方式仅仅以示例的方式呈现，并且在所附权利要求书和其等同物的范围内，可以以不同于所具体描述和所要求保护的方式来实现实施方式。本公开的实施方式是针对本文所述的每一单个特征、系统、制品、材料、套件和/或方法。另外，如果这些特征、系统、制品、材料、套件和/或方法并非相互矛盾，则两个或更多个这些特征、系统、制品、材料、套件和/或方法的任意组合被包括在本公开的范围内。

Claims (18)

1.一种由一个或多个处理器实现的方法，所述方法包括：

使可选元素显示在正在运行非自动助理应用的计算设备上，所述可选元素被配置为使自动助理初始化与所述非自动助理应用相关联的代理模块；

接收对所述可选元素的选择；

响应于接收到对所述可选元素的选择：

确定所述计算设备是否能够访问所述自动助理；以及

当确定所述计算设备不能够访问所述自动助理时：

执行对应于所述可选元素的链接以使默认网页打开并且呈现用于接收可口述命令短语的会话界面。

2.根据权利要求1所述的方法，进一步包括：

当确定所述计算设备能够访问所述自动助理时：

初始化所述自动助理以用于与所述代理模块通信。

3.根据权利要求1所述的方法，其中，所述链接识别所述代理模块和将由所述代理模块执行的动作。

4.根据权利要求3所述的方法，其中，所述可口述命令短语基于在所述链接中识别的所述动作。

5.根据权利要求4所述的方法，进一步包括：

当确定所述计算设备能够访问所述自动助理时：

向所述代理模块传输调用请求；

响应于所述调用请求，从所述代理模块接收响应内容；以及

通过与所述自动助理相关联的界面提供基于所述响应内容的输出。

6.根据权利要求1所述的方法，进一步包括：

通过网络发送信号以确定所述自动助理在所述网络上的单独的计算设备处是否能够可用。

7.一种用于调用代理模块的系统，包括：

一个或多个处理器；以及

存储器，所述存储器被配置来存储指令，所述指令在被所述一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：

使可选元素显示在正在运行非自动助理应用的计算设备上，所述可选元素被配置为使自动助理初始化与所述非自动助理应用相关联的代理模块；

接收对所述可选元素的选择；

响应于接收到对所述可选元素的选择：

确定所述计算设备是否能够访问所述自动助理；以及

当确定所述计算设备不能够访问所述自动助理时：

执行对应于所述可选元素的链接以使默认网页打开并且呈现用于接收可口述命令短语的会话界面。

8.根据权利要求7所述的系统，进一步包括：

当确定所述计算设备能够访问所述自动助理时：

初始化所述自动助理以用于与所述代理模块通信。

9.根据权利要求7所述的系统，其中，所述链接识别所述代理模块和将由所述代理模块执行的动作。

10.根据权利要求9所述的系统，其中，所述可口述命令短语基于在所述链接中识别的所述动作。

11.根据权利要求10所述的系统，进一步包括：

当确定所述计算设备能够访问所述自动助理时：

向所述代理模块传输调用请求；

响应于所述调用请求，从所述代理模块接收响应内容；以及

通过与所述自动助理相关联的界面提供基于所述响应内容的输出。

12.根据权利要求7所述的系统，进一步包括：

通过网络发送信号以确定所述自动助理在所述网络上的单独的计算设备处是否能够可用。

13.一种非瞬时性计算机可读介质，所述非瞬时性计算机可读介质被配置为存储指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：

使可选元素显示在正在运行非自动助理应用的计算设备上，所述可选元素被配置为使自动助理初始化与所述非自动助理应用相关联的代理模块；

接收对所述可选元素的选择；

响应于接收到对所述可选元素的选择：

确定所述计算设备是否能够访问所述自动助理；以及

当确定所述计算设备不能够访问所述自动助理时：

执行对应于所述可选元素的链接以使默认网页打开并且呈现用于接收可口述命令短语的会话界面。

14.根据权利要求13所述的非瞬时性计算机可读介质，进一步包括：

当确定所述计算设备能够访问所述自动助理时：

初始化所述自动助理以用于与所述代理模块通信。

15.根据权利要求13所述的非瞬时性计算机可读介质，其中，所述链接识别所述代理模块和将由所述代理模块执行的动作。

16.根据权利要求15所述的非瞬时性计算机可读介质，其中，所述可口述命令短语基于在所述链接中识别的所述动作。

17.根据权利要求16所述的非瞬时性计算机可读介质，进一步包括：

当确定所述计算设备能够访问所述自动助理时：

向所述代理模块传输调用请求；

响应于所述调用请求，从所述代理模块接收响应内容；以及

通过与所述自动助理相关联的界面提供基于所述响应内容的输出。

18.根据权利要求13所述的非瞬时性计算机可读介质，进一步包括：

通过网络发送信号以确定所述自动助理在所述网络上的单独的计算设备处是否能够可用。

Images