CN111052079B - 提供用于与助理代理进行交互的多功能链接的系统/方法和设备 - Google Patents

提供用于与助理代理进行交互的多功能链接的系统/方法和设备 Download PDF

Info

Publication number
CN111052079B
CN111052079B CN201880039715.4A CN201880039715A CN111052079B CN 111052079 B CN111052079 B CN 111052079B CN 201880039715 A CN201880039715 A CN 201880039715A CN 111052079 B CN111052079 B CN 111052079B
Authority
CN
China
Prior art keywords
application
selectable
computing device
assistant agent
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880039715.4A
Other languages
English (en)
Other versions
CN111052079A (zh
Inventor
王茗翎
周叶
迪纳·埃勒哈达德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202410062922.9A priority Critical patent/CN117992141A/zh
Publication of CN111052079A publication Critical patent/CN111052079A/zh
Application granted granted Critical
Publication of CN111052079B publication Critical patent/CN111052079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Abstract

提供了用于通过与助理代理的交互来向用户介绍各种应用的功能的方法、设备、系统和计算机可读介质。助理代理可以对应于可以为用户界面提供多个可选元素的助理应用，每个可选元素可以对应于分立的应用。当用户选择可选元素之一时，可以向用户演示应用的功能，以便用户可以更加熟悉应用的功能。在一些实施方式中，可选元素的一部分可以被选择为使关于应用的信息被呈现给用户。这允许用户在通过下载并安装整个应用来投入计算资源之前具有尝试或了解应用的选项。

Description

提供用于与助理代理进行交互的多功能链接的系统/方法和 设备
背景技术
人们可以使用本文称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“助理代理(assistant agent)”、“智能个人助理”、“会话代理”等)的交互式软件应用参与人机对话。例如，人们(当他们与自动助理交互时可以被称为“用户”)可以通过使用在某些情况下可以被转换为文本然后被处理的语音自然语言输入(即，话语)提供命令和/或通过提供文本(例如，键入的)自然语言输入来与自动助理交互。一些自动助理允许用户通过语音输入来控制某些外围装置，然而，一些用户可能意识不到其他应用也可以用于控制该外围装置。此外，用户可能不想浪费计算资源来下载和安装他们不熟悉并且不知道如何操作的应用。尽管一些自动助理可以向用户提供关于某些应用的搜索查询结果，但用户可能仍希望在不必下载和安装整个应用的前提下体验应用的某些功能。
发明内容
本公开涉及用于通过与助理代理的交互来向用户介绍各种应用的功能的系统、方法和设备。这可以允许用户更熟悉应用的功能，而不会导致通过搜索关于功能和应用的信息而消耗计算资源。在与诸如蜂窝电话、平板计算机、电视和/或任何其他类型的计算装置的计算装置进行交互时，用户可以打开助理代理应用。助理代理可以提供主页或登陆页面，该主页或登陆页面包括用于接收来自用户的命令的字段。主页还可以包括用于打开具有多个可选元素的用户界面的图标，并且每个可选元素可以对应于助理代理可访问的不同应用。
在用户界面处提供的每个可选元素可以包括第一可选部分和第二可选部分。当用户选择第一可选部分时，助理代理可以使对应的应用执行该应用的功能。例如，第一可选部分可以包括描述用户可以提供给助理代理以使助理代理与应用交互以执行特定动作的命令的文本。当用户选择第二可选部分时，助理代理可以使应用信息被呈现给用户。应用信息可以与应用功能、评级、到网站的链接、应用的可用性、应用的兼容性和/或可以与应用或装置关联的任何其他信息相关。在一些实施方式中，呈现给用户的应用信息可以包括其他可选元素，这些其他可选元素在被选择时使助理代理与应用交互以执行不同的动作。
在一些实施方式中，可选元素可以包括第一可选部分，该第一可选部分在被选择时使应用的精简版安装在计算装置和/或助理代理可访问的分立的计算装置处。与非精简版应用相比，精简版应用可能需要更少的磁盘空间或存储器来安装，并且可以使用相应更少的网络带宽来下载。与非精简版应用相比，精简版应用可以包括更少的功能或可用操作。例如，助理代理可以标识与用户的一个或多个帐户关联的多个不同的装置。帐户可以被存储在管理条目数据库的服务器装置上，并且条目中的至少一个可以标识用户所拥有的一个或多个装置。助理代理可以使用条目来标识装置，诸如设施、计算机、汽车、配件和/或可以由助理应用控制的任何其他设备。助理代理还可以标识与所标识的装置关联的应用，并呈现对应于应用的可选元素。
在一些实施方式中，选择可选元素的任何部分可以调用由可选元素标识的应用或者以其他方式对应于可选元素的应用。在一些实施方式中，响应于可选元素的选择，应用与用户之间的对话会话可以利用充当应用与用户之间的中介的助理代理来初始化。可以基于在可选元素处标识的命令短语来调用对话会话。例如，命令短语可以被提供给应用或助理代理。助理代理可以处理命令短语和/或生成与命令短语对应的结构化命令。然后，该结构化命令可以被提供给应用，以使应用执行与该结构化命令对应的一个或多个动作。
作为示例，助理代理可以标识装置，诸如智能灯泡(例如，连接到WiFi网络的灯泡)，并搜索能够控制该装置的应用。然后，助理代理可以生成标识应用(即，IoT应用)的可选元素，并且该可选元素包括第一可选部分和第二可选部分。第一可选部分可以包括描述可以由IoT应用执行的动作或以其他方式与可以由IoT应用执行的动作关联的文本。例如，文本可以包括“降低我家中智能灯泡的亮度”。响应于用户选择可选元素的第一可选部分，助理代理可以将请求或命令发送到IoT应用和/或智能灯泡，以使智能灯泡降低其亮度级别。响应于用户选择第二可选部分，助理代理可以生成通过互联网或其他网络发送的查询，以便标识与IoT应用相关的信息。所标识的信息可以包括可以呈现给用户的附加命令和/或其他应用细节。然后所标识的信息可以被呈现在用户界面上，以便鼓励用户进一步与助理代理和/或IoT应用交互。在一些实施方式中，响应于用户选择第一可选部分而执行的动作可以包括下载IoT应用的精简版，以便演示IoT应用的一个或多个功能。附加地，当用户选择第二可选部分时，可以向用户呈现下载IoT应用的非精简版或完整版的链接。以这种方式，用户能够通过助理界面更方便地试用应用的功能，而不必下载整个应用，从而避免占用磁盘空间或存储器和带宽资源，并且不必浪费搜索如何使用该应用的信息的时间和资源。
提供以上描述作为本公开的一些实施方式的概述。本文提供了这些以及其他实施方式的附加描述。
在一些实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如接收在计算装置的第一用户界面处显示的第一可选元素的选择的步骤。第一用户界面可以由计算装置可访问的助理代理提供。该方法还可以包括以下步骤：生成与计算装置可访问的应用关联的命令短语；以及使助理代理提供第二用户界面，该第二用户界面包括与计算装置可访问的多个不同应用关联的多个可选元素。多个可选元素中的给定可选元素可以专用于应用，并且包括(i)第一可选部分，该第一可选部分包括与用于控制助理代理的命令短语对应的文本，以及(ii)第二可选部分，该第二可选部分用于访问与应用关联的附加信息。当选择第一可选部分时，该步骤可以包括使助理代理基于命令短语来初始化与应用的对话会话，从应用接收响应内容，并且使响应内容以图形方式呈现在由助理代理提供的对话界面中。当选择第二可选部分时，该步骤可以包括使第三用户界面显示在计算装置处。第三用户界面可以标识与应用关联的附加信息。
在一些实施方式中，命令短语可以是基于用户与助理代理之间的历史交互而生成的。当选择第二可选部分时，助理代理可以绕过将命令短语发送到应用。命令短语可以在第三用户界面处与其他命令短语一起被标识。对话界面可以包括与可用于控制应用的不同命令短语对应的附加可选元素。应用可以被配置成控制外围装置，并且当在应用处接收到命令短语时，命令短语可以使应用调整外围装置的设定。外围装置可以与计算装置分离并且被连接到计算装置所连接到的网络。
在其他实施方式中，一种系统被阐述为包括一个或多个处理器以及存储器，该存储器被配置成存储指令，该指令当被一个或多个处理器执行时使一个或多个处理器执行步骤，该步骤包括标识连接到一个或多个处理器可访问的代理助理的一个或多个装置。代理助理可以被配置成控制一个或多个装置的一个或多个设定。该步骤还可以包括确定可用于经由代理助理控制所标识的一个或多个装置的一个或多个命令短语。一个或多个命令短语当被提供给代理助理时可以使代理助理执行一个或多个动作。该步骤还可以包括使多个不同可选元素呈现在显示装置的用户界面处。多个不同可选元素中的一个可选元素可以对应于与所标识的一个或多个装置中的装置关联的装置应用，并且可选元素可以包括(i)第一可选部分以及(ii)第二可选部分，该第一可选部分包括标识一个或多个命令单元的命令短语的文本。当选择第一可选部分时，该步骤可以包括使装置根据所标识的命令短语来执行操作。当选择第二可选部分时，该步骤可以包括在用户界面处提供与装置应用相关的信息，并绕过使装置执行操作。当选择第二可选部分时，信息可以被呈现在包括其他可选元素的分立的用户界面处。其他可选元素可以对应于在被选择时使装置执行不同操作的命令短语。当选择第一可选部分时，用户界面可以被更新为包括对应于不同命令短语的不同可选元素。该操作可以包括在装置的显示器处显示内容。多个不同可选元素可以对应于不同应用，并且包括标识用于控制不同应用的不同命令短语的分立文本。
在又一其他实施方式中，一种非暂时性计算机可读介质被阐述为存储指令，该指令当被一个或多个处理器执行时使该一个或多个处理器执行步骤，该步骤包括使用户界面呈现在计算装置的显示装置处。用户界面可以包括与助理代理可访问的多个不同应用对应的多个不同可选元素。多个不同可选元素中的可选元素可以标识多个不同应用中的应用，并且包括可选部分。该步骤还可以包括生成与应用对应的命令短语。命令短语可以对应于响应于可选元素的选择而在分立的计算装置处执行的动作。当接收到可选部分的选择时，步骤可以包括使分立的计算装置执行动作，其中，该动作包括提供用户可感知的物理响应，并且使计算装置的显示装置呈现与应用关联的信息。信息可以包括补充命令短语，该补充命令短语对应于由应用在分立的计算装置处执行的不同动作。分立的装置可以包括分立的显示装置，并且物理响应可以对应于在分立的显示装置处呈现的输出。输出可以对应于由分立的计算装置检索的内容。命令短语可以由助理代理响应于可选部分的选择而处理。助理代理可以响应于可选部分的选择而使分立的计算装置执行动作。助理代理可以对应于被托管为与计算装置和分立的计算装置不同的装置的助理应用。助理应用对于每个计算装置和分立的计算装置是可访问的。
另外，一些实施方式包括一个或多个计算装置的一个或多个处理器，其中，一个或多个处理器可操作成执行存储在关联的存储器中的指令，并且其中，该指令被配置成引起任一前述方法的执行。一些实施方式还包括一个或多个非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储可由一个或多个处理器执行的计算机指令，以执行任何前述方法。
应当理解，本文中更详细描述的前述概念和附加概念的所有组合被认为是本文公开的主题的一部分。例如，出现在本公开的结尾处的要求保护的目的的所有组合被认为是本文公开的主题的一部分。
附图说明
图1示出了用于提供助理代理的系统，该助理代理能够提供多功能的可选元素以用于向用户介绍可从各种应用获得的操作。
图2A、2B和2C示出了助理代理，该助理代理提供可选元素以用于控制多个不同应用和/或接收关于应用的更多信息。
图3提供了用户访问助理代理以提供用于操作助理代理和/或计算装置可访问的不同应用的各种可选元素的视图。
图4示出了用于更有效地允许计算装置的用户与通过计算装置可用的应用进行交互的方法。
图5示出了用于基于装置对助理代理的可访问性而根据向用户建议的命令短语来控制外围或远程装置的方法。
图6示出了用于在分立的计算装置处控制应用同时在不同的计算装置处被提供关于该应用的附加信息的方法。
图7是示例计算机系统的框图。
具体实施方式
图1示出了用于提供助理代理的系统100，该助理代理能够提供多功能可选元素以用于向用户介绍可从各种应用获得的操作。助理代理可以作为助理应用118的一部分进行操作，该助理应用118设置在计算装置102或远程装置124处，诸如服务器装置112处。用户可以经由助理界面110与助理代理交互，其可以是麦克风、摄像头、触摸屏显示器、用户界面和/或能够在用户与应用之间提供交互的任何其他设备。例如，用户可以通过向助理界面110提供语音、文本或图形输入来初始化助理代理，以使助理代理执行功能(例如，提供数据、控制外围装置、访问分立的代理等)。计算装置102可以包括显示装置108，该显示装置可以是包括触摸界面的显示面板，该触摸界面用于接收触摸输入和/或手势，以允许用户经由触摸界面来控制计算装置102的应用。
尽管在图1中示出了单个计算装置102，但在各种实施方式中，多个计算装置可以在执行本文公开的各种技术时与助理应用118交互。例如，可以向计算装置102的助理界面110提供多个不同可选元素120，并且响应于对至少一个可选元素120的选择而可以在分立的计算装置上以听觉和/或图形方式呈现响应数据。分立的计算装置可以与计算装置102链接或配对。例如，基于在两个计算装置处使用同一用户账户、基于连接到同一安全网络的两个计算装置、基于彼此直接进行对等通信的两个计算装置等，分立的计算装置可以被链接到计算装置102。作为另一示例，可选元素可以使助理应用118发送使一个或多个外围装置(例如，IoT装置)的状态被改变的(一个或多个)命令。例如，可选元素的选择可以使命令从IoT装置应用发送到联网的“智能”灯，这可能导致该灯打开或关闭、改变其流明输出、改变其光输出颜色等。而且，例如，可选元素的选择可以使IoT装置应用发送命令，该命令使“智能”恒温器改变家庭130的供暖或制冷系统的设定温度、打开或关闭供暖或制冷系统等。而且，例如，可选元素120的选择可以附加地或可替代地使命令从IoT装置应用发送到家庭130中的联网的“智能”车库门开启器并使车库门打开或关闭。
计算装置102可以通过诸如互联网的网络122与远程装置124通信。计算装置102可以将计算任务卸载到服务器装置112以便节省计算装置102处的计算资源。例如，服务器装置112可以托管助理应用118，并且计算装置102可以将在助理界面110处接收到的输入发送到服务器装置112。然而，在某些实施方式中，助理应用118可以被托管在计算装置102处。在各种实施方式中，助理应用118的所有方面或少于所有方面可以被实现在计算装置102上。在那些实施方式的一些中，助理应用118的各方面是经由计算装置102的本地助理应用实现的，并且与实现该助理的其他方面的服务器装置112交互。服务器装置112可以可选地经由多个线程来服务多个用户及其关联的助理应用。在经由计算装置102的本地助理应用实现助理应用118的所有方面或少于所有方面的实施方式中，本地助理应用可以是与计算装置102的操作系统分离的应用(例如，安装在操作系统的“顶部”)，或可替代的由计算装置102的操作系统(例如，被视为操作系统的应用，但与操作系统集成)直接实现。
在一些实施方式中，服务器装置112可以包括语音至文本引擎116，其可以处理在助理界面110处接收的音频数据，以标识体现在音频数据中的文本。用于将音频数据转换为文本的处理可以包括语音辨识算法，该语音辨识算法可以采用神经网络和/或统计模型来标识对应于单词或短语的音频数据组。从音频数据转换的文本可以作为文本数据供助理应用118使用，该文本数据可以用于生成和/或标识命令短语。
在一些实施方式中，用户可以通过助理界面110与助理代理交互，并使助理代理呈现包括多个不同可选元素的用户界面。每个可选元素可以对应于计算装置102、服务器装置112、助理应用118和/或可以与用户相关联的任何其他装置可访问的分立的应用。在一些实施方式中，服务器装置112可以包括可选元素引擎114，以用于基于用户数据106、账户数据132和/或助理应用118可用的任何其他数据来生成可选元素120。例如，当用户正在从其计算装置102浏览互联网时，用户数据106可以对应于由计算装置102生成和/或存储的浏览器数据。用户数据106可以包括指示用户已搜索要观看的电影的条目。可选元素引擎114可以将用户数据106与诸如通过网络122在远程装置126处可用的帐户数据132的其他数据进行比较。
可选元素引擎114可以从账户数据132确定用户拥有电视，和/或电视被连接在用户的家庭130中。可选元素引擎114可以使用用户数据106(例如，电影搜索历史)与帐户数据132(例如，用户拥有电视)之间的相关性来生成要呈现在显示装置108上的可选元素120。例如，可选元素120可以包括第一可选部分，该第一可选部分包括诸如“Show me my recentlysearched movies on my television(在我的电视上显示我最近搜索的电影)”的文本。用户可以选择可选元素120的第一可选部分来使助理代理在家庭130中的电视上呈现最近搜索的电影。可替代地，用户可以选择可选元素120的第二可选部分来使助理代理呈现与助理代理的特征相关的信息。例如，助理代理可以使在计算装置102处打开分立的用户界面，并且显示用于与助理代理交互的各种可选命令。可选命令可以包括可以基于用户数据106的命令，诸如可以使助理代理与电视交互或呈现包括浏览器搜索历史数据的信息的命令。
图2A-2C示出了助理代理，该助理代理提供了用于控制多个不同应用和/或接收关于该应用的更多信息的可选元素。响应于在计算装置处做出的选择而可以在计算装置处呈现用户界面。图2A可以对应于设置在计算装置的显示器202处的第一用户界面200。第一用户界面200可以包括用于控制不同的应用和/或装置的多个不同可选元素204、206和208。不同的可选元素中的每个可包括应用图标210，以用于标识与可选元素204、206和208对应的应用。每个可选元素还可以包括标识或描述命令的文本，该命令可以由用户提供给助理代理以使对应的应用执行动作。例如，可选元素206可以对应于IoT装置应用，并且在可选元素206处提供的文本可以包括短语“Turn down the lights(调低灯光)”。短语可以对应于命令，当用户对计算装置的助理界面说出该命令时，该命令可以使助理代理与IoT装置应用交互并使IoT装置应用执行动作。可以在可选元素的第一可选部分212处提供文本，并且当用户选择第一可选部分212时，助理代理可以采取行动以使该动作得以被执行。
可选元素204、206和208还可以包括第二可选部分214。当用户选择第二可选部分214时，该第二可选部分214可以使助理代理提供关于与可选元素关联的应用的附加信息。例如，当用户选择可选元素206的第二可选部分214时，助理代理可以检索关于相应应用(例如，IoT装置应用)的信息，并将检索到的信息呈现在分立的用户界面上。
图2B示出了第二用户界面216，其可以响应于用户选择可选元素206的第一可选部分212而在计算装置处被提供给用户。第二用户界面216可以响应于用户选择第一可选部分212而经由IoT装置应用提供已经执行动作的指示222(例如，“The lights have beenturned down(灯光已调低)”)。IoT装置应用可以被加载到计算装置上，或可被助理代理访问。例如，IoT装置应用可以是用户尚未安装在其计算装置上的应用，但仍然能够(例如，通过使用助理代理安装精简版)尝试IoT装置应用的各种功能。在一些实施方式中，第二用户界面216可以提供用于控制IoT装置应用的附加命令推荐224。此外，第二用户界面216可以包括界面图标218和/或字段220，以指示用户可以向助理代理提供语音或键入的命令以使助理代理控制IoT装置应用。例如，用户可以说出在第二用户界面216处推荐的附加命令之一(例如，“change the lights'color(改变灯的颜色)”)，并且作为响应，助理代理可以将命令提供给IoT装置应用。然后，IoT装置应用可以响应于从助理代理接收命令来执行动作(例如，改变灯的输出颜色)。
在一些实施方式中，通过选择第一可选部分212或第二可选部分214，助理代理可以使对话界面打开，并且使在第一可选部分212中标识的命令短语被助理代理接收。此后，助理代理可以使与可选元素对应的应用执行与命令短语关联的动作。对话界面可以包括用于助理代理从用户接收其他命令的字段220。例如，用户可以向计算装置说出命令，并且所说出的命令可以被转换成文本，然后被提供给助理代理。然后，助理代理可以与应用交互以使应用执行与语音命令关联的动作。以这种方式，用户能够与助理代理对话，最终允许用户理解如何操作特定的应用。
图2C示出了当用户选择可选元素206的第二可选部分214时可以在计算装置202处提供的第三用户界面226。第三用户界面226可以包括关于在可选元素206处标识的应用的附加信息。例如，第三用户界面226可以标识用于与IoT装置应用交互的补充命令228。在一些实施方式中，第三用户界面226可以提供用于检索关于IoT装置应用的附加信息的补充命令228。例如，补充命令228可以包括例如“operate in a low power mode(以低功率模式操作)”，当用户说出“operate in a low power mode(以低功率模式操作)”时该补充命令可以使助理代理向IoT装置应用提供用于使用户的家庭中的一个或多个装置以低功率模式操作的命令。可替代地，用户可以选择与命令“tell me about my lights(告诉我关于我的灯)”对应的可选元素，以使助理代理检索关于与该用户关联(例如，与用户的帐户关联)的任何灯的信息。然后，助理代理可以在计算装置202的显示器上呈现信息和/或向用户提供描述关于灯检索的信息的音频输出。
在一些实施方式中，当用户选择第一可选部分212或第二可选部分214时，助理代理可以检索与对应于所选的可选元素的应用相关的信息。例如，该信息可以包括应用的版本、应用的兼容性、应用的由其他用户做出的评级和/或评论、快捷方式和/或用于应用的其他信息或命令的链接、用于应用的设定、和/或可以与应用关联的任何其他信息。
在一些实施方式中，第二可选部分214可以是聊天图标，其在被选择时使第二用户界面216出现在计算装置上。附加地，响应于所选的聊天图标，在第一可选部分212中标识的命令短语可以被助理代理接收，并且助理代理可以使应用执行与命令短语关联的动作。此外，当用户选择可选元素的任何其他部分时，除了聊天图标之外，第三用户界面226可以出现在计算装置上。第三用户界面226可以向用户提供命令推荐和/或关于应用的附加信息。此外，第三用户界面226可以包括用于下载应用或以其他方式试用应用的链接，和/或用于进入对话界面以与助理代理关于应用进行聊天的链接。以这种方式，用户将能够从助理代理请求关于应用的特定信息。
图3提供了用户302访问助理代理以提供用于操作助理代理和/或计算装置304可访问的不同应用的各种可选元素308和310的视图300。具体地，用户302可以通过计算装置304访问助理代理，其可以在第一用户界面306上显示助理代理的主页或登陆页面。具体地，计算装置304的第一用户界面306可以提供由与助理代理对应的助理应用或者由可选元素引擎生成的可选元素308和310。每个可选元素可以包括标识符320，该标识符320标识相应的可选元素所对应的应用。附加地，每个可选元件可以包括第一可选部分326和第二可选部分314。
当用户302选择了可选元素308的第一可选部分326时，助理代理可以与对应于可选元素308的应用交互。应用可以是交互式的教育应用，并为用户302提供观看的讲座。在一些实施方式中，教育应用可以不被安装在计算装置304处，而是当用户选择第一可选部分326时，助理代理可以使精简版呈现给用户302。响应于第一可选部分326的选择，可以由助理代理执行命令“play a lecture(播放讲座)”，以便助理代理可以使教育应用在与用户关联的装置上打开讲座视频。例如，该装置可以包括与计算装置304分离的电视324。
在一些实施方式中，响应于用户302选择第一可选部分326，分立的界面312可以在计算装置304处打开以提供关于教育应用的附加信息。可以在电视324显示教育应用的同时在计算装置304处呈现分立的界面312。以这种方式，用户302能够使用应用，同时还学习应用的附加功能。在一些实施方式中，响应于第一可选部分326的选择而提供的应用可以被呈现在诸如电视324的分立的装置的界面316中。附加地，助理代理可以同时为可以通过助理代理采用以与应用交互的其他命令322提供建议。其他命令可以对应于可以由应用通过计算装置304和/或分立的装置执行的动作。例如，助理代理可以执行对可以通过计算装置304和分立的装置(例如，电视324)两者被应用接收的标识命令的查询。此后，作为查询结果，所标识的命令可以被呈现在计算装置304、分立的装置和/或这两个装置处。例如，其他命令之一可以包括短语“ask a question(询问问题)”，当由用户说出该短语时可以在操作教育应用时使对话框打开以用于从用户302接收问题。
在应用被呈现在分立的装置上时，用户302可以选择可选元素308的第二可选部分314来使关于应用的附加信息出现在分立的界面312上。例如，分立的界面312可以包括用于下载应用的完整版本的链接，而不是依赖于通过助理代理访问的版本。可替代地，分立的界面312可以提供与对应于可选元素308的应用关联的最可靠的命令。例如，助理代理或助理应用可以执行查询以标识由应用(例如，教育应用)的不同用户所使用的通用命令，并在分立的界面312和/或分立的装置上呈现最常用的命令。
图4示出了用于更有效地允许计算装置的用户与通过计算装置可用的应用进行交互的方法400。方法400可以由一个或多个计算装置和/或能够与助理代理交互的任何其他设备执行。助理代理可以是全部或部分被托管在计算装置和/或服务器装置处的应用。方法400可以包括接收显示在计算装置的第一用户界面上的第一可选元素的选择的框402。第一用户界面可以由计算装置可访问的助理代理提供。例如，第一用户界面可以对应于用于与助理代理交互的登陆页面或主屏幕。第一用户界面可以包括指示助理代理能够接收用于控制助理代理的文本、语言和/或其他手势的对话元素(例如，文本字段或麦克风图标)。此外，第一可选元素可以对应于与提供与计算装置可访问的多个不同应用相关的信息的分立的用户界面的链接。例如，计算装置可以访问或包括配置成从互联网下载的流媒体音乐的音乐应用。可替代地，计算装置可以访问或包括用于控制用户的家庭中的IoT装置的物联网(IoT)应用。
方法400在框404处可以包括生成与计算装置可访问的应用关联的命令短语。该命令短语可以是可说出的命令，当用户对助理界面(例如，计算装置的麦克风)说出该命令短语时，该命令短语使助理代理与应用交互。例如，当应用是音乐应用时，命令短语可以是可说出的命令，诸如“Assistant,please play my favorite song(助理，请播放我喜欢的歌曲)”。该命令短语可以使助理代理调用音乐应用以使用与用户与音乐应用之间的交互对应的历史数据来标识用户的喜欢歌曲。
方法400还可以包括使助理代理提供第二用户界面的框406，该第二用户界面包括与计算装置可访问的多个不同应用关联的多个可选元素。可以在计算装置或分立的计算装置的显示器处提供第二用户界面。多个可选元素中的可选元素可以专用于给定的应用，并且包括第一可选部分，该第一可选部分包括与用于控制助理代理的命令短语对应的文本。可选元素还可以包括用于访问与应用关联的附加信息的第二可选部分。该附加信息可以对应于链接、评级、评论、可用性、兼容性和/或有助于理解应用的任何其他信息。
在方法400的框408处，确定是选择可选元素的第一可选部分还是第二可选部分。用户可以通过语音命令(例如，“Select the left button(选择左按钮)”)、通过手势(例如，朝向可选部分的指向动作)、触摸输入和/或可以标识可选部分的任何其他用户输入来进行选择。如果选择了第一可选部分，则在框410处，命令短语被提供给应用，并且在框412处，从应用接收响应内容。例如，当命令短语对应于通过音乐应用播放喜欢的歌曲的请求时，则响应内容可以是通过互联网从服务器装置下载的歌曲数据。命令短语可以被提供给助理代理，该助理代理可以与应用交互以便完成对应于该命令短语的动作(例如，播放喜欢的歌曲)。
如果在框408处选择了第二可选部分，则在框414处，关于应用的信息被显示在计算装置或助理代理和/或应用可访问的分立的装置上。在一些实施方式中，附加信息可以包括用于访问用于控制应用的附加命令的链接。可替代地，附加信息可以包括用于将应用安装在计算装置或助理代理可访问的分立的装置处的链接。
图5示出了用于根据基于装置对助理代理的可访问性而向用户建议的命令短语来控制外围装置或远程装置的方法500。方法500可以由一个或多个计算装置和/或适合于与助理应用交互的任何其他设备来执行。方法500可以包括标识连接到一个或多个处理器可访问的助理代理的一个或多个装置的框502。助理代理可以被配置成控制一个或多个装置的一个或多个设定。例如，助理代理可以从助理代理的用户接收命令短语，以用于控制助理代理可访问的各种装置和应用。该装置可以包括连接到在用户的家庭中可用的家庭WiFi网络的IoT装置。此外，用户利用其与助理代理交互的计算装置可以是IoT装置，其包括用于接收语音命令的麦克风和用于提供响应的至少一个扬声器。此外，IoT装置可以包括电视、智能灯、机器人装置、恒温器、诸如冰箱或火炉的设施，和/或能够与计算装置交互的任何其他装置。
方法500还可以包括确定可用于经由代理助理来控制所标识的一个或多个装置的一个或多个命令短语的框504。当由用户提供给助理代理时，一个或多个命令短语可以使代理助理执行一个或多个动作，诸如例如初始化音乐应用以播放喜欢的歌曲或改变IoT装置的设定。可以使用在存储用于控制一个或多个装置的命令的远程装置处可用的数据来确定一个或多个命令短语。可替代地，助理代理可以访问一个或多个装置，并且通过直接或间接与装置交互来确定可用于控制装置的命令。例如，助理代理可以访问装置以标识在该装置处可用的指令文件或配置文件，以便编译可以由助理代理用来控制装置的命令。在一些实施方式中，命令可以从负责推广该装置的实体(例如，第三方网站或代理)处获得，并因此可以推荐对用户执行而言最方便和/或最可靠的命令。
方法500还可以包括使多个不同可选元素被呈现在计算装置的显示装置的用户界面处的框506。每个可选元素可以独立地与不同的应用或装置关联。此外，不同可选元素中的每个可选元素可包括第一可选部分和第二可选部分。在一些实施方式中，可选元素的第一可选部分可以包括与用于控制与助理代理配对、通信或可以其他方式访问的装置的命令关联的文本。例如，该装置可以是可包括音乐应用的IoT装置，并且文本可以包括命令短语“Play my favorite song(播放我喜欢的歌曲)”。此外，可选元素可以标识音乐应用和/或IoT装置，从而使用户注意到他们对可选元素的选择将在IoT装置和/或音乐应用处调用响应或动作。
方法500可以包括确定选择可选元素的第一可选部分还是第二可选部分的框508。如果选择了可选元素的第一可选部分，则方法500可以前进到框510，其包括使装置根据所标识的命令短语来执行操作。例如，当装置是包括音乐应用的IoT装置时，助理代理可以确定选择第一可选部分，并且将一个或多个命令提供给音乐应用。该命令可以使音乐应用执行由第一可选部分的命令短语标识的或与其关联的操作。例如，助理代理可以使音乐应用从IoT装置的输出装置(例如扬声器)播放用户喜欢的歌曲。
当用户选择可选元素的第二可选部分时，方法500可以前进到框512，其包括在用户界面处提供与装置应用相关的信息，并且绕过使装置执行操作。通过提供与装置应用相关的信息，而无需使装置执行操作，用户可以在不调用装置应用的情况下与装置应用接合。相反，可以向用户提供进一步信息，以便关于装置应用可以执行的操作做出更明智的决定。在一些实施方式中，所提供的信息可以包括对应于不同命令的附加可选元素。可以通过选择附加可选元素来调用所提供的信息中标识的命令。这允许用户仅通过导航关于装置应用的信息页面即可通过助理代理来控制装置或装置应用。
图6示出了用于在分立的计算装置处控制应用的同时在不同的计算装置处被提供关于该应用的附加信息的方法600。方法600可以由一个或多个计算装置和/或适用于与助理应用交互的任何其他设备执行。方法600可以包括使用户界面被呈现在计算装置的显示装置处的框602。用户界面可以包括与助理代理可访问的多个不同应用对应的多个不同可选元素。助理代理可以是通过网络连接(例如，通过互联网)在计算装置处提供或在计算装置处可访问的应用。多个不同可选元素中的可选元素可以标识多个不同应用中的应用，并且包括可选部分。例如，该应用可以是能够在不同装置处从互联网流传输内容的流媒体应用。该内容可以包括电影、表演和/或音乐，并且助理代理可以响应于从用户接收的命令来控制正在流传输的内容。对应于多个不同应用的其他应用可以包括游戏应用、与IoT相关的应用、社交网络应用、生产力应用和/或计算装置可访问的任何其他应用。
方法600还可以包括生成用于控制应用的命令短语的框604。该命令短语可以与响应于可选元素的选择而在分立的计算装置处执行的动作相对应。例如，该动作可以是在分立的计算装置处初始化对话界面。该对话界面可以是用户可以通过其向助理代理提供命令短语以使助理代理控制应用的介质。对话界面可以包括用于向助理代理输入文本命令的字段。例如，用户可以向计算装置处的助理界面(例如，麦克风)说出命令，并且使该命令以文本形式提供在对话界面的字段处。
方法600还可以包括接收可选元素的选择的框606。该选择可以通过在计算装置的显示装置处提供的触摸界面进行。可替代地，通过向计算装置的助理界面说出命令(例如，“Assistant,perform an operation with the application(助理，对应用执行操作)”或“Assistant,select the link corresponding to the application(助理，选择对应于应用的链接)”)可以进行可选元素的选择。在一些实施方式中，助理界面可以提供在分立的计算装置和/或显示可选元素的计算装置处。
方法600还可以包括使分立的计算装置执行动作的框608。分立的计算装置可以是例如电视，该电视被连接到WiFi网络，计算装置也连接到该WiFi网络。此外，该动作可以是使电视打开并呈现提供从互联网下载的数字内容的流媒体应用。此外，方法600在框610处可以包括使计算装置的显示装置呈现与应用关联的信息。该信息可以包括与由应用在分立的计算装置处执行的不同动作对应的补充命令短语。例如，不同的动作可以对应于流媒体应用的搜索功能，并且补充命令短语可以是“Search for popular comedy movies(搜索流行的喜剧电影)”。以这种方式，助理代理能够采用多个不同的装置来教导用户如何使用应用。此外，由于动作执行和信息的呈现同时地在不同的装置上被处理，所以这样可以保留单个装置的计算资源。
图7是示例计算机系统710的框图。计算机系统710总体上包括经由总线子系统712与多个外围装置通信的至少一个处理器714。这些外围装置可以包括：存储子系统724，其包括例如存储器725和文件存储子系统726；用户界面输出装置720；用户界面输入装置722；以及网络界面子系统716。输入和输出装置允许用户与计算机系统710交互。网络交互子系统716提供到外部网络的界面，并且被耦接到其他计算机系统中的对应界面装置。
用户界面输入装置722可以包括键盘、诸如鼠标、轨迹球、触摸板或图形输入板的指向装置、扫描仪、结合在显示器中的触摸屏、诸如语音辨识系统、麦克风和/或其他类型的输入装置的音频输入装置。通常，术语“输入装置”的使用旨在包括将信息输入到计算机系统710或通信网络上的所有可能类型的装置和方式。
用户界面输出装置720可以包括显示子系统、打印机、传真机或诸如音频输出装置的非可视显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板装置、投影装置或用于形成可见图像的一些其他机构。显示子系统还可以诸如经由音频输出装置来提供非可视显示器。通常，术语“输出装置”的使用旨在包括将信息从计算机系统710输出到用户或另一机器或计算机系统的所有可能类型的装置和方式。
存储子系统724存储提供本文描述的一些或全部模块的功能的程序和数据结构。例如，存储子系统724可以包括执行方法400、方法500、方法600和/或计算装置102、服务器装置112、远程装置、IoT装置和/或本文讨论的任何其他装置或设备的选定方面的逻辑。
这些软件模块总体上由处理器714单独执行或与其他处理器结合执行。在存储子系统724中使用的存储器725可以包括多个存储器，该存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)730以及其中存储了固定指令的只读存储器(ROM)732。文件存储子系统726可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光盘驱动器或可移动介质盒。实现某些实施方式的功能的模块可以由存储子系统724中的文件存储子系统726存储，或者存储在处理器714可访问的其他机器中。
总线子系统712提供了一种用于使计算机系统710的各个部件和子系统按预期彼此通信的机构。尽管总线子系统712被示意性地示出为单个总线，但总线子系统的替代实施方式可以使用多个总线。
计算机系统710可以是各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其他数据处理系统或计算装置。由于计算机和网络的不断变化的性质，出于说明一些实施方式的目的，图7所示的计算机系统710的描述仅旨在作为特定示例。计算机系统710的许多其他配置可能具有比图7所示的计算机系统更多或更少的部件。
在本文所述的系统收集关于用户(或本文经常称为“参与者”)的个人信息或可能利用个人信息的情况下，可以为用户提供控制程序或特征是收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户当前地理位置的信息)还是控制是否和/或如何从内容服务器中接收与用户更相关的内容的机会。而且，某些数据在被存储或使用之前可能会以一种或多种方式被处理，使得删除个人身份信息。例如，用户的身份可以被处理使得无法为用户确定个人身份信息，或者可以在获得地理位置信息(诸如到城市、邮政编码或州级别)的位置处概括用户的地理位置，使得无法确定用户的特定地理位置。因此，用户可以控制如何收集关于用户和/或使用的信息。
尽管本文已经描述和示出了几种实施方式，但可以利用用于执行功能和/或获得结果的多种其他手段和/或结构和/或本文所述的一个或多个优点，并且这种变型和/或修改中的每一个都被认为在本文所述的实施方式的范围内。更一般地，本文所述的所有参数、尺寸、材料和配置均是示例性的，并且实际参数、尺寸、材料和/或配置将取决于所使用的教导的具体应用或应用。仅使用常规实验，本领域技术人员将认识到或能够确定本文所述的特定实施方式的许多等同形式。因此，应当理解，前述实施方式仅以示例的方式呈现，并且在所附权利要求及其等同方式的范围内，可以以不同于具体描述和要求保护的方式来实践实施方式。本公开的实施方式针对本文所述的每个单独的特征、系统、物品、材料、套件和/或方法。另外，如果这种特征、系统、物品、材料、套件和/或方法不是相互矛盾的，则两个或更多个这种特征、系统、物品、材料、套件和/或方法的任意组合都包括在本公开的范围内。

Claims (19)

1.一种由一个或多个处理器实现的方法，所述方法包括：
接收对显示在计算装置的第一用户界面处的第一可选元素的选择，所述第一用户界面经由所述计算装置能访问的助理代理提供；
生成与所述计算装置能访问的应用相关联的命令短语，所述应用是与所述助理代理分立的应用，
其中，所述命令短语包括自然语言内容，所述自然语言内容在作为语音输入被提供给所述计算装置时使得所述助理代理发起经由所述应用的操作的执行；
响应于接收对所述第一可选元素的选择，使所述助理代理提供第二用户界面，所述第二用户界面包括控制所述计算装置能访问的多个不同应用的多个可选元素，
其中，所述多个可选元素中的给定可选元素特定于所述应用并且包括：
第一可选部分，所述第一可选部分包括体现用于发起所述操作的执行的所述命令短语的所述自然语言内容的文本，以及
第二可选部分，所述第二可选部分用于访问经由所述应用可用的附加信息，以及
其中，所述多个可选元素中的除所述给定可选元素外的每个可选元素包括：
对应的进一步的第一可选部分，所述对应的进一步的第一可选部分包括对应的进一步的文本，所述对应的进一步的文本体现用于发起经由对应的进一步的应用的进一步对应操作的执行的进一步对应命令短语的自然语言内容，其中所述对应的进一步的文本不同于体现用于发起所述给定可选元素的操作的执行的所述命令短语的文本，以及
对应的进一步的第二可选部分，所述对应的进一步的第二可选部分用于访问经由所述进一步的应用可用的对应的进一步的信息；
当所述给定可选元素的所述第一可选部分被选择时：
响应于所述第一可选部分被选择，使所述助理代理发起经由所述应用的所述操作的执行，
从所述应用接收响应内容，并且
使所述响应内容以图形方式呈现在由所述助理代理提供的对话界面中；以及
当所述给定可选元素的所述第二可选部分被选择时：
响应于所述第二可选部分被选择，使第三用户界面显示在所述计算装置处，其中，所述第三用户界面标识与所述应用相关联的所述附加信息。
2.根据权利要求1所述的方法，其中，所述命令短语是基于用户与所述助理代理之间的历史交互来生成的。
3.根据权利要求1所述的方法，进一步包括：
当所述第二可选部分被选择时：
使得所述助理代理绕过将所述命令短语发送到所述应用。
4.根据权利要求1所述的方法，其中，所述命令短语在所述第三用户界面处与其他命令短语一起被渲染。
5.根据权利要求1所述的方法，其中，所述对话界面包括与在作为语音输入被提供给所述计算装置时体现能够用于控制所述应用的不同命令短语的自然语言内容的文本对应的附加可选元素。
6.根据权利要求1-5中的任一项所述的方法，其中，所述应用被配置成控制外围装置，并且当在所述应用处经由用户提供的所述语音输入接收到所述命令短语时，所述命令短语使所述应用调整所述外围装置的设定。
7.根据权利要求6所述的方法，其中，所述外围装置与所述计算装置分离并且被连接至所述计算装置所连接的网络。
8.一种系统，包括：
一个或多个处理器；以及
存储器，所述存储器被配置成存储指令，所述指令在被一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：
标识经由所述一个或多个处理器能访问的助理代理可控制的一个或多个装置，
其中，所述助理代理控制所述一个或多个装置的一个或多个设定；
基于标识所述一个或多个装置，确定能用于经由所述助理代理控制所标识的一个或多个装置的一个或多个命令短语，
其中，所述一个或多个命令短语在作为用户的语音输入被提供给所述助理代理时使所述助理代理执行一个或多个动作；
基于确定可用的所述一个或多个命令短语，使多个不同的可选元素呈现在显示装置的用户界面处，其中：
所述多个不同的可选元素中的每个可选元素对应于控制所标识的一个或多个装置中的一个装置的装置应用，所述装置应用与所述助理代理分立，并且
每个可选元素包括：
对应的第一可选部分，所述对应的第一可选部分包括标识所述一个或多个命令短语中的对应的命令短语的文本，并且其中，所述文本体现当作为语音输入被提供给所述助理代理时使得所述助理代理执行对应操作的自然语言内容，以及
对应的第二可选部分；
当所述对应的第一可选部分被选择时：
响应于给定可选元素的所述对应的第一可选部分被选择，使所述装置根据所述对应的命令短语来执行所述对应操作；以及
当所述给定可选元素的所述对应的第二可选部分被选择时：
响应于所述对应的第二可选部分被选择，在所述用户界面处提供与所述装置应用相关的信息，以及
绕过使所述装置执行所述对应操作。
9.根据权利要求8所述的系统，其中，当所述给定可选元素的所述第二可选部分被选择时，所述信息被呈现在包括其他可选元素的分立的用户界面处。
10.根据权利要求9所述的系统，其中，所述其他可选元素包括在所述其他可选元素中的一个或多个被选择时使所述装置执行不同操作的命令短语的文本呈现。
11.根据权利要求8至10中的任一项所述的系统，其中，当所述给定可选元素的所述对应的第一可选部分被选择时，所述用户界面被更新为包括对应于不同命令短语的不同可选元素。
12.根据权利要求8至10中的任一项所述的系统，其中，所述操作包括在所述装置的显示器处显示内容。
13.一种存储指令的非暂时性计算机可读存储介质，所述指令在被一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：
使用户界面呈现在计算装置的显示装置处，所述用户界面包括控制助理代理能访问的多个不同应用的多个不同的可选元素，
其中，所述多个不同的可选元素中的每个可选元素标识所述多个不同应用中的应用并且包括对应的可选部分；
生成与给定可选元素的对应应用相对应的命令短语，
其中，所述命令短语标识响应于对所述给定可选元素的所述对应的可选部分的选择而在分立的计算装置处执行的动作；
使得所述用户界面呈现体现所述命令短语的自然语言内容的文本，其中所述命令短语的所述自然语言内容在被用户作为语音输入提供给所述助理代理时使得所述对应应用执行在所述命令短语中标识的所述动作；以及
当接收到对所述给定可选元素的所述对应的可选部分的选择时：
使所述分立的计算装置执行在所述命令短语中标识的所述动作，
其中，所述动作包括提供能被用户感知的物理响应，并且
使所述计算装置的所述显示装置呈现所述应用提供的信息，
其中，所述信息包括体现补充命令短语的自然语言内容的文本，所述补充命令短语对应于能够由在所述分立的计算装置处的所述应用执行的不同动作。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述分立的装置包括分立的显示装置，并且所述物理响应对应于在所述分立的显示装置处呈现的输出。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述输出包括由所述分立的计算装置检索的内容。
16.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述命令短语由所述助理代理响应于对所述对应的可选部分的选择而处理。
17.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述助理代理响应于对所述给定可选元素的所述对应的可选部分的选择而使所述分立的计算装置执行所述动作。
18.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述助理代理是被托管为与所述计算装置和所述分立的计算装置不同的装置的助理应用。
19.根据权利要求18所述的非暂时性计算机可读存储介质，其中，所述助理应用对于所述计算装置和所述分立的计算装置中的每一个是能够访问的。
CN201880039715.4A 2017-10-03 2018-10-03 提供用于与助理代理进行交互的多功能链接的系统/方法和设备 Active CN111052079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410062922.9A CN117992141A (zh) 2017-10-03 2018-10-03 提供用于与助理代理进行交互的多功能链接的系统/方法和设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762567733P 2017-10-03 2017-10-03
US62/567,733 2017-10-03
US15/835,835 US10896050B2 (en) 2017-10-03 2017-12-08 Systems, methods, and apparatus that provide multi-functional links for interacting with an assistant agent
US15/835,835 2017-12-08
PCT/US2018/054120 WO2019070821A1 (en) 2017-10-03 2018-10-03 SYSTEMS, METHODS AND APPARATUS PROVIDING MULTIFUNCTIONAL LINKS FOR INTERACTING WITH AN AUXILIARY AGENT

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410062922.9A Division CN117992141A (zh) 2017-10-03 2018-10-03 提供用于与助理代理进行交互的多功能链接的系统/方法和设备

Publications (2)

Publication Number Publication Date
CN111052079A CN111052079A (zh) 2020-04-21
CN111052079B true CN111052079B (zh) 2024-02-02

Family

ID=65896109

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880039715.4A Active CN111052079B (zh) 2017-10-03 2018-10-03 提供用于与助理代理进行交互的多功能链接的系统/方法和设备
CN202410062922.9A Pending CN117992141A (zh) 2017-10-03 2018-10-03 提供用于与助理代理进行交互的多功能链接的系统/方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410062922.9A Pending CN117992141A (zh) 2017-10-03 2018-10-03 提供用于与助理代理进行交互的多功能链接的系统/方法和设备

Country Status (4)

Country Link
US (4) US10896050B2 (zh)
EP (1) EP3545412A1 (zh)
CN (2) CN111052079B (zh)
WO (1) WO2019070821A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896050B2 (en) 2017-10-03 2021-01-19 Google Llc Systems, methods, and apparatus that provide multi-functional links for interacting with an assistant agent
US10990373B2 (en) * 2018-05-18 2021-04-27 Nutanix, Inc. Service managers and firmware version selections in distributed computing systems
US10812951B2 (en) * 2018-07-26 2020-10-20 Sap Se Integration and display of multiple internet of things data streams
CN109584879B (zh) * 2018-11-23 2021-07-06 华为技术有限公司 一种语音控制方法及电子设备
WO2021015801A1 (en) * 2019-07-19 2021-01-28 Google Llc Condensed spoken utterances for automated assistant control of an intricate application gui
WO2023039403A1 (en) 2021-09-07 2023-03-16 Yohana Llc Systems and methods for data ingestion and generation of task recommendations in task facilitation services

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
CN106462617A (zh) * 2014-06-30 2017-02-22 苹果公司 用于电视机用户交互的智能自动化助理

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040172456A1 (en) * 2002-11-18 2004-09-02 Green Mitchell Chapin Enhanced buddy list interface
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US8386929B2 (en) * 2010-06-22 2013-02-26 Microsoft Corporation Personal assistant for task utilization
US20140049697A1 (en) * 2012-08-14 2014-02-20 Kentec Inc. Television device and method for displaying virtual on-screen interactive moderator
FR2996399B3 (fr) * 2012-09-28 2015-05-15 Samsung Electronics Co Ltd Appareil de traitement d'image et procede de commande de celui-ci et systeme de traitement d'image
US9410815B1 (en) * 2014-03-26 2016-08-09 Google Inc. System and method for displaying dynamic text content with a digital map
US9666185B2 (en) * 2014-10-06 2017-05-30 Nuance Communications, Inc. Automatic data-driven dialog discovery system
US10229678B2 (en) * 2016-10-14 2019-03-12 Microsoft Technology Licensing, Llc Device-described natural language control
US20180267774A1 (en) * 2017-03-16 2018-09-20 Cisco Technology, Inc. Conference assistant device with configurable user interfaces based on operational state
US10896050B2 (en) 2017-10-03 2021-01-19 Google Llc Systems, methods, and apparatus that provide multi-functional links for interacting with an assistant agent

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
CN106462617A (zh) * 2014-06-30 2017-02-22 苹果公司 用于电视机用户交互的智能自动化助理

Also Published As

Publication number Publication date
US11243789B2 (en) 2022-02-08
CN117992141A (zh) 2024-05-07
US20230266981A1 (en) 2023-08-24
US10896050B2 (en) 2021-01-19
CN111052079A (zh) 2020-04-21
US11556360B2 (en) 2023-01-17
US11947984B2 (en) 2024-04-02
US20190102203A1 (en) 2019-04-04
US20220107823A1 (en) 2022-04-07
US20210096890A1 (en) 2021-04-01
EP3545412A1 (en) 2019-10-02
WO2019070821A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US11579749B2 (en) Providing composite graphical assistant interfaces for controlling various connected devices
CN111052079B (zh) 提供用于与助理代理进行交互的多功能链接的系统/方法和设备
JP7297836B2 (ja) アシスタントアプリケーションのための音声ユーザインタフェースショートカット
KR102313474B1 (ko) 자동화된 어시스턴트를 통해 대화 세션 재개를 위한 시스템, 방법 및 장치
KR102391387B1 (ko) 선택 가능한 그래픽 요소를 통해 자동화된 에이전트를 사용하여 대화를 초기화
US20220035643A1 (en) Initializing a conversation with an automated agent via selectable graphical element
US11960837B2 (en) Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input
KR20200124298A (ko) 원격으로 생성된 자동화된 어시스턴트 콘텐츠를 렌더링할 때 클라이언트 디바이스 지연 완화
CN111771189A (zh) 提供在调解助理应用处的动态自动响应的系统、方法和装置
US20210406261A1 (en) Rendering interactive subsidiary application(s) in response to a search request
US20240064363A1 (en) Voice-based scene selection for video content on a computing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant