CN106415412B - 用于家庭自动化的智能助理 - Google Patents

Abstract

本发明涉及使用虚拟助理来控制电子设备的系统和过程。在一个示例性过程中，用户能够以自然语言形式向用户设备说出输入以控制一个或多个电子设备。用户设备可将用户语音传输到服务器以转换为文本表示。服务器可基于所述文本表示来识别所述一个或多个电子设备以及待由所述一个或多个电子设备执行的适当命令。所识别的一个或多个设备和待执行的命令可被传输回到所述用户设备，所述用户设备可将所述命令转发到适当的一个或多个电子设备以供执行。响应于接收到所述命令，所述一个或多个电子设备可执行所述命令并将其当前状态传输到所述用户设备。

Description

用于家庭自动化的智能助理

相关申请的交叉引用

本专利申请要求提交于2014年5月30日的名称为"INTELLIGENT ASSISTANT FORHOME AUTOMATION"的美国临时申请序列号62/005,893以及提交于2014年9月30日的名称为"INTELLIGENT ASSISTANT FOR HOME AUTOMATION"的美国非临时申请序列号14/503,105的优先权，所述申请出于所有目的据此全文以引用方式并入本文。

技术领域

本申请整体涉及自然语言处理，更具体地讲，涉及使用具有自然语言处理的虚拟助理来控制电子设备。

背景技术

可使用在诸如移动电话、平板电脑、膝上型计算机、台式计算机等计算设备上运行的软件应用来远程控制的家庭电子设备已经越来越流行。例如，许多制造商生产可由移动电话上运行的软件应用控制以调节灯泡的亮度和/或颜色的灯泡。还可使用具有类似控制的其他设备例如门锁、恒温器等。

尽管这些设备可向用户提供更高水平的控制和便利，但是随着家庭中远程受控设备的数量和远程受控设备的类型数量的增加，管理这些设备变得非常困难。例如，典型家庭可包括放置在家庭各个房间中的40个至50个灯泡。使用常规软件应用，给予每个灯泡一个唯一标识符，并且试图控制这些设备之一的用户必须从图形用户界面内的可用设备列表中选择适当的标识符。记住特定灯泡的正确标识符并且从40个至50个标识符的列表中查找该标识符可能是一个困难且耗时的过程。不同的制造商通常提供必须用于控制其相应设备的不同软件应用，这也增加了管理和控制大量远程受控设备的难度。因此，用户必须定位并打开一个软件应用以开启/关闭相应的灯泡，然后必须定位并打开另一个软件应用以设置其恒温器的温度。

发明内容

本发明提供了使用虚拟助理来控制电子设备的系统和过程。在一个示例过程中，用户能够以自然语言形式向用户设备说出输入以控制一个或多个电子设备。用户设备可将用户语音传输到服务器以转换为文本表示。服务器可基于该文本表示来识别一个或多个电子设备以及将由一个或多个电子设备执行的适当命令。所识别的一个或多个设备和要执行的命令可被传输返回到用户设备，该用户设备可将命令转发到适当的一个或多个电子设备以供执行。响应于接收到命令，一个或多个电子设备可执行命令并将其当前状态传输到用户设备。

附图说明

图1示出了根据各种实施例的其中虚拟助理可用于控制电子设备的示例性环境。

图2示出了根据各种实施例的其中虚拟助理可用于远程控制电子设备的示例性环境。

图3示出了根据各种实施例的示例性用户设备。

图4示出了根据各种实施例的用于存储与电子设备相关联的信息的多个条目的视觉表示。

图5示出了根据各种实施例的使用虚拟助理来控制电子设备的示例性过程，其中虚拟助理是使用客户端-服务器模型来实施的。

图6示出了根据各种实施例的使用虚拟助理来远程控制电子设备的示例性过程，其中虚拟助理是使用客户端-服务器模型来实施的。

图7示出了根据各种实施例的在独立用户设备上使用虚拟助理来控制电子设备的示例性过程。

图8示出了根据各种实施例的将电子设备的状态存储为配置的示例性过程。

图9示出了根据各种实施例的使用先前存储的配置来设置电子设备的状态的示例性过程。

图10示出了根据各种实施例的被配置成控制电子设备的电子设备的功能框图。

图11示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。

图12示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。

图13示出了根据各种实施例的被配置成控制电子设备的电子设备的功能框图。

图14示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。

图15示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。

具体实施方式

在以下对示例的描述中将引用附图，在附图中以例示的方式示出了可被实施的特定示例。应当理解，在不脱离各个示例的范围的情况下，可使用其他示例并且可作出结构性变更。

智能自动化助理(或虚拟助理)在用户与电子设备之间提供直观的界面。这些助理可以允许用户使用语音形式和/或文本形式的自然语言与设备或系统交互。例如，用户可通过以自然语言形式向与电子设备相关联的虚拟助理提供语音用户输入来访问电子设备的服务。虚拟助理可对语音用户输入执行自然语言处理，以推断用户意图并将用户意图实施到任务中。然后可通过执行电子设备的一个或多个功能来执行任务，并且能够以自然语言形式将相关输出返回给用户。

这涉及使用虚拟助理来控制电子设备的系统和过程。在一个示例过程中，用户能够以自然语言形式向用户设备说出输入以控制一个或多个电子设备。用户设备可将用户语音传输到服务器以转换为文本表示。服务器可基于该文本表示来识别一个或多个电子设备以及将由一个或多个电子设备执行的适当命令。所识别的一个或多个设备和要执行的命令可被传输返回到用户设备，该用户设备可将命令转发到适当的一个或多个电子设备以供执行。响应于接收到命令，一个或多个电子设备可执行命令并将其当前状态传输到用户设备。

系统概述

图1示出了根据各种实施例的用于实施虚拟助理以控制电子设备的示例性系统100。术语“虚拟助理”、“数字助理”、“智能自动化助理”或“自动数字助理”可以是指解译语音形式和/或文本形式的自然语言输入以推断用户意图，并基于推断出的用户意图来执行动作的任何信息处理系统。例如，为了进行推断出的用户意图，该系统可执行以下内容中的一个或多个：通过设计用以实施所推断出的用户意图的步骤和参数来识别任务流；将来自推断出的用户意图的具体要求输入到任务流中；通过调用程序、方法、服务、API等来执行任务流；以及生成对用户的听觉形式(例如语音)和/或视觉形式的输出响应。

虚拟助理可以能够接受至少部分地为自然语言命令、请求、声明、讲述和/或询问的形式的用户请求。通常，用户请求要么寻求数字助理作出信息性回答，要么寻求虚拟助理执行任务。针对用户请求的令人满意的响应可包括提供所请求的信息性回答、执行所请求的任务，或这两者的组合。例如，用户可向虚拟助理提出诸如“我现在在哪里？”之类的问题。基于用户的当前位置，虚拟助理可回答“你在中央公园。”用户还可请求执行任务，例如“请提醒我今天下午4点打电话给妈妈”。作为响应，虚拟助理可确认该请求，然后在用户的电子时间表中创建适当的提醒项目。在执行所请求的任务期间，虚拟助理可有时在很长时间段内在涉及多次信息交换的持续对话中与用户进行交互。存在与虚拟助理进行交互以请求信息或执行各种任务的许多其他方法。除提供言语响应并采取经编程的动作之外，虚拟助理还可提供其他视频或音频形式(例如，作为文本、警报、音乐、视频、动画等)的响应。

虚拟助理的示例在提交于2011年1月10日的名称为“Intelligent AutomatedAssistant”的申请人的美国实用新型专利申请序列号12/987,982中有所描述，该申请的全部公开内容以引用方式并入本文。

如图1所示，在一些实施例中，可根据客户端-服务器模型来实施虚拟助理。虚拟助理可包括在用户设备102上执行的客户端侧部分，以及在服务器系统110上执行的服务器侧部分。用户设备102可包括任何电子设备，诸如移动电话、平板电脑、便携式媒体播放器、台式计算机、膝上型计算机、PDA、电视机、电视机顶盒、可穿戴电子设备等，并且可通过一个或多个网络108与服务器系统110通信，所述网络可包括因特网、内联网或任何其他有线或无线公共或专用网络。在用户设备102上执行的客户端侧部分可提供客户端侧功能，诸如面向用户的输入和输出处理以及与服务器系统110的通信。服务器系统110可为驻留在相应用户设备102上的任何数量的客户端提供服务器侧功能。

服务器系统110可包括一个或多个虚拟助理服务器114，其可包括面向客户端的I/O接口122、一个或多个处理模块118、数据与模型存储器120以及到外部服务的I/O接口116。面向客户端的I/O接口122可促进虚拟助理服务器114的面向客户端的输入和输出处理。一个或多个处理模块118可利用数据与模型存储器120基于自然语言输入来确定用户的意图，并基于推断出的用户意图来进行任务执行。另外，数据与模型存储器120可存储与能够由用户设备102和/或服务器系统110控制的与一个或多个电子设备(例如电子设备128、130和132)相关联的唯一标识符、状态、类型、位置和任何其他相关信息。在一些实施例中，虚拟助理服务器114可通过网络108与诸如电话服务、日历服务、信息服务、消息服务、导航服务等外部服务124通信，以进行任务完成或信息获取。到外部服务的I/O接口116可促进此类通信。

服务器系统110可在计算机的一个或多个独立式数据处理设备或分布式网络上实施。在一些实施例中，服务器系统110可采用第三方服务提供方(例如第三方云服务提供方)的各种虚拟设备和/或服务来提供服务器系统110的潜在计算资源和/或基础结构资源。

用户设备102还可经由一个或多个网络126耦接至电子设备128、130和132。电子设备128、130和132可包括任何类型的遥控电子设备，诸如灯泡(例如具有二进制开启/关闭状态、数字可调光状态、颜色状态等)、车库门(例如具有二进制打开/闭合状态)、门锁(例如具有二进制锁定/解锁状态)、恒温器(例如具有一个或多个数字温度状态，如高温、低温、基于时间的温度等)、电源插座(例如具有二进制接通/断开状态)、开关(例如具有二进制接通/断开状态)等。网络126可包括WiFi网络或任何其他有线或无线公共或专用本地网络。除此之外或作为替代，用户设备102可被耦接以使用例如蓝牙、BTLE、视线、对等网络或另外的基于无线电的通信或其他无线通信直接与电子设备128、130或132通信。因此，在例示的实施例中，用户设备102可位于电子设备128、130和132附近，使得该用户设备与这些电子设备可直接通信或通过相同的本地网络通信。例如，用户设备102以及电子设备128、130和132可位于相同的家庭或建筑物内，并且网络126可包括家庭或建筑物的WiFi网络。如下文参考图5、图8和图9更详细的讨论，用户设备102可响应于由用户向用户设备102提供的自然语言语音输入而发出命令，以控制电子设备128、130和132中的任一个。

虽然仅示出了三个电子设备128、130和132，但是应当理解，系统100可包括任何数量的电子设备。另外，虽然虚拟助理的功能在图1中被示为包括客户端侧部分和服务器侧部分，但在一些实施例中，虚拟助理的功能可被实施为安装在用户设备上的独立应用程序。此外，虚拟助理的客户端部分与服务器部分之间的功能划分可在不同的实施例中有所不同。例如，在一些实施例中，在用户设备102上执行的客户端可以是仅提供面向用户的输入和输出处理功能且将虚拟助理的所有其他功能委派给后端服务器的瘦客户端。

图2示出了根据各种实施例的用于实施虚拟助理以远程控制电子设备的另一个示例性系统200。与系统100类似，系统200可包括通过网络108通信耦接在一起的用户设备102、服务器系统110和外部服务124。然而，与系统100相反，用户设备102可不耦接至电子设备128、130和132。替代地，系统200可包括第二用户设备134，该第二用户设备被耦接以经由网络108与用户设备102和/或服务器系统110通信并且被耦接以经由网络126与电子设备128、130和132通信。该配置可表示用户和用户设备102远离电子设备128、130和132的情况(例如，用户和用户设备102在用户的办公室，而电子设备128、130和132在用户的家里)。

第二用户设备134可包括任何类型的电子设备，诸如移动电话、平板电脑、便携式媒体播放器、台式计算机、膝上型计算机、PDA、电视机、电视机顶盒、可穿戴电子设备等，并且可被配置成从用户设备102和/或服务器系统110接收命令并向电子设备128、130和132发出命令。如下文参考图6更详细的讨论，第二用户设备134可响应于由用户向用户设备102提供的自然语言语音输入而发出命令，以控制电子设备128、130和132中的任一个。

用户设备

图3是根据各种实施例的用户设备102(或第二用户设备134)的框图。如图所示，用户设备102可包括存储器接口302、一个或多个处理器304以及外围设备接口306。用户设备102中的各种部件可通过一条或多条通信总线或信号线耦接在一起。用户设备102还可包括耦接至外围设备接口306的各种传感器、子系统以及外围设备。传感器、子系统以及外围设备采集信息并且/或者促进用户设备102的各种功能。

例如，用户设备102可包括运动传感器310、光传感器312以及接近传感器314，这些传感器耦接至外围设备接口306以促进取向、照明和接近感测功能。一个或多个其他传感器316，诸如定位系统(例如GPS接收器)、温度传感器、生物计量传感器、陀螺仪、指南针、加速度计等，也连接至外围设备接口306，以促进相关功能。

在一些实施例中，可利用相机子系统320和光学传感器322来促进相机功能，诸如拍摄照片和记录视频剪辑。可通过一个或多个有线和/或无线通信子系统324来促进通信功能，该有线和/或无线通信子系统可包括各种通信端口、射频接收器与发射器和/或光学(如红外)接收器与发射器。可将音频子系统326耦接到扬声器328和麦克风330以促进支持语音的功能，诸如语音识别、语音复制、数字记录和电话功能。

在一些实施例中，用户设备102还可包括耦接至外围设备接口306的I/O子系统340。I/O子系统340可包括触摸屏控制器342和/或其他输入控制器344。触摸屏控制器342可耦接至触摸屏346。触摸屏346和触摸屏控制器342例如可使用多种触摸灵敏度技术中的任一种来检测接触和移动或它们的间断，所述多种触摸灵敏度技术诸如电容技术、电阻技术、红外技术以及表面声波技术、接近传感器阵列等。可将其他输入控制器344耦接到其他输入/控制设备348，例如一个或多个按钮、摇臂开关、拇指滚轮、红外端口、USB端口和/或指针设备(如触笔)。

在一些实施例中，用户设备102还可包括耦接至存储器350的存储器接口302。存储器350可包括任何电子、磁性、光学、电磁、红外或半导体系统、装置或设备、便携式计算机磁盘(磁性)、随机存取存储器(RAM)(磁性)、只读存储器(ROM)(磁性)、可擦除可编程只读存储器(EPROM)(磁性)、便携式光盘诸如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW，或闪存存储器诸如紧凑型闪存卡、安全数字卡、USB存储设备、记忆棒等。在一些实施例中，存储器350的非暂态计算机可读存储介质可用于存储供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的(例如用于执行下文所述的过程500、600、700、800或900中的一些或全部的)指令，所述指令执行系统、装置或设备诸如基于计算机的系统、包含处理器的系统，或者可从指令执行系统、装置或设备提取指令并执行指令的其他系统。在其他实施例中，(例如用于执行下文所述的过程500、600、700、800或900的)指令可被存储在服务器系统110的非暂态计算机可读存储介质上，或者可在存储器350的非暂态计算机可读存储介质与服务器系统110的非暂态计算机可读存储介质之间被划分。在本文的上下文中，“非暂态计算机可读存储介质”可以是可包含或存储程序以供指令执行系统、装置和设备使用或与其结合的任何介质。

在一些实施例中，存储器350可存储操作系统352、通信模块354、图形用户界面模块356、传感器处理模块358、电话模块360和应用程序362。操作系统352可包括用于处理基础系统服务以及用于执行硬件相关任务的指令。通信模块354可促进与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器进行通信。图形用户界面模块356可促进图形用户界面处理。传感器处理模块358可促进与传感器相关的处理和功能。电话模块360可促进与电话相关的过程和功能。应用模块362可促进用户应用程序的各种功能，诸如电子消息传送、网页浏览、媒体处理、导航、成像和/或其他过程和功能。

存储器350还可存储客户端侧虚拟助理指令(例如，在虚拟助理客户端模块364中)以及各种用户数据366(例如，特定于用户的词汇数据、偏好数据，和/或其他数据诸如用户的电子通讯录、待办事项列表、购物清单等)以提供虚拟助理的客户端侧功能。

在各种实施例中，虚拟助理客户端模块364可以能够通过用户设备102的各种用户界面(例如I/O子系统340、音频子系统326等)接受声音输入(例如语音输入)、文本输入、触摸输入和/或手势输入。虚拟助理客户端模块364还可以能够提供音频(例如语音输出)、视频和/或触觉形式的输出。例如，可将输出提供为语音、声音、警报、文本消息、菜单、图形、视频、动画、振动、和/或以上两者或更多者的组合。在操作期间，虚拟助理客户端模块364可使用通信子系统324来与虚拟助理服务器通信。

在一些实施例中，虚拟助理客户端模块364可利用各种传感器、子系统和外围设备来从用户设备102的周围环境采集附加信息以建立与用户、当前用户交互和/或当前用户输入相关联的上下文。在一些实施例中，虚拟助理客户端模块364可将上下文信息或其子集与用户输入一起提供至虚拟助理服务器以帮助推断用户的意图。虚拟助理还可使用上下文信息来确定如何准备输出并将其传送至用户。

在一些实施例中，伴随用户输入的上下文信息可包括传感器信息，诸如照明、环境噪声、环境温度、周围环境的图像或视频、到另一个对象的距离等。上下文信息还可包括与用户设备102的物理状态(例如设备取向、设备位置、设备温度、功率电平、速度、加速度、运动模式、蜂窝信号强度等)或者用户设备102的软件状态(例如运行过程、已安装程序、过去和当前的网络活动、后台服务、错误日志、资源使用等)相关联的信息。这些类型的上下文信息中的任一种可作为与用户输入相关联的上下文信息提供给虚拟助理服务器114。

在一些实施例中，虚拟助理客户端模块364可响应于来自虚拟助理服务器114的请求而选择性地提供存储在用户设备102上的信息(例如用户数据366)。虚拟助理客户端模块364还可在虚拟助理服务器114请求时引出来自用户经由自然语言对话或其他用户界面的附加输入。虚拟助理客户端模块364可将所述附加输入传送至虚拟助理服务器114，以帮助虚拟助理服务器114进行意图推断和/或满足在用户请求中表达的用户意图。

存储器350还可存储电子设备数据370，该电子设备数据可包括与能够由用户设备102和/或服务器系统110控制的电子设备(例如电子设备128、130和132)中的一者或多者相关联的唯一标识符、状态、类型、位置和任何其他相关信息。图4示出了可被存储在用于七个不同电子设备的电子设备数据370中的条目的视觉表示。如图所示，每个条目包括电子设备的唯一名称、类型和状态。虚拟助理服务器114的数据与模型存储器120可包括用于电子设备的类似或相同的条目，所述条目可与存储器350的电子设备数据370的电子设备条目分开保存。

重新参照图3，存储器350还可包括(例如在守护进程模块368中的)用于创建和更新电子设备数据370中的电子设备的条目、与系统100的电子设备通信以及用于与服务器系统110通信的指令。例如，为了将电子设备添加到系统100，与电子设备相关联的软件应用可与执行守护进程模块368的处理器304通信，以向用户设备102提供电子设备的唯一名称、类型、状态、位置等。软件应用可允许用户以任何期望的方式输入唯一名称。例如，可在应用程序中提供具有公共名称和/或自由格式文本字段的下拉框，以允许用户命名特定设备。电子设备的类型、状态和/或位置可由软件应用通过与电子设备通信来预先确定或确定。执行守护进程模块368的处理器304可将该信息存储为电子设备数据370中的条目，并且还可将该信息传输到服务器系统110以存储在数据与模型存储器120中。另外，当由处理器304执行时，守护进程模块368可经由网络从服务器系统110接收要提供给电子设备128、130和132的命令，并可将这些命令传输到适当的电子设备。执行守护进程模块368的处理器304还可从电子设备128、130和132接收状态更新、更新电子设备数据370中的相应条目以反映设备的更新状态，并且将状态更新传输到服务器系统110，以允许服务器系统110更新数据与模型存储器120中的相应条目，从而反映设备的更新状态。

另外，守护进程模块368可包括用于管理其他设备和软件应用访问电子设备数据370的指令。例如，当由处理器304执行时，守护进程模块368可准许服务器系统110访问所有电子设备数据370，但是可限制其他设备或软件应用仅访问电子设备数据370的一部分。当用户设备102用于控制由不同制造商制造的电子设备时，这可能是有用的。在这些情况下，来自每个制造商的设备或软件应用可使用API来与守护进程模块368通信，并且守护进程模块368可限制所述设备或软件应用仅访问电子设备数据370中与它们各自的电子设备对应的那部分。例如，公司X可制造能够由用户设备102控制的灯泡，并且公司Y可制造能够由用户设备102控制的恒温器。守护进程模块368可促进用户设备102与灯泡和恒温器中每一者之间的通信，从而允许用户设备102向电子设备发出命令并且接收与电子设备相关联的状态信息，以用于更新电子设备数据370。然而，守护进程模块368可将灯泡(以及在用户设备102上运行的相关软件应用)对电子设备数据370中信息的访问仅限于访问与灯泡(以及可能由公司X制造的任何其他电子设备)相关联的信息。类似地，守护进程模块368可将恒温器(以及在用户设备102上运行的相关软件应用)对电子设备数据370中信息的访问仅限于访问与恒温器(以及可能由公司Y制造的任何其他电子设备)相关联的信息。然而，守护进程模块368可准许服务器系统110访问电子设备数据370中的所有信息。

在各种实施例中，存储器350可包括另外的指令或更少的指令。此外，可在硬件和/或固件中，包括在一个或多个信号处理和/或专用集成电路中，执行用户设备102的各种功能。

电子设备的本地控制

图5示出了使用虚拟助理来控制电子设备的示例性过程500。在一些实施例中，可使用与图1所示的系统100类似或相同的系统执行过程500。在这些实施例中，过程500的框可由用户设备102和服务器系统110两者执行。具体地，图5的左侧的框可由用户设备102执行，而图5的右侧的框可由服务器系统110执行。

在框502处，可在用户设备处接收包括用户语音的音频输入。在一些实施例中，用户设备(例如用户设备102)可经由麦克风(例如麦克风330)接收包括用户语音的音频输入。麦克风可将音频输入转换为模拟表示或数字表示，并将音频数据提供给一个或多个处理器(例如处理器304)。

在框504处，可将与在框502处接收的音频输入对应的数据传输到一个或多个服务器以供处理。例如，用户设备102可经由网络108将对应于音频输入的数据传输到服务器系统110的虚拟助理服务器114。

在框506处，与在框504处由用户设备传输的音频输入对应的数据可被一个或多个服务器接收。例如，服务器系统110的虚拟助理服务器114可经由网络108接收对应于由用户设备102传输的音频输入的数据。

在框508处，可对与音频输入对应的数据执行语音到文本转换，以将用户语音转换为用户语音的文本表示。可使用任何已知的语音到文本转换方法来转换用户语音。

在框510处，可至少部分地基于在框508处生成的文本表示来识别一个或多个电子设备。在一些实施例中，框510可包括：处理用户输入的文本表示以确定用户意图，从而向一个或多个电子设备发出命令。如上所述，服务器系统110可包括一个或多个数据与模型存储器120，该数据与模型存储器可存储唯一标识符、状态、类型、位置，以及与可使用系统100控制的电子设备相关联的任何其他相关信息。因此，框510可包括：识别具有在数据与模型存储器120中存储的相关联信息的电子设备中的一个或多个。

可通过任意种方式来识别一个或多个电子设备。在一些实施例中，可通过解析文本表示来识别一个或多个电子设备，以识别与系统100支持的对应于电子设备的名词集合中的任一者。例如，该名词集合可包括在电子设备数据370以及数据与模型存储器120中存储的电子设备的唯一名称、电子设备的可能类型及其同义词(例如车库门、恒温器、发光体、可调发光体、开关、可更换颜色的灯、灯泡、灯、锁、插座、管座等)、可能的设备状态类别(例如音量、温度、亮度、颜色等)等。

为了说明，使用图4的示例性电子设备条目，该名词集合可包括七个电子设备的唯一名称(例如“车库门”、“楼上恒温器”、“楼下恒温器”、“客厅灯1”、“客厅灯2”、“前门”和“烤面包机插座”)、电子设备的可能类型及其同义词(例如“车库门”、“恒温器”、“发光体”、“灯泡”、“灯”、“锁”、“插座”、“管座”等)，以及可能的设备状态类别(例如温度)。因此，如果在框508处生成的用户语音的文本表示包括“锁定前门”，则可使用处理模块118以及数据与模型存储器120来处理文本表示，以搜索该名词集合中的任一者。作为搜索的结果，可确定该文本表示包括唯一名称“前门”，并且在框510处识别的电子设备可包括该设备。应当理解，取决于用户语音的文本表示，可在框510处识别多于一个电子设备。例如，如果在框508处生成的用户语音的文本表示改为包括“关闭所有灯泡”，则可使用处理模块118以及数据与模型存储器120来处理文本表示，以搜索该名词集合中的任一者。作为搜索的结果，可确定的是，文本表示包括可能的设备类型“发光体”的同义词“灯泡”，并且来自用户的指令是关闭所有这些类型的设备。因此，在框510处识别的电子设备可包括“客厅灯1”和“客厅灯2”。

在一些实施例中，可能难以仅使用上述名词集合来识别适当的电子设备。例如，包括“打开发光体”的文本表示可产生与“客厅灯1”和“客厅灯2”两者的类型匹配。在这些实施例中，框510还可包括：使用从用户设备102接收的上下文信息(例如，被接收作为与框506处的音频输入对应的数据的一部分)，以消除潜在的匹配电子设备之间的歧义。可使用任何类型的上下文信息，诸如传感器信息(例如照明、环境噪声、环境温度、周围环境的图像或视频、到另一对象的距离等)、与用户设备102的物理状态(例如设备取向、设备位置、设备温度、功率电平、速度、加速度、运动模式、蜂窝信号强度等)、用户设备102的软件状态(例如运行进程、过去的和现在的网络活动、后台服务、错误日志、资源使用等)等相关联的信息。例如，继续上文提供的“打开发光体”实施例，当在框502处用户设备102接收到音频输入时，可在框504和框506处将用户设备102的位置和取向提供给服务器系统110。该上下文信息可用于确定用户设备102的位置和/或在接收到用户语音时用户设备102所指向的方向。当与存储在数据与模型存储器120中的“客厅灯1”和“客厅灯2”的已知位置相比较时，可在框510处选择最近的发光体或用户设备102所指向的发光体作为电子设备。可在框510处以类似的方式使用其他类型的上下文信息来通过识别上下文信息以消除潜在的匹配电子设备之间的歧义，所述上下文信息使得一个或多个潜在的匹配电子设备或多或少可能已被用户语音的文本表示引用。

在其他实施例中，与用户输入的文本表示中的状态相关联的字词可附加地或替代地用于消除潜在的匹配电子设备之间的歧义或者用于识别适当的电子设备。例如，包括“将其转到68”的文本表示可不使用上述名词集合来产生任何匹配。因此，在这些实施例中，框510还可包括：解析文本表示以识别与对应于系统100所支持的电子设备的状态相关联的字词集合中的任一个。例如，与状态相关联的字词集合可包括电子设备的可能状态及其同义词(例如，打开、闭合的、闭合、关断、开启、关闭、有源、无源、锁定、锁定的、颜色等)、状态值的类型(例如，二进制、浮点等)、对设备状态的查询、与特定类型的状态相关联的形容词(例如，更暖、更冷、更亮、更暗、颜色等)等。当用于解析“将其转到68”时，可确定文本表示包括浮点值“68”。与图4所示的条目相比时，可确定仅“楼上恒温器”和“楼下恒温器”接受了状态浮点值。为了消除这两个恒温器之间的歧义，可使用上下文信息(例如，用户设备102的位置)选择更靠近用户设备102的恒温器作为在框510处所识别的电子设备。类似地，如果文本表示改为包括“使其更亮”，则与状态相关联的字词集合可用于确定文本表示包括字词“更亮”，所述“更亮”是描述具有“发光体”类型的设备的状态的形容词。为了消除这两个发光体之间的歧义，可使用上下文信息(例如，用户设备102的位置)选择更接近用户设备102的发光体作为在框510处所识别的电子设备。

在框512处，可识别将由在框510处所识别的一个或多个电子设备中的每个电子设备执行的命令。可以任意种方式识别要执行的命令。在一些实施例中，可通过解析用户语音的文本表示以识别与状态相关联的字词集合中的任一个(例如，电子设备的可能状态及其同义词、状态值的类型、对设备状态的查询、与特定类型的状态相关联的形容词)，从而识别要执行的命令。然后，可使用所识别的状态或操作识别将由在框510处所识别的一个或多个电子设备中的每个电子设备执行的命令。例如，如果用户语音的文本表示包括“锁定前门”，则可确定文本表示包括来自状态集合的“锁定”状态。因此，可在框512处生成和识别向“锁定”状态转变的命令，作为将由在框510处所识别的电子设备“前门”执行的命令。尽管在上述实施例中识别了用于单个电子设备的单个命令，但是应当理解，如果在框510处识别出多个电子设备，则可识别多个命令。例如，文本表示“开启所有发光体”可使得在框512处识别针对“客厅灯1”和“客厅灯2”中的每一个转变到“开启”状态的命令。

在一些实施例中，当用户语音的文本表示包括与特定类型的状态(例如更暖、更冷、更亮、更暗等)相关联的形容词之一时，框512可包括：识别用于将在框510处所识别的电子设备的状态设置为相对于其当前值的值的命令。例如，如果文本表示包括“使其变暖”，则在框514处所识别的命令可以是将在框510处所识别的恒温器的温度增加预先确定的量的命令。该命令可以是相对于电子设备的当前值将状态值改变一定量的命令，而不是将状态值转变为特定值(例如，使用在数据与模型存储器120中存储的恒温器状态来确定的)的命令，这是因为电子设备的实际状态可能不同于在数据与模型存储器120中存储的状态。

在一些实施例中，当用户语音的文本表示包括对设备状态的查询时，框512可包括：识别用于使用户设备102查询所识别的电子设备的指令。例如，如果文本表示包括“车库门是否闭合？”，则在框514处所识别的命令可以是用于查询电子设备“车库门”的状态的命令。

在框514处，可将在框510处所识别的一个或多个电子设备中的每个电子设备的标识以及待由在框512处所识别的一个或多个电子设备执行的命令传输到用户设备。例如，服务器系统110可经由网络108将与在框510处所识别的每个电子设备相关联的唯一标识符以及待由一个或多个电子设备执行的命令传输到用户设备102。

在一些实施例中，还可在框514处将在框508处所生成的用户语音的文本表示传输到用户设备。在这些实施例中，框510和框514也可在用户设备上执行。所传输的文本表示可由用户设备用来识别一个或多个电子设备和/或识别电子设备数据370中的待由一个或多个电子设备执行的一个或多个命令。这可能例如在用户设备中的电子设备数据370与一个或多个服务器上的数据相比更新的情况下是期望的。在这种情况下，用户设备可识别电子设备和/或在一个或多个服务器的数据中未包括的命令。

在其他实施例中，可在框510和/或框512处在一个或多个服务器中解析文本表示，以确定可适于识别一个或多个电子设备和/或识别待由所述一个或多个电子设备执行的一个或多个命令的关键字或术语。在这些实施例中，还可在框514处将所解析的关键字或术语传输到用户设备。所传输的关键字或术语可由用户设备用来识别一个或多个电子设备和/或识别电子设备数据370中的待由一个或多个电子设备执行的一个或多个命令。这可能例如在用户设备中的电子设备数据370与一个或多个服务器上的数据相比更新的情况下是期望的。在这种情况下，用户设备可识别电子设备和/或在一个或多个服务器的数据中未包括的命令。

在框516处，可由用户设备接收一个或多个电子设备中的每个电子设备的标识以及由一个或多个服务器传输的命令。例如，用户设备102可在框514处经由网络108接收由服务器系统110传输的唯一标识符和命令。

在框518处，用户设备可将在框516处接收的命令传输到与在框516处接收的标识符相关联的电子设备。例如，如果用户设备102在框516处接收到与电子设备128(例如，“前门”)相关联的标识符以及用于将电子设备转变为“锁定”状态的命令，则用户设备102可经由网络126将该命令传输到电子设备128以将电子设备转变为“锁定”状态。如果用户设备102在框516处接收到另外的标识符和命令，则用户设备102还可在框518处将这些命令进一步传输到所识别的电子设备。

在一些实施例中，电子设备的实际状态可能不同于在用户设备102(例如，存储器350)和/或服务器系统110(例如，数据与模型存储器120)中所存储的电子设备状态。例如，在没有使用系统100的虚拟助理的情况下，门锁可能已经被手动打开或关闭。因此，在一些实施例中，可执行框518，而不管在用户设备102和/或服务器系统110中所存储的电子设备状态如何。例如，即使用户设备102和/或服务器系统110中的相应条目指示门已经被锁定，将门锁状态设置为“锁定”的命令仍然可被传输到门锁。此外，可在不先查询电子设备(例如，在框516与框518之间)以确定其实际状态的情况下执行框518，以便减少向电子设备发出命令所需的时间量。例如，可在不先查询门锁状态的情况下将门锁状态设置为“锁定”的命令传输到门锁，由此使传输对门锁的命令所需的时间减少了与将查询发送至门锁以及接收门锁状态所需的时间对应的量。

在框520处，在每个电子设备(在框518处向该电子设备发送了命令)执行它们各自的命令之后，用户设备可接收每个电子设备的当前状态。例如，用户设备102可在电子设备128执行将电子设备状态设置为“锁定”的命令之后接收电子设备的更新状态。在该实施例中，返回到用户设备102的当前状态可以是“锁定”状态。如果在框518处将命令发送到多于一个电子设备，则框520还可包括接收那些电子设备的当前状态。在一些实施例中，框520还可包括：基于所接收的当前状态更新电子设备数据370中的电子设备状态。例如，用户设备102可将电子设备数据370中的电子设备128状态更新为“锁定”。在一些实施例中，框520还可包括：基于所传输的命令和所接收的电子设备当前状态，输出在框518处传输到电子设备的命令的结果的音频指示或视觉指示。例如，如果传输到电子设备128的命令是将设备状态转变为“锁定”的命令并且在框520处接收的电子设备128的当前状态是“锁定”，则结果的指示可以是电子设备128成功地转变为“锁定”状态。或者，如果所接收的电子设备当前状态(例如，“解锁”)不同于在命令中指示的期望状态(例如，“锁定”)，则未成功转变为“锁定”状态的指示可以被呈现给用户。当前状态还可包括错误状态，诸如设备的未确定状态或不可用状态。

在框522处，用户设备可将在框520处接收的电子设备当前状态传输到一个或多个服务器。例如，用户设备102可将在框520处接收的电子设备当前状态传输到服务器系统110。如果在框520处接收到多于一个电子设备的当前状态，则框522还可包括：将这些当前状态传输到服务器系统110。

在框524处，一个或多个服务器可接收在框522处由用户设备传输的电子设备当前状态。例如，在框522处，服务器系统110可接收由用户设备102传输的电子设备当前状态。如果用户设备102传输了多于一个当前状态，则框524还可包括接收那些当前状态。在一些实施例中，框524还可包括：基于所接收的当前状态更新数据与模型存储器120中的电子设备状态。例如，服务器系统110可将数据与模型存储器120中的电子设备128状态更新为“锁定”。

在一些实施例中，过程500还可包括：响应于确定已经满足预先确定的条件，生成与电子设备中的一个或多个电子设备的当前状态相关联的通知。例如，响应于当一个或多个电子设备处于预先确定的状态(例如，“前门”被解锁)时用户设备102的位置离开预先确定的区域(例如，与用户的家对应的区域)，可经由用户设备102向用户呈现用于指示用户忘记锁定门的通知。可响应于其他预先确定的条件而生成其他类似的通知。

使用过程500，由用户设备实现的虚拟助理可接收自然语言命令以设置状态或查询任何数量的电子设备。自然语言命令可以任何期望的方式指代电子设备，并且不需要包括电子设备的唯一标识符或电子设备的类型。

电子设备的远程控制

图6示出了使用虚拟助理远程控制电子设备的示例性过程600。在一些实施例中，过程600可类似于过程500，不同之处在于，可使用与图2所示的系统200类似或相同的系统执行过程600。例如，可由远离受控的电子设备(例如，电子设备128、130和132)定位的用户设备(例如，用户设备102)来执行过程600，并且第二用户设备(例如，第二用户设备134)可替代地用于控制电子设备。因此，过程600的各部分可由用户设备102、服务器系统110和第二用户设备134中的每一个来执行。具体地讲，图6的左侧的框可由用户设备102执行，图6的中间的框可由服务器系统110执行，并且图6的右侧的框可由第二用户设备134执行。

过程600的框可与过程500的相同编号的框相似或相同，不同之处在于，过程600的框516、518、520和522可替代地由第二用户设备(例如，第二用户设备134)执行。另外，作为结果，在框514处一个或多个电子设备中的每个电子设备的标识以及待由电子设备执行的命令可替代地被传输到第二用户设备，并且在框524处可替代地从第二用户设备接收电子设备的当前状态。

在一些实施例中，过程600还可包括：由一个或多个服务器将在框524处接收的电子设备当前状态传输到在框502处接收音频输入的用户设备。除此之外或作为替代，该过程可包括：在框518处传输有关向电子设备传输的命令成功的指示。例如，可生成视觉输出或音频输出，用于向用户通知由电子设备执行命令成功、部分成功或失败。成功的确定可取决于传输到电子设备的命令以及在框524处接收的设备当前状态。

电子设备的独立控制

图7示出了使用虚拟助理来控制电子设备的示例性过程700。在一些实施例中，过程700可类似于过程500，不同之处在于，可使用独立用户设备执行过程700，该独立用户设备可执行用户设备102和服务器系统110两者的功能。结果，过程700的所有框可由用户设备(例如，用户设备102)执行。

过程700的框可与过程500的相同编号的框相似或相同，不同之处在于，框508、510和512可替代地由用户设备(例如，用户设备102)执行。另外，作为结果，不需要执行与用于在用户设备102与服务器系统110之间进行通信的功能对应的框(例如框504、506、514、516、522和524)。

存储电子设备的配置

图8示出了使用虚拟助理将多个电子设备的状态存储为配置的示例性过程800。该配置可表示所存储的多个电子设备的状态集合，可在语音用户输入中引用该状态集合以使多个电子设备转变为在配置中定义的状态。例如，用户可创建“睡眠”配置，其中所有发光体的状态被设置为关闭，恒温器的状态被设置为72℉，所有门的状态被设置为锁定，并且车库门被设置为闭合。因此，当用户即将要睡觉时，用户可向用户设备102提供用于引用所存储的配置(例如，“我要睡觉”)的命令，并且系统100可基于睡眠配置中存储的状态来设置电子设备的状态。在一些实施例中，可使用与图1所示的系统100类似或相同的系统执行过程800。在这些实施例中，过程800的框可由用户设备102和服务器系统110两者执行。具体地讲，图8的左侧的框可由用户设备102执行，而右侧的框可由服务器系统110执行。

在框802处，可以与过程500的框502相似或相同的方式在用户设备处接收包括用户语音的音频输入。在框804处，可将与在框802处接收的音频输入对应的数据传输到一个或多个服务器，以便通过与过程500的框504相似或相同的方式进行处理。

在框806处，可由一个或多个服务器以与过程500的框506类似或相同的方式接收与在框804处由用户设备传输的音频输入对应的数据。在框808处，可对与音频输入对应的数据执行语音到文本转换，从而以与过程500的框508类似或相同的方式将用户语音转换为用户语音的文本表示。

在框810处，可以确定用户语音的文本表示代表用户想要将系统100的电子设备的状态存储为配置的意图。例如，服务器系统110的一个或多个处理模块118可利用数据与模型存储器120基于自然语言输入来确定用户的意图。在一些实施例中，这可包括：解析可能与存储诸如“保存”、“存储”、“名称”、“保持”、“配置”、“场景”及它们的同义词等配置相关的字词的文本表示。例如，如果文本表示包括“将此配置存储为睡眠”，则可在框810处确定用户打算将电子设备的状态存储为“睡眠”配置。诸如“将此场景保存为工作”等其他文本表示可类似地导致在框810处确定用户打算将电子设备的状态存储为“工作”配置。

在框812处，响应于确定用户语音的文本表示代表用户将系统100的电子设备的状态存储为配置的意图，一个或多个服务器可向用户设备传输指令以查询电子设备的状态。例如，服务器系统110可经由网络108向用户设备102传输指令以查询电子设备128、130和132的状态。

在框814处，可由用户设备接收用于查询由一个或多个服务器传输的电子设备状态的指令。例如，用户设备102可经由网络108从服务器系统110接收用于查询电子设备128、130和132的状态的指令。

在框816处，用户设备可向每个电子设备传输针对它们当前状态的查询。例如，用户设备102可经由网络126向电子设备128、130和132中的每个电子设备传输命令，指示它们返回其当前状态。

在框818处，用户设备可响应于在框516处传输的查询而接收每个电子设备的当前状态(或者能够传输其当前状态的所有电子设备的当前状态)。例如，响应于在框816处发送到每个设备的查询，用户设备102可经由网络126接收电子设备128、130和132的当前状态。在一些实施例中，框818还可包括：基于所接收的当前状态更新电子设备数据370中的电子设备状态。当前状态还可包括错误状态，诸如设备的未确定状态或不可用状态。

在框820处，用户设备可将在框818处接收的电子设备当前状态传输到一个或多个服务器。例如，用户设备102可将在框818处接收的电子设备当前状态传输到服务器系统110。

在框822处，一个或多个服务器可接收在框820处由用户设备传输的电子设备当前状态。例如，服务器系统110可经由网络126从用户设备102接收电子设备128、130和132的当前状态。

在框824处，一个或多个服务器可将在框822处接收的电子设备当前状态存储为配置。在一些实施例中，可基于在文本表示中所提供的并且在框810处所识别的名称，向配置分配唯一的标识符，诸如“睡眠”、“早晨”、“工作”等。例如，服务器系统110可响应于在框802处接收的包括“将此配置命名为睡眠”的用户语音，将电子设备128、130和132的当前状态存储为模型与数据存储器120中的“睡眠”配置。

使用所存储的配置控制电子设备

图9示出了使用虚拟助理利用先前存储的配置(例如，使用过程800创建的配置)设置多个电子设备的状态的示例性过程900。在一些实施例中，可使用与图1所示的系统100类似或相同的系统执行过程900。在这些实施例中，过程900的框可由用户设备102和服务器系统110两者执行。具体地讲，图9的左侧的框可由用户设备102执行，而右侧的框可由服务器系统110执行。

在框902处，可以与过程500的框502相似或相同的方式在用户设备处接收包括用户语音的音频输入。在框904处，可将与在框902处接收的音频输入对应的数据传输到一个或多个服务器，以便通过与过程500的框504相似或相同的方式进行处理。

在框906处，可由一个或多个服务器以与过程500的框506类似或相同的方式接收与在框904处由用户设备传输的音频输入对应的数据。在框908处，可对音频输入的用户语音执行语音到文本转换，从而以与过程500的框508类似或相同的方式将用户语音转换为用户语音的文本表示。

在框910处，可以确定用户语音的文本表示代表用户想要基于所存储的配置来设置系统100的电子设备状态的意图。例如，服务器系统110的一个或多个处理模块118可利用数据与模型存储器120基于自然语言输入来确定用户的意图。在一些实施例中，这可包括：解析可能与使用所存储的配置相关的字词的文本表示，诸如与所存储的配置“设置”、“配置”、“场景”及它们的同义词等相关联的唯一标识符。例如，如果文本表示包括“我要睡觉”，则可在框910处确定用户打算基于“睡眠”配置来设置电子设备的状态。诸如“夜间模式”、“设置为睡眠”等其他文本表示可类似地导致在框910处确定用户打算基于“睡眠”配置来设置电子设备的状态。

在框912处，可由一个或多个服务器将命令传输到用户设备，所述命令用以基于在框910处识别的配置来设置系统100的电子设备状态。还可传输与该命令相关联的标识，以识别哪些设备要执行每个命令。例如，服务器系统110可传输与电子设备相关联的唯一标识符以及待由这些电子设备执行的命令，以使电子设备处于由所存储的配置指定的状态。

在框914处，用户设备可接收用于设置由服务器传输的系统100的电子设备状态的命令。例如，用户设备102可在框912处经由网络108接收由服务器系统110传输的命令。

在框916处，用户设备可将在框914处接收的命令传输到与该命令相关联的电子设备。例如，用户设备102可经由网络126向电子设备128、130和132传输命令，以使电子设备处于由所存储的配置指定的状态。

在一些实施例中，电子设备的实际状态可能不同于在用户设备102(例如，存储器350)和/或服务器系统110(例如，数据与模型存储器120)中所存储的电子设备状态。因此，在一些实施例中并且与过程500类似，可执行框916，而不管存储在用户设备102和/或服务器系统110中的电子设备的状态如何，并且没有首先查询电子设备(例如，在框914与框916之间)以确定它们的实际状态，以便减少向电子设备发出命令所需的时间量。

在框918处，用户设备可在框916处由电子设备执行由用户设备传输的命令之后接收电子设备的更新状态。例如，用户设备102可在电子设备128、130和132执行命令以将它们的状态设置为由所存储的配置指定的状态之后接收所述电子设备的更新状态。在一些实施例中，框920还可包括：基于所接收的当前状态来更新电子设备数据370中的电子设备状态。例如，用户设备102可将电子设备数据370中的电子设备128状态更新为“锁定”。在一些实施例中，类似于框520，框918还可包括：基于所传输的命令和所接收的电子设备当前状态，输出在框916处传输到电子设备的命令的结果的音频指示或视觉指示。更新状态还可包括错误状态，诸如设备的未确定状态或不可用状态。

在框920处，用户设备可将在框918处接收的电子设备更新状态传输到一个或多个服务器。例如，用户设备102可将在框918处接收的电子设备更新状态传输到服务器系统110。

在框922处，一个或多个服务器可接收在框920处由用户设备传输的电子设备更新状态。例如，在框920处，服务器系统110可接收由用户设备102传输的电子设备更新状态。在一些实施例中，框922还可包括：基于所接收的更新状态更新数据与模型存储器120中的电子设备状态。

在一些实施例中，除此之外或作为替代，响应于确定已经满足预先确定的条件，可使用所存储的配置来配置电子设备的状态。例如，响应于用户设备102的位置进入预先确定的区域(例如，与用户的家对应的区域)，可向电子设备发送命令以使电子设备转变为由所存储的配置(例如，“家庭”配置)指定的状态。类似地，响应于用户设备102的位置离开预先确定的区域(例如，与用户的家对应的区域)，可在预先确定的时间窗口期间(例如，在工作日的早上8点到9点之间)，向电子设备发送命令以使电子设备转变为由所存储的另一个配置(例如，“工作”配置)指定的状态。可创建其他类似的预先确定的条件以使系统100基于所存储的配置来配置电子设备。

电子设备

根据一些实施例，图10示出了根据各种所述实施例的原理所配置的电子设备1000的功能框图。该设备的功能块可由执行各种所述实施例的原理的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图10中所述的功能块可被组合或被分离为子块，以便实现各种所述实施例的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。

如图10所示，电子设备1000可包括配置用于显示用户界面和接收触摸输入的触摸屏显示单元1002以及被配置用于接收声音输入的声音接收单元1004。在一些实施例中，电子设备1000可包括被配置用于生成声音的扬声器单元1006。电子设备1000还可包括耦接至触摸屏显示单元1002和声音接收单元1004(并且任选地耦接至扬声器单元1006)的处理单元1008。在一些实施例中，处理单元1008可包括音频输入接收单元1010、音频输入传输单元1012、标识与命令接收单元1014、标识与命令传输单元1016、状态接收单元1018、状态传输单元1020、状态更新单元1022、指示输出单元1024、第二标识与命令接收单元1026、第二标识与命令传输单元1028、第二状态接收单元1030、第二状态传输单元1032和通知传输单元1034。

处理单元1008可被配置成(例如，使用音频输入接收单元1010)接收包含用户语音的音频输入。处理单元1008还可被配置成(例如，使用音频输入传输单元1012)将与音频输入对应的数据传输到一个或多个服务器。处理单元1008还可被配置成(例如，使用标识与命令接收单元1014)从一个或多个服务器接收：由一个或多个服务器基于与音频输入对应的数据所确定的第一电子设备的标识、以及由一个或多个服务器基于与音频输入对应的数据所确定的待由第一电子设备执行的第一命令。第一命令可(例如，使用标识与命令传输单元1016)传输到第一电子设备。在向第一电子设备传输第一命令之后，可(例如，使用状态接收单元1018)从第一电子设备接收第一电子设备的当前状态。第一电子设备的当前状态可(例如，使用状态传输单元1020)传输到一个或多个服务器。

在一些实施例中，第一电子设备包括灯泡。在其他实施例中，第一命令包括用于设置灯的开启/关闭状态、可调光状态或颜色状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置灯泡的开启/关闭状态、可调光状态或颜色状态的第一命令之后的灯泡的开启/关闭状态、可调光状态或颜色状态。

在一些实施例中，第一电子设备包括开关。在其他实施例中，第一命令包括用于设置开关的接通/断开状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置开关的接通/断开状态的第一命令之后的开关的接通/断开状态。

在一些实施例中，第一电子设备包括电源插座。在其他实施例中，第一命令包括用于设置电源插座的有源/无源状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置电源插座的有源/无源状态的命令之后的电源插座的有源/无源状态。

在一些实施例中，第一电子设备包括门锁。在其他实施例中，第一命令包括用于设置门锁的锁定/解锁状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置门锁的锁定/解锁状态的命令之后的门锁的锁定/解锁状态。

在一些实施例中，第一电子设备包括车库门。在其他实施例中，第一命令包括用于设置车库门的打开/闭合状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置车库门的打开/闭合状态的命令之后的车库门的打开/闭合状态。

在一些实施例中，第一电子设备包括恒温器。在其他实施例中，第一命令包括用于设置恒温器的温度设定数值的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置恒温器的温度设定数值的第一命令之后的恒温器的温度设定数值。

在一些实施例中，第一命令包括对第一电子设备的当前状态的查询。

在一些实施例中，第一命令可(例如，使用标识与命令传输单元1016)通过本地无线网络传输到第一电子设备。

在一些实施例中，第一命令可通过蓝牙、视线、对等网络或WiFi通信直接传输到第一电子设备。

在一些实施例中，处理单元1008可被配置成不包括：在从一个或多个服务器接收第一命令以及将第一命令传输到第一电子设备之间查询第一电子设备以获知第一电子设备的状态。

在一些实施例中，电子设备1000还可包括用于存储多个电子设备中的每个电子设备的状态的数据库单元1034，所述多个电子设备包括第一电子设备。在其他实施例中，处理单元1008还可被配置成至少部分地基于从第一电子设备接收到的第一电子设备的当前状态(例如，使用状态更新单元1022)更新在数据库单元1034中所存储的第一电子设备的状态。

在一些实施例中，处理单元1008还可被配置成基于第一命令以及从第一电子设备接收到的第一电子设备的当前状态(例如，使用指示输出单元1024)输出第一命令的结果的指示。

在一些实施例中，电子设备1000可包括移动电话、台式计算机、膝上型计算机、平板计算机、便携式媒体播放器、电视机、电视机顶盒或可穿戴电子设备。

在一些实施例中，处理单元1008还可被配置成(例如，使用第二标识与命令接收单元1026)从一个或多个服务器接收：由一个或多个服务器基于与音频输入对应的数据所确定的第二电子设备的标识、以及由一个或多个服务器基于与音频输入对应的数据所确定的待由第二电子设备执行的第二命令。处理单元1008还可被配置成(例如，使用第二标识与命令传输单元1028)向第二电子设备传输第二命令，以及在将第二命令传输到第二电子设备之后，(例如，使用第二状态接收单元1030)从第二电子设备接收第二电子设备的当前状态。处理单元1008还可被配置成(例如，使用第二状态传输单元1032)将第二电子设备的当前状态传输到一个或多个服务器。

在一些实施例中，处理单元1008还可被配置成响应于确定已经满足预先确定的条件，(例如，使用通知传输单元1036)传输与第一电子设备的当前状态相关联的通知。

根据一些实施例，图11示出了根据各种所述实施例的原理所配置的电子设备1100的功能框图。该设备的功能块可由执行各种所述实施例的原理的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图11中所述的功能块可被组合或被分离为子块，以便实现各种所述实施例的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。

如图11所示，电子设备1100可包括配置用于显示用户界面和接收触摸输入的触摸屏显示单元1102以及被配置用于接收声音输入的声音接收单元1104。在一些实施例中，电子设备1100可包括被配置用于生成声音的扬声器单元1106。电子设备1100还可包括耦接至触摸屏显示单元1102和声音接收单元1104(并且任选地耦接至扬声器单元1106)的处理单元1108。在一些实施例中，处理单元1108可包括音频输入接收单元1110、音频输入传输单元1112、指令接收单元1114、查询传输单元1116、状态接收单元1118和状态传输单元1120。

处理单元1108可被配置成(例如，使用音频输入接收单元1110)接收包含用户语音的音频输入。处理单元1108还可被配置成(例如，使用音频输入传输单元1112)将与音频输入对应的数据传输到一个或多个服务器。处理单元1108还可被配置成(例如，使用指令接收单元1114)从一个或多个服务器接收用于查询多个电子设备中的每个电子设备的状态的指令，其中每个电子设备的状态由一个或多个服务器基于与音频输入对应的数据而确定。状态查询可(例如，使用查询传输单元1116)传输到多个电子设备中的每个电子设备，并且可从所述多个电子设备(例如，使用状态接收单元1118)接收多个电子设备中的每个电子设备的当前状态。多个电子设备中的每个电子设备的当前状态可(例如，使用状态传输单元1120)传输到一个或多个服务器以存储为配置。

根据一些实施例，图12示出了根据各种所述实施例的原理所配置的电子设备1200的功能框图。该设备的功能块可由执行各种所述实施例的原理的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图12中所述的功能块可被组合或被分离为子块，以便实现各种所述实施例的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。

如图12所示，电子设备1200可包括配置用于显示用户界面和接收触摸输入的触摸屏显示单元1202以及被配置用于接收声音输入的声音接收单元1204。在一些实施例中，电子设备1200可包括被配置用于生成声音的扬声器单元1206。电子设备1200还可包括耦接至触摸屏显示单元1202和声音接收单元1204(并且任选地耦接至扬声器单元1206)的处理单元1208。在一些实施例中，处理单元1208可包括音频输入接收单元1210、音频输入传输单元1212、指令接收单元1214、查询传输单元1216、状态接收单元1218和状态传输单元1220。

在一些实施例中，处理单元1208还可被配置成(例如，使用音频输入接收单元1210)接收包括用户语音的音频输入，(例如，使用音频输入传输单元1212)将与音频输入对应的数据传输到一个或多个服务器，以及(例如，使用命令接收单元1214)从一个或多个服务器接收用于设置由一个或多个服务器基于所存储的配置确定的多个电子设备中的每个电子设备的状态的多个命令。处理单元1208还可被配置成(例如，使用命令传输单元1216)将多个命令传输到多个电子设备。处理单元1208还可被配置成(例如，使用状态接收单元1218)从多个电子设备接收多个电子设备中的每个电子设备的更新状态，以及(例如，使用状态传输单元1220)将多个电子设备中的每个电子设备的更新状态传输到一个或多个服务器。

如图13所示，电子设备1300可包括配置用于显示用户界面和接收触摸输入的触摸屏显示单元1302以及被配置用于接收声音输入的声音接收单元1304。在一些实施例中，电子设备1300可包括被配置用于生成声音的扬声器单元1306。电子设备1300还可包括耦接至触摸屏显示单元1302和声音接收单元1304(并且任选地耦接至扬声器单元1306)的处理单元1308。在一些实施例中，处理单元1308可包括音频输入接收单元1310、语音到文本转换单元1312、电子设备识别单元1314、命令识别单元1316、标识与命令传输单元1318、状态接收单元1320、状态更新单元1322、上下文信息接收单元1324、指示传输单元1326、第二电子设备识别单元1328、第二命令识别单元1330、第二标识与命令传输单元1332、以及第二状态接收单元1336。

处理单元1308可被配置成(例如，使用音频输入接收单元1310)接收与包含用户语音的音频输入对应的数据。处理单元1308还可被配置成(例如，使用语音到文本转换单元1312)对与音频输入对应的数据执行语音到文本转换以生成用户语音的文本表示。处理单元1308还可被配置成(例如，使用电子设备识别单元1314)基于用户语音的文本表示识别第一电子设备。处理单元1308还可被配置成(例如，使用命令识别单元1316)基于用户语音的文本表示识别待由第一电子设备执行的第一命令。处理单元1308还可被配置成(例如，使用标识与命令传输单元1318)向用户设备传输第一电子设备的标识以及第一命令。处理单元1308还可被配置成(例如，使用状态接收单元1320)接收第一电子设备的当前状态。

在一些实施例中，第一电子设备包括灯泡。在其他实施例中，第一命令包括用于设置灯的开启/关闭状态、可调光状态或颜色状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置灯泡的开启/关闭状态、可调光状态或颜色状态的第一命令之后的灯泡的开启/关闭状态、可调光状态或颜色状态。

在一些实施例中，第一电子设备包括电源插座。在其他实施例中，第一命令包括用于设置电源插座的有源/无源状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置电源插座的有源/无源状态的命令之后的电源插座的有源/无源状态。

在一些实施例中，第一电子设备包括开关。在其他实施例中，第一命令包括用于设置开关的接通/断开状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置开关的接通/断开状态的命令之后的电源插座的接通/断开状态。

在一些实施例中，第一电子设备包括门锁。在其他实施例中，第一命令包括用于设置门锁的锁定/解锁状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置门锁的锁定/解锁状态的命令之后的门锁的锁定/解锁状态。

在一些实施例中，第一电子设备包括车库门。在其他实施例中，第一命令包括用于设置车库门的打开/闭合状态的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置车库门的打开/闭合状态的命令之后的车库门的打开/闭合状态。

在一些实施例中，第一电子设备包括恒温器。在其他实施例中，第一命令包括用于设置恒温器的温度设定数值的命令。在其他实施例中，第一电子设备的当前状态包括：在传输用于设置恒温器的温度设定数值的第一命令之后的恒温器的温度设定数值。

在一些实施例中，第一命令包括对第一电子设备的当前状态的查询。

在一些实施例中，电子设备1300还包括用于存储多个电子设备中的每个电子设备的名称、类型和状态的数据库单元1334，所述多个电子设备包括第一电子设备。在其他实施例中，处理单元1308还可被配置成基于第一电子设备的当前状态(例如，使用状态更新单元1322)更新在数据库单元1334中所存储的第一电子设备的状态。

在一些实施例中，处理单元1308还可被配置成(例如，使用上下文信息接收单元1324)从用户设备接收与音频输入对应的数据内的上下文信息。在其他实施例中，处理单元1308还可被配置成(例如，使用电子设备识别单元1314)基于上下文信息识别第一电子设备。在其他实施例中，处理单元1308还可被配置成(例如，使用命令识别单元1316)基于上下文信息识别第一命令。在一些实施例中，上下文信息包括当用户设备接收到音频输入时用户设备的取向或者当用户设备接收到音频输入时用户设备的位置。

在一些实施例中，用户语音的文本表示不包括第一电子设备的名称。在其他实施例中，用户语音的文本表示不包括第一电子设备的类型。

在一些实施例中，电子设备1300包括移动电话、台式计算机、膝上型计算机、平板计算机、便携式媒体播放器、电视机、电视机顶盒或可穿戴电子设备。

在一些实施例中，处理单元1308还可被配置成(例如，使用标识与命令传输单元1318)向用户设备传输第一命令和第一电子设备的标识，以及(例如，使用状态接收单元1320)从用户设备接收第一电子设备的当前状态。

在其他实施例中，处理单元1308还可被配置成(例如，使用标识与命令传输单元1318)向第二用户设备传输第一命令和第一电子设备的标识，以及(例如，使用状态接收单元1320)从第二用户设备接收第一电子设备的当前状态。

在其他实施例中，处理单元1308还可被配置成基于第一命令和第一电子设备的当前状态向第二用户设备(例如，使用指示传输单元1326)传输第一命令的结果的指示。

在其他实施例中，处理单元1308还可被配置成(例如，使用第二电子设备识别单元1328)基于用户语音的文本表示识别第二电子设备，(例如，使用第二命令识别单元1330)基于用户语音的文本表示识别待由第二电子设备执行的第二命令，(例如，使用第二标识与命令传输单元1332)传输第二电子设备的标识和第二命令，以及(例如，使用第二状态接收单元1336)接收第二电子设备的当前状态。

如图14所示，电子设备1400可包括配置用于显示用户界面和接收触摸输入的触摸屏显示单元1402以及被配置用于接收声音输入的声音接收单元1404。在一些实施例中，电子设备1400可包括被配置用于生成声音的扬声器单元1406。电子设备1400还可包括耦接至触摸屏显示单元1402和声音接收单元1404(并且任选地耦接至扬声器单元1406)的处理单元1408。在一些实施例中，处理单元1408可包括音频输入接收单元1410、语音到文本转换单元1412、确定单元1414、指令传输单元1416、状态接收单元1418、配置存储单元1420、第二音频输入接收单元1422、第二语音到文本转换单元1424、第二确定单元1426、命令传输单元1428和第二状态接收单元1430。

处理单元1408可被配置成(例如，使用音频输入接收单元1410)从用户设备接收与包括用户语音的音频输入对应的数据。处理单元1408还可被配置成(例如，使用语音到文本转换单元1412)对与音频输入对应的数据执行语音到文本转换以生成用户语音的文本表示。处理单元1408还可被配置成(例如，使用确定单元1414)确定用户语音的文本表示代表用户想要将多个电子设备中的每个电子设备的状态存储为配置的意图。处理单元1408还可被配置成(例如，使用指令传输单元1416)传输用于查询多个电子设备中的每个电子设备的状态的指令。处理单元1408还可被配置成(例如，使用状态接收单元1418)接收多个电子设备中的每个电子设备的当前状态。处理单元1408还可被配置成(例如，使用配置存储单元1420)将所接收的多个电子设备中的每个电子设备的当前状态存储为配置。

如图15所示，电子设备1500可包括配置用于显示用户界面和接收触摸输入的触摸屏显示单元1502以及被配置用于接收声音输入的声音接收单元1504。在一些实施例中，电子设备1500可包括被配置用于生成声音的扬声器单元1506。电子设备1500还可包括耦接至触摸屏显示单元1502和声音接收单元1504(并且任选地耦接至扬声器单元1506)的处理单元1508。在一些实施例中，处理单元1408可包括音频输入接收单元1510、语音到文本转换单元1512、确定单元1514、指令传输单元1516、状态接收单元1518、配置存储单元1520、第二音频输入接收单元1522、第二语音到文本转换单元1524、第二确定单元1526、命令传输单元1528和第二状态接收单元1530。

在一些实施例中，处理单元1508还可被配置成(例如，使用音频输入接收单元1510)接收与包括用户语音的音频输入对应的数据，(例如，使用语音到文本转换单元1512)对与音频输入对应的数据执行语音到文本转换以生成用户语音的文本表示，(例如，使用确定单元1514)确定用户语音的文本表示代表用户想要基于配置来改变多个电子设备中的每个电子设备的状态的意图，(例如，使用命令传输单元1516)传输多个命令以基于配置来设置多个电子设备中的每个电子设备的状态，以及(例如，使用状态接收单元1518)接收多个电子设备中的每个电子设备的更新状态。

如上所述，本发明技术的一个方面在于采集和使用得自各种来源的数据，以改进向用户递送其可能感兴趣的启发内容或任何其他内容。本公开预期，在一些实例中，这些所采集的数据可包括唯一地标识或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址或任何其他识别信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，所述个人信息数据可用于递送用户较感兴趣的目标内容。因此，使用此类个人信息数据使得能够对所递送的内容进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还预期负责此类个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施例。也就是说，本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就广告递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。又如，用户可选择不为目标内容递送服务提供位置信息。再如，用户可选择不提供精确的位置信息，但准许传输位置区域信息。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施例，但本公开还预期各种实施例也可在无需访问此类个人信息数据的情况下被实现。也就是说，本发明技术的各种实施例不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度的个人信息(例如，与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用信息)来推断偏好，从而选择内容并递送给用户。

虽然参照附图对实施例进行了全面的描述，但应注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为包括在由所附权利要求所限定的各种实施例的范围内。

Claims (34)

1.一种用于在用户设备上使用虚拟助理来控制电子设备的方法，所述用户设备执行所述方法的每个步骤，所述方法包括：

接收包括用户语音的音频输入；

将与所述音频输入对应的数据传输到一个或多个服务器；

从所述一个或多个服务器接收：

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第一电子设备的标识；和

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第一电子设备执行的第一命令；

将所述第一命令传输到所述第一电子设备；

在将所述第一命令传输到所述第一电子设备之后，接收第二音频输入；

根据所述第二音频输入向所述第一电子设备传输状态查询；

从所述第一电子设备接收所述第一电子设备的当前状态；以及

向所述一个或多个服务器传输所述第一电子设备的所述当前状态，以存储为配置的至少一部分，其中所述配置定义响应于引用所述配置的命令而使用的多个对应的电子设备的多个状态。

2.根据权利要求1所述的方法，还包括：

在将所述第一命令传输到所述第一电子设备之后，并且在接收到所述第二音频输入之前，从所述第一电子设备接收所述第一电子设备的当前状态；以及

将所述第一电子设备的所述当前状态传输到所述一个或多个服务器。

3.根据权利要求2所述的方法，其中所述第一电子设备包括灯泡。

4.根据权利要求3所述的方法，其中所述第一命令包括用于设置所述灯泡的开启/关闭状态、可调光状态或颜色状态的命令。

5.根据权利要求4所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述灯泡的开启/关闭状态、可调光状态或颜色状态的所述第一命令之后，所述灯泡的开启/关闭状态、可调光状态或颜色状态。

6.根据权利要求2所述的方法，其中所述第一电子设备包括电源插座。

7.根据权利要求6所述的方法，其中所述第一命令包括用于设置所述电源插座的有源/无源状态的命令。

8.根据权利要求7所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述电源插座的有源/无源状态的所述命令之后，所述电源插座的有源/无源状态。

9.根据权利要求2所述的方法，其中所述第一电子设备包括开关。

10.根据权利要求9所述的方法，其中所述第一命令包括用于设置所述开关的接通/断开状态的命令。

11.根据权利要求10所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述开关的接通/断开状态的所述命令之后，所述开关的接通/断开状态。

12.根据权利要求2所述的方法，其中所述第一电子设备包括门锁。

13.根据权利要求12所述的方法，其中所述第一命令包括用于设置所述门锁的锁定/解锁状态的命令。

14.根据权利要求13所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述门锁的锁定/解锁状态的所述命令之后，所述门锁的锁定/解锁状态。

15.根据权利要求2所述的方法，其中所述第一电子设备包括车库门。

16.根据权利要求15所述的方法，其中所述第一命令包括用于设置所述车库门的打开/闭合状态的命令。

17.根据权利要求16所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述车库门的打开/闭合状态的所述命令之后，所述车库门的打开/闭合状态。

18.根据权利要求2所述的方法，其中所述第一电子设备包括恒温器。

19.根据权利要求18所述的方法，其中所述第一命令包括用于设置所述恒温器的温度设定数值的命令。

20.根据权利要求19所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述恒温器的温度设定数值的所述第一命令之后，所述恒温器的温度设定数值。

21.根据权利要求2所述的方法，还包括响应于确定已经满足预先确定的条件，输出与所述第一电子设备的所述当前状态相关联的通知。

22.根据权利要求2所述的方法，其中所述用户设备包括用于存储多个电子设备中的每个电子设备的状态的数据库，所述多个电子设备包括所述第一电子设备，并且其中所述方法还包括至少部分地基于从所述第一电子设备接收的所述第一电子设备的所述当前状态来更新存储在所述数据库中的所述第一电子设备的状态。

23.根据权利要求2所述的方法，其中所述方法还包括基于所述第一命令以及从所述第一电子设备接收的所述第一电子设备的所述当前状态来输出所述第一命令的结果的指示，其中所述结果的所述指示是音频指示、视觉指示或者音频指示和视觉指示两者。

24.根据权利要求1所述的方法，其中所述用户设备包括移动电话、台式计算机、膝上型计算机、平板计算机、便携式媒体播放器、电视机、电视机顶盒或可穿戴电子设备。

25.根据权利要求1至24中任一项所述的方法，还包括：

在接收到所述第二音频输入之前，从所述一个或多个服务器接收：

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第二电子设备的标识；以及

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第二电子设备执行的第二命令；

将所述第二命令传输到所述第二电子设备；

在将所述第二命令传输到所述第二电子设备之后，从所述第二电子设备接收所述第二电子设备的当前状态；以及

将所述第二电子设备的所述当前状态传输到所述一个或多个服务器。

26.一种用于在用户设备上使用虚拟助理来控制电子设备的系统，包括：

用于执行根据权利要求1至25中任一项所述的方法的装置。

27.一种用户设备，包括：

处理单元，所述处理单元被配置为：

由所述用户设备接收包括用户语音的音频输入；

将与所述音频输入对应的数据传输到一个或多个服务器；

从所述一个或多个服务器接收：

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第一电子设备的标识；和

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第一电子设备执行的第一命令；

将所述第一命令传输到所述第一电子设备；

在将所述第一命令传输到所述第一电子设备之后，接收第二音频输入；

根据所述第二音频输入向所述第一电子设备传输状态查询；

从所述第一电子设备接收所述第一电子设备的当前状态；以及

向所述一个或多个服务器传输所述第一电子设备的所述当前状态，以存储为配置的至少一部分，其中所述配置定义响应于引用所述配置的命令而使用的多个对应的电子设备的多个状态。

28.根据权利要求27所述的用户设备，其中所述处理单元被进一步配置为：

在将所述第一命令传输到所述第一电子设备之后，并且在接收到所述第二音频输入之前，从所述第一电子设备接收所述第一电子设备的当前状态；以及

将所述第一电子设备的所述当前状态传输到所述一个或多个服务器。

29.根据权利要求28所述的用户设备，其中所述处理单元被进一步配置为：

响应于确定已经满足预先确定的条件，输出与所述第一电子设备的所述当前状态相关联的通知。

30.根据权利要求28所述的用户设备，包括用于存储多个电子设备中的每个电子设备的状态的数据库，所述多个电子设备包括所述第一电子设备，并且其中所述用户设备的所述处理单元被进一步配置为至少部分地基于从所述第一电子设备接收的所述第一电子设备的所述当前状态来更新存储在所述数据库中的所述第一电子设备的状态。

31.根据权利要求28所述的用户设备，其中所述处理单元被进一步配置为基于所述第一命令以及从所述第一电子设备接收的所述第一电子设备的所述当前状态来输出所述第一命令的结果的指示，其中所述结果的所述指示是音频指示、视觉指示或者音频指示和视觉指示两者。

32.根据权利要求27至31中任一项所述的用户设备，其中所述处理单元被进一步配置为：

在接收到所述第二音频输入之前，从所述一个或多个服务器接收：

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第二电子设备的标识；和

由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第二电子设备执行的第二命令；

将所述第二命令传输到所述第二电子设备；

在将所述第二命令传输到所述第二电子设备之后，从所述第二电子设备接收所述第二电子设备的当前状态；以及

将所述第二电子设备的所述当前状态传输到所述一个或多个服务器。

33.一种非暂态计算机可读存储介质，包括用于执行根据权利要求1至25中任一项所述的方法的指令。

34.一种用于在用户设备上使用虚拟助理来控制电子设备的系统，包括：

根据权利要求33所述的非暂态计算机可读存储介质；以及

一个或多个处理器，能够执行所述非暂态计算机可读存储介质的指令。

Images