CN112840345A - 用于提供跨多个电器的便携式自然语言处理接口的系统和方法 - Google Patents

Abstract

公开了一种为多种类型的电器提供便携式基于语音的控制用户界面的方法和系统。方法包括：激活语音控制设备的内置的语音通信接口；选择第一目标电器以接收基于语音的命令；接收第一语音输入；根据确定第一目标电器是第一电器类型的第一电器，使用与第一电器类型相对应的内置的NLP模块的第一NLP模型来处理第一语音输入，以获得第一机器命令，并将第一机器命令发送到第一电器；以及根据确定第一目标电器是不同于第一电器类型的第二电器类型的第二电器，使用与第二电器类型相对应的内置的NLP模块的第二NLP模型来处理第一语音输入，以获得第二机器命令，并将第二机器命令发送到第二电器。

Description

用于提供跨多个电器的便携式自然语言处理接口的系统和 方法

交叉引用

本申请要求于2018年10月15日提交的美国专利申请No.16/160929的优先权，该美国专利申请的公开内容通过参引全部合并到本文中。

技术领域

本公开涉及用于控制电器的基于语音的用户界面领域，特别地涉及用于提供跨多个电器的便携式(portable)自然语言处理(NLP)接口的方法和系统。

背景技术

近来，基于语音的数字助手，如苹果的SIRI(苹果智能语音助手)、亚马逊的Echo(亚马逊智能音箱)、谷歌的Google Assistant(谷歌助手)和微软的Cortana(微软小娜)，已经被引入市场来处理各种任务，例如家用电器控制、网络搜索、日程、提醒等等。这种基于语音的数字助手的一个优势在于用户可以以解放双手的方式与装置交互，而不需要拿着甚至看着该装置。传统地，为了启动基于语音的数字助手，用户向基于语音的数字助手说出触发短语(例如，预定的唤醒词或命令)，或者与耦接到以控制基于语音的数字助手的用户装置进行交互(例如，通过在智能手机上打开应用程序并按下用户界面上的虚拟按钮)。基于语音的数字助手在其被激活后解释其接收的语音命令，并执行动作(例如，提供信息性回答和/或发送编码指令以控制外围设备，例如智能家居环境中的电器)。

然而，使用传统的基于语音的数字助手来控制多个电电器有许多限制。例如，传统的基于语音的数字助手效率不高，因为它们需要在环境中不断收听语音命令。传统的基于语音的数字助手还需要连接到因特网才能访问服务器，以进行复杂而强大的自然语言处理(NLP)。然而，因特网可访问性不仅需要加入在数字助手上的某些硬件和软件，而且还会给用户带来隐私问题。此外，传统的基于语音的数字助手与能够处理各种各样语音命令的复杂NLP模型一起使用。然而，这种复杂NLP模型难以训练和升级，且很费时间，并且降低了使用这种复杂NLP模型的准确性和效率。此外，传统的基于语音的数字助手不能提供足够的移动性来满足用户在特定环境内(例如，在家中)的各个位置进行各种活动时控制多个电器的需求。即使可以使用用户装置(例如，智能手机)来控制基于语音的数字助手，用户仍然必须与用户装置进行交互以将命令发送到基于语音的数字助手，尤其当用户在从事各种活动时，这不方便且效率低。另外，传统的基于语音的数字助手是专有的，并且只能与昂贵的高端型号的电器和/或由指定制造商生产的电器一起使用。

因此，提供便携式NLP接口来改善控制多个电器的方式将是有益的。

发明内容

电器因此，需要一种使用成本低、功耗低的便携式语音控制设备(例如，便携式NLP接口、便携式NLP设备)来控制多个电器(和/或其他装置)的方法和系统。语音控制设备不需要连接到服务器或因特网即可进行复杂的NLP处理。此外，语音控制设备可对每个个人用户的需求进行定制，并适用于不同型号和/或不同制造商的多种类型的电器。

以下描述的实施例提供了用于通过具有内置的语音通信接口、内置的数据通信接口、以及包括多个NLP模型的内置的NLP模块的语音控制设备来控制多个电器的系统和方法。其中，相应的NLP模型用于多个电器中的每个电器。语音控制设备不持续收听语音命令。相反，如本文所公开的，通过预定义的触发事件来激活内置的语音通信接口，以开始收听来自用户的语音命令。这样，本文所公开的语音控制设备能够被制成小巧，便携和低功耗。此外，语音控制设备能够通过语音命令来确定选择哪个要控制的目标电器，并且相应的NLP模型用于处理所接收的语音命令以获得用于控制所选择的目标电器的机器命令。

语音控制设备的NLP模块易于定制、升级并适用于不同的电器类型。例如，语音控制设备能够存储与用户在环境中(例如，在家中)拥有和/或共同使用的一个或多个电器类型相对应的一个或多个NLP模型。此外，能够根据对应电器类型的电器的用户的常用功能和/或首选功能对每个单独的NLP模型进行定制。这样，本文公开的语音控制设备不需要与由服务器操作的复杂NLP模型一起工作。相反，语音控制设备轻巧、可定制、并且可以完全从因特网脱机工作，从而确保语音控制设备能够有效地、准确地处理用户的语音命令来控制电器，同时保护用户的隐私并降低花费在实现装置安全措施上的成本。此外，通过使用用户装置作为语音控制设备和服务器(例如，NLP服务器)之间的中介，语音控制设备不需要其自己的图形用户界面(例如，在语音控制设备上不需要显示器或触摸感应板)。

如本文所公开的，在一些实施方式中，为多种类型的电器提供便携式的基于语音控制的用户界面的方法包括：在语音控制设备(语音控制设备具有一个或多个处理器、存储器、内置的数据通信接口、内置的语音通信接口以及内置的自然语言处理(NLP)模块，数据通信接口被配置为与多种类型的电器(所述电器被配置为响应不同的机器命令集以执行相应的电器操作)建立数据通信、语音通信接口被配置为接受来自用户的基于语音的输入、NLP模块存储在所述语音控制设备存储器中，其中NLP模块包括用于多种类型的电器中每种电器的相应NLP模型)处：检测用户请求以激活语音控制设备的内置的语音通信接口；响应于检测到所述用户请求以激活所述语音控制设备的内置的语音通信接口：激活语音控制设备的内置的语音通信接口；以及根据一个或多个目标选择标准，为待通过语音控制设备的内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器；在内置的语音通信接口保持激活且当前选择的第一目标电器不变的情况下，通过语音控制设备的内置的语音通信接口接收第一语音输入；响应于接收到第一语音输入：根据确定第一目标电器是第一电器类型的第一电器，使用内置的NLP模块的对应于第一电器类型的第一NLP模型处理第一语音输入，以获取第一机器命令，并通过内置的数据通信接口将第一机器命令发送给第一电器；根据确定所述第一目标电器是不同于所述第一电器类型的第二电器类型的第二电器，使用所述内置的NLP模块的对应于所述第二电器类型的第二NLP模型来处理所述第一语音输入，以获得第二机器命令，并通过内置的数据通信接口将第二机器命令发送到第二电器。

根据一些实施例，语音控制设备包括：被配置为与多种类型的电器(被配置为响应不同的机器命令集以执行相应的电器操作)建立数据通信的内置的数据通信接口、被配置为接受来自用户的基于语音的输入的内置的语音通信接口、以及存储在所述语音控制设备的存储器中的内置的NLP模块，其中，NLP模块包括针对多种类型的电器中的每一种类型的电器相应的NLP模型、一个或多个处理器、以及存储指令的存储器，当由一个或多个处理器执行指令时，该指令使处理器执行本文所述的任何方法的操作。根据一些实施例，提供了一种语音控制设备，该语音控制设备包括用于执行本文描述的任何方法的装置。根据一些实施例，提供了一种计算机可读存储介质(例如，非瞬态计算机可读存储介质)，该计算机可读存储介质存储一个或多个程序用于由语音控制设备的一个或多个处理器来执行，一个或多个程序包括用于执行本文所述任何方法的指令。

根据以下描述，本申请的各种优点是显而易见的。

附图说明

在下文中，在结合附图进行优选实施例的详细描述后，将更清楚地理解所公开技术的上述特征和优点及其附加特征和优点。

为了更清楚地描述本公开技术的实施例或现有技术中的技术方案，以下简要介绍用于描述实施例或现有技术的附图。显然，下列描述中的附图仅仅显示了本公开技术的一些实施例，并且本领域的普通技术人员无需创造性努力，仍然可以从这些附图中导出其他附图。

图1是示出了根据一些实施例的包括可由语音控制设备控制的多个电器的操作环境的框图。

图2是示出了根据一些实施例的网络配置的框图，在该网络配置中，语音控制设备与用户装置一起工作以定制语音控制设备。

图3是根据一些实施例的针对用于语音控制设备中的电器类型的示例性NLP模型的框图。

图4是根据一些实施例的为多种类型的电器提供基于语音控制的用户界面的方法的流程图。

图5A至图5C、图5D-1、图5D-2、图5E-1和图5E-2是示出了根据一些实施例的激活语音控制设备的语音通信接口的各种实施例的框图。

图6A至图6B是示出了根据一些实施例的使用语音控制设备来控制多种类型的电器的各种操作场景的框图。

图7是根据一些实施例的为多种类型的电器定制便携式基于语音控制的用户界面的方法的流程图。

图8A至图8G示出了根据一些实施例的用于为多种类型的电器定制便携式基于语音控制的用户界面的系统和用户界面的示例。

图9A是示出了根据一些实施例的用于控制多种类型的电器的语音控制设备的框图。

图9B是示出了根据一些实施例的用于针对多种类型的电器定制语音控制设备的用户装置的框图。

类似的附图标记指代附图的多个视图中相应的部件。

具体实施方式

现在将详细参考实施例，实施例的示例在附图中示出。在下面的详细描述中，提出了许多具体的细节，以提供对在这里提出的主题的全面理解。但是很明显对于本领域的技术人员而言，可以在没有这些具体的细节的情况下实施本主题。在其他情况下，没有详细描述已知的方法、过程、组件和电路，以免不必要地模糊了实施例的各个方面。

参考本申请实施例中的附图，以下清晰而完整地描述了本申请实施例中的技术解决方案。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部实施例。本领域的普通技术人员在没有创造性努力的情况下，基于本申请的实施例获得的所有其他实施例均将落入本申请的保护范围。

图1是根据一些实施例的包括可由语音控制设备控制的多个电器124的操作环境100的框图。在一些实施例中，操作环境100是家庭环境，例如在家中的厨房。在一些实施例中，家庭环境100包括第一家用电器，例如，位于天花板附近的厨房墙壁上的空调124(a)。在一些实施例中，家庭环境100进一步包括第二家用电器，例如冰箱124(c)，其位于两个其他家用电器之间，例如烤箱124(d)和微波炉124(b)之间，所有这三个电器都放置在厨房内。在一些实施例中，家庭环境100还包括安装在厨房的墙上的储物柜124(e)。

在一些实施例中，语音控制设备102包括：内置的语音通信接口104，内置的语音通信接口可以包括内置的麦克风或任何其他语音记录装置，以收集包括来自环境的语音输入的音频数据；以及语音识别模块，以从所收集的音频数据中识别语音命令。在一些实施例中，与传统的基于语音的数字助手不同，语音通信接口104不是持续地激活以收听用户的语音命令。相反，可以根据预定义的触发事件来激活语音通信接口104，例如，检测到语音控制设备102上的按钮被按下、检测到语音控制设备102转向特定方向、通信接口(例如，用于一个(或多个)电器的数据通信接口108或用于用户装置的通信接口114)被激活、或者语音控制设备102被物理耦接(例如，连接)到电器124。一旦语音通信接口104被激活，那么语音通信接口104被配置为从用户122接收语音命令(例如，基于语音的输入、语音输入)，以控制操作环境100中的一个或多个电器124。

在一些实施例中，语音控制设备102能够与厨房中的不同类型的电器通信，如图1中虚线所示的“可能的通信路径”。在一些实施例中，在每个控制会话中仅选择一个电器。在一些实施例中，如图1中的实线所示的“用于所选择的目标电器的机器命令”，一个控制会话对应于何时激活语音控制设备102的语音通信接口104，并且选择电器(例如，微波炉124(b))以由语音控制设备102控制并保持在当前会话中保持不变。在一些实施例中，语音控制设备102包括目标选择模块106，目标选择模块被配置为选择将由被语音控制设备102处理过的用户的语音命令控制的目标电器。使语音控制设备102在每个会话中与一个电器通信可以减少不同电器之间的混乱，并提高在语音控制设备102处将语音命令处理到机器命令中的效率。这是因为不同的电器可能具有相同的语音命令，或者相同的语音命令可能对应于不同的电器中的不同操作。例如，用户的语音输入“打开”可以对应于打开微波炉124(b)的电源或打开炉灶124(d)的电源。在另一个示例中，“打开风扇”可以对应于打开空调124(a)的风扇模式，或者打开炉灶124(d)的通风风扇。因此，有必要弄清楚在当前会话中哪个电器被选择以被控制(例如，目标电器是图1中的微波炉124(b))，以便语音控制设备102可以将语音命令转化为对应的机器命令，并通过语音控制设备102的数据通信接口108将机器命令发送到目标电器，以有效并准确地执行用户请求的操作。

在一些实施例中，语音控制设备102包括自然语言处理(NLP)模块130，自然语言处理模块包括分别对应于多种类型的电器的多个NLP模型132。在一些实施例中，相应的NLP模型被配置为处理语音命令以获得机器命令，以使对应的电器执行语音命令所要求的操作。在一些实施例中，相同的语音命令可以由不同的NLP模型处理以获得针对不同电器的不同机器命令。在一些实施例中，语音控制设备102中的相应的NLP模型是基于模板的模型或状态机，其可以用于处理许多与相应的电器相关的相同数量的预定操作对应的语音命令，以获得可由相应的电器读取的相同数量的机器命令，以执行相应的预定操作。由于与特定电器有关的命令的数量有限，因此包括NLP模型132的NLP模块130具有较小的占用空间和较高的识别精度。即使语音控制设备102中包括多个NLP模型132，语音控制设备102仍然能够在本地执行所有NLP处理，而无需过多的存储使用或来自服务器的支持。在一些实施例中，NLP模块130包括NLP模型注册表136，NLP模型注册表存储在语音控制设备102处的多个NLP模型132的标识符，这些标识符分别与多个电器类型的标识符相关联。在一些实施例中，NLP模块130包括NLP模型选择模块134，NLP模型选择模块被配置为根据NLP模型注册表136中存储的关系来选择NLP模型132，以处理针对所选择的目标电器的语音命令。

在一些实施例中，语音控制设备102包括数据通信接口108，数据通信接口用于将机器命令发送到一个或多个电器。在一些实施例中，数据通信接口108在一个会话期间仅与一个电器(例如，所选择的目标电器)交换数据(例如，机器命令或其他类型的消息)。例如，在目标选择模块106确定当前会话的目标电器之后，针对与所选择的目标电器进行通信的数据通信接口108(例如，子接口)被激活。在一些实施例中，数据通信接口108能够与一个以上的电器(和/或装置)交换数据。然而，数据通信接口108被配置为在一个控制会话期间仅与一个目标电器进行通信。在一些实施例中，数据通信接口108包括硬件(例如，天线、芯片、连接器等)和/或软件(例如，通信协议等)。在一些实施例中，数据通信接口108支持一个或多个通信方法，包括无线数据通信，例如，蓝牙、Wi-Fi、近场通信(NFC)、或ZigBee、或基于连接器的数据通信(例如USB连接)。在一些实施例中，语音控制设备102包括通信接口114，通信接口被配置为与用户装置(例如，图2的用户装置202)交换数据(例如，语音命令数据、一个(或多个)NLP模型等)。在一些实施例中，通信接口114支持一种或多种通信方法，包括无线数据通信，例如，蓝牙、Wi-Fi、NFC、或紫蜂(ZigBee)、或基于连接器的数据通信(例如，USB连接)。

在一些实施例中，语音控制设备102包括NLP模型下载模块116，NLP模型下载模块被配置为根据电器类型的用户选择以及针对每个所选择的电器类型的电器功能的用户选择，从用户装置202下载一个或多个NLP模型，以被加入到NLP模块130中。在一些实施例中，语音控制设备102包括语音命令存储器112，语音命令存储器被配置为存储从用户的语音输入收集的语音命令数据，以分别控制一个或多个电器的功能。在一些实施例中，语音控制设备102包括语音命令上传模块118，语音命令上传模块被配置为将语音命令数据从语音命令存储器112上传到用户装置202，以分别更新对应的NLP模型。

在一些实施例中，语音控制设备102包括电池110，电池被配置为向语音控制设备102的各种功能供电。这些功能包括但不限于：激活语音通信接口104、通过选择目标选择模块106选择目标电器、通过语音通信接口104接收语音输入、使用NLP模块130处理语音输入以获得针对目标电器对应的机器命令、通过数据通信接口108发送获取的机器命令、通过到用户装置202的通信接口114与用户装置(例如，图2的用户装置202)通信、通过NLP模型下载模块116从用户装置202下载NLP模型、将从用户122处接收的语音命令存储在语音命令存储器112中作为用于更新语音控制设备102的NLP模型的训练样本、以及通过语音命令上传模块118将语音命令从语音命令存储器112上传到用户装置202。在一些实施例中，语音控制设备102能够在连接至电源时或者在耦接至连接到电源的电器时为电池110充电。在一些实施例中，语音控制设备102不包括显示器、用户交互显示器或触摸感应板。在一些实施例中，语音控制设备102可以包括一个或多个指示器，以可视地向用户指示当前选择的目标电器。

图2是示出了根据一些实施例的网络配置200的框图，在该网络配置中，语音控制设备102与用户装置202一起工作以定制语音控制设备102。在一些实施例中，可选地，网络配置200根据客户端-服务器模型来实现。在一些实施例中，网络配置200包括在家庭环境100(例如，如图1所示的厨房环境)中工作的语音控制设备102和用户装置202，以及通过云网络240与家庭环境100可通信地耦接的服务器系统220。在图1中讨论的一些实施例中，家庭环境100包括一个或多个家用电器124(图2未示出)。在一些实施例中，客户端环境100(例如，家庭环境100)进一步包括用户装置202(例如，智能电话、平板电脑、个人计算机或中央通信集线器)。

在一些实施例中，服务器系统220包括一个或多个处理模块，例如，模型训练模块222、存储在数据库224中的数据和模型、到客户端228的输入/输出(I/O)接口以及I/O与外部服务230的I/O接口。在一些实施例中，面向客户端的I/O接口228促进了服务器系统220的面向客户端的输入和输出处理。例如，可选地，基于与每个相应的电器类型的一个或多个功能相关的语音命令数据，服务器系统220为一个或多个电器类型提供模型训练服务。数据库和模型224包括来自一个或多个用户(包括用户122)的语音命令、以及针对每个用户和/或用户家庭的用户数据，例如个人用户的账号数据(例如，图像、年龄、性别、特征等)、以及用户界面配置偏好和限制等。在一些实施例中，模型训练模块222使用来自数据库224的数据和模型来分别训练针对电器类型的NLP模型。

在一些实施例中，服务器系统220还与外部服务240(例如，一个(或多个)电器制造商服务、一个(或多个)家电控制服务、一个(或多个)导航服务、一个(或多个)消息传递服务、一个(或多个)信息服务、一个(或多个)日历服务、一个(或多个)社交网络服务等等)通过一个(或多个)网络240通信，以完成任务或获取信息。到外部服务230的I/O接口促进了这种通信。

在一些实施例中，服务器系统220能够在至少一个数据处理设备和/或计算机的分布式网络上实现。在一些实施例中，服务器系统220还采用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟装置和/或服务来提供服务器系统220的底层计算资源和/或基础设施资源。

一个或多个通信网络240的示例包括局域网(LAN)和广域网(WAN)，例如，因特网。一个或多个通信网络110可以使用任何已知的网络协议来实现，包括各种有线或无线协议，例如，以太网，通用串行总线(USB)、火线(FIREWIRE)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙，Wi-Fi、互联网协议语音(VoIP)、Wi-MAX、或任何其他合适的通信协议。

用户装置202的示例包括但不限于：蜂窝电话、智能电话、手持计算机、可穿戴计算设备(例如，头盔显示器HMD)、个人数字助理(PDA)、平板电脑、笔记本电脑、台式电脑、增强型通用分组无线服务(EGPRS)手机、媒体播放器、导航设备、游戏机、电视、遥控器、销售点(POS)终端、车载计算机、电子书阅读器、现场计算机亭、移动销售机器人、人形机器人或这些数据处理装置或其他数据处理装置中的任何两个或多个的组合。

如参考图2和图9B所讨论的，相应的用户装置202可以包括一个或多个客户端模块，客户端模块执行与服务器系统220的服务器端模块中所讨论的相类似的功能。相应的用户装置202还可以包括一个或多个数据库，该数据库存储与服务器系统220的数据库224类似的各种类型的数据。

在一些实施例中，在图2中未示出的其他模块中，用户装置202包括设备连接模块204，设备连接模块被配置为(例如，无线地或通过基于连接器的连接)连接到语音控制设备102。在一些实施例中，用户装置202进一步包括设备配置模块206，设备配置模块被配置为对语音控制设备102执行初始配置。例如，用户可以根据用户的需求和/或偏好选择一个或多个电器，以及每个电器的一个或多个功能，以为他或她自己的家庭定制语音控制设备102。在一些实施例中，用户装置202包括NLP模型下载模块208，NLP模型下载模块被配置为根据用户从服务器系统220中的选择来下载一个或多个NLP模型。在一些实施例中，用户装置202还包括NLP模型加入模块210，NLP模型加入模块被配置为将下载的NLP模型加入到语音控制设备102的NLP模块130。在一些实施例中，用户装置202包括NLP模型更新模块212，NLP模型更新模块被配置为根据语音控制设备102中收集的用户的语音命令更新(例如，定制)NLP模型。例如，NLP模型更新模块212能够确定模型函数的相应权重，并基于所收集的用户的语音命令样本来调整现有模型函数的相应权重。在一些实施例中，用户装置202包括语音输入管理模块214，语音输入管理模块被配置为从语音控制设备102检索用于控制一个或多个电器的用户的语音命令数据，并且将该语音命令数据上传到服务器系统220，以进行训练和/或更新NLP模型。在一些实施例中，用户装置202包括被配置为训练NLP模型的NLP模型训练模块216。在一些实施例中，用户装置202的NLP模型训练模块216与服务器系统220的模型训练模块222类似。

在一些实施例中，如本文所述，用于定制本文公开的语音控制设备的NLP模型训练和更新以及用户界面配置由服务器220远程提供、或由用户装置202本地提供、和/或通过服务器220与用户装置202之间的合作联合提供。

上述示例仅是出于说明性的目的提供。语音控制设备102和用户装置202的功能的更多细节在下面分别根据图4和图7所示的流程图进行阐述。

图3是根据一些实施例的针对用于语音控制设备102中的电器类型(例如，图1中的炉灶124(d))的示例性NLP模型310的框图。如本文讨论的，语音控制设备102中的相应NLP模型310(例如，对应于图1中的NLP模型132)是基于模板的模型或状态机，能够用于处理有限数量的与相应的电器相关的相同数量的预定操作对应的语音命令类型。例如，如图3所示，有限数量的语音命令：包括语音命令302-1“开机”、语音命令302-2“打开风扇”、语音命令302-3“加热到450F”和语音命令302-4“加热5分钟”。包括与使用炉灶124(d)的这些功能有关的用户的语音命令的数据样本，只要是与来自其他用户的这些功能有关的语音命令，都可以用于训练NLP模型310。因此，能够获得与炉灶124(d)相关联的预定操作相对应的相同数量的机器命令。这些机器命令能够被炉灶124(d)识别以执行对应的操作。例如，命令320-1“xx5002xEP00”对应于语音命令302-1“开机”、命令320-2“xx5011110010”对应于语音命令302-2“打开风扇”、命令320-3“xx5120x1AF10”对应于语音命令302-3“加热到450F”，命令320-4“xx51140CE010”对应于语音命令302-3“加热5分钟”。如本文讨论的，对于针对不同电器的另一NLP模型，相同的语音命令对应于该另一电器可识别的不同机器命令。

图3所示的语音命令和对应的机器命令仅是示意性的。在各种实施例中，用于控制相应的电器的其他语音命令和对应的机器命令是可能的。使用语音控制设备102和用户装置202的功能的更多细节在下面分别根据图4和图7所示的流程图进行阐述。

图4是根据一些实施例的为多种类型的电器提供基于语音控制的用户界面的方法400的流程图。在一些实施例中，(402)在具有存储器和一个或多个处理器的语音控制设备(例如，图1的语音控制设备102)处执行方法400。在一些实施例中，语音控制设备102包括内置的数据通信接口(例如，图1的数据通信接口108)，内置的数据通信接口被配置为与多种类型的电器(例如，图1的电器124(a)-(e))建立数据通信，该多种类型的电器被配置为响应不同的机器命令集以执行相应的电器操作。在一些实施例中，数据通信接口108使用插入到电器上的对应接口的引脚或连接器来实现基于连接器的通信。在一些实施例中，数据通信接口108使得能够无线通信，包括但不限于蓝牙、Wi-Fi、NFC、ZigBee、超声、自然声(acoustics)或磁共振。在一些实施例中，根据用于不同类型的电器(包括不同的电器品牌和型号)的特定机器通信和命令协议来格式化相应的机器命令集。在一些实施例中，每种电器类型(例如，包括电器品牌和型号)具有其自己的电器功能集。

在一些实施例中，语音控制设备102包括内置的语音通信接口(例如，图1的语音通信接口104)，内置的语音通信接口被配置为接受来自用户的基于语音的输入。在一些示例中，内置的语音通信接口包括内置的麦克风和语音记录装置。

在一些实施例中，语音控制设备102还包括存储在语音控制设备102的存储器中的NLP模块(例如，NLP模块130)。在一些实施例中，NLP模块130包括多个NLP模型(例如，图1的NLP模型132(a)-132(c))，并且相应的NLP模型被配置为用于多种类型的电器中的每一种类型的电器。在一些示例中，第一NLP模型用于处理用于炉灶(例如，炉灶124(d))的语音命令，第二NLP模型用于处理用于冰箱(例如，冰箱124(c))的语音命令，第三NLP模型用于处理用于洗衣机的语音命令，第四NLP模型用于处理用于烘干机的语音命令。在一些实施例中，NLP模块130具有用于语音控制设备102被配置为控制的每种电器类型的相应NLP模型132。例如，用户已经选择了电器和功能，并通过配置过程将特定的NLP模型下载到语音控制设备102。在一些实施例中，针对每种电器类型的NLP模型将语音输入直接分类为电器类型的相应机器命令。由于与特定电器相关的命令的数量有限，因此NLP模型具有较小的占用空间和较高的识别精度。即使语音控制设备包括多个NLP模型，语音控制设备仍可以本地执行所有NLP处理，而无需过多的内存使用或来自服务器的支持。

在一些实施例中，NLP模块130为每种类别的电器使用组合NLP模型。例如，不同品牌和型号的炉灶属于一类电器，而不同品牌和型号的冰箱则属于另一类电器。针对每种类别的电器的组合NLP模型进行训练，以识别对应于电器类别的通用功能集的语音命令。组合NLP模型还被配置为将识别的语音命令转换为针对在该电器类别下多个不同电器品牌和/或型号中选定的一个的相应机器命令(例如，根据特定的机器通信和命令协议格式化)。由于同一类别的电器在电器功能上有很多重叠，因此针对在同一电器类别下不同的电器品牌和型号将NLP模型的命令识别部分进行组合，有助于减少语音控制设备的总体处理和存储要求，而不会对组合NLP模型的识别精度产生负面影响。

在一些实施例中，便携式语音控制设备102不包括图形用户界面、用户交互显示器、触摸感应板或显示器。在一些实施例中，语音控制设备102可以包括小型LED或LCD屏，LED或LCD屏简单地显示语音控制设备的状态信息，例如，时间/日期、电源开/关、语音通信接口激活/未激活、当前与哪个电器连接。

方法400包括检测(404)用户请求以激活语音控制设备102的内置的语音通信接口(例如，图1的语音通信接口104)。方法400进一步包括响应于检测到用户请求以激活语音控制设备的内置的语音通信接口(406)：激活(408)语音控制设备102的内置的语音通信接口104，例如，激活内置的麦克风和录音设备以收听用户的语音输入。方法400还包括根据一个或多个目标选择标准，为待通过语音控制设备102的内置的语音通信接口104接收的一个或多个基于语音的命令选择(410)第一目标电器(例如，烤箱、冰箱、洗衣机、空调等)。图5A至图5C、图5D-1、图5D-2、图5E-1和图5E-2是示出了根据一些实施例的激活语音控制设备102的语音通信接口104的各种实施例的框图。

在一些实施例中，一个或多个目标选择标准是基于通过激活的数据通信接口接收的数据通信。例如，一旦设备已经通过数据通信接口108建立了与电器的数据连接，那么电器发送电器类型标识符。在一些实施例中，目标选择标准是基于语音控制设备102的方向。例如，语音控制设备102的各个面(例如，图5B中设备的哪一侧朝上)被预先分配为与某种电器类型相关联。在一些实施例中，目标选择标准是基于用户按下哪个电器选择按钮。例如，如图5A所示，每个按钮都已被预先分配为与某个电器类型相关联，并且可以通过检查按下了哪个按钮来确定目标电器。

在一些实施例中，检测用户请求以激活内置的语音通信接口104包括：检测与语音控制设备的预定义部分的用户交互。例如，语音控制设备102包括设置在语音控制设备102的外表面上的多个硬件激活按钮(例如，图5A的物理按钮502、504、506、508、510和512)。在一些实施例中，用户请求能够以在语音控制设备102的硬件激活按钮上按下按钮的形式出现。

在一些实施例中，根据确定语音控制设备的预定义部分被预先分配为与第一目标电器相关联，语音控制设备102的目标选择模块106为通过语音控制设备的内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器。例如，通过按下相应的物理按钮(图5A)，然后，为通过激活的内置的语音通信接口104接收的一个或多个基于语音的命令选择多种类型的电器中的对应类型的电器。

在一些实施例中，检测用户请求以激活内置的语音通信接口104包括：检测语音控制设备的预定义定向状态。在一些实施例中，目标选择模块106根据确定语音控制设备的预定义定向状态被预先分配为与第一目标电器相关联，为语音控制设备的内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器。例如，当第一面朝上时，将与第一面相关联的电器类型的电器(例如冰箱)选择为目标电器。或者，当第二面朝上时，将与第二面相关联的电器类型的电器(例如，微波炉)选择为目标电器。在一些实施例中，语音控制设备102包括陀螺仪(例如，图5B的陀螺仪520)，以及具有设置在语音控制设备102的外表面上的多个面(例如，图5B的小平面522、524和526)。在一些实施例中，各个面被预先指定为与多种类型的电器中的电器类型相关联。例如，面522被预先指定为与冰箱相关联，面524被预先指定为与炉灶相关联，以及面526被预先指定为与微波炉相关联。在一些实施例中，用户请求包括改变语音控制设备102的方位，例如将设备上下颠倒，或将设备改变为与期望的电器类型相对应的特定方位。

在一些实施例中，响应于激活数据通信接口108，内置的语音通信接口104被激活。例如，如图5C所示，语音控制设备102被插入电器(例如，图5C的炉灶124(d))的通信接口中(例如，图5C的USB连接530)以使语音控制设备102能够和炉灶124(d)之间数据通信。在另一个示例中，如图5D-1所示，将语音控制设备102放置在与微波炉124(b)非常近的位置(例如，靠近)或与微波炉直接接触(例如，直接放置在微波炉上)以激活语音控制设备102和微波炉124(b)之间的NFC 540。响应于激活数据通信，语音通信接口104被激活以接收用于控制一个(或多个)电器的用户语音命令。另一方面，如图5D-2所示，当语音控制设备102离微波炉124(b)太远时，在语音控制设备102和微波炉124(b)之间没有建立NFC。

在一些实施例中，如图5E-1和图5E-2所示，当语音控制设备102包括可附着到电器(例如，冰箱124(c))表面的磁体550时，激活内置的语音通信接口104。磁体550到冰箱124(c)的附接可导致开关552闭合，这进一步触发语音通信接口104的激活。

如本文公开的，在一些实施例中，检测用户请求以激活内置的语音通信接口包括：检测语音控制设备物理耦接(例如，通过磁性附接(例如，图5E-1和图5E-2)、通过连接器连接(例如，图5C的USB))到多种类型的电器中的相应类型的电器。在一些实施例中，一个或多个目标选择标准根据确定语音控制设备102物理耦接到电器(例如，图5C中的炉早124(d)、图5D-1和图5D-2中的微波炉124(b)、图5E-1和5E-2中的冰箱124(c))，要求电器被选择为第一目标电器。在一些实施例中，语音控制设备102激活内置的数据通信接口108，以通过语音控制设备102和目标电器之间的物理连接将机器命令传输到第一目标电器。

在一些实施例中，检测用户请求以激活内置的语音通信接口包括：检测语音控制设备已被带入到多种类型的电器中相应的一种类型的电器的阈值距离内。在一些实施例中，语音控制设备配备有运动传感器，且当用户将其拾取并随着用户在房间中走动而与用户一起移动时，语音控制设备被激活以收听来自电器的通信请求。插入连续电源的电器能够周期性地向语音控制设备发出通信请求，且当语音控制设备被带入到特定电器的阈值距离内时，特定电器的通信请求将被语音控制设备接听。在一些实施例中，当用户激活电器上的预定义按钮时(当语音控制设备在用户的口袋中，而用户站在特定电器旁边，且用户按下电器上的语音控制激活按钮时)，特定电器将向语音控制设备发送通信请求。在一些实施例中，语音控制设备配备有传感器，例如，物体/障碍物检测传感器(例如，红外传感器、雷达或超声传感器)，以当具有语音控制设备的用户走到电器的阈值距离之内时检测电器。

在一些实施例中，根据检测到语音控制设备在第一目标电器的阈值距离之内(例如，图5D-1和图5D-2)，目标选择模块106为一个或多个待通过语音控制设备的内置的语音通信接口接收的基于语音的命令选择第一目标电器。在一些实施例中，语音控制设备进一步被配置为基于基于通信请求检测到的物体的尺寸、形状、位置来识别电器类型。

在一些实施例中，方法400进一步包括：响应于检测到用户请求以激活语音控制设备的内置的语音通信接口，激活内置的数据通信接口，内置的数据通信接口被配置为向多种类型的电器中的一个或多个电器发送机器命令。在一些实施例中，为了节省能量消耗，语音控制设备的内置的数据通信接口不是一直打开的。在一些实施例中，当内置的语音通信接口被激活时，内置的数据通信接口被激活。在一些实施例中，当内置的语音通信接口被停用时，内置的数据通信接口被停用(例如，进入睡眠，自动变为非激活状态)。在一些实施例中，当语音控制设备与一个或多个装置(例如，电器)无线通信时，内置的数据通信接口被激活以能够与任何其他可通信装置/电器进行通信。在一些实施例中，内置的数据通信接口包括多个通信信道(或频带)，以分别与多个装置和/或电器通信。例如，相应的通信信道可以具有与另一通信信道不同的频率范围，以减少与不同装置的通信之间的干扰。在一些实施例中，当语音控制设备物理耦接到电器时(例如，如参考图5C、图5D-1、图5D-2、图5E-1和图5E-2所讨论的)，或当触发预先分配为与电器相关联的相应物理特性时(例如，如参考图5A至图5B所讨论的)，激活内置的数据通信接口。

在一些实施例中，方法400还包括：根据通过激活的内置的数据通信接口接收到包括识别第一目标电器的电器类型的电器类型标识符的消息，为待通过语音控制设备的内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器。在一些实施例中，在激活内置的数据通信接口之后，语音控制设备通过内置的数据通信接口接收消息，以识别将被选择为目标电器的电器的电器类型。在一些实施例中，当语音控制设备物理地耦接到电器时，语音控制设备通过语音控制设备和要被选择为目标电器的电器之间的物理耦接方法(例如，USB)来接收消息。在一些实施例中，语音控制设备从要被选择为目标电器的电器接收消息。在一些实施例中，当激活的内置的数据通信能够与用户装置(例如，移动电话、平板电脑、个人电脑等)进行通信时，语音控制设备从用户装置接收识别目标电器的消息。例如，在使用与语音控制设备相关联的应用程序或与目标电器相关联的电器时，通过从用户装置上显示的电器列表中选择目标电器的电器类型，由用户从用户装置发送消息。在一些实施例中，语音控制设备的内置的语音通信接口持续地开启或周期性地开启，且语音控制设备根据接收识别要被选择为目标电器的电器的电器类型的消息，来选择目标电器。有就是说，如本文公开的，目标电器的选择可以不与内置的数据通信接口的激活相关联。

在一些实施例中，检测用户请求以激活语音接口的方法与选择目标电器的方法相关联。在一些实施例中，这两个方面可以不必彼此关联。例如，用户仅将语音控制设备附着在冰箱上仅是为了激活语音通信接口。然后，通过按下预分配为与语音控制设备上的冰箱相关联的预定义按钮，将冰箱选择为目标电器。在另一个示例中，数据通信接口由物理附件(例如，通过USB)激活，然后语音控制设备从冰箱接收包括冰箱标识符的消息，然后语音控制设备选择冰箱作为目标电器。在又一个示例中，语音控制设备包括可以理解简单语音命令的经过NLP训练的模型。在激活语音通信接口后，用户可以说“冰箱”。语音控制设备能够理解这种简单的命令，并且目标选择模块将继续选择冰箱作为目标电器，以进行以下步骤。

在一些实施例中，在检测到用户请求以激活内置的语音通信接口之前，语音控制设备102的内置的语音通信接口104是非激活的。在一些实施例中，为了低能耗的目的和用户隐私保护，语音控制设备不是一直在收听。内置的语音通信接口和相关的硬件(例如，麦克风)在接收到触发事件(例如，接收到用户请求激活语音通信接口)之前是非激活的。也就是说，如果用户随机地给出语音输入，则语音控制设备将不响应于语音输入。在一些实施例中，内置的语音通信接口可以按预定的时间表周期性地唤醒，例如，在上午11点的午餐准备时间期间，并在下午12：30进入非激活状态，并在工作日的下午5点至晚上7点的晚餐时间唤醒。

在一些实施例中，在激活内置的语音通信接口之后，方法400包括：在预定时间段内保持内置的语音通信接口104处于激活状态。例如，如果在预定时间段内(例如，1分钟、2分钟、3分钟、5分钟或10分钟)没有接收到语音输入，则内置的语音通信接口104进入非激活状态。在一些示例中，内置的语音通信接口104进入非激活状态，直到接收到停用内置的语音通信接口的用户请求(例如，通过按下按钮以关闭麦克风、改变面、从目标电器摘机/分离语音控制设备、将语音控制设备的位置更改为超出目标电器的范围)。

在一些实施例中，内置的数据通信接口108对应于选自包括以下无线通信协议的组的无线通信协议：蓝牙、Wi-Fi、NFC、ZigBee、超声、自然声(acoustics)和磁共振。

在一些实施例中，在接收第一语音输入之前，方法400进一步包括：根据分别针对多个电器类型的多个电器功能集的用户选择，获取多个NLP模型并安装在内置的NLP模块130中。每个NLP模型对应于针对相应的电器类型的相应的电器功能集。在一些实施例中，基于由一个或多个用户发出的语音命令数据来训练相应的NLP模型，以控制相应的电器类型的相应的电器以执行对应的电器功能集。

在一些实施例中，方法400进一步包括：在根据一个或多个目标选择标准选择了第一目标电器之后，与第一目标电器建立第一无线数据通信。例如，在选择第一目标电器之后，语音控制设备通过蓝牙或NFC与第一目标电器进行配对。

在一些实施例中，方法400进一步包括检测第二用户请求以从第一目标电器切换到第二目标电器，该第二目标电器将由用户通过语音控制设备的内置的语音通信接口使用一个或多个基于语音的命令来控制。在一些示例中，用户将语音控制设备从第一电器(例如，冰箱)上拆下，然后将其附接到第二电器(例如，微波炉)上。在一些实施例中，用户可以按下另一个物理按钮或改变到不同的定向状态，该不同的定向状态分别与来自第一目标电器的电器类型的不同的电器类型相关联。在一些实施例中，响应于检测到第二用户请求，方法400包括：为待通过内置的语音通信接口接收的一个或多个基于语音的命令选择第二目标电器；停用与第一目标电器的第一数据通信；以及建立第二数据通信以将机器命令发送到第二目标电器。因此，在本公开中，一次建立到一个目标电器的连接，以节省能量消耗并避免复杂的数据通信硬件/软件配置。

在内置的语音通信接口保持激活并且当前选择的第一目标电器保持不变的情况下(例如，当语音控制设备尚未移至不同的电器或尚未经历满足针对不同目标电器的目标选择标准的其他更改时，以及当自激活麦克风以来超时时间尚未过期时)，方法400包括：通过语音控制设备的内置的语音通信接口接收(412)第一语音输入(例如，“打开电源。”、“关闭烤箱。”、“将电源设置为高。”、“打开风扇。”、“激活早晨操作配置文件。”、“激活省电模式。”等等)。响应于接收(414)到第一语音输入，方法400包括：根据确定第一目标电器(例如，第一目标电器是炉灶)是第一电器类型的第一电器，使用与第一电器类型相对应的内置的NLP模块的第一NLP模型(例如，仅使用与炉灶的功能对应的语音命令训练的语言模型)来处理(416)第一语音输入(例如，“打开风扇”。)，以获得第一机器命令(例如，机器命令xx5002xEP00)，以及通过内置的数据通信接口将第一机器命令发送(416)到第一电器(例如，炉灶)。根据确定第一目标电器(例如，目标电器是空调)是不同于第一电器类型的第二电器类型的第二电器，方法400包括：使用与第二电器类型相对应的内置的NLP模块的第二NLP模型(例如，仅使用与空调功能相对应的语音命令训练的语言模型)处理(418)第一语音输入(例如，“打开风扇”。)，以获得第二机器命令(例如，机器命令xx5011110010)，以及通过内置的数据通信接口将第二机器命令发送(418)到第二电器。

图6A至图6B是示出了根据一些实施例的使用语音控制设备102来控制多种类型的电器的各种操作场景的框图。在一些实施例中，当语音控制设备被附着或放置在第一目标电器微波炉124(b)附近时，用户说出语音命令602“打开电源”。语音控制设备使用与微波炉124(b)对应的NLP模型处理语音命令602，以获得机器命令604xx5002xEP00以打开微波炉124(b)的电源。在目标电器从第一电器微波炉124(b)切换到第二目标电器炉灶124(d)之后，语音控制设备随后使用对应于微波炉124(b)的其他NLP模型处理语音命令612“打开电源”，以获得机器命令614xx5170xAB14以打开微波炉124(b)的电源。

在一些实施例中，语音控制设备的NLP模型选择模块134基于存储在存储器中的NLP模型注册表136，从存储在内置的NLP模块130中存储的多个NLP模型中选择相应的NLP模型。例如，NLP模型注册表136存储分别与多个电器类型的标识符相关联的多个NLP模型的标识符。NLP模型注册表136可以在初始设置过程期间被创建/定制(例如，由用户定制)，并且能够在用户想要删除或添加一个或多个NLP模型以控制一个或多个电器的功能集时进行更新。在识别出第一电器类型的第一标识符之后(例如，在选择目标电器时)，设备从NLP模型注册表136中检索对应的NLP模型的标识符，然后从NLP模块130中检索对应的NLP模型，以处理语音输入。

在一些实施例中，选择第一目标电器进一步包括：确定内置的NLP模块是否存储有与第一目标电器的电器类型相对应的NLP模型。例如，NLP模块存储注册表，该注册表列出了分别与电器类型ID相关联的多个NLP模型的模型ID。例如，在接收到第一目标电器的电器类型标识之后，NLP模块检查其注册表以查看是否为该特定电器类型存储有NLP模型。根据确定内置的NLP模块存储有与第一目标电器的电器类型对应的NLP模型，NLP模型选择模块134选择与第一目标电器的电器类型对应的NLP模型。根据确定内置的NLP模块没有存储与第一目标电器的电器类型对应的NLP模型，语音控制设备将错误消息返回到第一目标电器。例如，然后电器通知用户不存在NLP模型，并建议用户使用用户的移动电话从NLP模型服务器中检索NLP模型。在一些实施例中，当已经存储在语音控制设备处的一个(或多个)NLP模型(例如，在注册表中列出)有更新时，电器(或耦接到语音控制设备的用户装置)也可以通知用户。

在一些实施例中，语音控制设备进一步包括电池110，其中，方法400进一步包括：响应于建立与第一目标电器的数据通信，第一目标电器通过内置的数据通信接口为语音控制设备的电池110充电。例如，语音控制设备通过USB或连接到电器的电缆充电。在另一个示例中，可以通过内置的数据通信接口对电池进行无线充电，如此不需要其他电源线。例如，充电可以响应于激活与目标电器的数据通信接口，或响应于选择目标电器来进行。例如，在一些实施例中，语音控制设备可以不包括电池，其中，仅当语音控制设备连接至电器以通过电容器或无线地(例如，射频无线充电)接收电力时，该语音控制设备才具有电力，然后需要语音控制设备具有小型无线充电模块，该模块包括接收线圈，以接收射频信号的磁场并将其传输为交流电流，然后通过整流器将交流电流转换为直流电流，从而为电池充电。

在一些实施例中，响应于开始对语音控制设备的电池充电(例如，通过与电器的有线或无线耦接)，方法400进一步包括：通过广播数据通信请求消息来搜索用户装置，其中，用户装置被配置为与训练包括第一NLP模型和第二NLP模型的多个NLP模型的NLP模型服务器通信。在一些实施例中，在初始定制过程中，语音控制设备广播可以被与语音控制设备预配对/预关联的用户装置(例如，用户装置的标识符已经存储在语音控制设备中的注册表中)接收的信号。如果设备在阈值时间内无法找到手机，则设备将休息并开始充电。

在一些实施例中，方法400进一步包括：分别从与管理一个或多个电器相关联的一个或多个用户的语音输入收集语音数据(例如，收集语音样本以针对一种或多种类型的电器训练和更新一个或多个NLP模型)。根据确定语音控制设备已经建立与用户装置(该用户装置能够与被配置为训练包括第一NLP模型和第二NLP模型的多个NLP模型的NLP模型服务器进行通信)的数据通信连接，方法400包括：将收集的语音数据发送到用户装置，以转发到NLP模型服务器以分别更新与一个或多个电器类型的一个或多个电器相对应的一个或多个NLP模型。在一些实施例中，当语音控制设备耦接到移动电话时(例如，在初始设置/定制过程中或在充电期间，设备搜索并找到移动电话)，语音控制设备将最新的语音输入数据上载到移动电话，以及移动电话将语音输入数据转发给NLP服务器，以训练和更新对应的NLP模型。在一些实施例中，方法400包括：在收集的语音数据上传到用户装置后的预定时间段之后，从语音控制设备删除收集的语音数据，以便例如释放语音控制设备上的存储空间。在一些实施例中，方法400包括：在收集语音数据后的预定时间段之后，从语音控制设备删除收集的语音数据，以便例如释放语音控制设备上的存储空间。

应理解的是，图4中已描述的操作的特定顺序仅是示例性的，并不旨在指示所描述的顺序是可以执行操作的唯一顺序。本领域普通技术人员将认识到重新排序本文描述的操作的各种方式。另外，应注意的是，相对于关于本文描述的其他方法和/或过程，本文描述的其他过程的细节也可以以类似的方式适用于上述方法400。

图7是根据一些实施例的为多种类型的电器定制便携式基于语音控制的用户界面的方法700的流程图。图8A至图8G示出了根据一些实施例的用于为多种类型的电器定制便携式基于语音控制的用户界面的系统和用户界面的示例。在一些实施例中，方法700在具有一个或多个处理器、存储器和显示器的用户装置202(例如，智能电话或平板设备或台式计算机)处执行。在一些实施例中，方法700包括建立(702)与语音控制设备102的数据通信连接。在本文讨论的一些实施例中，语音控制设备102具有：内置的数据通信接口(例如，图1的数据通信接口108)，内置的数据通信接口被配置为与多种类型的电器(例如，炉灶、冰箱、微波炉、洗衣机、干衣机、空调等)建立数据通信，该多种类型的电器被配置为响应不同的机器命令集(例如，根据针对不同类型的电器(包括不同的电器厂家和型号)的特定机器通信和命令协议格式化相应的机器命令集)，以执行相应的电器操作(例如，每种电器类型(例如，包括电器厂家和型号))具有其自己的电器功能集)；内置的语音通信接口(例如，图1的语音通信接口104)，配置为接受来自用户的基于语音的输入；以及存储在语音控制设备的存储器中的内置的NLP模块(例如，图1的NLP模块130)，其中，NLP模块被配置为存储多个NLP模型，并根据针对当前接收的语音输入所指定的目标电器选择性地使用所述多个NLP模型中的相应的一个NLP模型。

在一些实施例中，数据通信连接的建立由用户驱动。例如，用户将设备拆箱并手动将设备连接到用户装置、或者按下设备上的按钮、转向与用户装置相关联的面，以无线连接(例如，蓝牙配对)到用户装置。在另一个示例中，用户首先在用户装置上打开与设备管理相关联的应用程序，浏览功能列表，然后点击以“连接”到设备。在这种情况下，除非语音控制设备物理连接到用户装置或手动触发以“收听”，否则要求语音控制设备能够收听。在一些实施例中，数据通信连接的建立由装置驱动(例如，语音控制设备开始充电并搜索用户装置)。

在一些实施例中，方法700包括：检测(704)第一用户请求以更新语音控制设备的NLP模块。在一些示例中，请求的形式为打开与语音控制设备相对应的用户应用程序，并从用户应用程序的图形用户界面中选择更新功能；或响应用户装置中显示的提示/通知。例如，如图8A所示，在用户装置202的用户界面800上显示多个应用程序图标。用户装置202检测用户手势806以打开显示在对应于语音控制设备的GUI(图形用户界面)800上的应用804(“美的应用”)。在一些实施例中，响应于检测(706)到第一用户请求以更新语音控制设备的NLP模块：方法700进一步包括：建立(708)与语音控制设备对应的NLP模型服务器(例如，图2中的服务器220)的连接。例如，如图2所示，用户装置通过一个(或多个)网络240连接到NLP模型服务器220。

在一些实施例中，方法700进一步包括：于显示器上在图形用户界面(例如，图8B至图8C中的图形用户界面800)中显示(710)电器类型的列表(图8B的美的家用电器830)以及针对每种电器类型的相应的电器功能的列表(图8C的美的家用电器和功能840)。例如，如图8B所示，用户在家用电器列表中选择(832)空调、微波炉和冰箱，表示用户想要在语音控制设备102上安装对应的NLP模型，使得用户可以通过语音控制设备102使用语音命令来控制这些电器。

在一些实施例中，方法700进一步包括：接收(712)在图形用户界面中显示的针对第一电器类型的第一电器功能集和用于第二电器类型的第二电器功能集的用户选择。例如，如图8C所示，用户选择与空调相关联的所有功能，使得用于使用所有语音命令来控制空调的完整的NLP模型将被加入到语音控制设备102中。另一方面，用户针对微波炉选择了一些而不是全部功能。例如，用户可能不喜欢使用预编程的烹饪模式功能。反之，除了打开和关闭电源外，用户在使用微波炉时通常还会调节温度、功率水平、定时。因此，定制的NLP模型将被加入到语音控制设备102中，以适应用户排除“烹饪模式开/关”功能的需求，并使用语音命令仅控制针对微波炉的所选择的功能。

在一些实施例中，方法700进一步包括：响应于接收(714)针对第一电器类型的第一电器功能集和针对第二电器类型的第二电器功能集的用户选择：从NLP模型服务器(例如，图2的服务器系统220)下载(716)关于针对第一电器类型的第一电器功能集的语音命令来训练的第一NLP模型，以及关于针对第二电器类型的第二电器功能集的语音命令来训练的第二NLP模型。

在一些实施例中，如果用户未选择关于针对其他电器类型的电器功能的语音命令来训练的NLP模型，则不会从服务器上下载它们。在一些实施例中，用户输入包括用户请求以删除已下载的NLP模型(例如，已经存储在语音控制设备上的NLP模型也被显示(例如，以选中或选择的形式出现)在图形用户界面中的电器类型和电器功能的列表中)，以及响应于请求(例如，用户为已下载的特定NLP模型取消对电器类型选择)，用户装置将删除信号发送到语音控制设备以删除用户已选择的要删除的NLP模型。

在一些实施例中，方法700进一步包括：将下载的第一NLP模型和第二NLP模型加入(718)到语音控制设备的NLP模块(例如，图1的NLP模块130)中。在一些实施例中，方法700进一步包括：为第一NLP模型和第二NLP模型建立注册表标识符，并将注册表标识符存储到NLP模块130的NLP模型的主表中。在一些实施例中，方法700进一步包括：建立NLP模块130与第一和第二NLP模型132之间的输入和输出接口，使得NLP模块130能够根据针对当前接收的语音输入指定的目标电器，选择性地使用存储在语音控制设备上的现有NLP模型中的第一NLP模型和第二NLP模型132。

在一些实施例中，建立与语音控制设备的数据通信连接包括：当语音控制设备正在为语音控制设备的电池充电时，从语音控制设备接收数据通信请求。例如，如图8E所示，当插入语音控制设备102进行充电时，语音控制设备102开始搜索用户装置202。在一些实施例中，当语音控制设备102(例如，基于从先前的连接建立的关系)找到用户装置202时，用户装置202显示提示860(例如，“语音控制设备想要连接”)，以询问用户对语音控制设备的连接到用户装置202的请求的响应。在一些实施例中，当用户在用户界面800上选择866“接受”864之后，用户装置202建立与语音控制设备102的(例如，无线)数据通信。然后，用户与用户装置202进行交互，以更新NLP模型和/或语音控制设备102将存储的训练数据上传到用户装置202。

在一些实施例中，响应于将语音控制设备连接到用户装置，检测到第一用户请求以更新语音控制设备的NLP模块130。例如，如图8D所示，语音控制设备102通过无线通信方法或USB连接可通信地耦接到用户装置102。在建立语音控制设备102和用户装置102之间数据通信后，用户装置202显示提示885060(例如，“语音控制设备已连接，是否要更新NLP模块？”)，以询问用户对NLP模块更新请求的响应。在一些实施例中，用户在用户界面800上选择856“确认”854之后，用户装置继续更新语音控制设备102中的NLP模块130。

在一些实施例中，检测第一用户请求以更新语音控制设备的NLP模块包括：检测用于启动如下用户应用程序的用户输入：所述用户应用程序用于管理所述用户装置中的语音控制设备；以及检测针对用户应用程序的图形用户界面中显示的更新功能的用户选择。在一些实施例中，语音控制设备的更新NLP模块可以是第一次设置设备，或者稍后更新/调整现有的NLP模型。

在一些实施例中，方法700进一步包括：在语音控制设备处将第一NLP模型加入到NLP模型模块中之后：建立与语音控制设备的数据通信连接。这是在初始数据通信连接以设置设备之后执行的。例如，用户能够将语音控制设备插入到用户装置，或者使用应用程序选择无线连接到语音控制设备，或者语音控制设备能够在给电池充电时搜索用户装置并提示通知用户。方法700进一步包括：从语音控制设备接收来自用户的一个或多个语音命令的语音数据，以控制针对第一电器类型的第一电器功能集；建立与NLP模型服务器的连接后，将语音数据上传到与语音控制设备对应的NLP模型服务器；在NLP模型服务器使用一个或多个语音命令的语音数据更新第一NLP模型之后，从NLP模型服务器接收第一NLP模型；以及将调整的第一NLP模型加入到语音控制设备的NLP模块中。在一些实施例中，NLP模型服务器使用来自用户的一个或多个语音命令的语音数据来更新第一NLP模型，以基于这个特定语音控制设备的用户(例如，所有者)的声音特征(例如，方言)来进一步定制NLP模型。

在该实施例中，使用来自用户的新语音数据来更新(例如，定制)NLP模型。用户装置将收集的语音数据从语音控制设备中继到NLP服务器。在一些实施例中，语音控制设备累积在未连接到用户装置的期间内接收的语音数据。当语音控制设备具有到用户装置的数据通信连接时，或者由用户驱动(例如，用户手动将语音控制设备连接到用户装置，或者按下语音控制设备上的按钮、转动面，以连接(例如，蓝牙配对)到用户装置，然后打开语音控制应用程序，并选择UI(用户界面)上的功能以上传语音数据并更新NLP模型)或由设备驱动(例如，设备开始充电并搜索用户装置)。在一些实施例中，累积的语音数据的上传既可以在设备连接到用户装置后自动执行，也可以响应于由用户输入触发的用户请求而被执行，例如，在应用程序的GUI上，用户选择功能来“上传新的语音数据样本并更新NLP模型”。

在一些实施例中，在语音控制设备将累积的语音数据上传到用户装置之后，用户装置将语音数据转发到NLP服务器220以训练/更新第一NLP模型。在一些实施例中，NLP服务器220仅基于来自语音控制设备的语音数据来训练/更新NLP模型，使得NLP模型能够具有更高的准确度和对设备所有者的家庭的定制化(例如，家庭中一个(或多个)用户的语音特性和家庭中常用的命令)。在一些实施例中，NLP服务器基于来自语音控制设备的语音数据，以及在相同电器类型但来自不同家庭的NLP服务器处收集的语音数据来训练/更新NLP模型。当不同用户在同一房屋(例如，在具有如本文所述的语音控制设备的爱彼迎(Airbnb)公寓/联排别墅/房屋中)内使用同一电器时，或由多个学生或青年工人租用的房屋中，预计将会接待具有不同方言和不同电器使用行为的人，这种类型的NLP模型可以具有更高的准确性。

在一些实施例中，方法700进一步包括：在语音控制设备处将第一NLP模型加入到NLP模型模块中之后：建立与语音控制设备的数据通信连接；从语音控制设备接收来自用户的一个或多个语音命令的语音数据，以控制针对第一电器类型的第一电器功能集；基于在用户装置处的一个或多个语音命令的语音数据，调整第一NLP模型(例如，通过图2的NLP模型更新模块212)；以及将调整的第一NLP模型加入到语音控制设备的NLP模块中。在一些实施例中，用户装置包括NLP模型训练模块216和/或NLP模型更新模块212，NLP模型训练模块和/或NLP模型更新模块被配置为基于新的数据样本来训练(确定模型函数的各个权重)和/或调整现有模型函数的相应权重。

在一些实施例中，由用户装置用新的语音数据来更新NLP模型，用户装置能够在用户装置本地训练/调整/调优/更新一个或多个NLP模型。在一些实施例中，用户装置仅基于来自该家庭的语音数据来训练/更新第一NLP模型。这种类型的家庭定制的NLP模型能够提供更高的准确性(例如，基于更多的定制和集中的样本)并提升用户体验(例如，更好的定制；例如，命令的方言或个人偏好)。这是第一NLP模型已经安装在设备上之后执行的。

在一些实施例中，每次语音控制设备与用户装置有数据连接时，语音控制设备将存储在设备处的累积的语音数据发送到用户装置。然而，由于每次数据样本的大小有限，因此用户装置或NLP服务器逐渐训练/更新相应的一个(或多个)NLP模型。在一定时间(例如，1个月、2周或1周)后，用户装置或NLP服务器将生成更新后的一个(或多个)NLP模型的新版本。然后，用户装置将一个(或多个)NLP模型的新版本加入到语音控制设备处的NLP模块130中。

在一些实施例中，方法700进一步包括：在语音控制设备处将第一NLP模型加入到NLP模型模块中之后：建立与语音控制设备的数据通信连接；接收第一用户输入，以从图形用户界面中显示的电器类型的列表和针对每种电器类型的相应的电器功能的列表中取消对针对第一电器类型的第一电器功能集的选择，其中，与针对第一电器类型的第一电器功能集对应的第一NLP模型已经被加入到语音控制设备的NLP模块中；以及响应于第一用户输入，向语音控制设备发送删除命令，以从语音控制设备的NLP模块中删除第一NLP模型。

在一些实施例中，方法700进一步包括：在语音控制设备处将第一NLP模型加入到NLP模型模块中之后：建立与语音控制设备的数据通信连接；接收第二用户输入，第二用户输入从图形用户界面中显示的电器类型的列表和针对每种电器类型的相应的电器功能的列表中取消对来自针对第一电器类型的第一电器功能集的第一电器功能子集的选择，其中，与针对第一电器类型的第一电器功能集对应的第一NLP模型已经被加入到语音控制设备的NLP模块中；向NLP模型服务器发送请求，以基于从针对第一电器类型的第一电器功能集中去除的第一电器功能子集来调整第一NLP模型；下载调整的第一NLP模型，调整的第一NLP模型被更新以从针对第一电器类型的第一电器功能集中排除第一电器功能子集；以及将调整的第一NLP模型加入到语音控制设备的NLP模块中。在一些实施例中，通过与剩余电器功能相对应的语音命令样本来对调整后的第一NLP模型进行训练，并从调整的NLP模型中去除基于针对删除的电器功能的语音命令样本的训练效果。

在一些实施例中，该实施例涉及取消对不常用的功能子集的选择，并相应地更新模型，这是在NLP服务器上执行的。在一些实施例中，这个过程通常在用户打开应用程序以查看和编辑在图形用户界面中显示的电器类型的列表和针对每个电器类型的相应的电器功能的列表时执行。通常，语音控制设备和用户装置之间的数据通信也是响应于用户事件而建立，例如，将语音控制设备插入到用户装置，或者按下语音控制设备上的按钮以连接到用户装置。在一些实施例中，当语音控制设备开始为其电池充电并搜索并找到用户装置时，还可以触发数据通信，并当在手机上接收到“发现设备”的通知后，用户可以打开应用程序与列表进行交互。由用户定制设备功能列表，例如，删除用户未使用的功能子集(例如，参考图3，减少语音命令302的数量，使得模型310的复杂度降低，且减少输出机器命令320)，能够提高对应的NLP模型的准确性(例如，减少含糊不清的语音命令样本，增加相关样本)，提高NLP模型的处理速度(例如，减少模板、模型、语料库)，并由于NLP模型的尺寸减小，而节省存储空间。

在一些实施例中，上述取消对不常用功能子集的选择、并更新模型的方法也可以在用户装置本地进行。在一些实施例中，方法700进一步包括：在语音控制设备处将第一NLP模型加入到NLP模型模块中之后：建立与语音控制设备的数据通信连接；接收第二用户输入，以从图形用户界面中显示的电器类型的列表和针对每种电器类型的相应的电器功能的列表中取消对来自针对第一电器类型的第一电器功能集的第一电器功能子集的选择，其中，与针对第一电器类型的第一电器功能集对应的第一NLP模型已经被加入到语音控制设备的NLP模块中；基于从针对第一电器类型的第一电器功能集中去除的第一电器功能子集来调整第一NLP模型；以及将调整的第一NLP模型加入到语音控制设备的NLP模块中。在一些实施例中，通过与剩余电器功能相对应的语音命令样本来对调整后的第一NLP模型进行训练，并从调整后的NLP模型中去除基于删除的电器功能的语音命令样本的训练效果。

在一些实施例中，方法700进一步包括：在语音控制设备处将第一NLP模型加入到NLP模型模块中之后：建立与语音控制设备的数据通信连接；检测针对第一电器类型的第一电器功能集的一个或多个功能的更新；以及根据对所检测到的一个或多个功能的更新的用户选择，在显示器上显示用于更新第一NLP模型的提示。在一些实施例中，第一电器的功能已经由连接到制造商服务器的第一电器本身在第一电器处进行更新。

在如图8F所示的一些实施例中，当电器124(b)有更新(例如，软件功能升级或硬件召回/调整)时，能够通过因特网(例如，图8F的网络240)与制造商服务器(例如，图8F的外部服务240)通信的电器(例如，图8F的微波炉124(b))能够周期性地连接到制造商服务器240或由制造商服务器240进行ping，以更新其功能(以及存储在电器处的相应功能的列表)。一旦在该电器124(b)和语音控制设备102之间建立了数据通信，语音控制设备102就从电器124(b)接收有针对电器的功能的列表的更新的通知。在一些实施例中，语音控制设备102为电器124(b)更新其当前的NLP模型注册表136，以指示可能需要更新语言模型。在语音控制设备102标记该更新状态之后，在下次在语音控制设备102与用户装置202之间建立数据通信时，语音控制设备102将该更新报告给用户装置202。在一些实施例中，在检测到有对特定电器的功能更新后，语音控制设备102主动搜索用户装置(例如，当剩余电池电量允许时)，并通知用户装置这些更新。当在语音控制设备102与用户装置202之间建立数据通信时，用户装置检查存储在语音控制设备102处的NLP注册表136或上述升级的电器的功能的列表，并检测到有电器功能的更新。然后，用户装置202在GUI 800上显示消息(例如，图8F的消息872)提示，以询问用户是否应更新电器124(b)的相应NLP模型132(例如，“微波功能已经更新，您是否要更新NLP模块以能够语音控制这些新功能？”)。然后，用户装置202可以仅显示电器(例如，微波炉)的升级的功能，或者在与电器相关联的所有功能的列表880(图8G)中包括/加入的更新的功能(例如，如图8G所示，用户可以选择扩展功能的列表)，以供用户相应地选择更新电器124(b)的NLP模型。在一些实施例中，这是一种通知用户电器的功能升级的方式(通过电器124(b)和语音控制设备102之间的初始连接，然后语音控制设备102与用户装置202之间的连接)，并向用户提供选择，以基于用户的偏好来更新相应的电器的NLP模型132，以适应升级的功能(例如，图8G中列出的加粗下划线的功能)的语音控制。在一些示例中，某些功能升级对用户来说可能是不需要的(例如，图8G中用户未选择使用微波烹饪烧烤菜肴的新功能)，因此，用户可以选择不在语音控制设备上包括对应的NLP模型的一个或多个功能子集，以避免给语音控制设备带来负担。另一方面，用户可能对使用语音命令来控制微波炉烹饪意大利面的新功能感兴趣。因此，用户在用户界面上勾选针对意大利面的方框，并且与微波炉相对应的NLP模型将更新，以排除与烹饪烧烤有关的功能，但包括与使用微波炉烹饪意大利面有关的功能。

应当理解的是，图7中描述的操作的特定顺序仅仅是示例性的，并不是为了表明所描述的顺序是可以执行操作的唯一顺序。本领域的普通技术人员会认识到各种方式来重新排列本文描述的操作。此外，应当注意的是，本文描述的其他方法和/或过程的细节也以类似的方式适用于上述方法700。

图9A是示出了语音控制设备102的框图。语音控制设备102包括一个或多个处理单元(CPU)902、一个或多个网络接口904、存储器906、以及用于将这些组件(有时称为芯片组)相互连接的一个或多个通信总线908。语音控制设备102还包括用户界面910。可选地，用户界面910包括一个或多个输出装置912，使得能够呈现媒体内容，输出装置包括一个或多个扬声器和/或一个或多个视觉显示器。在一些实施例中，语音控制设备102不包括任何输出设备。用户界面910还包括一个或多个输入装置914，输入装置包括语音命令输入单元或麦克风。在一些实施例中，语音控制设备102不包括触摸屏显示器、触摸感应板、或手势捕捉摄像头、或其他输入按钮或控件。在一些实施例中，语音控制设备102包括存储器906。存储器906包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储装置；并且，可选地，包括非易失性存储器，例如，一个或多个磁盘存储装置、一个或多个光盘存储装置、一个或多个闪存装置或一个或多个其他非易失性固态存储装置。可选地，存储器506包括从一个或多个处理单元902远程定位的一个或多个存储装置。存储器906，或者存储器906内的非易失性存储器包括非瞬态计算机可读存储介质。在一些实施例中，存储器906或存储器906的非瞬态计算机可读存储介质存储以下程序、模块和数据结构、或其子集或超集：

·操作系统918，包括用于处理各种基本系统服务和执行与硬件有关的任务的过程；

·网络通信模块920，用于通过一个或多个网络接口904(有线或无线)将语音控制设备102连接到与一个或多个网络连接的其他计算机装置(例如，服务器系统220)或用户装置202(例如，智能电话或平板电脑)；

·语音通信模块922，用于接受来自用户的语音输入；

·数据通信模块924，用于与多种类型的电器建立数据通信，该多种类型的电器被配置为响应不同的机器命令集，以执行相应的设备操作；

·NLP处理模块926，用于处理来自用户的语音输入以获得机器命令来控制对应的电器，NLP处理模块926包括：

οNLP模型选择模块928，用于为目标电器选择NLP模型；以及

οNLP模型注册模块930，用于记录NLP模型与相应的电器之间的关系；

·通信接口932，用于在语音控制设备102和用户装置202之间建立数据通信，包括：

οNLP模型下载模块934，用于从服务器系统220下载NLP模型；以及

ο语音命令上传模块936，用于上传在语音控制装置中收集的语音命令数据，用于更新NLP模型；

·数据库940，包括：

ο从用户控制电器收集的语音命令942；

οNLP模型944(例如，图1的NLP模型132)；以及

οNLP模型注册表946(例如，图1的NLP模型注册表136)。

图9B是示出了根据一些实施例的表示用户装置202的框图。用户装置202通常包括一个或多个处理单元(CPU)952(例如，处理器)、一个或多个网络接口954、存储器956以及用于将这些组件(有时称为芯片组)相互连接的一个或多个通信总线958。用户装置202还包括用户界面960。用户界面960包括一个或多个输出装置962，使得能够呈现媒体内容，输出装置包括一个或多个扬声器和/或一个或多个视觉显示器。用户界面960还包括一个或多个输入装置964，输入装置包括便于用户输入的用户界面组件，例如，键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏感应板、手势捕捉摄像头、一个或多个摄像头、深度摄像头或其他输入按钮或控件。此外，一些用户装置202使用麦克风和语音识别或摄像头和手势识别来补充或替换键盘。在一些实施例中，用户装置202进一步包括传感器，传感器提供关于用户装置202的当前状态或与用户装置202相关联的环境条件的上下文信息。传感器包括但不限于一个或多个麦克风、一个或多个摄像头、环境光传感器、一个或多个加速度计、一个或多个陀螺仪、GPS定位系统、蓝牙或BLE(低功耗蓝牙)系统、温度传感器、一个或多个运动传感器、一个或多个生物传感器(例如皮肤电刺激传感器)、脉搏血氧仪等)和其他传感器。存储器956包括高速随机存取存储器，例如DRAM，SRAM，DDR RAM或其他随机存取固态存储装置；以及，可选地，包括非易失性存储器，例如，一个或多个磁盘存储装置，一个或多个光盘存储装置，一个或多个闪存装置或一个或多个其他非易失性固态存储装置。可选地，存储器956包括从一个或多个处理单元952远程定位的一个或多个存储装置。存储器956或存储器956内的非易失性存储器包括非瞬态计算机可读存储介质。在一些实施方式中，存储器956或存储器956的非瞬态计算机可读存储介质存储以下程序、模块和数据结构、或其子集或超集：

·操作系统966，包括用于处理各种基本系统服务和执行与硬件有关的任务的过程；

·通信模块968，用于通过一个或多个网络接口954(有线或无线)将用户装置202连接到与一个或多个网络240连接的其他计算即装置(例如，服务器系统220)；

·用户输入处理模块970，用于从一个或多个输入装置964中的一个输入装置检测一个或多个用户输入或交互，并解释检测到的输入或交互；

·一个或多个由用户装置202执行的应用程序974(例如，支付平台、媒体播放器和/或其他基于网络或非基于网络的应用程序)；

·客户端模块，包括语音命令设备管理模块974，包括但不限于：

ο设备连接976，用于建立与语音控制设备102的数据连接；

ο设备配置模块978，用于对语音控制设备102进行初始配置；

οNLP模型下载模块980，用于根据用户的选择，从服务器系统220下载一个或多个NLP模型；

οNLP模型加入模块982，用于将下载的NLP模型加入至语音控制设备102的NLP模块130；

οNLP模型更新模块984，用于根据在语音控制设备102中收集的用户的语音命令来更新(例如，定制)NLP模型；

ο语音输入管理模块986，用于从语音控制设备102中检索用于控制一个或多个电器的用户语音命令数据；

οNLP模型训练模块988，用于训练NLP模型；以及

ο用于执行本文阐述的其他功能的其他模块；以及

·客户端数据库990，用于存储数据和模型，包括但不限于：

ο语音输入992；

οNLP模型994；以及

ο用户数据996(例如，客户名称、年龄、收入水平、颜色偏好、先前购买的产品、产品类别、产品组合/组合、先前查询的产品、过去的交货位置、交互渠道、交互的位置、购买时间、交货时间、特殊要求、身份数据、人口统计数据、社交关系、社交网络账户名称、社交网络发布或评论、与销售代表、客户服务代表或送货人员的互动记录、偏好、不喜欢、情绪、信仰、习俗、个性、气质、互动风格等)。

上述确定的元素中的每一个都可以存储在一个或多个前述的存储器装置中，并且对应于执行上述功能的指令集。上述确定的模块或程序(即，指令集)不需要作为单独的软件程序、程序、模块或数据结构来实现，因此，这些模块的各种子集可以在各种实施例中组合或以其他方式重新排列。在一些实施例中，可选地，存储器506存储上述确定的模块和数据结构的子集。此外，可选地，存储器506存储未在上面描述的附加模块和数据结构。

虽然上面描述了特定的实施例，可以理解的是，这并不是为了将本申请限制在这些特定的实施例中。相反，本申请包括在所附权利要求的精神和范围内的替代物、修改和等同物。为了彻底理解本文提出的主题，阐述了许多具体细节。但对于本领域的普通技术人员来说将是显而易见的是，可以在没有这些具体细节的情况下实践本主题。在其他情况下，众所周知的方法、程序、组件和电路没有被详细描述，以避免不必要地模糊了实施例的各个方面。

Claims (20)

1.一种为多种类型的电器提供便携式的基于语音控制的用户界面的方法，包括：

在语音控制设备处，其中，所述语音控制设备具有一个或多个处理器、存储器、内置的数据通信接口、内置的语音通信接口和内置的自然语言处理模块，即，NLP模块，所述内置的数据通信接口被配置为与多种类型的电器建立数据通信，所述多种类型的电器被配置为响应不同的机器命令集以执行相应的电器操作，所述语音通信接口配置为接受来自用户的基于语音的输入，所述NLP模块存储在所述语音控制设备的所述存储器中，其中，所述NLP模块包括针对所述多种类型的电器中的每一种类型的电器的相应的NLP模型：

检测用户请求以激活所述语音控制设备的所述内置的语音通信接口；

响应于检测到所述用户请求以激活所述语音控制设备的所述内置的语音通信接口：

激活所述语音控制设备的所述内置的语音通信接口；

根据一个或多个目标选择标准，为待通过所述语音控制设备的所述内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器；

在所述内置的语音通信接口保持激活并且当前选择的第一目标电器保持不变的情况下，通过所述语音控制设备的所述内置的语音通信接口接收第一语音输入；

响应于接收到所述第一语音输入：

根据确定所述第一目标电器是第一电器类型的第一电器，使用所述内置的NLP模块的与所述第一电器类型相对应的第一NLP模型来处理所述第一语音输入，以获得第一机器命令，并通过所述内置的数据通信接口将所述第一机器命令发送到所述第一电器；以及

根据确定所述第一目标电器是不同于所述第一电器类型的第二电器类型的第二电器，使用所述内置的NLP模块的与所述第二电器类型相对应的第二NLP模型来处理所述第一语音输入，以获得第二机器命令，并通过所述内置的数据通信接口将所述第二机器命令发送到所述第二电器。

2.根据权利要求1所述的方法，其中，所述检测用户请求以激活所述语音控制设备的所述内置的语音通信接口包括：

检测所述语音控制设备物理耦接到所述多种类型的电器中的相应类型的电器，以及其中，所述一个或多个目标选择标准根据确定所述语音控制设备物理耦接到所述电器，要求所述电器被选择为所述第一目标电器。

3.根据权利要求1所述的方法，其中，

所述检测用户请求以激活所述语音控制设备的所述内置的语音通信接口包括：

检测与所述语音控制设备的预定义部分的用户交互；

所述方法进一步包括：

根据确定所述语音控制设备的所述预定义部分被预先分配为与所述第一目标电器相关联，为待通过所述语音控制设备的所述内置的语音通信接口接收的一个或多个基于语音的命令选择所述第一目标电器。

4.根据权利要求1所述的方法，其中，

所述检测用户请求以激活所述语音控制设备的所述内置的语音通信接口包括：

检测所述语音控制设备的预定义定向状态；以及

所述方法进一步包括：

根据确定所述语音控制设备的所述预定义定向状态被预先分配为与所述第一目标电器相关联，为待通过所述语音控制设备的所述内置的语音通信接口接收的一个或多个基于语音的命令选择所述第一目标电器。

5.根据权利要求1所述的方法，其中：

所述检测用户请求以激活所述语音控制设备的所述内置的语音通信接口包括：

检测所述语音控制设备已被带入到所述多种类型的电器中的相应一种类型的电器的阈值距离内；以及

所述方法进一步包括：

根据检测到所述语音控制设备在所述第一目标电器的所述阈值距离之内，为待通过语音控制设备的内置的语音通信接口接收的一个或多个基于语音的命令选择所述第一目标电器。

6.根据权利要求1所述的方法，进一步包括：

响应于检测到所述用户请求以激活所述语音控制设备的所述内置的语音通信接口，激活所述内置的数据通信接口，其中，所述内置的数据通信接口被配置为向所述多种类型的电器中的一个或多个电器发送机器命令；以及

根据通过激活的所述内置的数据通信接口接收到包括识别所述第一目标电器的所述电器类型的电器类型标识符的消息，为待通过所述语音控制设备的所述内置的语音通信接口接收的一个或多个基于语音的命令选择所述第一目标电器。

7.根据权利要求1所述的方法，其中，在检测所述用户请求以激活所述内置的语音通信接口之前，所述语音控制设备的所述内置的语音通信接口是非激活的。

8.根据权利要求1所述的方法，进一步包括：

在激活所述内置的语音通信接口之后，在预定时间段内保持所述内置的语音通信接口处于激活状态。

9.根据权利要求1所述的方法，其中，所述内置的数据通信接口对应于选自包括以下无线通信协议的组的无线通信协议：蓝牙、无线保真Wi-Fi、近场通信NFC、紫蜂ZigBee、超声、自然声和磁共振。

10.根据权利要求1所述的方法，进一步包括：

在接收所述第一语音输入之前，根据分别针对多个电器类型的多个电器功能集的用户选择，获取多个NLP模型并安装在所述内置的NLP模块中，其中，每个NLP模型对应于针对相应的电器类型的相应的电器功能集。

11.根据权利要求1所述的方法，进一步包括：在根据所述一个或多个目标选择标准选择了所述第一目标电器之后，与所述第一目标电器建立第一无线数据通信。

12.根据权利要求11所述的方法，进一步包括：

检测第二用户请求以从所述第一目标电器切换到第二目标电器，所述第二目标电器待由用户使用一个或多个基于语音的命令通过所述语音控制设备的所述内置的语音通信接口来控制；以及

响应于检测到所述第二用户请求：

为待通过所述内置的语音通信接口接收的一个或多个基于语音的命令选择所述第二目标电器；

停用与所述第一目标电器的所述第一数据通信；以及

建立第二数据通信以将机器命令发送到所述第二目标电器。

13.根据权利要求1所述的方法，其中，所述选择所述第一目标电器进一步包括：

确定所述内置的NLP模块是否存储有与所述第一目标电器的所述电器类型对应的NLP模型；

根据确定所述内置的NLP模块存储有与所述第一目标电器的所述电器类型对应的NLP模型，选择与所述第一目标电器的所述电器类型对应的NLP模型；

根据确定所述内置的NLP模块没有存储与所述第一目标电器的所述电器类型对应的NLP模型，将错误消息返回到所述第一目标电器。

14.根据权利要求1所述的方法，其中，语音控制设备进一步包括电池，以及其中，所述方法进一步包括：响应于建立与所述第一目标电器的数据通信，由所述第一目标电器通过所述内置的数据通信接口为所述语音控制设备的所述电池充电。

15.根据权利要求14所述的方法，进一步包括：

响应于开始对所述语音控制设备的所述电池充电，通过广播数据通信请求消息来搜索用户装置，其中，所述用户装置被配置为与训练包括所述第一NLP模型和所述第二NLP模型的多个NLP模型的NLP模型服务器进行通信。

16.根据权利要求1所述的方法，进一步包括：

分别从与管理一个或多个电器相关联的一个或多个用户的语音输入收集语音数据；以及

根据确定所述语音控制设备已经建立与用户装置的数据通信连接，将收集的语音数据发送到所述用户装置，以转发到所述NLP模型服务器以更新与所述一个或多个电器类型的一个或多个电器相对应的一个或多个NLP模型，其中，所述用户装置能够与被配置为与训练包括所述第一NLP模型和所述第二NLP模型的多个NLP模型的NLP模型服务器进行通信。

17.根据权利要求16所述的方法，进一步包括：

在将收集的所述语音数据上传到所述用户装置后的预定时间段之后，从所述语音控制设备删除收集的所述语音数据。

18.根据权利要求16所述的方法，其中，进一步：

在收集所述语音数据后的预定时间段之后，从所述语音控制设备删除所述收集的语音数据。

19.一种语音控制设备，配置成为多种类型的电器提供便携式的基于语音控制的用户界面，包括：

内置的语音通信接口，配置为接受来自用户的基于语音的输入；

内置的数据通信接口，配置为与多种类型的电器建立数据通信，所述多种类型的电器被配置为响应不同的机器命令集以执行相应的电器操作；

内置的自然语言处理模块，即，NLP模块，所述NLP模块存储在所述语音控制设备的存储器中，其中，所述NLP模块包括针对所述多种类型的电器中的每一种类型的电器的相应的NLP模型；

一个或多个处理器，以及

存储有指令的存储器，当由所述一个或多个处理器执行所述指令时，所述指令使所述处理器执行以下操作：

检测用户请求以激活所述语音控制设备的所述内置的语音通信接口；

响应于检测到所述用户请求以激活所述语音控制设备的所述内置的语音通信接口：

激活所述语音控制设备的所述内置的语音通信接口；

根据一个或多个目标选择标准，为待通过所述语音控制设备的所述内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器；

在所述内置的语音通信接口保持激活并且当前选择的第一目标电器保持不变的情况下，通过所述语音控制设备的所述内置的语音通信接口接收第一语音输入；

响应于接收到所述第一语音输入：

根据确定所述第一目标电器是第一电器类型的第一电器，使用所述内置的NLP模块的与所述第一电器类型相对应的第一NLP模型来处理所述第一语音输入，以获得第一机器命令，并通过所述内置的数据通信接口将所述第一机器命令发送到所述第一电器；以及

根据确定所述第一目标电器是不同于所述第一电器类型的第二电器类型的第二电器，使用所述内置的NLP模块的与所述第二电器类型相对应的第二NLP模型来处理所述第一语音输入，以获得第二机器命令，并通过所述内置的数据通信接口将所述第二机器命令发送到所述第二电器。

20.一种存储指令的计算机可读存储介质，当由一个或多个处理器执行所述指令时，所述指令使所述处理器执行以下操作：

检测用户请求以激活语音控制设备的内置的语音通信接口，所述内置的语音通信接口被配置为接收来自用户的语音输入；其中，所述语音控制设备进一步包括：内置的数据通信接口和内置的自然语言处理模块，即，NLP模块，所述内置的数据通信接口被配置为与多种类型的电器建立数据通信，所述多种类型的电器被配置为响应不同的机器命令集以执行相应的电器操作；所述NLP模块存储在所述语音控制设备的存储器中，其中，所述NLP模块包括针对所述多种类型的电器中的每一种类型的电器的相应NLP模型；

响应于检测到所述用户请求以激活所述语音控制设备的所述内置的语音通信接口：

激活所述语音控制设备的所述内置的语音通信接口；

根据一个或多个目标选择标准，为待通过所述语音控制设备的所述内置的语音通信接口接收的一个或多个基于语音的命令选择第一目标电器；

在所述内置的语音通信接口保持激活并且当前选择的第一目标电器保持不变的情况下，通过所述语音控制设备的所述内置的语音通信接口接收第一语音输入；

响应于接收到所述第一语音输入：

根据确定所述第一目标电器是第一电器类型的第一电器，使用所述内置的NLP模块的与所述第一电器类型相对应的第一NLP模型来处理所述第一语音输入，以获得第一机器命令，并通过所述内置的数据通信接口将所述第一机器命令发送到所述第一电器；以及

根据确定所述第一目标电器是不同于所述第一电器类型的第二电器类型的第二电器，使用所述内置的NLP模块的与所述第二电器类型相对应的第二NLP模型来处理所述第一语音输入，以获得第二机器命令，并通过所述内置的数据通信接口将所述第二机器命令发送到所述第二电器。

Images