CN114005443A - 设备控制方法、装置、服务器及存储介质 - Google Patents

Abstract

本申请公开了一种设备控制方法、装置、服务器及存储介质，其中，方法包括：接收第一终端设备发送的第一指令；第一指令用于指示对应的终端设备执行第一操作；将第一指令输入第一NLU模型，得到第一NLU模型输出的至少一个第一设备类型；在第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备；向第一终端设备发送第一消息，以使第一终端设备基于第一消息与第三终端设备建立第一连接，并通过第一连接控制第三终端设备执行第一操作。

Description

设备控制方法、装置、服务器及存储介质

技术领域

本申请涉及通信技术领域，尤其涉及一种设备控制方法、装置、服务器及存储介质。

背景技术

目前，部署有语音助手的电子设备能够支持与用户的语音交互操作。实际应用时，存在语音交互操作需要跨设备进行执行的场景，即唤醒设备接收到语音指令，执行设备执行语音指令指示的相关操作的场景，相关技术中，语音指令跨设备执行的延迟较高。

发明内容

有鉴于此，本申请实施例提供一种设备控制方法、装置、服务器及存储介质，以至少解决相关技术语音指令跨设备执行的延迟较高的问题。

为达到上述目的，本申请的技术方案是这样实现的：

本申请实施例提供了一种设备控制方法，应用于第一服务器，所述方法包括：

接收第一终端设备发送的第一指令；所述第一指令用于指示对应的终端设备执行第一操作；

将第一指令输入第一自然语言理解(NLU，Natural Language Understanding)模型，得到所述第一NLU模型输出的至少一个第一设备类型；所述第一NLU模型用于对输入的语音指令进行关于执行设备的意图解析，并输出解析得到的用于执行对应语音指令的设备类型；

在所述第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备；

向所述第一终端设备发送第一消息，以使所述第一终端设备基于所述第一消息与所述第三终端设备建立第一连接，并通过所述第一连接控制所述第三终端设备执行所述第一操作。

本申请实施例还提供了一种设备控制装置，包括：

第一接收单元，用于接收第一终端设备发送的第一指令；所述第一指令用于指示对应的终端设备执行第一操作；

第一输入单元，用于将第一指令输入第一NLU模型，得到所述第一NLU模型输出的至少一个第一设备类型；所述第一NLU模型用于对输入的语音指令进行关于执行设备的意图解析，并输出解析得到的用于执行对应语音指令的设备类型；

第一处理单元，用于在所述第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备；

第一发送单元，用于向所述第一终端设备发送第一消息，以使所述第一终端设备基于所述第一消息与所述第三终端设备建立第一连接，并通过所述第一连接控制所述第三终端设备执行所述第一操作。

本申请实施例还提供了一种服务器，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行上述设备控制方法的步骤。

本申请实施例还提供了一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述设备控制方法的步骤。

在本申请实施例中，第一服务器通过第一NLU模型解析第一指令的执行设备的意图，得到用于执行第一指令对应的至少一个第一设备类型，在第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型判断是否为跨设备执行，在判断结果为跨设备执行时，第一服务器根据至少一个第一设备类型，在与第一终端设备存在设定关系的至少一个第二终端设备中确定出执行第一操作的第三终端设备，向第一终端设备发送第一信息，以使第一终端设备与第三终端设备建立第一连接。这样，第一服务器通过采用了用于解析指令的执行设备的意图的NLU模型，在该NLU模型的解析结果的基础上结合第一终端设备提供的终端设备信息，确定出执行第一操作的第三终端设备，由此提高了云端确定出第一指令的执行设备的决策速度，使得第一终端设备能够与第三终端设备快速建立连接，进而完成指令的跨设备执行，提高了跨设备执行时的语音控制效率。

附图说明

图1为相关技术中设备控制方法的示意图；

图2为本申请实施例提供的设备控制系统的示意图；

图3为本申请实施例提供的设备控制方法的实现流程示意图；

图4为本申请应用实施例提供的设备控制方法的实现流程示意图；

图5为本申请实施例提供的设备控制结构的结构示意图；

图6为本申请实施例提供的服务器的硬件组成结构示意图。

具体实施方式

在日常生活中，用户可以通过部署有语音助手的手机对智能电视进行语音控制。如图1示出的实现方案，手机接收用户的语音指令，向云端服务器发送该语音指令；云端服务器的对话系统根据语音指令得到分类结果，执行对话管理流程，并将返回的对话管理结果发送给手机；基于对话管理结果，手机将语音指令发送给智能电视，智能电视向服务器发送该语音指令和智能电视的相关状态信息，如播放状态、播放模式等，由服务器的对话系统根据语音指令和相关状态信息，返回对应的协议。这样，智能电视能够根据返回的协议能够获取对应的资源，并执行对应的播放动作。云端服务器根据对话系统解析语音指令时，通过对话系统中的多个技能NLU模型解析语音指令的技能意图，并基于技能NLU模型得到的解析结果，判断是否需要在唤醒设备和执行设备之间建立连接，如果技能NLU模型识别为需要在唤醒设备和执行设备之间建立连接，也就是说，语音指令被技能NLU模型识别为建联指令，则触发在唤醒设备和执行设备之间建立连接的操作，以通过连接实现对执行设备的控制。为识别各类的技能意图，技能NLU模型包括但不限于：多媒体NLU模型，用于识别播放功能；系统设置NLU模型，用于识别调节功能。

但是，云端服务器为了解析语音指令的技能意图，识别语音指令是否为建联指令，需要通过技能NLU模型解析语音指令，由于系统中通常部署有不同设备类型的执行设备，云端服务器的对话系统中设置有大量的技能NLU模型，因而云端服务器在判断跨设备执行会产生的大量时间消耗，第一终端设备与第三终端设备建立连接所需的时间较长，从而导致语音指令跨设备执行的延迟较高。

基于此，本申请实施例提供了一种设备控制方法，第一服务器通过第一NLU模型解析第一指令的执行设备的意图，得到用于执行第一指令对应的至少一个第一设备类型，在第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型判断是否为跨设备执行，在判断结果为跨设备执行时，第一服务器根据至少一个第一设备类型，在与第一终端设备存在设定关系的至少一个第二终端设备中确定出执行第一操作的第三终端设备，向第一终端设备发送第一信息，以使第一终端设备与第三终端设备建立第一连接。这样，第一服务器通过采用了用于解析指令的执行设备的意图的NLU模型，在该NLU模型的解析结果的基础上结合第一终端设备提供的终端设备信息，确定出执行第一操作的第三终端设备，由此提高了云端确定出第一指令的执行设备的决策速度，使得第一终端设备能够与第三终端设备快速建立连接，进而完成指令的跨设备执行，提高了跨设备执行时的语音控制效率。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图2为本申请实施例提供的设备控制系统的示意图。其中，设备控制系统中部署有由至少两个终端设备组成的终端设备间的群组，终端设备之间基于短距离无线通信技术进行通信，群组中的终端设备具有互相通信的能力。短距离无线通信技术包括蓝牙通信技术或无线保真(WiFi，Wireless Fidelity)通信技术。当群组中包括多个终端设备时，终端设备之间可以基于短距离无线通信技术进行一对一通信、一对多通信或多对一通信。实际应用时，群组可以基于第三方通信框架建立，例如基于第三方协议建立的OAF通信框架(OPlusAccessory Framework)。至少两个终端设备组成的群组与服务器21进行无线通信，在跨设备执行场景下，通常称接收到语音指令的终端设备22为唤醒设备，称执行语音指令对应的控制指令指示的操作的终端设备23为执行设备。例如，用户向手机输入第一语音指令“在电视上播放×××(电视剧)”，手机为唤醒设备，智能电视为执行设备。

需要说明的是，图2所示的设备控制系统中的终端设备均安装有第一应用，例如，第一应用可以为语音助手。第一应用用于支持用户输入语音指令，以及支持在应用层实现终端设备与云端(即，服务器21)，以及终端设备之间的交互。基于第一应用，用户可以通过输入语音指令实现对群组内任一终端设备的操作。

实际应用时，示例性地，图2中的终端设备可以包括以下至少一种：

手机、智能音箱、笔记本电脑、智能手表、平板电脑、电视、冰箱、空调等各类物联网终端。

在物联网场景下，以家庭为单位，一个群组中的终端设备至少包括家庭成员使用的各类终端设备和智能家电。例如，家庭成员所使用的终端设备，以及家中的智能家电之间均基于短距离无线通信技术建立群组。由此，可以使得上述所有终端设备之间均基于短距离无线通信技术进行通信，可通过对群组内的任一终端设备发出语音指令，以控制另一终端设备执行语音指令对应的操作，其中，语音指令对应的唤醒设备和执行设备不必是依赖于同一账号的终端设备。在实际应用时，家庭成员或客人可以使用不同的唤醒设备对智能电视进行语音控制。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图3为本申请实施例提供的设备控制方法的实现流程示意图。本流程的执行主体为第一服务器，第一服务器为图2中的服务器21。第一终端设备为图2中的任一终端设备。在本申请实施例中，第一终端设备位于第一群组内，且第一群组内的各个终端设备基于短距离无线通信技术进行通信。第一群组为群组；第一终端设备为唤醒设备，第三终端设备为执行设备。

如图3示出的，设备控制方法包括：

步骤301：接收第一终端设备发送的第一指令；所述第一指令用于指示对应的终端设备执行第一操作。

在一实施例中，第一指令可以表征为语音指令。在用户想要通过第一终端设备进行语音控制时，用户通过第一终端设备中的第一应用向第一终端设备输入第一指令。第一服务器接收到第一终端设备发送的携带有第一指令。其中，第一指令中包括执行设备意图和技能意图，执行设备意图表征用户想要执行第一指令对应操作的执行设备，技能意图表征用户想要在对应的终端设备支持的技能内实现的目标，用于指示对应的终端设备执行第一操作，技能泛指终端设备具备的能力或可实现的功能。

例如，在第一指令为电视声音大一点的情况下，执行设备为电视，技能意图为播放音量大一点。

步骤302：将第一指令输入第一NLU模型，得到所述第一NLU模型输出的至少一个第一设备类型；所述第一NLU模型用于对输入的语音指令进行关于执行设备的意图解析，并输出解析得到的用于执行对应语音指令的设备类型。

第一服务器将第一指令输入第一NLU模型，第一NLU模型对输入的第一指令进行执行设备的意图解析，输出解析得到的用于执行第一指令的至少一个设备类型。在第一NLU模型对输入的第一指令进行执行设备的意图解析时，可以提取第一指令的信息设备槽位。槽位表征指令信息中的重要信息，通过设备槽位的提取能够确定语音指令对应的执行设备，这样，能够确定第一指令对应的至少一个设备类型。

在一实施例中，在对设备槽位的提取之前，第一NLU模型可以根据与用户的多轮对话获取信息，以进行槽位填充。这样，在第一指令中不包含对应的执行设备的字段的情况下，仍能够解析得到的用于执行对应语音指令的设备类型。

例如，第一指令为“在电视上打开×××(电视剧)”，第一服务器通过第一NLU模型提取设备槽位，得到对应的设备类型为智能电视。在本申请实施例中，通过第一NLU模型解析第一指令的执行设备意图，从而确定用户想要执行第一指令对应操作的执行设备。

这里，设备类型能够将终端设备进行区分，设备类型包括但不限于：终端设备的所属类型，如智能电视、智能音响、智能空调等；终端设备的功能类型，如制冷电器、厨房电器、清洁电器、声像电器等。

步骤303：在所述第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备。

在接收到第一指令的第一终端设备不属于第一设备类型的情况下，换句话说，在第一终端设备不是执行第一指令的设备的情况下，第一服务器根据至少一个第一设备类型，在与第一终端设备满足设定关系的至少一个第二终端设备中确定出第一指令对应的第三终端设备。其中，第三终端设备即第一指令的执行设备。

在实际应用中，设定关系可以根据第一终端设备的设备信息设定。

步骤304：向所述第一终端设备发送第一消息，以使所述第一终端设备基于所述第一消息与所述第三终端设备建立第一连接，并通过所述第一连接控制所述第三终端设备执行所述第一操作。

第一服务器发送的第一消息携带有指示第一终端设备执行设定操作的指令，使第一终端设备基于第一消息与第三终端设备建立第一连接，第一终端设备通过第一连接控制第三终端设备执行第一操作。

在本实施例中，第一服务器通过采用了用于解析指令的执行设备的意图的NLU模型，在该NLU模型的解析结果的基础上结合第一终端设备提供的终端设备信息，确定出执行第一操作的第三终端设备，由此提高了云端确定出第一指令的执行设备的决策速度，使得第一终端设备能够与第三终端设备快速建立连接，进而完成指令的跨设备执行，提高了跨设备执行时的语音控制效率。

在一实施例中，所述第一NLU模型还用于输出所述至少一个设备类型中的每个设备类型对应的第一置信度；

所述根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备，包括：

根据所述至少一个设备类型以及每个设备类型对应的第一置信度，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备。

第一服务器将第一指令输入第一NLU模型，第一NLU模型对输入的第一指令进行执行设备的意图解析，输出解析得到的用于执行第一指令的至少一个设备类型和每个设备类型对应的第一置信度。在接收到第一指令的第一终端设备不属于执行第一指令的设备类型的情况下，第一服务器根据至少一个第一设备类型中的每个第一设备类型对应的第一置信度，在与第一终端设备满足设定关系的终端设备中确定出第一指令对应的执行设备。这里，第一置信度表征第一NLU模型对输入的第一指令解析得到的每个第二终端设别的置信度，置信度越高，表征对应的第一设备类型的越可能是语音指令对应的执行设备的设备类型。

这样，第一服务器根据至少一个第一设备类型中的每个第一设备类型对应的第一置信度，确定第一指令的执行设备，提升了确定执行第一操作的终端设备的准确率，从而提升了在终端设备间建立连接的准确率。

前文提及，设定关系可以根据第一终端设备的设备信息设定，可以设置为第一终端设备登陆的用户账号信息，和/或，第一终端设备的当前连接信息。在一实施例中，所述设定关系包括以下至少之一：

与所述第一终端设备的用户账号相同；

与所述第一终端设备之间已建立起短距离无线通信。

在设定关系表征为与第一终端设备的用户账号相同的情况下，第一终端设备与至少一个第二终端设备的登陆的用户账号相同。

在设定关系表征为与第一终端设备之间已建立起短距离无线通信的情况下，第一终端设备与至少一个第二终端设备之间具有直接通信的能力。

在设定关系表征为与所述第一终端设备的用户账号相同和与第一终端设备之间已建立起短距离无线通信的情况下，第一终端设备与至少一个第二终端设备的登陆的用户账号相同，且第一终端设备与至少一个第二终端设备之间具有直接通信的能力。

以设定关系表征为与第一终端设备的用户账号相同的情况为例，两个终端设备的用户账号相同，可以是两个终端设备历史和/或当前登陆相同的账号。这里，用户可以将两个终端设备的用户账号设置为同一个分组，例如用户设置了具有相同权限的家人分组，同一分组下的用户账号视为同一账号。

这里，第一终端设备登陆过账号A/B，第二终端设备甲、第二终端设备乙登陆账号B，第二终端设备丙登陆账号A。如果设定关系为两个终端设备当前登陆了相同账号，则在第二终端设备甲、第二终端设备乙中确定第三终端设备；如果设定关系为两个终端设备当前和历史登陆了相同账号，则在第二终端设备甲、第二终端设备乙、第二终端设备丙中确定第三终端设备。

在实际应用中，假设设定关系为终端设备关联同一用户，用户甲在用户乙家中做客，用户甲携带智能手机A和智能手表B，用户乙家中有智能电视C、智能空调D，在用户甲通过智能手机A(第一终端设备)输入“打开×××(电视剧)”，由于智能电视C、智能空调D和第一终端设备关联的是用户乙，与智能手机A关联的是不同的用户，智能电视C、智能空调D不会被确定为第三终端设备。

这样，第一服务器结合第一终端设备提供的终端设备信息，在与第一终端设备存在设定关系的至少一个第二终端设备中确定第三终端设备，提升了确定执行第一操作的终端设备的准确率，从而提升了在终端设备间建立连接的准确率。同时，提高了云端确定出第一指令的执行设备的决策速度，使得第一终端设备能够与第三终端设备快速建立连接，进而完成指令的跨设备执行，提高了跨设备执行时的语音控制效率。

实际应用场景中，设定关系还可以表征为第一终端设备和第二终端设备之间不存在用于控制终端设备的连接。在实际应用中，为判断唤醒设备与执行设备之间是否需要建立第一连接，可以设置设定关系为第一终端设备和第二终端设备之间不存在连接关系，这样，第一服务器可以根据第一终端设备的连接状态，在确定建联指令时排除已建立连接的终端设备。

在一实施例中，在所述根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备之前，所述方法还包括：

接收所述第一终端设备发送的第一信息；其中，

所述第一信息表征所述至少一个第二终端设备。

这里，第一信息用于描述与第一终端设备存在设定关系的第二终端设备，第一服务器根据第一信息确定与所述第一终端设备存在设定关系的至少一个第二终端设备。

这里，第一终端设备可以在发送第一指令的同时发送第一信息，也可以是第一服务器在判断第一终端设备不属于至少一个第二终端设备的情况下，向第一终端发送请求，第一终端设备基于请求发送的第一信息。也就是说，对于第一终端设备，第一信息可以是主动上报的(例如，和第一指令一并发送)，也可以是响应于第一服务器发送的请求而上报的。

这样，第一服务器根据第一终端设备发送的第一信息，能够在终端设备中准确地确定出第一指令的执行设备，提升了确定执行第一操作的终端设备的准确率，从而提升了在终端设备间建立连接的准确率。

此外，第一信息还可以是至少一个终端设备每隔设定周期向第一服务器上报的。

在一实施例中，所述根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备，包括：

根据所述至少一个第一设备类型，以及根据所述至少一个第二终端设备中每个第二终端设备对应的第二信息，在所述至少一个第二终端设备中确定出所述第三终端设备；其中，

所述第二信息表征对应的终端设备的设备状态。

在本实施例中，根据第一NLU模型输出的至少一个第一设备类型和至少一个第二终端设备对应的终端设备的设备状态，确定出第三终端设备。这里，第二信息，即对应终端的设备状态的信息，包括但不限于：在终端设备上安装的应用信息、上线状态信息、支持的控制模式。

并且，在本实施例中不限定第一服务器获取第二信息的方式。

在实际应用中，以第二信息包括上线状态信息为例，第一NLU模型输出的两个设备类型为播放类设备和控制类设备，播放类设备在至少一个第二终端设备为智能电视甲，甲为在线状态，控制类设备为智能空调乙，乙为离线状态，根据第二终端设备的设备状态，将智能电视甲确定为第三终端设备。

这样，第一服务器根据第二终端设备对应的第二信息，能够在终端设备中准确地确定出第一指令的执行设备，提升了确定执行第一操作的终端设备的准确率，从而提升了在终端设备间建立连接的准确率。

前文提及，不限定第一服务器获取第二信息的方式。因而，在一实施例中，在所述在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备之前，所述方法还包括：

接收至少一个终端设备的第二信息。

第一服务器得到至少一个终端设备的第二信息的方式，可以是终端设备每间隔设定周期向第一服务器发送的，也可以是第一服务器主动发送请求后接收到的。

在第一服务器接收至少一个终端设备的第二信息时，不限定向第一服务器发送第二信息的终端设备。例如，在实际应用中，可以是每个终端设备每隔设定周期向第一服务器上报；也可以是从具备上云的能力的终端设备中确定一个管理设备，其它的终端设备可以每隔设定周期向该管理设备上报第一信息，由管理设备向第一服务器发送至少一个终端设备的第一信息。

这样，第一服务器基于实时的终端设备的设备状态，确定第一指令的执行设备，提升了确定执行第一操作的终端设备的准确率，从而提升了判断是否在唤醒设备和执行设备间建立连接的准确率。

在一实施例中，所述将第一指令输入第一NLU模型，包括：

对接收到的第一指令进行设定方式的预处理；

将进行了预处理后的第一指令输入所述第一NLU模型；

其中，所述设定方式的预处理包括归一化处理和/或切词处理。

在本实施例中，第一指令输入第一NLU模型前，第一服务器通过标准化、切词等方式进行预处理，将第一指令的信息处理为满足设定规则的信息，并将处理后的信息输入第一NLU模型。

这里，归一化是把指令处理成标准形式。例如，“我想在电视上播放×××(电视剧)”、“帮我在电视上播放×××(电视剧)”、“我想在电视上播放，嗯，×××(电视剧)”，处理成“在电视上播放×××(电视剧)”。切词是把指令的汉字序列切分成一个一个单独的词。例如，“我想在电视上播放×××(电视剧)”，处理成“我想+在电视上+播放×××(电视剧)”。

在实际应用中，以上指令经过归一化、切词的预处理后，输入第一NLU模型的均为“在电视上播放×××(电视剧)”，换句话说，通过预处理，可以将表征相同含义的指令处理成标准化的指令，这样，第一NLU模型基于标准化的指令进行解析，提升了NLU模型识别的准确度。

前文提及，云端服务器根据对话系统解析语音指令时，通过对话系统中的多个技能NLU模型解析语音指令的技能意图。在一实施例中，在所述接收第一终端设备发送的第一指令之后，所述方法还包括：

将所述第一指令输入第二NLU模型，得到所述第二NLU模型输出的第一指令对应的技能意图；其中，

所述第二NLU模型用于对输入的语音指令进行关于技能的意图解析，并输出对应语音指令的技能意图。

在本申请实施例中，第一服务器通过第一NLU模型解析第一指令的执行设备意图，判断是否需要在唤醒设备和执行设备之间建立第一连接。并且，第一服务器还通过至少一个第二NLU模型解析第一指令的技能意图，使唤醒设备能够通过第一连接控制执行设备执行对应的第一操作。

这里，第一服务器还可以通过第一NLU模型确定至少一个设备类型后，根据确定出的至少一个设备类型使用对应的第二NLU模型，在解析语音指令时减少需要使用技能NLU模型的数量，从而降低了解析技能意图所消耗的计算工作。

在一实施例中，所述向所述第一终端设备发送第一消息，包括：

向所述第一终端设备发送携带有第二指令的第一消息；所述第二指令用于指示所述第一终端设备与所述第三终端设备建立所述第一连接；或，

向所述第一终端设备发送携带有第三指令的第一消息；所述第三指令用于指示所述第一终端设备输出第四信息；所述第四信息用于提示是否与所述第三终端设备建立第一连接。

在一些场景中，第一服务器向第一终端设备发送的第一消息携带有第二指令，第一终端设备基于第二指令直接与第三终端设备建立第一连接。

在另一些场景中，第一服务器向第一终端设备发送的第一消息携带有第三指令，第一终端设备基于第三指令输出第四信息，第四信息为提示信息，用于提示是否与第三终端设备建立第一连接，在接收到确认建立第一连接的响应的情况下，第一终端设备与第三终端设备建立第一连接。

以下结合应用实施例对本申请实施例进行进一步说明：

下面以云端服务器为第一服务器，手机A为第一终端设备，智能电视B、智能平板C为第二终端设备的跨设备执行为场景，结合应用实施例对本申请再作进一步详细的描述。

图4为本申请应用实施例提供的设备控制方法的实现流程示意图。如图4示出的，设备控制方法包括：

步骤401：手机采集当前登录账号信息。

手机A，即控制侧设备、唤醒设备，手机A对当前登录的用户账号所拥有的终端设备进行信息采集，得到终端设备的设备状态。

以一个实际应用场景为例，手机A当前登录账号曾登陆智能电视B、智能平板C，则手机A对智能电视B、智能平板C的设备信息进行采集。

步骤402：手机向云端服务器发送语音指令、当前登录账号信息和终端设备的设备信息。

手机A向云端服务器发送语音指令，并发送手机A当前登陆账号的历史登陆的设备信息、与手机A当前保持连接的设备信息(即对智能电视B、智能平板C采集到的设备信息)。

其中，设备信息包括在终端设备上安装的应用信息、上线状态信息、支持的控制模式。

这里，语音指令为“我想用电视看×××(电视剧)”，与手机A当前保持连接的设备为智能平板C。

步骤403：云端服务器对语音指令进行预处理。

云端服务器通过设置云端指令归一化模块，对语音指令进行归一化、标准化、切词等预处理，得到标准化的指令，模型基于标准化的指令进行识别，能够提高识别结果的准确率。

这里，将语音指令为“我想用电视看×××(电视剧)”归一化为“在电视上播放×××(电视剧)”。

步骤404：云端服务器将语音指令输入跨设备决策NLU模型。

云端服务器通过设置跨设备决策NLU模型，也就是第一NLU模型，进行语音指令的建模，从而对语音指令进行意图分类和设备槽位的提取。

这里，可以通过设定至少一条语音指令的规则，例如“在电视上播放××”这类用户可能产生的语音指令，以提高NLU模型的识别准确率。这里的NLU模型通常为神经网络模型。

在实际应用中，还可以基于规则确定对应的语料样本，基于语料样本训练NLU模型，从而提高NLU模型在识别对应的语音指令的准确率。

步骤405：云端服务器得到跨设备决策NLU模型输出的至少一个第一设备类型和每个设备类型对应的置信度。

跨设备决策NLU模型对每个分类都有分类的方式以及置信度的评分，会对输出的每个设备类型对应一个置信度，跨设备决策NLU模型输出的置信度越高，NLU模型对对应的设备类型识别的信心越大。

步骤406：云端服务器识别语音指令是否为建联指令，在识别为建联指令时向手机发送建联指令。

云端服务器通过设置云端建联决策服务模块，基于NLU模型输出结果、终端设备的设备信息和其它辅助信息(如用户偏好等)，得到语音指令的执行设备，并识别语音指令是否为建联指令。

云端建联决策服务模块根据至少一个第一设备类型、每个设备类型对应的置信度和当前用户账号下拥有的终端设备信息进行决策，得到语音指令的执行设备，识别语音指令是否为建联指令。

这里，云端建联决策服务模块决策得到语音指令的执行设备为智能电视B，且根据连接信息，智能电视B与手机A之间未建立起短距离无线通信，识别语音指令为建联指令。

步骤407：手机与智能电视建立第一连接。

相关技术中，为了解析语音指令的技能意图，识别语音指令是否为建联指令，云端服务器需要通过技能NLU模型解析语音指令，由于设备控制系统中通常部署有不同设备类型的执行设备，云端服务器的对话系统中设置有大量的技能NLU模型，因而云端服务器在判断跨设备执行会产生的大量时间消耗，语音指令跨设备执行的延迟较高。并且，为了判断语音指令是否为建联指令，对话系统每多支持一类解析的技能意图的类型，云端服务器就需要对多个技能NLU模型进行语料训练，需要消耗海量的计算工作。

在本申请应用实施例中，云端服务器通过语音指令的归一化处理，由跨设备决策NLU模型进行多设备建联指令的执行设备的意图解析，并通过云端建联决策服务模块结合模型输出结果和控制侧设备下发的设备信息进行决策，判断语音指令是否为建联指令。这样，第一服务器通过用于解析指令的执行设备的意图的NLU模型，在该NLU模型的解析结果的基础上结合第一终端设备提供的终端设备信息，确定出执行第一操作的第三终端设备，由此提高了云端确定出第一指令的执行设备的决策速度，使得第一终端设备能够与第三终端设备快速建立连接，进而完成指令的跨设备执行，提高了跨设备执行时的语音控制效率。同时，结合了控制侧的设备间连接信息，提升了模型识别的准确度，且节约了各个技能NLU模型关于建联指令的语料训练。

为实现本申请实施例的设备控制方法，本申请实施例还提供了一种设备控制装置，如图5所示，该设备控制装置包括：

第一接收单元501，用于接收第一终端设备发送的第一指令；所述第一指令用于指示对应的终端设备执行第一操作；

第一处理单元502，用于将第一指令输入第一自然语言理解NLU模型，得到所述第一NLU模型输出的至少一个第一设备类型；所述第一NLU模型用于对输入的语音指令进行关于执行设备的意图解析，并输出解析得到的用于执行对应语音指令的设备类型；

第二处理单元503，用于在所述第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备；

第一发送单元504，用于向所述第一终端设备发送第一消息，以使所述第一终端设备基于所述第一消息与所述第三终端设备建立第一连接，并通过所述第一连接控制所述第三终端设备执行所述第一操作。

其中，在一个实施例中，所述第一NLU模型还用于输出所述至少一个设备类型中的每个设备类型对应的第一置信度；所述第二处理单元503，用于：

根据所述至少一个设备类型以及每个设备类型对应的第一置信度，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备。

在一个实施例中，所述设备控制装置还包括：

第二接收单元，用于接收所述第一终端设备发送的第一信息；其中，

所述第一信息表征所述至少一个第二终端设备。

在一个实施例中，所述第二处理单元503，用于：

根据所述至少一个第一设备类型，以及根据所述至少一个第二终端设备中每个第二终端设备对应的第二信息，在所述至少一个第二终端设备中确定出所述第三终端设备；其中，

所述第二信息表征对应的终端设备的设备状态。

在一个实施例中，所述第一处理单元502，用于：

对接收到的第一指令进行设定方式的预处理；

将进行了预处理后的第一指令输入所述第一NLU模型；

其中，所述设定方式的预处理包括归一化处理和/或切词处理。

在一个实施例中，所述设备控制装置还包括：

第三处理单元，用于将所述第一指令输入第二NLU模型，得到所述第二NLU模型输出的第一指令对应的技能意图；其中，

所述第二NLU模型用于对输入的语音指令进行关于技能的意图解析，并输出对应语音指令的技能意图。

在一个实施例中，所述第一发送单元504，用于：

向所述第一终端设备发送携带有第二指令的第一消息；所述第二指令用于指示所述第一终端设备与所述第三终端设备建立所述第一连接；或，

向所述第一终端设备发送携带有第三指令的第一消息；所述第三指令用于指示所述第一终端设备输出第四信息；所述第四信息用于提示是否与所述第三终端设备建立第一连接。

实际应用时，所述第一接收单元501、第二接收单元可由基于设备控制装置中的通信接口实现，所述第一处理单元502、所述第二处理单元503可由基于设备控制装置中的处理器实现，所述第一发送单元504可由基于设备控制装置中的处理器结合通信接口实现。

需要说明的是：上述实施例提供的设备控制装置在进行设备控制时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的设备控制装置与设备控制方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种服务器。图6为本申请实施例服务器的硬件组成结构示意图，如图6所示，服务器包括：

通信接口1，能够与其它设备比如网络设备等进行信息交互；

处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的设备控制方法。而所述计算机程序存储在存储器3上。

当然，实际应用时，服务器中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统4。

本发明实施例中的存储器3用于存储各种类型的数据以支持服务器的操作。这些数据的示例包括：用于在服务器上操作的任何计算机程序。

可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。

处理器2执行所述程序时实现本发明实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、终端和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一个”表示多个中的任意一个或多个中的至少两个的任意组合，例如，包括A、B、C中的至少一个，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种设备控制方法，其特征在于，应用于第一服务器，所述方法包括：

接收第一终端设备发送的第一指令；所述第一指令用于指示对应的终端设备执行第一操作；

将第一指令输入第一自然语言理解NLU模型，得到所述第一NLU模型输出的至少一个第一设备类型；所述第一NLU模型用于对输入的语音指令进行关于执行设备的意图解析，并输出解析得到的用于执行对应语音指令的设备类型；

在所述第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备；

向所述第一终端设备发送第一消息，以使所述第一终端设备基于所述第一消息与所述第三终端设备建立第一连接，并通过所述第一连接控制所述第三终端设备执行所述第一操作。

2.根据权利要求1所述的方法，其特征在于，所述第一NLU模型还用于输出所述至少一个设备类型中的每个设备类型对应的第一置信度；

所述根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备，包括：

根据所述至少一个设备类型以及每个设备类型对应的第一置信度，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备。

3.根据权利要求1所述的方法，其特征在于，在所述根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备之前，所述方法还包括：

接收所述第一终端设备发送的第一信息；其中，

所述第一信息表征所述至少一个第二终端设备。

4.根据权利要求1所述的方法，其特征在于，所述根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备，包括：

根据所述至少一个第一设备类型，以及根据所述至少一个第二终端设备中每个第二终端设备对应的第二信息，在所述至少一个第二终端设备中确定出所述第三终端设备；其中，

所述第二信息表征对应的终端设备的设备状态。

5.根据权利要求1所述的方法，其特征在于，所述将第一指令输入第一NLU模型，包括：

对接收到的第一指令进行设定方式的预处理；

将进行了预处理后的第一指令输入所述第一NLU模型；

其中，所述设定方式的预处理包括归一化处理和/或切词处理。

6.根据权利要求1所述的方法，其特征在于，在所述接收第一终端设备发送的第一指令之后，所述方法还包括：

将所述第一指令输入第二NLU模型，得到所述第二NLU模型输出的第一指令对应的技能意图；其中，

所述第二NLU模型用于对输入的语音指令进行关于技能的意图解析，并输出对应语音指令的技能意图。

7.根据权利要求1所述的方法，其特征在于，所述向所述第一终端设备发送第一消息，包括：

向所述第一终端设备发送携带有第二指令的第一消息；所述第二指令用于指示所述第一终端设备与所述第三终端设备建立所述第一连接；或，

向所述第一终端设备发送携带有第三指令的第一消息；所述第三指令用于指示所述第一终端设备输出第四信息；所述第四信息用于提示是否与所述第三终端设备建立第一连接。

8.一种设备控制装置，其特征在于，包括：

第一接收单元，用于接收第一终端设备发送的第一指令；所述第一指令用于指示对应的终端设备执行第一操作；

第一输入单元，用于将第一指令输入第一NLU模型，得到所述第一NLU模型输出的至少一个第一设备类型；所述第一NLU模型用于对输入的语音指令进行关于执行设备的意图解析，并输出解析得到的用于执行对应语音指令的设备类型；

第一处理单元，用于在所述第一终端设备不属于第一设备类型的情况下，根据至少一个第一设备类型，在与所述第一终端设备存在设定关系的至少一个第二终端设备中确定出第三终端设备；

第一发送单元，用于向所述第一终端设备发送第一消息，以使所述第一终端设备基于所述第一消息与所述第三终端设备建立第一连接，并通过所述第一连接控制所述第三终端设备执行所述第一操作。

9.一种服务器，其特征在于，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，

其中，所述第一处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述的设备控制方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的设备控制方法的步骤。

Images