CN105892302A - 面向智能机器人的智能家居控制方法及控制系统 - Google Patents

Abstract

本发明公开了一种面向智能机器人的智能家居控制方法及控制系统，该方法包括接收多模态输入信息，并解析所述多模态输入信息以获取用于操作智能家居设备的操作指令；解析所述操作指令，获取位置参数，设备参数和操作参数；结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。该方法可以方便地对智能家居设备进行控制和进行相关上下文操作，相比于现有技术中针对智能设备分别编写控制指令的方案，可以简化系统构成，降低系统的复杂度，提高用户的交互体验。

Description

面向智能机器人的智能家居控制方法及控制系统

技术领域

本发明属于智能家居领域，尤其涉及一种面向智能机器人的智能家居控制方法及控制系统。

背景技术

随着智能机器人技术的发展，人们对智能机器人的应用需求越来越高，由于智能家居控制的可以给人们生活带来了极大的便利，通过智能机器人实现智能家居控制，成为智能机器人技术的一个发展方向。

现有通过智能机器人实现智能家居控制的方案主要是针对单一设备的控制进行开发，例如对灯的控制，需要针对灯编写控制指令，如果要控制空调，就要针对空调重新编写控制指令。这种针对单一设备的控制进行开发的方式特别不利于整个智能机器人的智能家居控制系统的发展，也不利于设备属性的修改或者新设备的添加。

发明内容

本发明所要解决的技术问题之一是需要提供一种面向智能机器人的低复杂度的智能家居控制方案。

为了解决上述技术问题，本申请的实施例首先提供了一种面向智能机器人的智能家居控制方法，包括接收多模态输入信息，并解析所述多模态输入信息以获取用于操作智能家居设备的操作指令；解析所述操作指令，获取位置参数，设备参数和操作参数；结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。

优选地，所述获取位置参数，设备参数，操作参数，包括：当所述操作指令中缺少位置参数，设备参数或操作参数时，获取存储的上下文交互信息；解析所述上下文交互信息，获取所述操作指令中缺少的参数。

优选地，当所述上下文交互信息中不包括所述操作指令中缺少的参数时，生成询问所述缺少的参数的多模态输出数据并输出；接收来自用户的反馈信息，并对所述反馈信息进行解析，从中提取所述缺少的参数。

优选地，所述结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令，包括：结合预设的控制指令生成模型，对所述位置参数，设备参数及操作参数进行解析，根据所述位置参数确定被控对象的方位；根据所述设备参数确定被控对象名称；根据所述操作参数确定被控对象需要执行的操作；结合所述被控对象的方位，被控对象的名称，以及被控对象需要执行的操作生成对所述被控对象的控制指令。

本申请的实施例还提供了一种面向智能机器人的智能家居控制系统，包括指令解析模块，其接收多模态输入信息，并解析所述多模态输入信息以获取用于操作智能家居设备的操作指令；参数获取模块，其解析所述操作指令，获取位置参数，设备参数和操作参数；指令生成模块，其结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。

优选地，当所述操作指令中缺少位置参数，设备参数或操作参数时，所述参数获取模块获取存储的上下文交互信息，并解析所述上下文交互信息，获取所述操作指令中缺少的参数。

优选地，当所述上下文交互信息中不包括所述操作指令中缺少的参数时，所述参数获取模块生成询问所述缺少的参数的多模态输出数据并输出，接收来自用户的反馈信息，并对所述反馈信息进行解析，从中提取所述缺少的参数。

优选地，所述指令生成模块根据如下步骤生成智能家居的控制指令：结合预设的控制指令生成模型，对所述位置参数，设备参数及操作参数进行解析，根据所述位置参数确定被控对象的方位；根据所述设备参数确定被控对象名称；根据所述操作参数确定被控对象需要执行的操作；结合所述被控对象的方位，被控对象的名称，以及被控对象需要执行的操作生成对所述被控对象的控制指令。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

通过将智能设备的操作抽象为位置、设备、操作三种命名实体的组合模型，并通过NLP相关技术进行语义理解，解析出相应的命名实体数据来实现对智能设备的操作，是一种基于结构化数据的通用的操作智能设备的方法，可以方便地对智能家居设备进行控制和进行相关上下文操作，相比于现有技术中针对智能设备分别编写控制指令的方案，可以简化系统构成，降低系统的复杂度，提高用户的交互体验。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明实施例的面向智能机器人的智能家居控制方法的流程示意图；

图2为根据本发明实施例的通过上下文交互和与用户交互补充操作指令中的参数信息的流程示意图；

图3为根据本发明实施例的面向智能机器人的智能家居控制方法的生成控制指令的流程示意图；

图4为根据本发明实施例的面向智能机器人的智能家居控制系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

目前使用智能机器人实现智能家居设备控制时，通常只能实现对单一设备的智能家居控制，这样当希望智能机器人对更多的家居设备进行控制时，需要另外配置相应的控制方法，这会很大程度上增加智能机器人的开发复杂度，单一设备的智能家居控制的用户体验也不佳。

为了使智能机器人能够对多种家居设备实现智能控制，降低智能机器人开发者的开发难度，同时提高智能机器人对用户的家居控制指令的理解能力，在本发明的实施例中，提出一种基于命名实体这种通用结构对智能家居设备进行控制的方法，下面结合具体实施例进行说明。

图1为根据本发明实施例的面向智能机器人的智能家居控制方法的流程示意图，如图所示，包括以下步骤：

步骤S110、接收多模态输入信息，并解析多模态输入信息以获取用于操作智能家居设备的操作指令。

步骤S120、解析操作指令，获取位置参数，设备参数和操作参数。

步骤S130、结合位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。

具体的，智能机器人首先接收用户输入的多模态信息，多模态信息可以包括语音输入、动作输入、传感器输入等各种能够被智能机器人识别的输入方式。这些多模态信息中以不同的方式包含有用户所希望智能机器人执行的操作指令信息。智能机器人对接收到的多模态输入信息进行解析以获取用于操作智能家居设备的操作指令。在下面的实施例中，将主要以语音输入指令为例进行说明，但方法本身也适用于智能机器人能够识别的其他输入模式。

在本发明的实施例中，采用命名实体的形式来表达对智能家居设备的具体的操作指令。本实施例中所说命名实体指的是智能机器人系统便于理解并使用的所有能够以名称为标识的实体，可以是人名、机构名、地名、设备名、位置名、操作名等。

举例而言，针对智能家居控制领域，设备名如灯、空调、微波炉、洗衣机等属于命名实体。位置名如卧室、厨房、客厅、书房等也属于命名实体。操作名如开启、关闭、调高、调低等同样属于命名实体。可以看出，在引入命名实体后，可以利用命名实体对具体的指令进行划分，设备的操作指令均可以看做是由命名实体的集合构成的。对设备的操作指令因而具有了统一的形式，从而能够针对不同的智能家居设备设计结构化的数据模型，实施统一控制。

进一步地，在步骤S120中，通过解析操作指令来获取位置参数，设备参数和操作参数。如前所述，位置参数指的是与被操作的目标智能设备的位置有关的信息，设备参数指的是被操作的目标智能设备的具体的名称，操作参数指的是对被操作的目标智能设备实施的具体的操作。智能机器人系统通过解析用户发出的操作指令，从中提取到多个命名实体，并分别将位置名解析为位置参数，将设备名解析为设备参数，将操作名解析为操作参数。

举例而言，用户希望智能机器人为其开启电视机并将频道调节到北京卫视，用户发出如下的语音输入指令“打开电视，调到北京台”，智能机器人接收这条语音输入指令后，解析该输入指令并获取其中的操作指令信息，通过对操作指令的解析，进一步提取到命名实体“电视”和“北京台”。接下来，将命名实体“电视”标记为设备参数，将“北京台”标记为操作参数。但智能机器人根据这些信息有可能还无法执行该指令，因为该条操作指令中缺少位置参数，有可能造成指令的不能执行。

在本发明的实施例中，如果操作指令中缺少位置参数、设备参数或操作参数中的一种或几种时，智能机器人可以通过两种机制对缺少的参数进行补充，分别为基于存储的上下文进行补充以及通过与用户进行交互来补充。

具体的，上下文是一种有序序列，当某个操作对象被激活并运行时，会同时配置一些与该操作对象相关的变量、数据、服务等。对于计算机的进程而言，上下文就是进程执行时的环境。因此，在存储的上下文中可能会保存有与操作指令中所缺少的参数有关的信息。当操作指令中缺少位置参数、设备参数或操作参数中的一种或几种时，智能机器人系统可以通过获取存储的上下文交互信息，对上下文交互信息进行解析，并查询是否存在操作指令中所缺少的参数，如果存在相关参数信息，则利用上下文交互信息对缺少的参数进行补充。

举例而言，用户向智能机器人发出语音输入指令“开启卧室的灯”，根据前面的实施例可知，智能机器人从这条语音输入指令中分别提取“卧室”作为位置参数、提取“灯”作为设备参数，提取“开启”作为操作参数，根据得到的这三个参数，智能机器人将生成对于灯的控制指令，控制指令的生成过程将在后面详细说明。

然后，用户希望智能机器人还为他打开卧室内的电视机，于是用户继续向智能机器人发出语音输入指令“开启电视机”，这是一种省略的说法，这种语言习惯符合人们日常生活的交互习惯。因为在之前发出的指令中已经说明了灯的位置，而电视机的位置与灯的位置是一样的，所以省略了对电视机的位置“卧室”的指示。

智能机器人在接收到“开启电视机”的操作指令后，从中提取“电视机”作为设备参数，提取“开启”作为操作参数，然后通过判断，该操作指令中缺少位置参数。于是智能机器人系统去查询存储的上下文信息，由于此时智能机器人已经执行了对卧室的灯的操作，因此在其内部运行环境中存储了与灯的位置(亦即电视机的位置)有关的信息，所以，结合智能机器人的语义解析功能，可以推出“开启电视机”中所省略的位置参数仍然为“卧室”。

接下来，智能机器人根据从上下文交互信息中获取的位置参数信息“卧室”将操作指令“开启电视机”中的参数补充完整，并根据得到的三个参数，生成对于电视机的控制指令。

通过利用上下文交互信息对操作指令中缺少的模型参数进行补充，符合人们日常生活的交流习惯，有利于提高用户的交互体验。

需要说明的是，上下文交互信息还包括一种情况，就是当被操作的智能设备具有唯一性的时候，这种省略了位置参数的操作指令也应该是可以执行的。

比如家里只有一台电视机，位于卧室。因此用户发出“开启电视机”的操作指令后，智能机器人就能够知道是开启位于卧室中的电视机。在本发明的实施例中，将这类具有唯一性的家居设备及其位置信息也作为上下文交互信息进行存储。此时，只要用户发出“开启电视机”的指令，智能机器人就能够根据上下文交互信息对操作指令中缺少的位置参数进行补充，而无需在该操作指令之前还存在对于卧室中的其他设备进行操作的指令。

但如果被操作的智能设备不限于一个，例如灯、空调等。而在发出对这些智能设备进行操作的指令之前不存在其他的操作指令，这时就没有可用于查询和参考的上下文交互信息，如果操作指令中缺少参数，本发明实施例中提供了另一种补充参数的机制，通过与用户交互来补充缺少的参数。

具体的，如果上下文交互信息中不能够对操作指令中缺少的参数进行补充时，智能机器人将根据缺少的参数生成用于询问的输出数据，即与获取缺少的参数有关的多模态输出数据，并向用户输出该多模态输出数据，然后等待并接收来自用户的反馈信息。智能机器人通过对反馈信息进行解析，从中提取操作指令中缺少的参数进行补充。

举例而言，智能机器人系统接收到“开启空调”的操作指令后，从中提取“空调”作为设备参数，提取“开启”作为操作参数，由于该操作指令中缺少位置参数，所以无法生成对空调的具体的控制指令。因此智能机器人系统会首先查询存储的上下文交互信息，在上下文交互信息中没有发现能够用于补充位置参数的上下文信息。于是智能机器人系统将生成如下输出数据“开启位于哪里的空调”，该输出数据可以以任意一种智能机器人支持的、能够传达给用户的多模态的方式输出，比如可以通过发出语音输出信息或利用显示频幕输出文字信息，这取决于智能机器人系统的多模态输出方式的配置情况。

用户在接收到智能机器人发出的输出数据后，可以以智能机器人能够接收的输入方式提供多模态反馈信息，例如用语音回答“卧室”。智能机器人在接收到来自用户的反馈信息后，从中提取得到位置参数。例如针对“卧室”这个回答，将“卧室”提取为位置参数。

需要注意的是，如果操作指令中缺少多个参数，则可以多次重复上述与用户的交互过程，也可以在一次与用户的交互过程中完成多个参数的获取。

举例而言，智能机器人接收到的操作指令中仅包含有操作参数的信息，比如“改中火”，通过查询存储的上下文交互信息，也没有能够用于补充缺少的参数的上下文交互信息。根据操作参数“改中火”，智能机器人不能确定是将位于厨房的烤箱调节为中火还是将位于餐厅的微波炉调节为中火，于是智能机器人将生成如下的输出数据“是厨房的烤箱还是餐厅的微波炉？”或者“操作什么位置的什么设备？”等类似这些含义的询问信息并输出，然后根据用户的反馈信息同时提取位置参数和设备参数进行补充。

上述通过上下文交互和用户交互补充操作指令中缺少的参数信息的完整流程如图2所示，智能机器人系统从操作指令中提取到参数信息后，会先判断参数信息是否完整，即是否包含位置参数、设备参数以及操作参数三种参数信息。如果三种参数信息完整，则直接进入被控智能设备的控制指令的生成步骤。如果缺少三种参数信息中的一种或几种，则智能机器人系统首先查询存储的上下文交互信息中是否有参数能够进行补充，如果有则根据上下文交互信息对缺少的参数进行补充，并再次判断参数信息是否完整。如果三种参数信息完整，则进入控制指令的生成步骤。如果上下文交互信息中没有能够对缺少的参数进行补充的信息，或者在通过上下文交互信息进行参数补充后，判断三种参数信息仍然不完整，则进入与用户之间的上下文交互流程，通过与用户的交互获取缺少的参数以及对操作指令进行补充。

本发明的实施例，通过将智能设备的操作抽象为位置、设备、操作三种命名实体的组合模型，并通过NLP相关技术进行语义理解，解析出相应的命名实体数据来实现对智能设备的操作，是一种基于结构化数据的通用的操作智能设备的方法，可以方便地对智能家居设备进行控制和进行相关上下文操作，相比于现有技术中针对智能设备分别编写控制指令的方案，可以简化系统构成，降低系统的复杂度。

利用本发明实施例提供的两种补充缺少的参数的机制，即基于存储的上下文交互信息进行参数补充的方式以及通过与用户交互进行参数补充的方式，能够方便地对操作指令中缺少的参数进行补充，能够更好地契合用户与智能机器人之间的智能交互模式的要求，提高用户的交互体验。

在通过补充参数得到具有完整参数的操作指令后，智能机器人系统将结合位置参数，设备参数及操作参数，生成智能家居设备的控制指令并发送给对应的智能家居设备。

具体的，在步骤S130中，智能机器人系统首先结合预设的控制指令生成模型，对位置参数、设备参数以及操作参数进行解析，具体为，根据位置参数确定被控对象的方位，根据设备参数确定被控对象名称，根据操作参数确定被控对象需要执行的操作。

举例而言，智能机器人通过对操作指令的解析以及后续的参数补充，提取得到的参数为，位置参数为“卧室”，设备参数为“灯”，操作参数为“开启”。在控制指令的生成阶段，智能机器人对上述三种参数进行解析，通过位置参数“卧室”确定被控的智能设备是位于卧室中，通过设备参数“灯”确定是要对灯实施控制，通过操作参数“开启”确定要对被控对象“灯”实施开启的操作。

进一步地，智能机器人系统结合解析得到的被控对象的方位，被控对象的名称，以及被控对象需要执行的操作生成对被控对象的控制指令。

仍如上例，在根据位置参数获知被控对象位于卧室中后，智能机器人通过向其驱动模块发出对应的指令，使智能机器人运动到卧室。再根据设备参数进一步获知具体的被控对象为灯后，智能机器人再次通过向其驱动模块发出对应的指令，使智能机器人运动到灯的附近。接下来，根据操作参数获知用户是想要对灯进行开启的操作，于是智能机器人通过接通灯的电源或是触发灯的开关来完成操作。也就是说，智能机器人将获取的被控对象的方位、被控对象的名称、以及被控对象需要执行的操作对应地转换为驱动智能机器人相应操作的指令来实现对被控对象的控制。

需要说明的是，上述根据位置参数确定被控对象的方位、根据设备参数确定被控对象的名称以及根据操作参数确定被控对象需要执行的操作的过程不具有严格的先后顺序，可以并行进行，如图3所示。

在本发明实施例的方案下可对家居场景下的设备操作的管理得到了很大的提升，同时也有助于提升智能机器人系统的开发效率。

现有技术中的对智能家居设备的控制都是基于每个设备进行特殊实现，因此无法进行结构化的数据模型控制。这样在需要对设备的属性进行修改，或需要添加新的智能家居设备时，也必须针对每个设备进行修改和添加，其中包含大量的重复性工作，既不利于系统的优化，也增加了开发的工作量。

在本发明的实施例中，基于NLP自然语言处理的相关技术，通过提取操作指令的位置参数、设备参数和操作参数，使得对各种智能设备的控制以一种统一的形式来实现，在进行设备属性的修改以及新设备的添加时，也无需再额外编写控制指令，直接基于本发明实施例中的参数提取以及控制指令的生成方法，就可以方便的实现设备属性的修改或者新设备的添加。

在本发明的另一个实施例中，还提供了一种面向智能机器人的智能家居控制系统，其结构示意图如图4所示，该系统包括：

指令解析模块41，其接收多模态输入信息，并解析多模态输入信息以获取用于操作智能家居设备的操作指令。

参数获取模块42，其解析操作指令，获取位置参数，设备参数和操作参数。

指令生成模块43，其结合位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。

进一步地，当操作指令中缺少位置参数，设备参数或操作参数时，参数获取模块42获取存储的上下文交互信息，并解析该上下文交互信息，获取操作指令中缺少的参数。

当上下文交互信息中不包括操作指令中缺少的参数时，参数获取模块42生成询问缺少的参数的多模态输出数据并输出，接收来自用户的反馈信息，并对反馈信息进行解析，从中提取缺少的参数进行补充。

指令生成模块43在生成智能家居的控制指令时，结合预设的控制指令生成模型，对位置参数，设备参数及操作参数进行解析，具体为，根据位置参数确定被控对象的方位，根据设备参数确定被控对象名称，根据操作参数确定被控对象需要执行的操作。并结合被控对象的方位，被控对象的名称，以及被控对象需要执行的操作生成对被控对象的控制指令。

上述功能模块的具体操作可以结合前一实施例相应得出，此处不再赘述。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种面向智能机器人的智能家居控制方法，包括：

接收多模态输入信息，并解析所述多模态输入信息以获取用于操作智能家居设备的操作指令；

解析所述操作指令，获取位置参数，设备参数和操作参数；

结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。

2.根据权利要求1所述的方法，其特征在于，所述获取位置参数，设备参数，操作参数，包括：

当所述操作指令中缺少位置参数，设备参数或操作参数时，获取存储的上下文交互信息；

解析所述上下文交互信息，获取所述操作指令中缺少的参数。

3.根据权利要求2所述的方法，其特征在于，当所述上下文交互信息中不包括所述操作指令中缺少的参数时，

生成询问所述缺少的参数的多模态输出数据并输出；

接收来自用户的反馈信息，并对所述反馈信息进行解析，从中提取所述缺少的参数。

4.根据权利要求1所述的方法，其特征在于，所述结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令，包括：

结合预设的控制指令生成模型，对所述位置参数，设备参数及操作参数进行解析，

根据所述位置参数确定被控对象的方位；

根据所述设备参数确定被控对象名称；

根据所述操作参数确定被控对象需要执行的操作；

结合所述被控对象的方位，被控对象的名称，以及被控对象需要执行的操作生成对所述被控对象的控制指令。

5.一种面向智能机器人的智能家居控制系统，包括：

指令解析模块，其接收多模态输入信息，并解析所述多模态输入信息以获取用于操作智能家居设备的操作指令；

参数获取模块，其解析所述操作指令，获取位置参数，设备参数和操作参数；

指令生成模块，其结合所述位置参数，设备参数及操作参数，生成智能家居的控制指令并发送给对应的智能家居设备。

6.根据权利要求5所述的系统，其特征在于，当所述操作指令中缺少位置参数，设备参数或操作参数时，所述参数获取模块获取存储的上下文交互信息，并解析所述上下文交互信息，获取所述操作指令中缺少的参数。

7.根据权利要求6所述的系统，其特征在于，当所述上下文交互信息中不包括所述操作指令中缺少的参数时，所述参数获取模块生成询问所述缺少的参数的多模态输出数据并输出，接收来自用户的反馈信息，并对所述反馈信息进行解析，从中提取所述缺少的参数。

8.根据权利要求5所述的系统，其特征在于，所述指令生成模块根据如下步骤生成智能家居的控制指令：

结合预设的控制指令生成模型，对所述位置参数，设备参数及操作参数进行解析，

根据所述位置参数确定被控对象的方位；

根据所述设备参数确定被控对象名称；

根据所述操作参数确定被控对象需要执行的操作；

结合所述被控对象的方位，被控对象的名称，以及被控对象需要执行的操作生成对所述被控对象的控制指令。