CN113791557A - 一种智能设备的控制方法和装置 - Google Patents

Abstract

本申请公开了一种智能设备的控制方法和装置，该方法包括：获取用户的动作体感信息和声音信息；确定与所述动作体感信息和声音信息相匹配的控制指令；基于所述控制指令控制智能设备的运行。

Description

一种智能设备的控制方法和装置

本文件是申请号为“201810478005.3”、申请日为“2018年05月18日”、申请名称为“一种智能设备的控制方法和装置”的专利申请的分案申请。

技术领域

本申请涉及智能设备领域，尤其涉及一种智能设备的控制方法和装置。

背景技术

随着科学技术的飞速发展，出现了各种各样的智能设备，例如智能冰箱、智能空调等。这些智能设备通常可以通过控制指令进行控制，在控制指令的控制下，智能设备可以改变其运行状态，为用户提供各种服务。

通常，在通过控制指令对智能设备进行控制时，具体地，可以通过遥控器向智能设备发出控制指令，或者，可以通过专用应用程序APP向智能设备发送控制指令，智能设备在接收到控制指令后，可以根据控制指令执行相应的操作并改变其运行状态。然而，在实际应用中，由于上述控制智能设备的方法依赖于遥控器或专用APP，导致对智能设备的控制不灵活。

发明内容

本申请实施例提供一种智能设备的控制方法和装置，用于解决现有的对智能设备进行控制的方法不灵活的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出一种智能设备的控制方法，包括：

获取用户的动作体感信息和声音信息；

确定与所述动作体感信息和声音信息相匹配的控制指令；

基于所述控制指令控制智能设备的运行。

第二方面，提出了一种智能设备的控制装置，包括：

获取单元，获取用户的动作体感信息和声音信息；

确定单元，确定与所述动作体感信息和声音信息相匹配的控制指令；

控制单元，基于所述控制指令控制智能设备的运行。

第三方面，提出一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取用户的动作体感信息和声音信息；

确定与所述动作体感信息和声音信息相匹配的控制指令；

基于所述控制指令控制智能设备的运行。

第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取用户的动作体感信息和声音信息；

确定与所述动作体感信息和声音信息相匹配的控制指令；

基于所述控制指令控制智能设备的运行。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请实施例提供的技术方案，获取用户的动作体感信息和声音信息；确定与所述动作体感信息和声音信息相匹配的控制指令；基于所述控制指令控制智能设备的运行。这样，由于可以根据用户的动作体感和声音对智能设备进行控制，因此，可以使得用户对智能设备的控制更加灵活。此外，由于可以基于动作体感和声音相结合的方式对智能设备进行控制，因此，还可以保证对智能设备进行控制的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例智能设备的控制方法的流程示意图；

图2是本申请的一个实施例智能设备的控制方法的流程示意图；

图3是本申请的一个实施例电子设备的结构示意图；

图4是本申请的一个实施例智能设备的控制装置的结构示意图。

具体实施方式

现有技术中，通常可以使用遥控器或者智能手机中安装的专用APP对智能冰箱、智能电视等智能设备进行控制，以改变智能设备的运行状态，向用户提供服务。然而，上述控制方法依赖于遥控器或专用APP，导致对智能设备的控制不灵活。

有鉴于此，本申请实施例提供一种智能设备的控制方法和装置，该方法包括：获取用户的动作体感信息和声音信息；确定与所述动作体感信息和声音信息相匹配的控制指令；基于所述控制指令控制智能设备的运行。

本申请实施例的技术方案至少存在以下有益效果：

(1)由于可以根据用户的动作体感和声音对智能设备进行控制，因此，相较于依赖遥控器或专用APP对智能设备进行控制而言，可以使得用户对智能设备的控制更加灵活；

(2)由于可以基于动作体感和声音相结合的方式对智能设备进行控制，因此，在用户只做出动作或发出声音时，都可以对智能设备进行控制，相较于仅根据用户的动作体感或仅根据用户的声音对智能设备进行控制而言，可以提高对智能设备进行控制的准确度。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，通过本申请实施例提供的技术方案，用户可以灵活地对智能设备进行控制，以改变智能设备的运行状态。其中，所述智能设备可以是智能家居，例如，智能冰箱、智能电视、智能扫地机器人等，也可以是智能手机、IPad，或其他智能设备，例如，智能游戏机等，这里不再一一举例说明。

本申请实施例提供的智能设备的控制装置，可以集成在需要控制的智能设备中，其中，所述智能设备中可以安装有用于捕捉用户动作体感的装置，以及用于捕捉声音的装置。

此外，所述智能设备的控制装置也可以独立于需要控制的智能设备，其中，该智能设备的控制装置可以安装有用于捕捉用户动作体感的装置，以及用于捕捉声音的装置，且，该智能设备的控制装置可以用于对一个智能设备进行控制，也可以用于对多个智能设备进行控制。

如果该智能设备的控制装置独立于需要控制的智能设备，那么，该控制装置中可以包含控制接口，该控制接口可以调用智能设备的控制接口，以实现对智能设备的控制。

此外，本申请实施例提供的技术方案还可以实现对非智能设备的控制，具体地，可以将非智能设备与智能设备连接，通过控制与非智能设备连接的智能设备实现对非智能设备的控制。所述非智能设备可以是非智能的家居设备，例如，窗帘、电灯、非智能电视等，也可以是其他可以由智能设备控制的非智能设备，这里不再一一举例说明。

对非智能设备进行控制的控制装置可以集成在非智能设备中，也可以集成在与非智能设备连接的智能设备中，还可以单独存在，若集成在非智能设备/智能设备中，非智能设备/智能设备中可以安装有用于捕捉用户动作体感的装置，以及用于捕捉声音的装置；若独立存在，则该控制装置中可以安装有用于捕捉用户动作体感的装置，以及用于捕捉声音的装置。

如果上述对智能设备/非智能设备进行控制控制装置可以对多个设备进行控制，那么，在对多个设备进行控制时，至少可以通过以下两种方式确定对哪一个设备进行控制：一种实现方式是，可以在该控制装置中设置多个按键，一个按键对应一个设备，一个按键开启时，该控制装置可以对该按键对应的设备进行控制；另一种实现方式是：根据用户的动作体感和声音确定用户想要控制的设备，并对确定的设备进行控制。

为了便于对整个技术方案进行说明，本申请实施例可以以控制装置对一个智能设备进行控制为例进行说明。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1是本申请的一个实施例智能设备的控制方法的流程示意图。本申请实施例的执行主体可以是上述记载的控制装置。所述方法如下所述。

S102：获取用户的动作体感信息和声音信息。

在步骤102中，用户在想要对智能设备进行控制时，可以做出动作并发出声音，此时，控制装置可以对用户的动作体感和声音进行捕捉，并获取得到用户的动作体感信息和声音信息。

本申请实施例中，用户的动作体感可以包含用户的手势、肢体动作和面部表情中的至少一种。在对用户的动作体感进行捕捉后，可以得到用户的动作体感信息。用户的动作体感信息可以包含图像，也可以包含其他可以用于表征用户动作体感的信息，例如重力信息。

在对用户的动作体感进行捕捉时，可以使用动作捕捉装置进行捕捉，所述动作捕捉装置可以是可见光装置、红外线装置、激光扫描装置等图像采集装置，也可以是重力传感器。

在对用户的声音进行捕捉时，可以使用麦克风等声音采集设备进行捕捉，在对用户的声音进行捕捉后，可以得到用户的声音信息。

需要说明的是，声音采集设备在对声音进行捕捉时，通常会将用户的声音和环境中的其他声音共同捕捉，因此，在获取用户的声音信息时，需要从声音采集设备捕捉到的声音信息中提取用户的声音信息。

在提取用户的声音信息时，具体地，可以对声音采集设备捕捉到的声音信息进行降噪处理，在得到降噪后的声音信息后，可以基于人声分离技术从降噪后的声音信息中分离出用户的声音。其中，降噪处理以及人声分离技术均已被现有技术记载，本申请实施例不再详细说明。

上述记载的用于对用户的动作体感进行捕捉的动作捕捉装置以及用于对用户的声音进行捕捉的声音采集设备，可以集成在所述控制装置中，也可以独立于所述控制装置，如果独立于所述控制装置，那么，所述控制装置可以对备捕捉到的动作体感信息和声音信息进行统一管理。

在获取到用户的动作体感信息以及声音信息后，可以执行S104。

S104：确定与所述动作体感信息和声音信息相匹配的控制指令。

在步骤104中，可以根据所述动作体感信息以及所述声音信息，确定与所述动作体感信息以及所述声音信息相匹配的控制指令，所述控制指令可以用于对智能设备进行控制。

在本申请的一个实施例中，确定与所述动作体感信息和声音信息相匹配的控制指令，包括：

确定与用户的动作体感信息相匹配的动作指令，以及与用户的声音信息相匹配的语音指令；

确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，所述控制逻辑包括所述智能设备的至少一条控制指令。

具体地，在获取到用户的动作体感信息以及声音信息后，可以对所述动作体感信息进行识别，确定与所述动作体感信息相匹配的动作指令，对所述声音信息进行识别，确定与所述声音信息相匹配的语音指令。其中，所述动作指令以及所述语音指令可以理解为，用户在对智能设备进行控制时做出的动作指示和声音指示，与对智能设备进行控制的控制指令不同。

确定与用户的动作体感信息相匹配的动作指令，可以包括：

根据所述动作体感信息，确定所述用户的骨架关节信息；

根据所述骨架关节信息，确定所述用户的骨架关节的运动轨迹；

根据所述运动轨迹，构建骨架关节运动模型；

根据所述骨架关节运动模型，确定与所述动作体感信息相匹配的动作指令。

在确定用户的骨架关节信息时，可以基于图像识别技术对所述动作体感信息中包含的图像进行分析，结合动作体感信息中包含的重力等信息得到用户的骨架关节信息。所述骨架关节信息可以包括：骨架关节的位置信息、骨架关节的拉伸信息等。

在得到骨架关节信息后，可以根据骨架关节信息确定用户的骨架关节的运动轨迹，具体实现方法可以参见现有技术中记载的相关内容，这里不再详细说明。

在得到用户的骨架关节的运动轨迹后，可以构建骨架关节运动模型，具体地构建方法已在现有技术中记载，这里也不再详细说明。

在构建得到骨架关节运动模型后，可以根据该骨架关节运动模型，识别得到与用户的动作体感信息相匹配的动作指令。例如，如果用户做出了向左挥手的动作，那么，可以确定所述动作指令为“向左挥手”。

确定与用户的声音信息相匹配的语音指令，可以包括：

提取所述声音信息的特征信息；

根据预先建立的语言模型，确定与所述特征信息相匹配的短语，所述语言模型中包含特征信息以及与特征信息对应的短语之间的映射关系；

对所述特征信息相匹配的短语进行语义识别，确定与所述声音信息相匹配的语音指令。

具体地，可以对所述声音信息进行特征提取，得到所述声音信息的特征信息，特征提取方法可以参见现有技术中记载的相关内容，这里不再详细说明。

在提取到所述声音信息的特征信息后，可以将所述特征信息与预先建立的语言模型进行匹配，得到具有最大匹配相似度的短语，其中，所述语言模型中可以包含对不同声音信息进行特征提取得到的特征信息以及与不同的特征信息对应的短语之间的一一映射关系。

在得到与所述特征信息相匹配的短语后，可以对该短语进行语义识别，得到与所述声音信息相匹配的语音指令，其中，语义识别的方法可以参见现有技术中记载的相关内容，这里不再详细说明。

在确定与用户的动作体感信息相匹配的动作指令，以及与用户的声音信息相匹配的语音指令后，可以进一步确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，其中，所述控制逻辑可以包含至少一条用于对智能设备进行控制的控制指令。

在确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑时，可以包括：

根据预先确定的控制模型，确定与所述动作指令以及所述语音指令的组合相匹配的控制指令，所述控制模型根据动作指令和语音指令，以及与动作指令和语音指令的组合相匹配的控制指令预先训练得到；

根据与所述动作指令以及所述语音指令的组合相匹配的控制指令，确定所述控制逻辑。

具体地，可以预先训练所述控制模型，所述控制模型可以用于根据用户的动作指令和语音指令确定对智能设备进行控制的控制指令。

在训练所述控制模型时，首先，针对需要控制的智能设备，可以确定该智能设备的多条控制指令以及与其中一条或多条控制指令对应的动作指令和语音指令。例如，针对“打开空调”的控制指令，可以确定对应的动作指令是“手臂从左向右平行滑动”，对应的语音指令是“打开空调”。

再例如，针对“打开空调”以及“调整温度为20摄氏度”两条控制指令，可以确定对应的动作指令是“手势依次为二和十”，对应的语音指令是“空调20摄氏度”。

需要说明的是，在为一条或多条控制指令确定对应的动作指令和语音指令时，确定的动作指令也可以是一条，也可以是多条，对应的语音指令可以是一条，也可以是多条。例如，针对“打开空调”的控制指令，对应的动作指令除了上述记载的“手臂从左向右平行滑动”之外，还可以是“手臂从右向左平行滑动”，对应的语音指令除了上述记载的“打开空调”之外，还可以是“开空调”或“启动空调”等。

其次，根据确定的控制指令以及与一条或多条控制指令对应的动作指令和语音指令进行训练，得到所述控制模型。

具体地，可以建立动作指令以及语音指令的组合与控制指令之间的映射关系，该映射关系可以视为所述控制模型，也可以是构建数学模型(例如，神经网络模型等)，该数学模型可以视为所述控制模型，其中，所述数学模型的输入可以是动作指令和语音指令，输出可以是与动作指令和语音指令组合匹配的一条或多条控制指令。

在训练得到所述控制模型后，当确定用户的动作指令和语音指令时，可以基于所述控制模型，确定与所述动作指令和语音指令的组合相匹配的一条或多条控制指令。

具体地，若所述控制模型为映射关系，则可以根据所述映射关系，查找与用户的动作指令和语音指令的组合对应的一条或多条控制指令。

若所述控制模型为数学模型，则可以以用户的动作指令和语音指令作为输入，数学模型输出的一条或多条控制指令即为与用户的动作指令和语音指令的组合相匹配的控制指令。

需要说明的是，在实际应用中，除了上述记载的基于所述控制模型确定与用户的动作指令以及语音指令的组合相匹配的控制指令之外，还可以仅根据用户的动作指令，基于所述控制模型确定与用户的动作指令相匹配的一条或多条控制指令，或仅根据用户的语音指令，基于所述控制模型确定与用户的语音指令相匹配的一条或多条控制指令。

在确定得到与用户的动作指令和语音指令的组合相匹配的一条或多条控制指令后，可以根据该一条或多条控制指令确定得到控制逻辑。具体地，如果确定得到的控制指令的条数为一条，那么，所述控制逻辑可以是执行该控制指令；如果确定得到的控制指令的条数为多条，那么，所述控制逻辑可以是按照先后的逻辑顺序执行多条控制指令。

例如，控制指令包含用于控制机器人到指定区域的控制指令以及控制机器人扫地的控制指令，那么，所述控制逻辑可以是：首先执行用于控制机器人到达指定区域的控制指令，其次执行用于控制机器人扫地的控制指令。

在本申请的另一实施例中，确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，还可以包括：

判断所述动作指令以及所述语音指令是否有效；

若是，则确定与所述动作指令以及所述语音指令的组合相匹配的操作意图。

考虑到实际应用中，用户的动作指令以及语音指令不一定是对智能设备进行控制(例如，用户打喷嚏的动作和打喷嚏时发出的声音)，为了避免对这些动作指令和语音指令进行分析，在确定用户的动作指令以及语音指令后，可以判断用户的动作执行和语音指令是否有效。

用户的动作指令和语音指令有效，可以说明用户的动作指令和语音指令是用于对智能设备进行控制，反之，则可以说明用户的动作指令和语音指令不是用于对智能设备进行控制。

在判断所述动作指令以及所述语音指令是否有效时，可以包括：

将所述动作指令以及所述语音指令与预先建立的用户操作库进行匹配，所述用户操作数据库中包含有效的动作指令和语音指令，所述有效的动作指令和语音指令预先根据所述智能设备的控制指令确定得到；

若匹配成功，则确定所述动作指令以及所述语音指令有效；

若匹配失败，则确定所述动作指令以及所述语音指令无效。

具体地，首先，可以预先针对智能设备的每一条控制指令分别确定对应的动作指令和语音指令，例如，针对“打开空调”的控制指令，可以确定对应的动作指令是“手臂从左向右平行滑动”，对应的语音指令是“打开空调”。

在针对智能设备的每一条控制指令确定对应的动作指令和语音指令后，可以将这些动作指令和语音指令存储在用户操作库中。由于这些动作指令和语音指令可以对智能设备进行控制，因此，这些动作指令和语音指令可以视为有效地的动作指令和语音指令。

需要说明的是，在为智能设备的控制指令确定对应的动作指令和语音指令时，每一条控制指令对应的动作指令也可以是一个，也可以是多个，对应的语音指令可以是一个，也可以是多个。

例如，针对“打开空调”的控制指令，对应的动作指令除了上述记载的“手臂从左向右平行滑动”外，还可以是“手臂从右向左平行滑动”，对应的语音指令除了上述记载的“打开空调”之外，还可以是“开空调”或“启动空调”等，这里不再一一举例说明。

此外，还可以将智能设备的多条控制指令作为一组，并为一组控制指令确定对应的动作指令和语音指令，例如，针对“打开空调”以及“调整温度为20摄氏度”两条控制指令，可以确定对应的动作指令是“手势依次为二和十”，对应的语音指令是“空调20摄氏度”。

这样，在确定用户的动作指令和语音指令后，可以将用户的动作指令和语音指令与预先建立的所述用户操作库中存储的动作指令和语音指令进行组合匹配，如果组合匹配的相似度不小于预设值，则可以确定用户的动作指令和语音指令有效，反之，则可以确定用户的动作指令和语音指令无效。其中，所述预设值可以根据实际情况确定，这里不做具体限定。

需要说明的是，为了提高用户的动作指令以及语音指令的容错率，还可以仅根据用户的动作指令的匹配结果或仅根据用户的语音指令的匹配结果确定用户的动作指令以及语音指令是否有效。

具体地，在将用户的动作指令和语音指令与上述用户操作库中的动作指令和语音指令进行组合匹配后，如果用户的动作指令的匹配结果是相似度不小于所述预设值，语音指令的匹配结果是相似度小于所述预设值，那么，可以认为用户是误发音，此时，可以认为用户的动作指令和语音指令均有效；如果用户的动作指令的匹配结果是相似度小于所述预设值，语音指令的匹配结果是相似度不小于所述预设值，那么，可以认为用户是误动作，此时，可以认为用户的动作指令和语音指令均有效。

例如，用户的动作指令是“手臂从左向右水平滑动”，语音指令是“打开空调”，在将“手臂从左向右水平滑动”和“打开空调”与上述用户操作库中的动作指令和语音指令组合匹配后，如果“手臂从左向右水平滑动”的匹配结果的相似度大于80％，“打开空调”的匹配结果的相似度小于10％，那么，可以认为用户的动作指令“手臂从左向右水平滑动”和语音指令“打开空调”均有效。

需要说明的是，为了便于对用户对智能设备进行控制，用户在做出动作以及发出声音时，可以根据所述用户操作数据库中存储的动作指令和语音指令，做出有效的行为动作并发出有效的声音，从而避免由于无效的动作指令和语音指令导致不能对智能设备进行控制的问题。

在确定用户的动作指令和语音指令有效后，可以基于上述记载的方法确定与所述动作指令以及语音指令的组合相匹配的控制逻辑；若用户的动作指令和语音指令无效，则可以忽略。

在确定与用户的动作体感信息和声音信息相匹配的控制指令后，可以执行S106。

S106：基于所述控制指令控制智能设备的运行。

在步骤106中，在确定与用户的动作体感信息和声音信息相匹配的控制指令后，可以基于所述控制指令对智能设备进行控制。

在本申请的一个实施例中，基于上述S104记载的内容，可以根据用户的动作体感信息以及声音信息确定包含至少一条控制指令的控制逻辑，在确定所述控制逻辑后，可以根据所述控制逻辑控制智能设备的运行，即根据所述控制逻辑中包含的至少一条控制指令控制智能设备的运行。

在基于控制指令控制智能设备的运行时，可以包括：

基于所述控制指令，控制所述智能设备执行与所述动作体感信息以及所述声音信息相匹配的操作；或，

基于所述控制指令，控制所述智能设备对目标设备进行控制，使得所述目标设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

在一种实现方式中，最终控制的目标设备即为智能设备，在这种情况下，可以根据确定的控制指令，直接控制该智能设备执行与用户的动作体感信息以及声音信息对应的操作。

例如，目标设备为智能空调，用户的动作体感信息和声音信息对应的操作为打开空调，确定的控制指令为用于打开智能空调的控制指令，那么，可以通过该控制指令直接控制智能空调打开。

在另一种实现方式中，最终控制的目标设备为非智能设备，即通过控制智能设备来实现对非智能设备的控制，在这种情况下，可以确定的控制指令，通过控制智能设备来控制非智能设备执行与用户的动作体感信息以及声音信息对应的操作。

例如，目标设备是窗帘，窗帘可以与智能设备连接，该智能设备与控制装置连接，控制装置可以通过该智能设备控制窗帘的打开和关闭，其中，该智能设备可以与控制窗帘打开和关闭的机械装置连接，并可以控制该机械装置执行机械操作。若用户的动作体感信息以及声音信息对应的操作是打开窗帘，那么，控制装置可以根据确定的控制指令对该智能设备进行控制，令该智能设备控制与其连接的机械装置执行机械动作，以控制窗帘打开。

基于上述两种实现方式，可以实现对智能设备以及非智能设备的控制。

在本申请的另一实施例中，在基于所述控制指令控制所述智能设备的运行后，所述方法还可以包括：

接收所述智能设备返回的通知信息，所述通知信息用于通知是否成功执行与所述动作体感信息以及所述声音信息相匹配的操作；

根据所述通知信息生成提示信息，所述提示信息用于提示是否成功控制所述智能设备。

在控制智能设备执行与用户的动作体感信息以及声音信息对应的操作后，或通过控制智能设备对非智能设备进行控制，使得非智能设备执行与用户的动作体感信息以及声音信息对应的操作后，智能设备可以根据执行情况生成通知信息，所述通知信息可以用于通知是否成功执行与用户的动作体感信息以及声音信息对应的操作。

例如，如果所述智能设备为最终控制的目标设备，则所述通知信息可以用于通知所述智能设备是否成功执行与用户的动作体感信息以及声音信息对应的操作；如果最终控制的目标设备为非智能设备，则所述通知信息可以用于通知所述非智能设备是否成功执行与用户的动作体感信息以及声音信息对应的操作。

智能设备在生产通知信息后，可以将该通知信息进行反馈，这样，可以根据所述通知信息生成提示信息，所述提示信息可以用于提示是否成功控制所述智能设备。

例如，如果所述智能设备为最终需要控制的目标设备，则所述提示信息可以用于提示是否成功控制所述智能设备执行与用户的动作体感信息以及声音信息对应的操作；如果最终控制的目标设备为非智能设备，则所述提示信息可以用于提示是否成功通过所述智能设备控制所述非智能设备执行与用户的动作体感信息以及声音信息对应的操作。

所述提示信息可以是语音，也可以是视频，这里不作具体限定。例如，在成功控制打开智能空调后，可以生成语音提示，以提示用户已成功打开智能空调。

需要说明的是，本申请实施例通过用户的动作体感和声音相结合的方式对智能设备进行控制，相较于仅通过用户的动作体感或仅通过用户的声音对智能设备进行控制而言，不仅可以提高对用户操作的识别率，还可以提高对智能设备进行控制的准确度，在方便用户对智能设备进行控制的同时，还可以提供给用户更多的操作自由。

下面通过一些应用场景来详细说明本申请实施例提供的技术方案的优势：

第一种应用场景：当用户发现地面上有一处污渍，希望扫地机器人对污渍进行清扫。

如果仅通过语音控制扫地机器人，那么，用户需要详细描述污渍的具体区域以及目标动作，例如：打扫在距离南向墙面1.5米，距离东向墙面1米地面上的污渍。也就是说，在仅通过语音来控制扫地机器人进行污渍清扫时，用户需要准确的语言才能对扫地机器人进行控制。

使用本申请实施例提供的技术方案，用户可以用手指向有污渍的具体区域，并发出语音“清扫这里”。此时，对智能设备进行控制的控制装置可以自动根据用户手臂指示的方向和下达的语音，生成相应的控制指令，并控制扫地机器人清扫有污渍的指定区域。

第二种应用场景：用户通过智能电视购物。

如果仅通过语音进行购物，那么，由于用户无法对品类繁杂的商品进行快速浏览和挑选，导致用户的购物体验不好。如果通过用户的行为动作进行购物，那么，在需要与卖家进行细节沟通时，用户打字会比较繁琐。

使用本申请实施例提供的技术方案，用户可以通过手势快速浏览商品页面，查看商品细节。当需要进行文字输入或者语音交流时，用户可以通过语音快速输入文字，或者直接通过音频方式与卖家交流，极大简化了用户的操作并提升用户体验。

第三种应用场景：用户在观看电视时打开空调。

如果仅通过用户发出的语音来控制打开空调，那么，由于电视发出声音(包含人声、音乐、其他干扰声源等)会影响对用户语音进行识别的准确性，导致无法快速识别用户的操作意图，甚至出现错误理解用户操作意图的问题。

使用本申请实施例提供的技术方案，用户可以通过手臂指向需要打开的空调，并由左向右平行滑动，此时，可以对用户的行为动作进行识别，确定用户的操作意图是打开空调，进而自动启动空调。

基于以上应用场景可知，本申请实施例将动作体感识别与语音识别相结合，通过用户的动作体感和声音对智能设备进行控制，不仅可以有效简化用户下达指令的复杂度，还可以明确表达用户的操作意图。此外，基于用户的动作体感和声音对智能设备进行控制的方式可以更加贴近自然交流习惯，使得用户操作意图的表达更加简洁直观，在此基础上可以有效提高用户对智能设备的使用便利性，提升用户体验。

本申请实施例提供的技术方案，获取用户的动作体感信息和声音信息；确定与所述动作体感信息和声音信息相匹配的控制指令；基于所述控制指令控制智能设备的运行。这样，由于可以根据用户的动作体感和声音对智能设备进行控制，因此，可以使得用户对智能设备的控制更加灵活。此外，由于可以基于动作体感声音音相结合的方式对智能设备进行控制，因此，还可以保证对智能设备进行控制的准确率。

图2是本申请的一个实施例智能设备的控制方法的流程示意图。图2所示的智能设备的控制方法可以由图1所示的实施例中记载的控制装置实现。下面以对一个智能设备进行控制为例说明。

步骤201：用户做出动作并发出声音。

用户在想要对智能设备进行控制时，可以做出动作并发出声音。优选地，用户可以根据预先确定的有效的动作和声音，做出指定动作并发出指定声音，以避免无效的动作和声音。

步骤202：对用户的动作体感和声音进行捕捉，得到动作体感信息和声音信息。

在步骤202中，在用户做出动作并发出声音后，可以使用动作捕捉装置(例如红外线装置、可见光装置、激光装置、重力传感器等)对用户的体感动作进行捕捉，得到动作体感信息，使用声音采集装置(例如麦克风等)对用户的声音进行捕捉，得到声音信息。

步骤203：确定与所述动作体感信息相匹配的动作指令，以及与所述声音信息相匹配的语音指令。

具体实现方式可以参见图1所示实施例中记载的相关内容，这里不再重复说明。

步骤204：确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑。

在步骤204中，以用户的动作指令和语音指令有效为例进行说明。在用户的动作指令和语音指令有效的情况下，可以确定基于预先确定的控制模型确定用于对智能设备进行控制的控制逻辑。具体实现方式可以参见图1所示实施例中记载的内容，这里不再重复说明。

步骤205：根据所述控制逻辑对所述智能设备进行控制。

在步骤205中，如果最终控制的目标设备即为所述智能设备，则可以根据所述控制指令控制所述智能设备执行与用户的动作指令和语音指令对应的操作；如果最终控制的目标设备为非智能设备，则可以根据所述控制指令控制所述智能设备，令所述智能设备控制非智能设备执行与用户的动作指令和语音指令对应的操作。

具体实现方式可以参见图1所示实施例中记载的相关内容，这里不再重复描述。

步骤206：智能设备返回通知信息。

如果所述智能设备为最终控制的目标设备，则所述通知信息可以用于通知所述控制装置，所述智能设备是否成功执行与用户的动作指令和语音指令对应的操作；如果最终控制的目标设备为非智能设备，则所述通知信息可以用于通知所述控制装置，所述非智能设备是否成功执行与用户的动作指令和语音指令对应的操作。

步骤207：根据所述通知信息生成提示信息。

所述提示信息可以用于提示是否成功控制所述智能设备。如果所述智能设备为最终需要控制的目标设备，则所述提示信息可以用于提示是否成功控制所述智能设备执行与用户的动作指令和语音指令对应的操作；如果最终控制的目标设备为非智能设备，则所述提示信息可以用于提示是否成功控制所述智能设备，令所述智能设备控制所述非智能设备执行与用户的动作指令和语音指令对应的操作。

本申请实施例提供的技术方案，在用户对智能设备进行控制时，可以捕捉用户的动作体感和声音，识别得到用户的动作指令和语音指令，通过动作指令和语音确定包含至少一条控制指令的控制逻辑，根据控制逻辑对智能设备进行控制。这样，由于可以根据用户的动作体感和声音对智能设备进行控制，因此，可以使得用户对智能设备的控制更加灵活。此外，由于可以基于动作体感和声音相结合的方式对智能设备进行控制，因此，还可以保证对智能设备进行控制的准确率。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成智能设备的控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取用户的动作体感信息和声音信息；

确定与所述动作体感信息和声音信息相匹配的控制指令；

基于所述控制指令控制智能设备的运行。

上述如本申请图3所示实施例揭示的智能设备的控制装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1的方法，并实现智能设备的控制装置在图1所示实施例中的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示实施例的方法，并具体用于执行以下操作：

获取用户的动作体感信息和声音信息；

确定与所述动作体感信息和声音信息相匹配的控制指令；

基于所述控制指令控制智能设备的运行。

图4是本申请的一个实施例智能设备的控制装置40的结构示意图。请参考图4，在一种软件实施方式中，所述智能设备的控制装置40可包括：获取单元41、确定单元42和控制单元43，其中：

获取单元41，获取用户的动作体感信息和声音信息；

确定单元42，确定与所述动作体感信息和声音信息相匹配的控制指令；

控制单元43，基于所述控制指令控制智能设备的运行。

可选地，所述确定单元42，确定与所述动作体感信息和声音信息相匹配的控制指令，包括：

确定与用户的动作体感信息相匹配的动作指令，以及与用户的声音信息相匹配的语音指令；

确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，所述控制逻辑包括所述智能设备的至少一条控制指令；

其中，所述控制单元43，基于所述控制指令控制智能设备的运行，包括：

根据所述控制逻辑控制所述智能设备的运行。

可选地，所述确定单元42，确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，包括：

根据预先确定的控制模型，确定与所述动作指令以及所述语音指令的组合相匹配的控制指令，所述控制模型根据动作指令和语音指令，以及与动作指令和语音指令的组合相匹配的控制指令预先训练得到；

根据与所述动作指令以及所述语音指令的组合相匹配的控制指令，确定所述控制逻辑。

可选地，所述确定单元42，确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，还包括：

判断所述动作指令以及所述语音指令是否有效；

若是，则确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑。

可选地，所述确定单元42，判断所述动作指令以及所述语音指令是否有效，包括：

将所述动作指令以及所述语音指令与预先建立的用户操作库进行匹配，所述用户操作数据库中包含有效的动作指令和语音指令，所述有效的动作指令和语音指令预先根据所述智能设备的控制指令确定得到；

若匹配成功，则确定所述动作指令以及所述语音指令有效；

若匹配失败，则确定所述动作指令以及所述语音指令无效。

可选地，所述控制单元43，基于所述控制指令控制智能设备的运行，包括：

基于所述控制指令，控制所述智能设备执行与所述动作体感信息以及所述声音信息相匹配的操作；或，

基于所述控制指令，控制所述智能设备对目标设备进行控制，使得所述目标设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

可选地，所述确定单元42，确定与用户的动作体感信息相匹配的动作指令，包括：

根据所述动作体感信息，确定所述用户的骨架关节信息；

根据所述骨架关节信息，确定所述用户的骨架关节的运动轨迹；

根据所述运动轨迹，构建骨架关节运动模型；

根据所述骨架关节运动模型，确定与所述动作体感信息相匹配的动作指令。

可选地，所述确定单元42，确定与用户的声音信息相匹配的语音指令，包括：

提取所述声音信息的特征信息；

根据预先建立的语言模型，确定与所述特征信息相匹配的短语，所述语言模型中包含特征信息以及与特征信息对应的短语之间的映射关系；

对所述特征信息相匹配的短语进行语义识别，确定与所述声音信息相匹配的语音指令。

可选地，所述控制装置40还包括提示单元44，其中：

所述提示单元44，在所述控制单元43基于所述控制指令控制所述智能设备的运行后，接收所述智能设备返回的通知信息，所述通知信息用于通知是否成功执行与所述动作体感信息以及所述声音信息相匹配的操作；

根据所述通知信息生成提示信息，所述提示信息用于提示是否成功控制所述智能设备。

智能设备的控制装置40还可执行图1的方法，并实现智能设备的控制装置在图1所示实施例的功能，本申请实施例在此不再赘述。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (12)

1.一种智能设备的控制方法，包括：

获取用户的动作体感信息和声音信息；

根据所述动作体感信息和所述声音信息，确定控制逻辑，所述控制逻辑包括所述智能设备的多条控制指令，所述多条控制指令不同且按照先后的逻辑顺序执行；

基于所述控制指令，控制所述智能设备对目标设备进行控制，使得所述目标设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

2.如权利要求1所述的方法，根据所述动作体感信息和所述声音信息，确定控制逻辑，包括：

确定与所述动作体感信息相匹配的动作指令，以及与所述声音信息相匹配的语音指令；

确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑。

3.如权利要求2所述的方法，确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，包括：

根据预先确定的控制模型，确定与所述动作指令以及所述语音指令的组合相匹配的控制指令，所述控制模型根据动作指令和语音指令，以及与动作指令和语音指令的组合相匹配的控制指令预先训练得到；

根据与所述动作指令以及所述语音指令的组合相匹配的控制指令，确定所述控制逻辑。

4.如权利要求2所述的方法，确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑，还包括：

判断所述动作指令以及所述语音指令是否有效；

若是，则确定与所述动作指令以及所述语音指令的组合相匹配的控制逻辑。

5.如权利要求4所述的方法，判断所述动作指令以及所述语音指令是否有效，包括：

将所述动作指令以及所述语音指令与预先建立的用户操作库进行匹配，所述用户操作数据库中包含有效的动作指令和语音指令，所述有效的动作指令和语音指令预先根据所述智能设备的控制指令确定得到；

若匹配成功，则确定所述动作指令以及所述语音指令有效；

若匹配失败，则确定所述动作指令以及所述语音指令无效。

6.如权利要求2所述的方法，确定与用户的动作体感信息相匹配的动作指令，包括：

根据所述动作体感信息，确定所述用户的骨架关节信息；

根据所述骨架关节信息，确定所述用户的骨架关节的运动轨迹；

根据所述运动轨迹，构建骨架关节运动模型；

根据所述骨架关节运动模型，确定与所述动作体感信息相匹配的动作指令。

7.如权利要求2所述的方法，确定与用户的声音信息相匹配的语音指令，包括：

提取所述声音信息的特征信息；

根据预先建立的语言模型，确定与所述特征信息相匹配的短语，所述语言模型中包含特征信息以及与特征信息对应的短语之间的映射关系；

对所述特征信息相匹配的短语进行语义识别，确定与所述声音信息相匹配的语音指令。

8.如权利要求1所述的方法，所述方法还包括：

基于所述控制指令，控制所述智能设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

9.如权利要求1所述的方法，在基于所述控制指令控制所述智能设备的运行后，所述方法还包括：

接收所述智能设备返回的通知信息，所述通知信息用于通知是否成功执行与所述动作体感信息以及所述声音信息相匹配的操作；

根据所述通知信息生成提示信息，所述提示信息用于提示是否成功控制所述智能设备。

10.一种智能设备的控制装置，包括：

获取单元，获取用户的动作体感信息和声音信息；

确定单元，根据所述动作体感信息和所述声音信息，确定控制逻辑，所述控制逻辑包括所述智能设备的多条控制指令，所述多条控制指令不同且按照先后的逻辑顺序执行；

控制单元，基于所述控制指令，控制所述智能设备对目标设备进行控制，使得所述目标设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

11.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取用户的动作体感信息和声音信息；

根据所述动作体感信息和所述声音信息，确定控制逻辑，所述控制逻辑包括智能设备的多条控制指令，所述多条控制指令不同且按照先后的逻辑顺序执行；

基于所述控制指令，控制所述智能设备对目标设备进行控制，使得所述目标设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

12.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取用户的动作体感信息和声音信息；

根据所述动作体感信息和所述声音信息，确定控制逻辑，所述控制逻辑包括智能设备的多条控制指令，所述多条控制指令不同且按照先后的逻辑顺序执行；

基于所述控制指令，控制所述智能设备对目标设备进行控制，使得所述目标设备执行与所述动作体感信息以及所述声音信息相匹配的操作。

Images