CN108762479A

CN108762479A - 一种进行控制的方法与设备

Info

Publication number: CN108762479A
Application number: CN201810284902.0A
Authority: CN
Inventors: 魏文应; 陈翀; 杨赛赛
Original assignee: Gree Electric Appliances Inc of Zhuhai
Current assignee: Gree Electric Appliances Inc of Zhuhai
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2018-11-06

Abstract

本发明公开了一种进行控制的方法与设备，用以解决现有技术中存在终端调控不够灵活的问题。本发明中，在调控终端时，首先将获取到的用户得行为数据信息输入神经网络，得到对应的特征向量参数，再由得到的特征向量参数确定对应的目标特征向量参数，进一步由行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系确定用户所做的动作，随后根据动作确定的行为动作对应的控制指令控制对应的设备。与现有技术中必须固定匹配控制模式相比，本发明中在控制终端时，可以根据神经网络学习识别用户的动作，从而实现对终端的控制，进而可以根据用户自身的习惯更为灵活的调控终端。

Description

一种进行控制的方法与设备

技术领域

本发明涉及电子设备领域，特别涉及一种进行控制的方法与设备。

背景技术

电子技术是欧洲、美国等西方国家在十九世纪末、二十世纪初开始发展起来的新兴技术，最早由美国人莫尔斯1837年发明电报开始，1875年美国人亚历山大贝尔发明电话，1902年英国物理学家弗莱明发明电子管。随后，电子设备在二十世纪发展最迅速，应用最广泛，成为近代科学技术发展的一个重要标志。

19世纪四十年代末世界上诞生了第一只半导体三极管，它以小巧、轻便、省电、寿命长等特点，很快地被各国应用起来，在很大范围内取代了电子管。五十年代末期，世界上出现了第一块集成电路，它把许多晶体管等电子元件集成在一块硅芯片上，使电子设备向更小型化发展。集成电路从小规模集成电路迅速发展到大规模集成电路和超大规模集成电路，从而使电子设备向着高效能低消耗、高精度、高稳定、智能化的方向发展。现在，电子设备的种类众多，主要有：手表、智能手机、电话、电视机、影碟机、录像机、摄录机、收音机、收录机、组合音箱、激光唱机、电脑、移动通信产品等。

目前，在电子设备正常的运行过程中，用户在有需求时，会向电子设备发出调控指令，这时需要电子设备响应用户的一些常规操作，这些操作存在一定的随机性和偶然因素。因此，电子设备要提供识别用户操作的功能。但是，目前市场上电子设备的控制都是模式匹配控制，在按下按键后匹配固定的控制功能。在传统条件下，如果我们没有按键或者没有手机APP，将无法很好的匹配用户想要的操作，也就无法很好地实现设备的调控。

综上所述，现有技术中存在终端调控不够灵活的问题。

发明内容

本发明提供一种进行控制的方法与设备，用以解决现有技术中存在终端调控不够灵活的问题。

本发明实施例提供一种进行控制的方法，该方法包括：

将获取的用户的行为数据信息输入神经网络；再将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；然后根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作；最后根据确定的行为动作对应的控制指令控制对应的设备。

上述方法，在调控终端时，首先将获取到的用户的行为数据信息输入神经网络，得到对应的特征向量参数，再由得到的特征向量参数确定对应的目标特征向量参数，进一步由行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系确定用户所做的动作，随后根据动作确定的行为动作对应的控制指令控制对应的设备。与现有技术中必须固定匹配控制模式相比，本发明中在控制终端时，可以根据神经网络学习识别用户的动作，从而实现对终端的控制，进而可以根据用户自身的习惯更为灵活的调控终端。

在一种可能的实现方式中，若接收到用户触发的唤醒指令，则获取用户的行为数据信息，再将获取的用户的行为数据信息输入神经网络。

上述方式，在利用神经网络学习识别用户的动作以实现调控终端时，首先要确定用户是否对终端进行调控，即在用户确定要对终端进行调控时，会向终端发送唤醒指令，终端接收到用户发出的唤醒指令后，获取用户的行为数据信息，再将获取的用户的行为数据信息输入神经网络，从而进一步实现终端调控。

在一种可能的实现方式中，所述神经网络是根据用户的行为数据信息进行训练后得到的；通过下列方式对神经网络进行训练：

针对用户选择的任意一个行为动作，将获取的所述行为动作的行为数据信息输入神经网络，确定神经网络输出的特征向量参数；判断当前获取用户的行为数据信息的次数是否达到设定的阈值，若达到设定的阈值，则将神经网络输出的所有特征向量参数进行加权平均得到所述目标特征向量参数；若未达到设定的阈值，返回将获取的用户的行为数据信息输入神经网络，确定神经网络输出的特征向量参数的步骤。

上述方法，在利用本发明对终端进行调控前，需要对用到的神经网络通过下列方式对神经网络进行训练：首先针对用户选择的任意一个行为动作，将获取的所述行为动作的行为数据信息输入神经网络，确定神经网络输出的特征向量参数；然后判断当前获取用户的行为数据信息的次数是否达到设定的阈值，若达到设定的阈值，则将神经网络输出的所有特征向量参数进行加权平均得到所述目标特征向量参数；若未达到设定的阈值，返回将获取的用户的行为数据信息输入神经网络，确定神经网络输出的特征向量参数的步骤。通过上述步骤，将用户确定的需要用来动作指示终端调控的动作记录到终端中，在常规使用时，则可以根据识别的动作与记录的动作进行比对，从而确定出控制指令，对终端进行调控。

在一种可能的实现方式中，在所述确定神经网络对所述行为数据信息对应的行为动作训练完成之后，建立所述目标特征向量参数与所述行为动作的绑定关系。

上述方法，终端在确定神经网络对行为数据信息的行为动作训练完成之后，建立目标特征向量参数与行为动作的绑定关系，此步骤将神经网络训练得到的目标特征向量参数与行为动作绑定起来。如此终端在正常工作时，将获取的用户的行为动作的行为数据信息输入神经网络，输出对应的特征向量参数后，可借由目标特征向量参数确定其对应的行为动作，进而可以根据行为动作与控制指令之间的关系确定出相应的控制指令，实现终端调控。

在一种可能的实现方式中，根据行为动作和控制指令的对应关系，确定所述动作对应的控制指令。

上述方法，终端在获取的用户的行为动作的行为数据信息确定出对应的行为动作后，还要根据用户的根据行为动作和控制指令的对应关系，确定所述动作对应的控制指令。如此终端即可根据控制指令进行调控，以满足用户需求。

在一种可能的实现方式中，所述用户的行为数据信息包括下列部分或全部：用户的肢体动作、用户的面部表情和用户的语音信息。

上述方法，用户的行为数据信息包括下列部分或全部：用户的肢体动作、用户的面部表情和用户的语音信息。本发明中，终端通过获取用户的肢体动作、用户的面部表情和用户的语音信息，并将上述信息输入神经网络，在借由行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系以及行为动作和控制指令的对应关系确定对应的控制指令，已达到终端调控的目的。此方案中，用户的行为数据信息由用户灵活设定。

第二方面，本发明实施例还提供一种进行控制的设备，所述设备包括：至少一个处理单元以及至少一个存储单元，该设备具有实现上述第一方面的各实施例的功能。

第三方面，本发明实施例还提供一种进行控制的设备，所述设备包括输入模块，确定模块，控制模块，该设备具有实现上述第一方面的各实施例的功能。

另外，第二方面至第三方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

本申请的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的神经网络训练的方法流程示意图；

图2为本发明实施例提供的神经网络的结构示意图；

图3为本发明实施例提供的神经网络训练计算方法示意图；

图4为本发明实施例提供的第一种建立行为动作与控制指令绑定关系的示意图；

图5为本发明实施例提供的第二种建立行为动作与控制指令绑定关系的示意图；

图6为本发明实施例提供的第三种建立行为动作与控制指令绑定关系的示意图；

图7为本发明实施例提供的一种进行控制的方法的流程示意图；

图8为本发明实施例提供的一种神经网络训练的方法的完整流程示意图；

图9为本发明实施例提供的一种进行控制的方法的完整流程示意图；

图10为本发明实施例提供的第一种进行控制的设备的结构示意图；

图11为本发明实施例提供的第二种进行控制的设备的结构示意图。

具体实施方式

随着电子设备的发展，电子设备越来越智能化，同时人们对电子设备的调控要求也越来越高。

故本发明中将引入一种进行控制的方法。在该方法中，将引入神经网络训练，使得训练后的神经网络可以识别用户的行为动作，通过设定的行为动作与控制指令之间的绑定关系，确定控制指令并对终端进行调控。

一般的，本发明实施例中的调控方法适用于具有接收控制命令功能的设备，比如电视机、影碟机、录像机、摄录机、收音机、收录机、组合音箱、激光唱机、电脑、移动通信产品等。

在一种可能的实现方式中，本方案中终端识别的用户的行为数据信息包括但不限于：用户的肢体动作、用户的面部表情和用户的语音信息。

例如，用户的肢体动作可以包括：举手、握拳、挥手、抬脚，抡胳膊等等。

用户的面部表情可以包括：微笑、皱眉、长时间对视、眨眼等等。

用户的语音信息可以是用户说的一句指令，比如：“开机”口令、“关机”口令等等。

本发明实施例中，终端通过获取用户的肢体动作、用户的面部表情和用户的语音信息，并将上述信息输入神经网络，在借由行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系以及行为动作和控制指令的对应关系确定对应的控制指令，已达到终端调控的目的。此方案中，用户的行为数据信息由用户灵活设定。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

具体实施时，在一种可能的实现方式中，若接收到用户触发的唤醒指令，则获取用户的行为数据信息，再将获取的用户的行为数据信息输入神经网络。

具体实施时，在进行终端调控时，首先需要用户给出一个唤醒指令已触发终端进行工作。这个唤醒指令在出厂时可有厂商预先设定一个默认的操作，在用户购买到所述终端后再自行决定唤醒指令对应的行为动作。

例如：有一台空调，配置本发明实施例中的终端调方法，在出厂时，厂商更可以预设用户直视空调的时间超过五秒，则确认用户需要对空调进行调控。当购买该空调的用户首次使用时可以通过默认的设置，直视空调5秒的方法唤醒空调，进行获取用户的行为数据信息，将获取的用户的行为数据信息输入神经网络的操作。在用户购机后，若用户不习惯厂商预设的唤醒指令，则可以通过本发明实施例提供方法对唤醒指令进行重新定义，以符合自身需求。

其中，终端获取用户的行为数据信息时，可以通过视频图像传感器、声音传感器、红外线感应传感器等多种传感器进行数据获取，在获取到用户的行为数据信息之后，再将获取的用户的行为数据信息输入神经网络进行训练。

本发明实施例中用到的神经网络是根据用户的行为数据信息进行训练后得到的；具体实施中,在根据本发明实施例提供的一种进行控制的方法进行终端调控之前，首先需要对本发明实施例中用到的神经网络进行训练，具体的训练方法如下。

如图1所示，在一种可能的实现方式中，通过下列方式对神经网络进行训练：

步骤100，针对用户选择的任意一个行为动作，将获取的所述行为动作的行为数据信息输入神经网络，确定神经网络输出的特征向量参数。

具体实施中，针对用户选择的任意一个行为动作，将会获取所述行为动作的行为数据信息，并将所获的用户行为动作的行为数据信息输入神经网络进行训练学习，以使得终端可以记忆用户的动作，并在用户再次做出相同的动作时能够识别出用户的动作。

如图2所示，在本发明实施例中所用到的神经网络的结构包括终端通过视频图像传感器、声音传感器、红外线感应传感器等多种传感器进行获取的用户的行为数据信息原始数据，并转化为二进制保存在内存或磁盘中。随后将这些原始数据作为神经网络的输入参数，经过一系列的训练输出获取的行为动作的行为数据信息对应的特征向量参数。如此，可以将获取的用户行的行为数据信息转换成对应的特征向量参数，以便终端识别用户的行为动作。

例如：如图3所示，我们以卷积神经网络为例，我们使用卷积神经网络对数据进行处理。假设已经通过视频图像传感器得到了一张图片，这张图片有25个像素，也就是图中的“图像5*5”。同时，我们还有一个权重参数，也就是图中的“过滤器3*3”。我们的目标是求图中的“特征向量3*3”。那么，我们使用下面公式进行计算：

其中：

①x_i,j表示图像的第i行第j列元素(对应图3中的“图像5*5”的第i行第j列元素)。

②w_m,n表示第m行第n列权重(对应图3中的“过滤器3*3”的第m行第n列)。

③a_i,j表示特征向量的第i行第j列元素(对应图3中的“特征向量3*3”的第i行第j列元素)。

④f函数为relu函数，即f(u)＝max(0,u)。也就是输入u大于0，f函数输出就是u；输入u小于等于0，f函数输出就等于0。

⑤w_b是偏置项，假设它等于0。

那么，对于计算特征向量左上角的元素_0,0来说，其卷积计算方法为：

这里，图3中的“图像5*5”阴影区域的9个数据，与“过滤器3*3”中的9个数据相乘。这样，我们就计算得到了图3中的“特征向量3*3”第一个元素_0,＝4。同样，我们计算得到第二个元素_0,＝3，其它元素同样可以求出。

假设图中的“图像5*5”是一张“双手握拳的图像”，那么，以后每次输出特征值是这一特征向量时,我们就认为这-是一张“双手握拳的图像”，也就可以确定用户肢体动作是“双手握拳”了。

通过上面的神经网络输入数据处理方法，可以知道如何计算数据。然而现实生活中，我们的图片一般不是“25个像素一张”，而是一张图片10万到1500万个像素。

假设一张图像像素是1000万个像素，我们把它分成1万个集合。那么，图中的“像素集合”到“输出特征向量参数”的计算，就使用图3中讲到的输入数据处理方法进行处理。这样，我们就在输入参数层，得到1万个输出特征向量参数，这些参数都是上面讲到的特征向量参数。

由于上面的步骤中，我们得到的是1万个输出特征向量参数，显然这些向量参数数目太多了。所以，我们就在图2中的隐层中，对参数进行多次叠加计算，这些计算方法和“像素集合”到“输出特征向量参数”的计算方法是一致的。最后，我们在输出参数层得到为数不多的输出特征向量参数，同样是向量。

本发明实施例中，传感器也可以是声音传感器、红外线感应传感器等等，其处理方法相近，再次不再一一赘述。且本发明中，以卷积神经网络为例对本发明进行举例，实际应用中，还有很多神经网络可以实现本方案。基于本发明中的实施例，本领域普通技术人员采用其他神经网络实现终端调控的方案，都属于本发明保护的范围。

经过上述步骤，终端训练完成对于用户的一个行为动作的神经网络训练，其后，终端需要判断当前环境是否训练结束。

步骤101，判断当前获取用户的行为数据信息的次数是否达到设定的阈值，若达到设定的阈值，则将神经网络输出的所有特征向量参数进行加权平均得到所述目标特征向量参数。

具体实施中，终端完成获取的用户的行为数据信息的神经网络学习后，会判断当前获取用户的行为数据信息的次数是否达到设定的阈值，若达到设定的阈值则将神经网络输出的所有特征向量参数进行加权平均得到所述目标特征向量参数。如此，对于用户的一个动作的神经网络训练已完成，则说明终端可以识别与目标特征向量参数相对应的用户的动作。

例如：预设终端设定的获取用户的行为数据信息的次数的阈值为4，获得的特征向量参数依次为则加权平均得到的目标特征向量参数为

步骤102，若未达到设定的阈值，返回将获取的用户的行为数据信息输入神经网络，确定神经网络输出的特征向量参数的步骤。

具体实施中，终端完成获取的用户的行为数据信息的神经网络学习后，会判断当前获取用户的行为数据信息的次数是否达到设定的阈值，若未达到设定的阈值，返回将获取的用户的行为数据信息输入神经网络，确定神经网络输出的特征向量参数的步骤。如此，则确定还未完成当前用户的行为动作的训练，则继续获取用户的行为数据信息，并将获取的用户的行为数据信息输入神经网络，确定神经网络输出的特征向量参数的步骤，如此往复，直至当前获取用户的行为数据信息的次数达到设定的阈值，确定对应当前动作的神经网络学习结束。

本发明实施例中以卷积神经网络为例进行的解释说明，实际中，可用于本发明实施例中神经网络多种多样，例如递归神经网络、长短时记忆神经网络。

具体实施中，终端在确定神经网络对行为数据信息的行为动作训练完成之后，建立目标特征向量参数与行为动作的绑定关系，此步骤将神经网络训练得到的目标特征向量参数与行为动作绑定起来。如此终端在正常工作时，将获取的用户的行为动作的行为数据信息输入神经网络，输出对应的特征向量参数后，可借由目标特征向量参数确定其对应的行为动作，进而可以根据行为动作与控制指令之间的关系确定出相应的控制指令，实现终端调控。

例如：终端对于用户抬手的动作进行神经网络训练后得到的目标特征向量参数为对于用户挥手的动作进行神经网络训练后得到的目标特征向量参数为对于用户摇头的动作进行神经网络训练后得到的目标特征向量参数为建立目标特征向量参数与行为动作的绑定关系，则是将用户抬手的动作进行于标特征向量参数为绑定起来；将用户挥手的动作进行于标特征向量参数为绑定起来；将用户摇头的动作进行于标特征向量参数为绑定起来。

在建立目标特征向量参数与行为动作的绑定关系之后，终端即可根据获取的用户的行为数据信息确定对应的特征向量，并由特征向量以及行为动作与目标特征向量参数的绑定关系，确定识别出用户所做的动作。

随后，将行为动作与终端的控制指令进行绑定，以便通过识别用户的行为动作调控终端。

建立行为动作与控制指令的绑定关系有多重方式。

例如：如图4所示，可以由厂商设定好对应的可以由用户设置的功能，后续用户设置点击设置后直接神经网络训练记录用户所做动作，动作记录完成即建立完成行为动作与控制指令的绑定关系。

例如：如图5所示，可以由厂商预设设置选项，用户点击设置，进入神经网络训练，确定用户行为动作已记录完成后，跳出控制指令选项，由用户选择完成。

例如：如图6所示，可以由厂商预设两路设置选项，一路为用户行为动作选项，一路为终端控制指令选项，用户对两路选项都进行选择后确认保存，以完成行为动作与控制指令的绑定关系的建立。

在上述一系列的动作都完成后，将利用训练完成的神经网络识别用户的动作行为，实现对终端的调控。

如图7所示，本发明实施例中提供了一种进行控制的方法，该方法包括：

步骤700，将获取的用户的行为数据信息输入神经网络；

步骤701，将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；

在此步骤中，终端需要将神经网络输出的特征向量参数与目标特征向量参数相比对，当特征向量参数与目标特征向量参数相同或相近时，认定该目标特征向量参数为输出的特征向量参数确定的目标特征向量参数，进而确定行为动作，然后就可以根据行为动作与控制指令之间的绑定关系确定出控制指令，进而实现对终端的调控。

在具体实施中，将所述神经网络输出的特征向量参数与目标特征向量参数进行比对是采用的权重向量计算方法，神经网络根据每个参数的重要程度不同，然后归一化处理的。

不过我们这里可以从原理上简述。对应参数相减，然后对这个差值，求加权平均值。

这里我们从原理上进行简述。具体计算过程中，对应参数相减，然后对这个差值，求加权平均值。

假设特征向量参数为目标特征向量参数是将特征向量参数中的各个参数与目标特征向量参数中的对应参数相减，即得到一个差值矩阵那么最后误差为

例如，假设特征向量参数为目标特征向量参数是将特征向量参数中的各个参数与目标特征向量参数中的对应参数相减，即得到一个差值矩阵那么最后误差为100÷(4+2+…4)÷9＝0.39。

例如：假设当特征向量参数与目标特征向量参数间参数误差小于或等于百分之五时，确定所得特征向量参数与目标特征向量参数相对应，则：

若特征向量参数为目标特征向量参数为由于特征向量参数与目标特征向量参数间参数相同，则则确定该目标特征向量参数为输出的特征向量参数确定的目标特征向量参数；

若特征向量参数为目标特征向量参数为由于特征向量参数与目标特征向量参数间参数误差小于百分之五，则确定该目标特征向量参数为输出的特征向量参数确定的目标特征向量参数；

若特征向量参数为目标特征向量参数为由于特征向量参数与目标特征向量参数间参数误差大于百分之五，则确定该目标特征向量参数不是输出的特征向量参数确定的目标特征向量参数；

在此步骤中，输出的特征向量参数会与所有的预先确定的行为动作对应的目标特征向量参数相比对，从中确定出相似度最高的目标特征向量参数。假使没有目标特征向量参数于输出的特征向量参数相对应，则输出显示指令错误。

步骤702，根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作。

具体实施中，在根据出输的特征向量参数确定出目标特征向量参数之后，即可根据确定的目标特征向量参数以及行为动作和训练所述神经网络得到的目标特征向量参数，确定与该目标特征向量参数绑定的行为动作。从而可以进一步的确定控制指令已完成终端的控制操作。

例如：假设输出的特征向量为当前训练所述神经网络得到的目标特征向量参数和行为动作绑定关系由4组；

1)目标特征向量参数------举手；

2)目标特征向量参数------挥手；

3)目标特征向量参数------握拳；

4)目标特征向量参数------抬腿；

由于输出的特征向量参数为与目标特征向量参数相同，即根据输出的特征向量参数确定目标特征向量参数为进而可以确定出对应的行为动作为握拳。

步骤703，根据确定的行为动作对应的控制指令控制对应的设备。

在具体实施中，在调控终端时，首先将获取到的用户得行为数据信息输入神经网络，得到对应的特征向量参数，再由得到的特征向量参数确定对应的目标参数，进一步由行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系确定用户所做的动作，随后根据动作确定的行为动作对应的控制指令控制对应的设备。与现有技术中必须固定匹配控制模式相比，本发明中在调控终端时，可以根据神经网络学习识别用户的动作以实现终端的调控，进而可以根据自身的习惯更为灵活的调控终端。在一种可能的实现方式中，根据行为动作和控制指令的对应关系，确定所述动作对应的控制指令。

在一种可能的实现方式中，在根据确定的行为动作对应的控制指令控制对应的设备时，根据行为动作和控制指令的对应关系，确定所述动作对应的控制指令。

如图8所示，本发明实施例提供一种神经网络训练的方法的完整流程示意图。

步骤800，终端接收到用户的唤醒指令；

步骤801，终端获取用户的行为数据信息；

步骤802，终端将获取的用户的行为数据信息输入神经网络并进行训练，输出特征向量参数；

步骤803，终端判断当前获取用户行为数据信息的次数是否达到设定阈值，若达到设定的阈值，则执行步骤804；否则，执行步骤801；

步骤804，终端建立行为动作与目标特征向量参数的绑定关系；

步骤805，终端建立行为动作与控制指令之间的绑定关系；

步骤806，终端完成用户当前动作的神经网络训练；

步骤807，终端判断是否还有行为动作需要进行神经网络训练，如果有，则执行步骤801；否则，结束本流程。

如图9所示，本发明实施例提供一种进行控制的方法的完整流程示意图。

步骤900，终端接收到用户的唤醒指令；

步骤901，终端获取用户的行为数据信息；

步骤902，终端将获取的用户的行为数据信息输入神经网络；

步骤903，终端将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；

步骤904，终端根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作；

步骤905，终端根据确定的行为动作对应的控制指令控制对应的设备。

基于同一发明构思，本发明实施例中还提供了一种进行控制的设备，由于该设备即是本发明实施例中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图10所示，本发明实施例提供一种进行控制的设备，该设备包括：

至少一个处理单元1000以及至少一个存储单元1001，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

将获取的用户的行为数据信息输入神经网络；将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作；根据确定的行为动作对应的控制指令控制对应的设备。

可选的，所述处理单元1000还用于：

在将获取的用户的行为数据信息输入神经网络之前，若接收到用户触发的唤醒指令，则获取用户的行为数据信息。

可选的，所述神经网络是根据用户的行为数据信息进行训练后得到的；所述处理单元具体用于，通过下列方式对神经网络进行训练：

可选的，所述处理单元1000还用于：

在所述确定神经网络对所述行为数据信息对应的行为动作训练完成之后，建立所述目标特征向量参数与所述行为动作的绑定关系。

可选的，所述处理单元1000具体用于：

根据行为动作和控制指令的对应关系，确定所述动作对应的控制指令。

可选的，所述用户的行为数据信息包括下列部分或全部：用户的肢体动作、用户的面部表情和用户的语音信息。

如图11所示，本发明实施例提供一种进行控制的设备，该设备包括：

输入模块1100，用于将获取的用户的行为数据信息输入神经网络，其中，所述神经网络是根据用户的行为数据信息进行训练后得到的；

比对模块1101，用于将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；

确定模块1102，根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作；

控制模块1103，用于根据确定的行为动作对应的控制指令控制对应的设备。

可选的，所述输入模块1100还用于：

可选的，所述神经网络是根据用户的行为数据信息进行训练后得到的；所述确定模块1102具体用于，通过下列方式对神经网络进行训练：

针对用户选择的任意一个行为动作，将获取的所述行为动作的行为数据信息输入神经网络，确定神经网络输出的特征向量参数；

判断当前获取用户的行为数据信息的次数是否达到设定的阈值，若达到设定的阈值，则将神经网络输出的所有特征向量参数进行加权平均得到所述目标特征向量参数；

若未达到设定的阈值，返回将获取的用户的行为数据信息输入神经网络，确定神经网络输出的特征向量参数的步骤。

所述确定单元1102还用于：

所述控制单元1103具体用于：

本发明实施例提供一种计算机可存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如图1所示方法的步骤、如图7所示方法的步骤、如图8所示方法的步骤以及如图9所示方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种进行控制的方法，其特征在于，该方法包括：

将获取的用户的行为数据信息输入神经网络；

将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；

根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作；

根据确定的行为动作对应的控制指令控制对应的设备。

2.如权利要求1所述方法，其特征在于，将获取的用户的行为数据信息输入神经网络之前，还包括：

若接收到用户触发的唤醒指令，则获取用户的行为数据信息。

3.如权利要求1所述方法，其特征在于，所述神经网络是根据用户的行为数据信息进行训练后得到的；通过下列方式对神经网络进行训练：

4.如权利要求3所述方法，其特征在于，所述确定神经网络对所述行为数据信息对应的行为动作训练完成之后，还包括：

建立所述目标特征向量参数与所述行为动作的绑定关系。

5.如权利要求1所述方法，其特征在于，所述根据确定的动作确定对应的控制指令，包括：

6.如权利要求1～5任一所述方法，其特征在于，所述用户的行为数据信息包括下列部分或全部：

用户的肢体动作、用户的面部表情和用户的语音信息。

7.一种进行控制的设备，其特征在于，该设备包括：

至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

8.如权利要求7所述设备，其特征在于，所述处理单元还用于：

9.如权利要求7所述设备，其特征在于，所述神经网络是根据用户的行为数据信息进行训练后得到的；所述处理单元具体用于，通过下列方式对神经网络进行训练：

10.如权利要求9所述设备，其特征在于，所述处理单元还用于：

11.如权利要求7所述方法，其特征在于，所述处理单元具体用于：

12.如权利要求7-11所述设备，其特征在于，所述用户的行为数据信息包括下列部分或全部：

用户的肢体动作、用户的面部表情和用户的语音信息。

13.一种进行控制的设备，其特征在于，该设备包括：

输入模块，用于将获取的用户的行为数据信息输入神经网络；

比对模块，用于将所述神经网络输出的特征向量参数与目标特征向量参数进行比对，确定目标特征向量参数；

确定模块，用于根据行为动作和训练所述神经网络得到的目标特征向量参数的绑定关系，确定所述神经网络输出的特征向量参数对应的行为动作；

控制模块，用于根据确定的行为动作对应的控制指令控制对应的设备。