CN105306762A - 移动智能终端及其家电控制方法 - Google Patents

Abstract

本发明提供一种移动智能终端的家电控制方法，该移动智能终端包括信息采集模块、数据存储模块、数据处理模块、控制模块及机械驱动模块，所述信息采集模块包括图像采集模块、语音对话模块、网络通信模块、红外接收/发送模块。本发明的移动智能终端利用红外接收/发送模块通过遥控器对未知型号或旧款电器的红外编码进行学习记忆；通过图像信息、语音信息及位置信息利用数据处理模块进行地图构建，用户可通过向移动智能终端发出语音指令让其执行，无需用户本人到家电面前，使人们的生活更加便捷智能。

Description

移动智能终端及其家电控制方法

技术领域

本发明涉及机器人控制技术领域，特别涉及一种移动智能终端及其家电控制方法。

背景技术

随着科技的发展和人们生活水平的提高，各式各样的电器已成为人们生活中不可缺少的一部分，其中就有很多带有红外遥控功能的家用电器，如数字机顶盒、电视、空调等。在使用这些家用电器的过程中，经常会出现找不到遥控器或遥控器需要更换电池以及遥控器损坏的情况，在使用时，也必须走到家电前面，对着家电用遥控器控制，给使用者造成困扰和不便。近年来机器人行业兴起，家庭服务机器人走进千家万户，通过智能语音，服务机器人识别控制家电使生活变得更加便捷。

当前市场上已有各式各样的万能遥控器，但它们配对方法复杂，在控制不同家电前，需要重新配对，也同样会有找不到遥控的时候。另一种比较流行的是在手机上装置万能遥控的app来控制家电，但前提是手机需要有红外功能，使用前也要切换到相应的家电型号，而且对于一些旧款或偏门的型号控制不了，使用时也需要人为走到家电前面对准家电才可以控制，使用起来也不方便。

发明内容

为此，本发明提供一种移动智能终端及其家电控制方法。

一种移动智能终端，其特征在于，包括：

信息采集模块，包括图像采集模块、语音对话模块、网络通信模块以及遥控器编码接收模块；所述图像采集模块用以对家电进行拍照，得到家电的图像以及位置信息；所述语音对话模块用以与用户进行语音交流；所述网络通信模块用以根据家电的型号从与该家电厂家相关的服务器下载该家电的遥控器编码信息；所述遥控器编码接收模块用以采集家电遥控器每一按键的编码信息；

数据处理模块，用以将采集到的所述家电的图像信息、位置信息、家电的名称、型号、遥控器编码信息进行分析、匹配，按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、家电的名称、型号、遥控器编码信息进行分析、匹配，构建遥控器编码数据库和家电布局地图存储于数据存储模块；

数据存储模块，用于存储数据；

遥控器编码发送模块，用以对目标家电发送控制指令的遥控器编码；

机械驱动模块，用于驱动移动智能终端移动以及躯体的动作；

控制模块，控制所述机械驱动模块以及信息采集模块，所述控制模块控制移动智能终端移动以搜寻目标家电位置，所述控制模块控制所述信息采集模块对搜索目标进行拍照识别，并通过所述遥控器编码发送模块对搜索目标发送控制指令的遥控器编码。

优选地，所述移动智能终端为机器人，包括头部、机身、底盘，所述信息采集模块设置于所述头部，所述机械驱动模块设置于所述底盘。

优选地，所述机械驱动模块包括头部旋转驱动和底盘驱动，所述头部旋转驱动用于驱动所述头部旋转，所述底盘驱动用于驱动所述底盘移动。

优选地，所述底盘上装有万向轮和底盘驱动轮。

优选地，所述头部旋转驱动包括第一头部旋转驱动和第二头部旋转驱动，所述第一头部旋转驱动驱使头部在垂直方向上旋转，所述第二头部旋转驱动驱使头部在水平方向上旋转。

另外，本发明还提供一种移动智能终端的家电控制方法，包括以下步骤：

第一步：建立家电的遥控器编码数据库和家电的布局地图，包括步骤：

利用图像采集模块对家电进行拍照，得到家电的图像以及位置信息；

利用语音对话模块与用户进行语音交流获得家电的名称、型号；

根据家电的型号通过网络通信模块从与该家电厂家相关的服务器下载该家电的遥控器编码信息；或者将该家电的遥控器对准遥控器编码接收模块，利用遥控器编码接收模块采集遥控器的所有按键的编码信息；

将采集到的所述家电的图像以及位置信息、家电的名称、型号信息、家电的遥控器编码信息传送至数据处理模块进行分析、匹配，按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、遥控器编码信息进行分析、匹配，构建遥控器编码数据库和家电布局地图，并存储于数据存储模块；

第二步：指令机器人对目标家电进行控制，包括步骤：

用户通过语音对话模块发出控制目标家电的语音指令；

语音对话模块将采集的所述语音指令发送至数据处理模块，数据处理模块分析语音指令，判断出“位置”、“目标”、“动作”的关键词，数据处理模块根据保存在数据存储模块中的家电布局地图进行路径规划，并将规划结果发送至控制模块；

控制模块控制机械驱动模块驱动机器人移动到目标家电的位置，控制模块控制图像采集模块对当前的家电进行拍照，采集图像信息和位置信息，经数据处理模块处理后与保存在数据存储模块中的目标家电的图像信息和位置信息进行对比，确认当前的家电就是目标家电之后，该确认指令发送至控制模块，控制模块控制遥控器编码发送模块向当前家电发送预定的“动作”指令的遥控器编码。

与现有技术相比，本发明具有以下优点：

首先，本发明的移动智能终端，其信息采集模块包括语音信息、图像信息、位置信息以及遥控器编码信息的综合采集。利用图像采集模块例如深度摄像头对家电进行拍照，得到家电的图像以及位置信息；利用语音对话模块与用户进行语音交流获得家电的名称、型号等；根据家电的型号通过网络通信模块从与该家电厂家相关的服务器下载该家电的遥控器编码信息；或者将该家电的遥控器对准遥控器编码接收模块，利用遥控器编码接收模块采集遥控器的所有按键的编码信息。

其次，将采集到的所述家电的图像以及位置信息、家电的名称、型号等信息、家电的遥控器编码信息传送至数据处理模块进行分析、匹配；按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、遥控器编码信息进行分析、匹配，构建室内家电布局地图或周围环境家电布局地图。

最后，用户和机器人通过语音对话模块进行交互，并根据保存在数据处理模块中的家电布局地图，控制机器人移动，从而对目标家电进行控制。

附图说明

图1是本发明实施例的机器人装置的机械结构示意图；

图2是本发明实施例的移动智能终端的家电控制方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本发明提供一种移动智能终端，例如机器人，包括机器人装置1，机器人装置1包括头部11、躯体12和底盘13，机器人装置1内包括信息采集模块2、数据处理模块3、数据存储模块4、控制模块5、机械驱动模块6、遥控器编码发送模块7。

信息采集模块2，包括图像采集模块21、语音功能模块22、网络通信模块23、遥控器编码接收模块24。信息采集模块2用于采集外界图像、声音、距离、红外编码、网络数据等信息，信息采集模块2与数据处理模块3连接，将所采集的图像、声音、距离、红外编码、网络数据等信息传递给数据处理模块3。

图像采集模块21，包括深度摄像头210，用于采集家电图像以及周围环境的图像信息。本实施例中，深度摄像头210设置于机器人装置1的头部11正面上。

语音对话模块22，用于接收外界或使用者的语音信息，经后续的数据处理模块3处理后，并将处理结果发送至外界或使用者，实现机器人和使用者的交互。

网络通信模块23，用于从服务器下载家用电器的遥控器的红外编码信息，其中，网络通信模块23可以采用无线通信装置，例如，WiFi装置。当用户指令机器人控制家电时，如果机器人不知道某一家电的遥控器的红外编码，根据该家电的型号，机器人通过网络通信模块23向服务器获取该家电遥控器的红外编码，经过数据处理模块3之后，保存到数据存储模块4中。

遥控器编码接收模块24，包括设置于机器人装置1头部11正面的红外编码接收管240。遥控器编码发送模块7可以和遥控器编码接收模块24整合在一起，也设置在头部11，遥控器编码发送模块7可以采用一红外编码发送管。遥控器编码接收模块24以及遥控器编码发送模块7均可采用各种数据传输方式，例如红外、蓝牙、射频等。本实施例中，遥控器编码发送模块7可以和遥控器编码接收模块24，均采用红外传输方式，例如，遥控器编码接收模块24为遥控器红外编码接收管240，遥控器编码发送模块7为一遥控器红外编码发送管，二者整合成一个遥控器红外编码接收/发送模块，设置在机器人头部。

当用户指令机器人控制家电时，如果用户忘记或不知道某一家电的型号，无法通过型号在服务器下载得到遥控器的红外编码，可将该家电的遥控器对准机器人的红外编码接收管240，红外编码接收管240采集遥控器的每一个按键信息，通过数据处理模块3分析出每个按键的红外编码，然后保存到数据存储模块4中。这样，遥控器上所有按键的红外编码均存储到数据存储模块4，并将该家电名称(例如主卧空调)和该遥控器名称(主卧空调遥控器)对应记录保存，以便后续用户指令机器人再次控制该家电(主卧空调)时，可搜索到对应的遥控器红外编码。

对于需要机器人控制某一家电的时候，根据机器人中存储的遥控器编码，该遥控器编码接收模块24可发送对应的编码控制目标家电。

数据处理模块3，用于对信息采集模块2采集或接收的信息进行分析处理，并将有用的信息保存至数据存储模块4。

具体来说，首次使用机器人时，数据处理模块3接收到图像采集模块21传递来的图像信息、图像所处的位置信息，例如，图像采集模块21拍摄了客厅的电视机图像信息和电视机所处的位置信息，同时，用户通过语音对话模块告知机器人当前图像采集模块21所拍摄的对象是“客厅的电视机”，这些图像信息、位置信息以及语音信息一并被传送至数据处理模块3，经过信息的综合分析后，记录客厅的电视机的图像和位置信息。以此方法将家庭内部的其他电器，例如客厅的空调、主卧的空调、主卧的电视、次卧的空调、书房的空调等，将这些家电的图像信息以及所处的位置信息均进行处理后，构建这些家电的位置地图，并存储于数据存储模块4中。这些预先建立好的地图，用于后续机器人控制这些家电的时候，可以根据该地图，机器人移动到目标家电的预定距离处对家电进行操控。

控制模块5，根据来自数据处理模块3的信息，控制机械驱动模块6来操控机器人的整体运动，也可以控制遥控器编码接收模块24向目标家电发送遥控器编码，对家电进行遥控。

机械驱动模块6，包括头部旋转驱动61和底盘驱动62，所述头部旋转驱动用以驱动头部11旋转，所述底盘驱动62用以驱动底盘13移动。本实施例中，底盘驱动62包括安装在底盘13上的万向轮和两个底盘驱动轮130，万向轮和底盘驱动轮130相互配合以带动机器人装置1移动。本实施例中，所述头部旋转驱动61包括第一头部旋转驱动和第二头部旋转驱动，所述第一头部旋转驱动驱使头部11在垂直方向上旋转，所述第二头部旋转驱动驱使头部11在水平方向上旋转。

本发明还提供一种移动智能终端的家电控制方法，包括以下步骤：

第一步：建立家电的遥控器编码数据库和家电的布局地图，包括步骤：

利用图像采集模块21对家电进行拍照，得到家电的图像以及位置信息；

利用语音对话模块22与用户进行语音交流获得家电的名称、型号等信息；

根据家电的型号通过网络通信模块23从与该家电厂家相关的服务器下载该家电的遥控器编码信息；或者将该家电的遥控器对准遥控器编码接收模块24，利用遥控器编码接收模块24采集遥控器的所有按键的遥控器编码信息；

将采集到的所述家电的图像以及位置信息、家电的名称、型号等信息、家电的遥控器编码信息传送至数据处理模块3进行分析、匹配；按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、遥控器编码信息进行分析、匹配，构建室内家电布局地图和遥控器编码数据库。

例如，构建室内家电布局地图，将客厅的空调、主卧的空调、主卧的电视、次卧的空调、书房的空调等这些家电的图像信息、位置信息、遥控器编码信息均进行处理后，构建这些家电的位置地图，并存储于数据存储模块4中。这些预先建立好的地图，用于后续机器人控制这些家电的时候，可以根据该地图，机器人移动到目标家电的预定距离处对家电进行操控。

第二步：通过语音对话模块22指令机器人对目标家电进行控制。包括以下步骤：

用户向语音对话模块22发出控制目标家电的语音指令，例如，发出“将客厅电视机关闭”的语音指令。

语音对话模块22将采集的该语音信息发送至数据处理模块3，数据处理模块3分析语音指令，判断出“位置”、“目标”、“动作”的关键词，例如，判断出关键词“客厅”为位置、“电视机”为目标或对象、“关闭”为执行的动作；数据处理模块3查询数据存储模块4中的信息，根据保存在数据存储模块4中客厅电视机的位置信息，数据处理模块3进行路径规划，并将规划结果发送至控制模块5；

控制模块5控制机械驱动模块6以控制机器人移动到目标家电的位置(例如客厅电视机的位置)，控制模块5控制图像采集模块21对当前的家电(例如电视机)进行拍照，采集图像信息和位置信息，经数据处理模块3处理后与保存在数据存储模块4中目标家电(例如客厅电视机)的图像信息和位置信息进行对比，确认当前的家电(例如电视机)就是目标家电(客厅电视机)之后，该确认指令发送至控制模块5，控制模块5控制遥控器编码发送模块7向当前的家电(电视机)发送预定的“动作”指令的遥控器编码(例如“关机”指令的红外编码)，关闭电视机。

实施例1

控制模块5控制机械驱动模块6驱动机器人移动寻找客厅电视机的过程中若遇到障碍物，例如，人或者其他物品，根据图像采集模块中深度摄像头210拍摄的图像信息、位置信息和保存在数据存储模块4中客厅电视机的图像信息、位置信息进行对比，判断当前目标不是客厅电视机后，该判断结果发送至控制模块5，控制模块5控制机械驱动模块6驱动机器人移动以避开所述障碍物。

另外，本发明的信息采集模块2还可以设置一温度传感器25，用以获取当前环境(例如卧室)的温度，并将当前环境(例如卧室)温度信息传送至数据处理模块3，数据处理模块3中预设有一默认温度标准，例如28℃以上默认为“热”，并根据默认温度标准给出“降低温度”建议，控制模块5会根据数据处理模块3的“降低温度”建议控制遥控器编码发送模块7下调当前环境中空调(例如卧室)的温度。以下以实施例2说明。

实施例2

本发明的移动智能终端为一家用机器人，且该机器人的名称是“NX机器人”。

李先生下班回到家，进门后看到NX机器人正在充电，于是通过语音对话模块22跟机器人进行以下交互对话。

李先生:NX机器人，你在充电啊？

NX机器人：主人，您回来啦！

李先生：是的，今天有点累，我先休息一会。

NX机器人：好的，现在室内温度是30℃，比较热，我帮您把卧室的空调开了。

首先，在机器人与主人进行实时交互对话过程中，随着主人走进卧室休息，机器人随着跟进卧室中。此时，机器人的温度传感器25检测到卧室的温度为30℃，此温度信息传送至数据处理模块3后，数据处理模块3中默认温度标准，28℃以上默认为“热”，根据默认温度标准给出“降低温度”建议，控制模块5会根据数据处理模块3的“降低温度”建议控制遥控器编码发送模块7下调卧室中空调的温度。该控制卧室空调温度的过程如上文实施例1中的过程，在此不赘述。

与现有技术相比，本发明具有以下优点：

首先，本发明的移动智能终端，其信息采集模块包括语音信息、图像信息、位置信息、遥控器编码信息、环境温度信息的综合采集。利用图像采集模块对家电进行拍照，得到家电的图像以及位置信息；利用语音对话模块与用户进行语音交流获得家电的名称、型号等；根据家电的型号通过网络通信模块从与该家电厂家相关的服务器下载该家电的遥控器编码信息；或者将该家电的遥控器对准遥控器编码接收模块，利用遥控器编码接收模块采集遥控器的所有按键的编码信息。

其次，将采集到的所述家电的图像以及位置信息、家电的名称、型号等信息、家电的遥控器编码信息传送至数据处理模块进行分析、匹配；按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、遥控器编码信息进行分析、匹配，构建室内家电布局地图或周围环境家电布局地图。

最后，用户和机器人通过语音对话模块进行交互，并根据保存在数据处理模块中的家电布局地图，控制机器人移动，从而对目标家电进行控制。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种移动智能终端，其特征在于，包括：

信息采集模块，包括图像采集模块、语音对话模块、网络通信模块以及遥控器编码接收模块；所述图像采集模块用以对家电进行拍照，得到家电的图像以及位置信息；所述语音对话模块用以与用户进行语音交流；所述网络通信模块用以根据家电的型号从与该家电厂家相关的服务器下载该家电的遥控器编码信息；所述遥控器编码接收模块用以采集家电遥控器每一按键的编码信息；

数据处理模块，用以将采集到的所述家电的图像信息、位置信息、家电的名称、型号、遥控器编码信息进行分析、匹配，按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、家电的名称、型号、遥控器编码信息进行分析、匹配，构建遥控器编码数据库和家电布局地图存储于数据存储模块；

数据存储模块，用于存储数据；

遥控器编码发送模块，用以对目标家电发送控制指令的遥控器编码；

机械驱动模块，用于驱动移动智能终端移动以及躯体的动作；

控制模块，控制所述机械驱动模块以及信息采集模块，所述控制模块控制移动智能终端移动以搜寻目标家电位置，所述控制模块控制所述信息采集模块对搜索目标进行拍照识别，并通过所述遥控器编码发送模块对搜索目标发送控制指令的遥控器编码。

2.如权利要求1所述的移动智能终端，其特征在于，所述移动智能终端为机器人，包括头部、机身、底盘，所述信息采集模块设置于所述头部，所述机械驱动模块设置于所述底盘。

3.如权利要求2所述的移动智能终端，其特征在于，所述机械驱动模块包括头部旋转驱动和底盘驱动，所述头部旋转驱动用于驱动所述头部旋转，所述底盘驱动用于驱动所述底盘移动。

4.如权利要求3所述的移动智能终端，其特征在于，所述底盘上装有万向轮和底盘驱动轮。

5.如权利要求3所述的移动智能终端，其特征在于，所述头部旋转驱动包括第一头部旋转驱动和第二头部旋转驱动，所述第一头部旋转驱动驱使头部在垂直方向上旋转，所述第二头部旋转驱动驱使头部在水平方向上旋转。

6.一种如权利要求1-5中任一项所述的移动智能终端的家电控制方法，其特征在于，包括以下步骤：

第一步：建立家电的遥控器编码数据库和家电的布局地图，包括步骤：

利用图像采集模块对家电进行拍照，得到家电的图像以及位置信息；

利用语音对话模块与用户进行语音交流获得家电的名称、型号；

根据家电的型号通过网络通信模块从与该家电厂家相关的服务器下载该家电的遥控器编码信息；或者将该家电的遥控器对准遥控器编码接收模块，利用遥控器编码接收模块采集遥控器的所有按键的编码信息；

将采集到的所述家电的图像以及位置信息、家电的名称、型号信息、家电的遥控器编码信息传送至数据处理模块进行分析、匹配，按照此方法，对家庭或周围环境中所有家电的图像信息、位置信息、遥控器编码信息进行分析、匹配，构建遥控器编码数据库和家电布局地图，并存储于数据存储模块；

第二步：指令机器人对目标家电进行控制，包括步骤：

用户通过语音对话模块发出控制目标家电的语音指令；

语音对话模块将采集的所述语音指令发送至数据处理模块，数据处理模块分析语音指令，判断出“位置”、“目标”、“动作”的关键词，数据处理模块根据保存在数据存储模块中的家电布局地图进行路径规划，并将规划结果发送至控制模块；

控制模块控制机械驱动模块驱动机器人移动到目标家电的位置，控制模块控制图像采集模块对当前的家电进行拍照，采集图像信息和位置信息，经数据处理模块处理后与保存在数据存储模块中的目标家电的图像信息和位置信息进行对比，确认当前的家电就是目标家电之后，该确认指令发送至控制模块，控制模块控制遥控器编码发送模块向当前家电发送预定的“动作”指令的遥控器编码。