CN111300429A - 机器人控制系统、方法及可读存储介质 - Google Patents

Abstract

本发明公开了一种机器人控制系统、方法及可读存储介质。所述机器人控制系统通过结合视觉模块、听觉模块与运动模块的功能，生成各类操作指令，使得家庭机器人能够做出更过满足用户需求的操作。所述机器人控制方法通过获取视觉图像信息和/或声音信息，并基于预设的算法或是规则对这些信息进行处理，使得能够将家庭机器人的视觉、听觉相结合；通过生成一种或多种信息相对应的指令，使得家庭机器人能够根据指令进行相应动作，进而实现多种功能，较之现有的家庭机器人能够满足用户的更多需求。

Description

机器人控制系统、方法及可读存储介质

技术领域

本发明涉及机器人技术领域，尤其涉及一种机器人控制系统、方法及可读存储介质。

背景技术

随着人工智能与机器人领域的技术的快速发展，越来越多与人工智能技术相结合的机器人走进了普通家庭，为人们的日常生活带来的便利。为满足家庭环境的不同需求，各种功能各异的家庭机器人出现在大众视野。例如，用于陪伴儿童玩耍的儿童陪伴机器人，用于打扫家庭卫生的清洁机器人，用于家庭安全监控的监控机器人等。但现有的这些家庭机器人往往仅能有实现家庭生活中的某一种特定功能，满足人们的某种特定的需求，而无法全方位满足人们在家庭生活中的多种需求，从而导致了传统的家庭机器人所能实现的功能单一的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种机器人控制方法，旨在解决传统的家庭机器人所能实现的功能单一的技术问题。

为实现上述目的，本发明提供一种机器人控制系统，所述机器人控制系统包括总控模块、视觉模块、听觉模块与运动模块，所述视觉模块、听觉模块和运动模块均与所述总控模块通信连接；

所述视觉模块用于获取外界环境的视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，并将所述视觉图像信息和/或红外热成像信息的处理结果发送至所述总控模块；

所述听觉模块用于获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行定位和识别，并将所述外部声源信息的识别结果发送至所述总控模块；

所述运动模块用于接收所述总控模块发送的目标运动指令，根据所述目标运动指令执行相应动作；

所述总控模块用于接收所述视觉模块和/或听觉模块发送的各类结果数据，根据所述结果数据生成各类控制指令，以控制机器人基于所述各类控制指令执行相应操作，其中所述结果数据包括所述视觉图像信息的处理结果和/或所述外部声源信息的识别结果。

可选地，所述机器人控制系统还包括传感器模块，所述传感器模块与所述总控模块通信连接；

所述传感器模块用于辅助采集外部环境的环境信息，环境信息至少包括,外界图像，声音，温度，湿度与气体成分中的一种，并将所述环境信息通过所述总控模块反馈至所述视觉模块、听觉模块与运动模块。

可选地，所述机器人控制系统还包括物联网模块，所述物联网模块与所述总控模块通信连接；

所述物联网模块用于采用红外、蓝牙和wifi的连接方式对机器人所在场景的各种智能家电和各种智能监控设备进行连接控制。

可选地，所述机器人控制系统还包括应用控制模块，所述机器人控制系统还包括应用控制模块，所述应用控制模块与所述总控模块通信连接；

所述应用控制模块用于建立应用控制模块的持有用户与机器人之间的通讯交互通道。

可选地，所述机器人控制系统还包括编程模块，所述编程模块与所述总控模块通信连接；

所述编程模块用于接收用户基于预设编程方式创建或编辑的自定义程序，并将所述自定义程序发送至所述总控模块，以供所述总控模块生成所述自定义程序对应的自定义控制指令，家庭机器人基于所述自定义控制指令指令相应操作，其中，所述预设编程方式为图形编程方式或程序设计语言编程方式。

本发明还提供一种机器人控制方法，所述机器人控制方法应用于所述机器人控制系统，所述机器人控制方法包括以下步骤：

a.视觉模块获取视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，得到第一处理结果；

b.听觉模块获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行识别，得到第二处理结果；

c.主控模块根据所述第一处理结果和/或第二处理结果生成对应的控制指令，以供家庭机器人基于所述控制指令执行相应操作。

可选地，所述预设视觉算法为视觉火焰识别算法、动作图像识别算法和/或红外热成像温度识别算法，所述控制指令为预警信息发送指令，所述步骤a包括：

所述视觉模块获取视觉图像信息和/或红外热成像信息，在检测到所述视觉图像信息与预设标准预警图像相匹配，和/或所述红外热成像信息满足预设标准时，根据所述视觉火焰识别算法、动作图像识别算法和/或红外热成像温度识别算法，对所述视觉图像信息进行识别，生成识别结果；

所述视觉模块将识别结果作为所述第一处理结果，以供家庭机器人基于所述预警信息发送指令生成并向用户端发送预警信息，其中，所述预警信息发送指令基于所述第一处理结果生成。

可选地，所述预设视觉算法为Vslam算法，所述步骤a包括：

所述视觉模块在接收到导航请求时，使用预设采集设备获取外界环境信息；

所述视觉模块根据所述外界环境信息生成构建目标导航地图，将所述目标导航地图作为所述第一处理结果，以供家庭机器人基于所述第一处理结果为用户进行导航。

可选地，所述第一处理结果为目标充电路线，所述步骤c之前，还包括：

视觉模块在检测到实时电量低于预设阈值时，获取所述视觉图像信息，并检测目标充电设备发出的蓝牙信号强度；

视觉模块根据所述蓝牙信号强度与所述Vslam算法对所述视觉图像信息进行处理，生成所述目标充电路线；

主控模块基于预设红外阵列获取所述充电设备的辅助定位数据，结合所述目标充电路线与辅助定位数据生成目标运动数据；

所述步骤c包括：

主控模块根据所述目标运动数据生成并发送自动充电指令至运动模块，以供运动模块基于所述自动充电指令控制家庭机器人自动寻找所述目标充电设备进行充电。

可选地，所述步骤a之前，还包括：

物联网模块基于预设通信协议，建立机器人与预设已授权家电设备的通信连接；

物联网模块接收用户发送的家电控制指令，将所述家电控制指令发送至所述预设已授权家电，以供所述预设已授权家电进行与所述家电控制指令对应的操作。

可选地，所述预设视觉算法为所述视觉火焰识别算法，所述视觉图像信息为待判断火焰图像，步骤a之前，还包括：

所述视觉模块在检测到基于预设环境传感器所获取的外界环境数据不符合预设正常环境数据范围时，获取所述待判断火焰图像，以将所述待判断火焰图像与所述预设标准预警图像进行匹配，其中，所述外界环境数据为烟雾浓度和/或温度数据和/或湿度数据。

可选地，所述家电控制指令为空调关闭指令，所述物联网模块接收用户发送的家电控制指令，将所述家电控制指令发送至所述预设已授权家电，以供所述预设已授权家电进行与所述家电控制指令对应的操作的步骤包括：

所述物联网模块接收用户基于预设手机应用程序发送的所述空调关闭指令；

所述物联网模块将所述空调关闭指令发送至目标智能空调，以供所述智能空调进行关闭操作。

可选地，所述步骤a之前，还包括：

编程模块接收用户基于预设编程方式生成的自定义程序，生成所述自定义程序对应的自定义控制指令，以供家庭机器人基于所述自定义控制指令指令相应操作，其中，所述预设编程方式为图形编程方式或程序设计语言编程方式。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有机器人控制程序，所述机器人控制程序被处理器执行时实现如上述的机器人控制方法的步骤。

本发明提供一种机器人控制系统、方法及可读存储介质。所述机器人控制系统通过结合视觉模块、听觉模块与运动模块的功能，生成各类操作指令，使得家庭机器人能够做出更过满足用户需求的操作。所述机器人控制方法通过a.视觉模块获取视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，得到第一处理结果；b.听觉模块获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行识别，得到第二处理结果；c.获取运动数据，基于预设动作响应规则得到与所述运动数据对应的第三处理结果；d.根据所述第一处理结果和/或第二处理结果和/或第三处理结果，生成对应的控制指令，以供家庭机器人基于所述控制指令执行相应操作。通过上述方式，本发明通过获取视觉图像信息和/或声音信息，并基于预设的算法或是规则对这些信息进行处理，使得能够将家庭机器人的视觉、听觉相结合；通过生成一种或多种信息相对应的指令，使得家庭机器人能够根据指令进行相应动作，进而实现多种功能，较之现有的家庭机器人能够满足用户的更多需求，从而解决了传统的家庭机器人所能实现的功能单一的技术问题。

附图说明

图1为本发明机器人控制系统的较佳实施例的功能原理框图。

图2为本发明实施例方案涉及的硬件运行环境的系统结构示意图；

图3为本发明机器人控制系统较佳实施例中应用控制模块的内容组成示意图；

图4为本发明机器人控制方法第一实施例的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明机器人控制系统的较佳实施例的功能原理框图。

如图1所示，该系统可以包括：主控模块1001，视觉模块1002，听觉模块1003，运动模块1004，应用控制模块1005，通讯模块1006，物联网模块1007，编程模块1008，传感器模块1009，存储器1010。

主控模块1001可由两颗分离的CPU组成，一颗负责四足机器人的运动模块1004的算法处理和各模块间的数据处理，另一颗负责视觉模块1002和听觉模块1003的数据算法处理。

视觉模块1002可进行Vslam视觉导航，构建环境地图，灵活自由地在所处的环境中移动；可进行人脸识别，采集人脸面部信息，提取面部特征，用已通过将存储的人脸面部特征与采集到的面部特征进行对比从而精确的辨认出判定人的身份；可进行人体跟随，当锁定特定人体后，四足机器人结合视觉图像特征和声音对目标人进行跟随运动；可进行视觉监控，监控家庭环境，感知家中无人时，主动移动到家门口或指定地点监控，若有非家庭成员进入，则上报监控信息到用户绑定的手机上；可进行火焰识别，通过预设的视觉火焰识别算法对意外着火点进行识别；可进行危险动作识别，内设特定的危险动作识别模式，包括摔倒识别、儿童爬高识别等。

听觉模块1003可进行对外部声音的采集和声音数据的处理。具体地，可进行语音识别，对用户发出的声音通过预定的提取算法将相应的声音进行特征值得采取；可进行立体降噪，降低隔离环境噪音，使采集到的声音更加有效；可进行声音定位，通过传感器模块1009中的三维麦克风阵列采集到的声音数据可以精确的判断出声音的方位；可进行声纹识别，通过对采集到的声音信息，提取声纹特征并和声纹模型库中存储的声纹特征进行对比，从而精确地辨认出说话人。

运动模块1004可控制四足机器人进行正常运动以及执行相应的动作。采用了两种运动机构，一种是分离式舵轮结构，智能仿生四足机器人的四肢分别由四个分离式舵机和轮子组成，其中轮子连接在分离式舵机的下方并与地面接触。另一种是三轴无刷减速舵机关节结构，即每条腿都采用一组三轴无刷减速舵机组成。第一种方式可以使四足机器人快速移动，第二种方式不仅可以使四足机器人拥有高仿生动作，并适应于各种不同的地面环境，可以快速移动和跳跃。

应用控制模块1005可以APP的方式实现，安装在用户的移动终端上，并通过通讯模块1006进行通讯，以供用户与四足机器人进行交互。具体地，如图3所示，应用控制模块1005可包括运动控制单元、远程监控单元、家居物联单元、视频通话单元、智能编程单元、娱乐互动单元、宠物养成单元和Vslam单元。运动控制单元用于用户通过APP实时的进行控制智能仿生四足机器人运动，包括控制仿生四足机器人进行前后左右方向的运动和控制仿生四足机器人完成各种预设的动作；远程监控单元可供用户通过APP控制仿生四足机器人上面的摄像头来监控周围的环境，实时的把周围的图像通过通信系统传达给APP系统上的远程监控单元；家具物联单元可供用户控制家里已与智能四足机器人连接的智能家电设备，以及查看家里的智能传感器检测到的家里环境，如温度、湿度等；视频通话单元可供用户通过智能四足机器人的摄像头和麦克风进行视频语音通话；智能编程单元根据用户编辑内容，将编辑好的内容发送给智能四足机器人，并使其执行该内容；娱乐互通单元可供用户指示智能四足机器人播放音乐或者与智能四足机器人进行视觉互动；宠物养成单元可供用户通过选择投喂虚拟实物给智能四足机器人，智能四足机器人根据不同的食物做出不同的反应，智能四足机器人的虚拟成长状态也根据用户投喂虚拟实物的频率而改变；Vlasm单元通过摄像头采集到的环境信息构建空间地图，用户不仅可以查看此空间地图，而且还可以查看智能四足机器人在地图中的位置。用户通过选择空间地图的某个位置可以控制智能四足机器人移动到空间地图中的位置。

通讯模块1006可用于四足机器人与应用控制模块1005、物联网模块1007和云端网络连接和通讯。

物联网模块1007可连接和控制家庭里的各种智能家电和各种智能监控设备。通常采用主流的三种通信协议，分别是红外通信协议，该协议可以控制大部分传统家电，如电视机空调等；蓝牙和wifi协议，可控制各个授权的智能家电设备。

编程模块1008可供用户对四足机器人进行自定义编程。低阶用户(主要对象为儿童和青少年)通过应用控制模块1005，可通过手机或者平板电脑采用图形编程的方式对四足机器人进行编程；高阶用户可通过电脑端用Python语言等程序设计语言和开放的编程接口协议对四足机器人进行深度的编程学习。

传感器模块1009可辅助采集外部环境的各种信息，并把相应的信息通过主控模块1001反馈给各大相关模块。可包括：可见光摄像头和红外热成像摄像头单元，采集图像信息反馈给视觉模块1002；三维麦克风阵列单元，采集声音信息反馈给听觉模块1003；红外激光测距单元，采集距离信息反馈给主控模块1001；红外阵单元列，为运动模块1004提供辅助定位信息；触摸单元，感知外界用户对四足机器人的触摸信息；温度湿度单元，采集环境温湿度信息反馈给主控模块1001，并通过应用控制模块1005实时显示；烟雾传感器单元，检测环境有害气体信息并反馈给主控模块1001。

存储器1010可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1010可选的还可以是独立于前述主控模块1001的存储设备。

本领域技术人员可以理解，图1中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图2为本发明实施例方案涉及的硬件运行环境的系统结构示意图。如图2所示，作为一种计算机存储介质的存储器1010中可以包括操作系统、用户接口模块以及机器人控制程序。

在图2所示的系统中，主控模块1001可以用于调用存储器1010中存储的机器人控制程序，并执行以下操作：

a.视觉模块获取视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，得到第一处理结果；

b.听觉模块获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行识别，得到第二处理结果；

c.主控模块根据所述第一处理结果和/或第二处理结果生成对应的控制指令，以供家庭机器人基于所述控制指令执行相应操作。

进一步地，主控模块1001可以调用存储器1010中存储的机器人控制程序，还执行以下操作：

所述视觉模块获取视觉图像信息和/或红外热成像信息，在检测到所述视觉图像信息与预设标准预警图像相匹配，和/或所述红外热成像信息满足预设标准时，根据所述视觉火焰识别算法、动作图像识别算法和/或红外热成像温度识别算法，对所述视觉图像信息进行识别，生成识别结果；

所述视觉模块将识别结果作为所述第一处理结果，以供家庭机器人基于所述预警信息发送指令生成并向用户端发送预警信息，其中，所述预警信息发送指令基于所述第一处理结果生成。

进一步地，主控模块1001可以调用存储器1010中存储的机器人控制程序，还执行以下操作：

所述视觉模块在接收到导航请求时，使用预设采集设备获取外界环境信息；

所述视觉模块根据所述外界环境信息生成构建目标导航地图，将所述目标导航地图作为所述第一处理结果，以供家庭机器人基于所述第一处理结果为用户进行导航。

进一步地，主控模块1001可以调用存储器1010中存储的机器人控制程序，还执行以下操作：

视觉模块在检测到实时电量低于预设阈值时，获取所述视觉图像信息，并检测目标充电设备发出的蓝牙信号强度；

视觉模块根据所述蓝牙信号强度与所述Vslam算法对所述视觉图像信息进行处理，生成所述目标充电路线；

主控模块基于预设红外阵列获取所述充电设备的辅助定位数据，结合所述目标充电路线与辅助定位数据生成目标运动数据；

所述步骤c包括：

主控模块根据所述目标运动数据生成并发送自动充电指令至运动模块，以供运动模块基于所述自动充电指令控制家庭机器人自动寻找所述目标充电设备进行充电。

进一步地，主控模块1001可以调用存储器1010中存储的机器人控制程序，还执行以下操作：

物联网模块基于预设通信协议，建立机器人与预设已授权家电设备的通信连接；

物联网模块接收用户发送的家电控制指令，将所述家电控制指令发送至所述预设已授权家电，以供所述预设已授权家电进行与所述家电控制指令对应的操作。

基于上述硬件结构，提出本发明机器人控制方法的各个实施例。

随着人工智能与机器人领域的技术的快速发展，越来越多与人工智能技术相结合的机器人走进了普通家庭，为人们的日常生活带来的便利。为满足家庭环境的不同需求，各种功能各异的家庭机器人出现在大众视野。例如，用于陪伴儿童玩耍的儿童陪伴机器人，用于打扫家庭卫生的清洁机器人，用于家庭安全监控的监控机器人等。但现有的这些家庭机器人往往仅能有实现家庭生活中的某一种特定功能，满足人们的某种特定的需求，而无法全方位满足人们在家庭生活中的多种需求，从而导致了传统的家庭机器人所能实现的功能单一的技术问题。

为解决上述问题，本发明提供一种机器人控制方法，即获取视觉图像信息和/或声音信息，并基于预设的算法或是规则对这些信息进行处理，使得能够将家庭机器人的视觉、听觉相结合；通过生成一种或多种信息相对应的指令，使得家庭机器人能够根据指令进行相应动作，进而实现多种功能，较之现有的家庭机器人能够满足用户的更多需求，从而解决了传统的家庭机器人所能实现的功能单一的技术问题。所述机器人控制方法应用于所述机器人控制系统。

参照图3，图3为机器人控制方法第一实施例的示意图。

本发明第一实施例提供一种机器人控制方法，所述机器人控制方法包括以下步骤：

步骤a.视觉模块获取视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，得到第一处理结果；

在本实施例中，本发明机器人控制方法适用于家庭型的智能仿生四足机器人。预设视觉算法包括人脸识别算法、图像识别算法、物体检测算法、深度学习算法、视觉导航算法和红外热成像温度识别算法等。第一处理结果为所述机器人控制系统中的视觉模块对外界的视觉图像信息处理后所得的处理结果，可为环境数据处理结果、人脸数据识别结果、人脸额头温度识别结果,火焰识别结果、指定区域物体温度识别结与肢体动作识别结果等。

具体地，视觉模块可结合主控模块实现家庭机器人的实时导航功能、人脸识别功能、人脸额头温度识别结果、指定区域物体温度识别结果、视觉监控功能、火焰识别功能与危险动作识别功能。对于实时导航功能，视觉模块通过摄像头、六轴陀螺仪和激光测距传感器采集数据，对采集到的数据使用视觉同时定位与建图(VSLAM，Visual SimultaneousLocalization and Mapping)算法进行处理和后端非线性化优化来进行构建环境地图，然后再根据摄像头、六轴陀螺仪和激光测距传感器实时更新的数据进行动态对比，从而对智能四足的家庭机器人进行精确的室内导航，使其灵活自由的在所处的环境中移动。对于人脸识别功能，视觉模块通过摄像头采集人脸面部信息，并提取面部特征，用已存储的人脸面部特征和采集到的面部特征对比从而对人的身份进行精确辨认。对于人脸额头温度识别功能,视觉模块通过摄像头和红外热成像摄像头,采集面部图像和温度信息,面部特征识别确定后,再根据额头特征提取出额头区域温度信息，从而对额温进行精确测量。对于指定区域物体温度识功能，视觉模块通过摄像头和红外热成像摄像头,采集并定位指定区域物体图像和温度信息，然后输出温度信息。对于人体跟随功能，视觉模块对特定人体进行锁定后，家庭机器人结合视觉图像特征和声音对目标人进行跟随运动。对于视觉监控功能，视觉模块实时对家庭环境进行监控，在判定家中无人时，自动移动到指定地点，例如家门口监控。在检测到有非家庭成员进入监控范围，生成并上报监控信息到用户绑定的手机。对于火焰识别功能，视觉模块根据视觉火焰识别算法对意外着火点进行识别，在判定确为火焰时，生成并上报着火信息至用户手机。对于危险动作识别功能，视觉模块根据预设的特定的危险动作图像库，对用户动作进行实时检测，在检测到用户当前肢体动作符合危险动作库中的某一危险动作时，生成并输出危险提示信息。危险动作包括摔倒动作、儿童爬高动作等。

步骤b.听觉模块获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行识别，得到第二处理结果；

在本实施例中，预设音频识别结果可为自动语音识别技术(ASR，AutomaticSpeech Recognition)、声纹识别算法、声音定位算法等。第二处理结果可为用户声音处理结果、环境噪音处理结果等。

具体地，家庭机器人系统中的听觉模块可结合主控模块实现语音识别功能、立体降噪功能、声音定位功能和说话人识别等。对于语音识别功能，听觉模块获取用户语音，并使用ASR语音转换成文字，确定用户的语音指令。对于立体降噪功能，听觉模块对采集到的环境噪音使用预设的卷积神经网络算法进行降噪处理，使采集到的声音更加有效。对于声音定位功能，听觉模块接收由三维麦克风阵列采集到的声音数据，并使用声音定位算法对声音数据进行处理，从而精确的得出声音的方位。对于说话人识别功能，听觉模块对采集到的声音信息，提取出其声纹特征，并与声纹模型库中存储的声纹特征进行对比，从而精确的辨认出说话人。

步骤c.主控模块根据所述第一处理结果和/或第二处理结果生成对应的控制指令，以供家庭机器人基于所述控制指令执行相应操作。

在本实施例中，控制指令可单独由视觉模块的第一处理结果生成，可单独由听觉模块的第二处理结果生成，也可结合第一处理结果与第二处理结果生成。家庭机器人基于控制指令可结合运动模块做出相应反馈操作。

具体地，对于人脸识别功能，机器人控制系统中的主控模块可根据视觉模块发送的人脸识别结果也即是上述第一处理结果，生成身份验证指令，在该人脸识别结果为家庭成员时，主控模块即可开放相应家庭成员权限，使得家庭机器人根据家庭成员的指示进行相应操作；在该人脸识别结果不为家庭成员时，则不对该说话人的指示做出反应。

对于声纹识别功能，主控模块可根据听觉模块的声纹识别结果也即是上述第二处理结果，生成说话人识别指令，进而确定说话人身份，在该说话人为家庭成员时，主控模块即可开放相应家庭成员权限，使得家庭机器人根据家庭成员的指示进行相应操作；在该说话人不为家庭成员时，则不对该说话人的指示做出反应。

对于视频通话功能，视觉模块可通过摄像头获取用户图像信息，听觉模块可通过麦克风获取用户语音信息，分别对用户图像信息与语音信息进行处理，生成上述的第一处理结果与第二处理结果，主控模块再根据第一处理结果与第二处理结果控制家庭机器人与用户进行视频语音通话。

在本实施中，通过a.视觉模块获取视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，得到第一处理结果；b.听觉模块获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行识别，得到第二处理结果；c.主控模块根据所述第一处理结果和/或第二处理结果生成对应的控制指令，以供家庭机器人基于所述控制指令执行相应操作。通过上述方式，本发明通过获取视觉图像信息和/或声音信息，并基于预设的算法或是规则对这些信息进行处理，使得能够将家庭机器人的视觉、听觉相结合；通过生成一种或多种信息相对应的指令，使得家庭机器人能够根据指令进行相应动作，进而实现多种功能，较之现有的家庭机器人能够满足用户的更多需求，从而解决了传统的家庭机器人所能实现的功能单一的技术问题。

图中未示的，基于上述图3所示的第一实施例，提出本发明机器人控制方法第二实施例。在本实施例中，步骤a包括：

步骤a1，所述视觉模块获取视觉图像信息和/或红外热成像信息，在检测到所述视觉图像信息与预设标准预警图像相匹配，和/或所述红外热成像信息满足预设标准时，根据所述视觉火焰识别算法、动作图像识别算法和/或红外热成像温度识别算法，对所述视觉图像信息进行识别，生成识别结果；

步骤a2，所述视觉模块将识别结果作为所述第一处理结果，以供家庭机器人基于所述预警信息发送指令生成并向用户端发送预警信息，其中，所述预警信息发送指令基于所述第一处理结果生成。

在本实施例中，预设标准预警图像可为预设标准火焰图像，或是预设危险动作图像。视觉模块对通过摄像头实时获取到的视觉图像信息进行检测，还可通过摄像头和红外热成像摄像头，得到红外热成像信息。判断视觉图像是否与预设标准预警图像相匹配，也可判断所述红外热成像信息是否满足预设标准。在检测到两者相匹配和/或红外热成像信息是否满足预设标准时，使用视觉火焰识别算法、动作图像识别算法识别和/或红外热成像温度识别算法，以进一步进行确认，并将识别结果发送至主控模块，以供主控模板作出相应指令。

具体地，若视觉模块检测到当前的视觉图像信息与预设标准火焰图像相匹配时，使用视觉火焰识别算法，将视觉图像信息的BGR颜色空间转换成HSV空间，再定义高通和低通的滤波，生成过滤的掩码与视觉图像进行运算，最终生成过滤后的火焰图像，以最终确定当前是否存在着火点。若视觉模块检测到当前的视觉图像信息与预设危险动作图像相匹配时，可使用神经网络算法进一步判断当前用户所做动作是否为摔倒、儿童爬高等危险动作，并将结果发送至主控模块，以供主控模块输出危险提示。

更多实施例中，视觉模块还可通过摄像头和红外热成像摄像头,采集面部图像和温度信息,面部特征识别确定后,再根据额头特征提取出额头区域温度信息，从而对额温进行精确测量。对于指定区域物体温度识功能，视觉模块通过摄像头和红外热成像摄像头,采集并定位指定区域物体图像和温度信息，然后输出温度信息。

进一步地，在本实施例中，步骤a还包括：

步骤a3，所述视觉模块在接收到导航请求时，使用预设采集设备获取外界环境信息；

在本实施例中，预设采集设备可为摄像头、六轴陀螺仪和激光测距传感器。用户可通过语音指示或是在APP中点击相应按键的方式对家庭机器人发送导航请求。机器人控制系统接收到导航请求时，通过家庭机器人中的摄像头、六轴陀螺仪和激光测距传感器获取到外界环境信息。

步骤a4，所述视觉模块根据所述外界环境信息生成构建目标导航地图，将所述目标导航地图作为所述第一处理结果，以供家庭机器人基于所述第一处理结果为用户进行导航。

在本实施例中，视觉模块首先提取外界环境信息的每帧图像特征点，对相邻帧进行特征点粗匹配，然后利用随机抽样一致算法去除不合理的匹配对，然后得到位置和姿态信息。将优化的变量作为图的节点，误差项作为图的边，在给定初值后，进行迭代优化更新，建立目标导航地图。目标导航地图可为2D栅格地图、2D拓扑地图、3D点云地图等。视觉模块将目标导航地图上传至主控模块，以供家庭机器人基于所述导航指引指令为用户进行导航。

在本实施中，进一步通过使用火焰识别算法、红外热成像温度识别算法、动作图像识别算法以及Vslam算法，使得家庭机器人能够实现火灾预警、人体测温、任意物体测温、环境温度过高预警、儿童危险动作预警与实时导航的功能，为人们的日常生活带来了极大的便利。

图中未示的，基于上述图3所示的第一实施例，提出本发明机器人控制方法第三实施例。在本实施例中，在步骤c之前，还包括：

步骤d，视觉模块在检测到实时电量低于预设阈值时，获取所述视觉图像信息，并检测目标充电设备发出的蓝牙信号强度；

在本实施例中，预设阈值通常设置为百分比的形式，例如可设置为30％，可根据实际情况灵活设定，本实施例对此不做具体限定。具体地，系统在检测到家庭机器人的实时电量低于30％时，获取当前的外界环境图像，并对充电座发出的蓝牙信号进行检测。

步骤e，视觉模块根据所述蓝牙信号强度与所述Vslam算法对所述视觉图像信息进行处理，生成所述目标充电路线；

在本实施例中，在未找到充电座的具体位置前，视觉模块通过对实时的外界环境图像使用Vslam算法进行处理，并结合检测到的渐强的蓝牙信号方向，规划出目标充电路线。

步骤f，主控模块基于预设红外阵列获取所述充电设备的辅助定位数据，结合所述目标充电路线与辅助定位数据生成目标运动数据；

在本实施例中，家庭机器人在寻找到充电座时，需要对充电座进行更为精确地定位，可使用红外阵列获取到充电座的近距离辅助点定位数据。主控模块将目标充电路线与辅助点定位数据相结合，即可得到用于家庭机器人自动充电的目标运动数据。

步骤c包括：

步骤c1，主控模块根据所述目标运动数据生成并发送自动充电指令至运动模块，以供运动模块基于所述自动充电指令控制家庭机器人自动寻找所述目标充电设备进行充电。

在本实施例中，主控模块结合目标充电数据与目标运动数据，生成指示家庭机器人自动寻找充电座进行充电的指令给运动模块，可使家庭机器人即可精准寻找并定位充电座自动进行充电。

进一步地，在本实施例中，步骤a之前，还包括：

步骤g，物联网模块基于预设通信协议，建立机器人与预设已授权家电设备的通信连接；

在本实施例中，预设通信协议包括红外通信协议、蓝牙和wifi协议。红外通信协议可以控制大部分传统家电，如电视机空调等。蓝牙和wifi则协议可控制各个授权的智能家电设备。

步骤h，物联网模块接收用户发送的家电控制指令，将所述家电控制指令发送至所述预设已授权家电，以供所述预设已授权家电进行与所述家电控制指令对应的操作。

在本实施例中，用户可在预设的手机APP上发送家电控制指令如空调关闭指令、电灯开启指令等。家中智能电器则可根据通信连接接收到这一指令，进行相应操作。例如，用户在APP上发送空调关闭指令，家中空调通过红外通信协议接收到该指令，自动进行关闭。

在本实施中，进一步通过使用Vslam算法以及红外阵列，使得家庭机器人能够精确地找到充电座进行自动充电，进一步提高了家庭机器人的智能；通过与家庭中的智能家电互联，使得用户可不限时间、不限地点对家中智能家电进行实时控制，极大提高了用户家庭生活的便捷性，同时也提升了用户体验。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有机器人控制程序，所述机器人控制程序被处理器执行时实现如上述的机器人控制方法的步骤。

其中，所述机器人控制程序被执行时所实现的方法可参照本发明机器人控制方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种机器人控制系统，其特征在于，所述机器人控制系统包括总控模块、视觉模块、听觉模块与运动模块，所述视觉模块、听觉模块和运动模块均与所述总控模块通信连接；

所述视觉模块用于获取外界环境的视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，并将所述视觉图像信息和/或红外热成像信息的处理结果发送至所述总控模块；

所述听觉模块用于获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行定位和识别，并将所述外部声源信息的识别结果发送至所述总控模块；

所述运动模块用于接收所述总控模块发送的目标运动指令，根据所述目标运动指令执行相应动作；

所述总控模块用于接收所述视觉模块和/或听觉模块发送的各类结果数据，根据所述结果数据生成各类控制指令，以控制机器人基于所述各类控制指令执行相应操作，其中所述结果数据包括所述视觉图像信息的处理结果和/或所述外部声源信息的识别结果。

2.如权利要求1所述的机器人控制系统，其特征在于，所述机器人控制系统还包括传感器模块，所述传感器模块与所述总控模块通信连接；

所述传感器模块用于辅助采集外部环境的环境信息，环境信息至少包括,外界图像，声音，温度，湿度与气体成分中的一种，并将所述环境信息通过所述总控模块反馈至所述视觉模块、听觉模块与运动模块。

3.如权利要求1所述的机器人控制系统，其特征在于，所述机器人控制系统还包括物联网模块，所述物联网模块与所述总控模块通信连接；

所述物联网模块用于采用红外、蓝牙和wifi的连接方式对机器人所在场景的各种智能家电和各种智能监控设备进行连接控制。

4.如权利要求1所述的机器人控制系统，其特征在于，所述机器人控制系统还包括应用控制模块，所述应用控制模块与所述总控模块通信连接；

所述应用控制模块用于建立应用控制模块的持有用户与机器人之间的通讯交互通道。

5.如权利要求1所述的机器人控制系统，其特征在于，所述机器人控制系统还包括编程模块，所述编程模块与所述总控模块通信连接；

所述编程模块用于接收用户基于预设编程方式创建或编辑的自定义程序，并将所述自定义程序发送至所述总控模块，以供所述总控模块生成所述自定义程序对应的自定义控制指令，家庭机器人基于所述自定义控制指令指令相应操作，其中，所述预设编程方式为图形编程方式或程序设计语言编程方式。

6.一种机器人控制方法，其特征在于，所述机器人控制方法应用于权利要求1-5中任意一项所述的机器人控制系统，所述机器人控制方法包括：

a.视觉模块获取视觉图像信息和/或红外热成像信息，基于预设视觉算法对所述视觉图像信息和/或红外热成像信息进行处理，得到第一处理结果；

b.听觉模块获取外部声源信息，基于预设音频识别算法对所述外部声源信息进行识别，得到第二处理结果；

c.主控模块根据所述第一处理结果和/或第二处理结果生成对应的控制指令，以供家庭机器人基于所述控制指令执行相应操作。

7.如权利要求6所述的机器人控制方法，其特征在于，所述预设视觉算法为视觉火焰识别算法、动作图像识别算法和/或红外热成像温度识别算法，所述控制指令为预警信息发送指令，所述步骤a包括：

所述视觉模块获取视觉图像信息和/或红外热成像信息，在检测到所述视觉图像信息与预设标准预警图像相匹配，和/或所述红外热成像信息满足预设标准时，根据所述视觉火焰识别算法、动作图像识别算法和/或红外热成像温度识别算法，对所述视觉图像信息进行识别，生成识别结果；

所述视觉模块将识别结果作为所述第一处理结果，以供家庭机器人基于所述预警信息发送指令生成并向用户端发送预警信息，其中，所述预警信息发送指令基于所述第一处理结果生成。

8.如权利要求6所述的机器人控制方法，其特征在于，所述预设视觉算法为Vslam算法，所述步骤a包括：

所述视觉模块在接收到导航请求时，使用预设采集设备获取外界环境信息；

所述视觉模块根据所述外界环境信息生成构建目标导航地图，将所述目标导航地图作为所述第一处理结果，以供家庭机器人基于所述第一处理结果为用户进行导航。

9.如权利要求8所述的机器人控制方法，其特征在于，所述第一处理结果为目标充电路线，所述步骤c之前，还包括：

视觉模块在检测到实时电量低于预设阈值时，获取所述视觉图像信息，并检测目标充电设备发出的蓝牙信号强度；

视觉模块根据所述蓝牙信号强度与所述Vslam算法对所述视觉图像信息进行处理，生成所述目标充电路线；

主控模块基于预设红外阵列获取所述充电设备的辅助定位数据，结合所述目标充电路线与辅助定位数据生成目标运动数据；

所述步骤c包括：

主控模块根据所述目标运动数据生成并发送自动充电指令至运动模块，以供运动模块基于所述自动充电指令控制家庭机器人自动寻找所述目标充电设备进行充电。

10.如权利要求6所述的机器人控制方法，其特征在于，所述步骤a之前，还包括：

物联网模块基于预设通信协议，建立机器人与预设已授权家电设备的通信连接；

物联网模块物联网模块接收用户发送的家电控制指令，将所述家电控制指令发送至所述预设已授权家电，以供所述预设已授权家电进行与所述家电控制指令对应的操作。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有机器人控制程序，所述机器人控制程序被处理器执行时实现如权利要求6至10中任一项所述的机器人控制方法的步骤。

Images