CN107139189A - 一种儿童娱教监护机器人及其人体目标跟踪算法 - Google Patents

Abstract

本发明提供一种儿童娱教监护机器人及其人体目标跟踪算法，属于自动控制领域，包括机器人壳体以及设置在机器人壳体内部的机器人系统，其特征在于：机器人系统包括触摸屏显示模块、语音处理模块、人体目标跟踪模块、上位机、串口通信模块和下位机装置。本发明为一种集教育、娱乐、陪同及监护功能为一体的儿童娱教监护机器人，陪伴独处的孩子，同时能对孩子所处环境进行安全监控。该机器人具有语音互动和触摸屏互动功能，并且利用传感器和GSM模块对室内火灾和燃气泄漏等安全环境进行监控；可实现教育、娱乐、陪同及监护功能为一体，使儿童在轻松安全的环境中学习和成长，激发儿童的求知欲望。

Description

一种儿童娱教监护机器人及其人体目标跟踪算法

技术领域

本发明涉及自动控制领域，特别是涉及一种儿童娱教监护机器人及其人体目标跟踪算法。

背景技术

机器人技术涉及学科广泛，包括机械、电子、控制、计算机、传感器技术等多个学科，集成了多学科研究的成果，因此机器人的发展与上述学科发展密切相关。随着人们对服务机器人的需求越来越大，其应用范围也越来越广阔，服务机器人正朝着标准化、模块化、智能化和市场化方向发展。

服务机器人技术不仅是国家未来空间、水下与地下资源勘探、武器装备制高点的技术较量，而且将成为国家之间高技术激烈竞争的战略性新兴产业。不仅是未来先进制造业与现代服务业的重要组成部分，而且将成为世界高科技产业发展的一次重大机遇。微软公司董事会主席比尔·盖茨曾预言，个人服务机器人将重复个人计算机产业崛起的道路，成为我们日常生活的一部分。随着社会和经济的高速发展，人们的生活和工作节奏越来越快，上班族面临越来越大的工作压力，没有更多时间照顾自己的孩子，迫切需要从繁杂的家庭劳动中解脱出来；同时，随着我国人口老龄化阶段的到来，更多的老人也需要照顾，社会保障和服务的需求也更加紧迫，随之酝酿而生的将是广大的家庭服务机器人市场，各种服务型机器人尤其是家庭护理机器人、玩具机器人、清洁机器人等都将是最为需要的。

家用服务机器人可能朝着两个方向发展，一种是代替人类完成特定家务劳动的服务机器人，比如清扫机器人、烹饪机器人等；另一种则可以称作多功能的互动娱乐机器人，既能够与需要我们关怀而又得不到足够照顾的群体进行一定程度的互动娱乐与教育，丰富其日常生活，又能够适当照料他们，将其信息实时反馈给家人和其他家用设备。

机器人研究相对先进的国家，例如加拿大、日本和意大利，实用型家庭服务机器人研究大多是企业和科研院所共同承担的，将研究、产业发展和市场需求非常好地结合起来，使研究服务于企业，企业促使研究发展，形成了一个良性循环。因此这些国家的家庭服务器人已经取得了较好的研究成果。

2008年加拿大推出了完美机器人妻子Aiko，该女性机器人一头秀发、五官精致，能简单从事清洁和家务工作、善于数学计算、可以识别多个家庭成员、能够朗读报纸、为他人指引方向等。

2010年5月，日本Fujitsu(富士通)公司推出了一款家用医疗康复机器人泰迪熊，该机器人能够识别人脸面部表情，并做出反应。在泰迪熊的身体周围大概有13种不同感应器来感应人类的触碰，包括双手、一个内部倾斜传感器、一个麦克风和一个装在熊鼻子上的摄像头。通过这些装置能让泰迪熊收集它周围环境和它的使用者情绪的信息，并找到适当的方式和使用者互动。

我国家庭服务机器人的研究目前主要集中于各个大学、研究院所，虽然与国外家庭服务机器人的发展水平还有一定的差距，但广阔的应用前景还是吸引着越来越多的人投入到家庭服务机器人技术的研究中来。目前，国内主要有清华大学、哈尔滨工业大学、上海交通大学、中国科学技术大学、中国科学院等高校及科研机构对这一领域进行了比较深入的研究。与此同时，大量这方面的文章发表在AAAI(American Association for AINational Conference)、NIPS(Neural Information Processing Systems)等重要的国际会议上。

2009年11月，中国科沃斯电器有限公司(ECOVACS Electrical of China)推出了清洁机器人“地宝”Deepoo。“地宝”能对地面进行自动清洁，电用完后能自动回到充电座充电，可以每天预约时间清洁，而且地面清洁的效果较好，能够完全将地面的浮灰清洁干净，不再需要用拖布进行“二次加工”。

但是现在还没有一种能够陪伴孩子而且能够很好的对孩子的环境进行监测，同时能对孩子进行交易的机器人。

发明内容

本发明提供一种儿童娱教监护机器人及其人体目标跟踪算法，用于陪伴独处的孩子，同时能对孩子所处环境进行安全监控。该机器人具有语音互动和触摸屏互动功能，并且利用传感器和GSM模块对室内火灾和燃气泄漏等安全环境进行监控；可实现教育、娱乐、陪同及监护功能为一体，使儿童在轻松安全的环境中学习和成长，激发儿童的求知欲望。

本发明通过以下技术方案解决上述问题：

一种儿童娱教监护机器人，包括机器人壳体以及设置在机器人壳体内部的机器人系统，其中，机器人系统包括触摸屏显示模块、语音处理模块、人体目标跟踪模块、上位机、串口通信模块和下位机装置；

所述触摸屏显示模块、语音处理模块和人体目标跟踪模块均与上位机连接；触摸屏显示模块检测用户触摸触摸屏的坐标位置传给上位机和显示上位机传来的数据；语音处理模块录入用户语音传给上位机和播报上位机传出的语音数据；人体目标跟踪模块实现人体目标的跟踪融合深度信息和色彩信息的人体目标跟踪；

所述上位机经串口通信模块与下位机装置连接；上位机通过串口通信模块与下位机装置信息通信控制机器人动作；

所述下位机装置包括数字信号处理器、传感器模块、GSM模块和机械臂模块；传感器模块、GSM模块和机械臂模块均与数字信号处理器连接；传感器模块通过检测机器人环境数据经过数字信号处理器传给上位机；GSM模块通过无线实现用户远程监控机器人；机械臂模块接收数字信号处理器传来的数据控制机器人动作。

上述方案中，优选的是触摸屏显示模块包括红外触摸屏和显示器，红外触摸屏包括红外发生管、若干个位移锁存器、微处理控制器、A/D转换器、若干个放大器和红外接收管；微处理控制器经若干个位移锁存器与红外发生管连接；红外接收管经若干个放大器和A/D转换器与微处理控制器连接。

上述方案中，优选的是语音处理模块包括麦克风阵列、语音识别电路、语音合成电路和音响；麦克风阵列经语音识别电路与上位机连接；上位机经语音合成电路与音响连接。

上述方案中，优选的是人体目标跟踪模块包括摄像头和人体目标检测与跟踪电路；摄像头经人体目标检测与跟踪电路与上位机连接；所述摄像头为Kinect摄像头。

上述方案中，优选的是传感器模块包括烟雾传感器和气体传感，烟雾传感器实时检测机器人所处的环境是否出现烟雾，并把检测数据传给数字信号处理器；气体传感检测空气的成份数据传给数字信号处理器进行识别处理。

上述方案中，优选的是机械臂模块包括驱动模块、直流模块、舵机和电机编码器；驱动模块和直流模块控制舵机工作，电机编码器采集舵机状态编码传给数字信号处理器。

上述方案中，优选的是舵机包括肩关节舵机、肘关节舵机和腕关节舵机；所述关节舵机、肘关节舵机和腕关节舵机的控制端均与数字信号处理器连接。

基于上述的一种儿童娱教监护机器人的人体目标跟踪算法，包括如下步骤：

步骤1：通过Kinect摄像头获取人体目标的色彩信息和深度信息，并建立三维空间目标模型；

步骤2：把采集的人体目标的色彩信息和深度信息通过Camshift算法拓展到三维空间目标模型中；

步骤3：在三维空间目标模型中融合人体目标的深度信息，并利用Kalman滤波器预测目标的位置信息；

步骤4：通过对预测目标的位置信息进行计算初步锁定窗口的质心；

步骤5：通过调整窗口大小和/或移动窗口中心来确定质心的具体位置；

步骤6：计算质心的位置区域是否收敛，当不收敛时，返回步骤4，当收敛时，输出质心的位置和目标方向，并且质心的位置作为下一次目标锁定的初始窗口；

步骤7：在深度图像中计算人体目标的质心，对人体进行跟踪。

本发明的优点与效果是：

1、本发明设置为一种集教育、娱乐、陪同及监护功能为一体的儿童娱教监护机器人，陪伴独处的孩子，同时能对孩子所处环境进行安全监控，该机器人具有语音互动和触摸屏互动功能，并且利用传感器和GSM模块对室内火灾和燃气泄漏等安全环境进行监控；可实现教育、娱乐、陪同及监护功能为一体，使儿童在轻松安全的环境中学习和成长，激发儿童的求知欲望。

2、本发明通过使用红外触摸屏从而可以更好的准确的检测孩子对机器人的触碰点，同时也更好的避免了孩子触碰过程外其他的敲击引起的触摸屏的损坏，使得机器人的触摸屏使用寿命更长久。

3、本发明通过Kinect摄像头使用对人体目标进行感应跟踪，并通过自主研发的人体目标跟踪算法对人体目标进行数据处理从而可以更好的准确定位人体目标，提高及其人的智能性。

附图说明

图1为本发明结构框图；

图2为本发明红外触摸屏控制原理图；

图3为本发明报警及GSM通信模块数据传输示意图；

图4为本发明人体目标跟踪算法流程图。

具体实施方式

以下结合实施例对本发明作进一步说明。

一种儿童娱教监护机器人，如图1所示，包括机器人壳体以及设置在机器人壳体内部的机器人系统，机器人壳体设置为机器人模型，机器人壳体使用塑料材料制成或金属材料制成。机器人系统包括触摸屏显示模块、语音处理模块、人体目标跟踪模块、上位机、串口通信模块和下位机装置。机器人系统为整个机器人的核心，也是机器人的数据处理中心。采用Kinect融合图像深度和色彩信息，实现了目标检测和跟踪，通过控制舵机的转动实现机械臂的控制，采用烟雾传感器和气体传感器对室内环境进行安全监控，当有异常情况时，通过GSM模块对主人发送短信。

触摸屏显示模块、语音处理模块和人体目标跟踪模块均通过串口与上位机连接。触摸屏显示模块检测用户触摸触摸屏的坐标位置传给上位机和显示上位机传来的数据。语音处理模块录入用户语音传给上位机和播报上位机传出的语音数据。人体目标跟踪模块实现人体目标的跟踪融合深度信息和色彩信息的人体目标跟踪。触摸屏显示模块、语音处理模块和人体目标跟踪模块主要实现了机器人与人之间的信息的交互和信息采集等功能。

如图2所示，触摸屏显示模块包括红外触摸屏和显示器，红外触摸屏包括红外发生管、若干个位移锁存器、微处理控制器、A/D转换器、若干个放大器和红外接收管。微处理控制器经若干个位移锁存器与红外发生管连接。红外接收管经若干个放大器和A/D转换器与微处理控制器连接。将触摸屏作为机器人的头部。启动机器人后，触摸屏即显示教学内容选择界面，当用户用手指或其它物体触摸触摸屏时，所触摸的位置以坐标形式由触摸屏控制器检测，并通过USB串口通信传送到上位机，从而确定输入的信息，进而根据触摸选择内容显示教材。如：儿童可通过触摸屏显示选择古诗、儿歌、英语单词等进行学习，也可让机器人朗读古诗、唱儿歌和讲故事。

人体目标跟踪模块包括摄像头和人体目标检测与跟踪电路。摄像头经人体目标检测与跟踪电路与上位机连接。摄像头为Kinect摄像头。Kinect摄像头采集人体目标信息，由人体目标检测与跟踪电路进行处理，并把处理的信息传给上位机。

语音处理模块包括麦克风阵列、语音识别电路、语音合成电路和音响；麦克风阵列经语音识别电路与上位机连接；上位机经语音合成电路与音响连接。语音处理模块实现用户与机器人的语音交互，更好实现人与机器人的语音沟通和交流。

上位机经串口通信模块与下位机装置连接；上位机通过串口通信模块与下位机装置信息通信控制机器人动作。上位机为计算机或其他的设备处理系统，计算机上安装有数据处理系统，机器人的数据经过计算机进行处理可以大大的提高数据处理的效率。

下位机装置包括数字信号处理器、传感器模块、GSM模块和机械臂模块；传感器模块、GSM模块和机械臂模块均与数字信号处理器连接。传感器模块通过检测机器人环境数据经过数字信号处理器传给上位机。GSM模块通过无线实现用户远程监控机器人。机械臂模块接收数字信号处理器传来的数据控制机器人动作。下位机装置主要是控制机器人的动作和环境数据的采集并通过无线与机器人主人的远程无线设备进行无线通信，完成远程对机器人进行监控。

如图3所示，传感器模块包括烟雾传感器和气体传感，烟雾传感器实时检测机器人所处的环境是否出现烟雾，并把检测数据传给数字信号处理器；气体传感检测空气的成份数据传给数字信号处理器进行识别处理。采用烟雾传感器MQ-2和气体传感器MQ-4对室内的火灾和燃气泄漏进行检测，当烟雾的浓度和可燃气体浓度达到所设置的临界值，将会发送信号，DSP通过GSM模块给主人发送信息，从而进行处理。也就是说，通过DSP与GSM模块的SCI(异步通信传输)，可实现两者的数据传输，当传感器检测到异常情况时，通过AT命令控制GSM模块给主人发送短信，主人从而可进行及时处理。

机械臂模块包括驱动模块、直流模块、舵机和电机编码器；驱动模块和直流模块控制舵机工作，电机编码器采集舵机状态编码传给数字信号处理器。舵机包括肩关节舵机、肘关节舵机和腕关节舵机；所述关节舵机、肘关节舵机和腕关节舵机的控制端均与数字信号处理器连接。驱动模块接收数字信号处理器传入的指令，根据指令控制肩关节舵机、肘关节舵机和腕关节舵机做出动作。电机编码器采集肩关节舵机、肘关节舵机和腕关节舵机的状态，并通过编码处理后传给数字信号处理器，实现闭环控制。

如图4所示，基于一种儿童娱教监护机器人的人体目标跟踪算法，包括如下步骤：

步骤1：通过Kinect摄像头获取人体目标的色彩信息和深度信息，并建立三维空间目标模型。Kinect摄像头通过Kinect传感器感应人体目标，在调控摄像头对人体图像进行采集。三维空间目标模型为立体视觉模型，通X轴、Y轴和Z轴建立起来。

步骤2：把采集的人体目标的色彩信息和深度信息通过Camshift算法拓展到三维空间目标模型中。摄像头采集图像回来后，经过摄像头的处理器进行颜色识别，进行识别色彩信息，同时识别深度信息(背景投影信息)，把色彩信息和深度信息进行图片匹配并融合，并把融合的额图片信息放入到建立好的三维空间目标模型中。

步骤3：在三维空间目标模型中融合人体目标的深度信息，并利用Kalman滤波器预测目标的位置信息。利用Kalman滤波器过滤模糊的信息后，确定大概的人体模型信息，根据人体模型信息进行预测目标的位置信息。

步骤4：通过对预测目标的位置信息进行计算初步锁定窗口的质心。对人体模型信息从边缘进行计算，根据计算的信息进行锁定人体模型的中间位置。

步骤5：通过调整窗口大小和/或移动窗口中心来确定质心的具体位置。根据窗口的与人体模型信息的位置的关系对现有的窗口进行放大或者进行缩小，当还是不能更好确定人体的具体位置时，在通过移动窗口中心的位置，进而确定人体的位置信息。

步骤6：计算质心的位置区域是否收敛，当不收敛时，返回步骤4，计算质心的位置区域是不收敛的，说明没能完全找到人体的位置的准确的信息，返回去继续进行搜索。当收敛时，输出质心的位置和目标方向，并且质心的位置作为下一次目标锁定的初始窗口。当收敛时质心的位置的位置时准确的，可以很好进行根据模型来确定目标位置的具坐标和方向。

步骤7：在深度图像中计算人体目标的质心，对人体进行跟踪。当有一次锁定后，后一次的扫描锁定是根据上一次的确定位置为初始值进行扫描确定，可以更好的为下一次扫描锁定目标，通过扫描跟踪的方式，可以很好的对目标进行跟踪。

以上已对本发明创造的较佳实施例进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可作出种种的等同的变型或替换，这些等同的变型或替换均包含在本申请的范围内。

Claims (8)

1.一种儿童娱教监护机器人，包括机器人壳体以及设置在机器人壳体内部的机器人系统，其特征在于：机器人系统包括触摸屏显示模块、语音处理模块、人体目标跟踪模块、上位机、串口通信模块和下位机装置；

所述触摸屏显示模块、语音处理模块和人体目标跟踪模块均与上位机连接；触摸屏显示模块检测用户触摸触摸屏的坐标位置传给上位机和显示上位机传来的数据；语音处理模块录入用户语音传给上位机和播报上位机传出的语音数据；人体目标跟踪模块实现人体目标的跟踪融合深度信息和色彩信息的人体目标跟踪；

所述上位机经串口通信模块与下位机装置连接；上位机通过串口通信模块与下位机装置信息通信控制机器人动作；

所述下位机装置包括数字信号处理器、传感器模块、GSM模块和机械臂模块；传感器模块、GSM模块和机械臂模块均与数字信号处理器连接；传感器模块通过检测机器人环境数据经过数字信号处理器传给上位机；GSM模块通过无线实现用户远程监控机器人；机械臂模块接收数字信号处理器传来的数据控制机器人动作。

2.根据权利要求1所述的一种儿童娱教监护机器人及其人体目标跟踪算法，其特征在于：所述触摸屏显示模块包括红外触摸屏和显示器，红外触摸屏包括红外发生管、若干个位移锁存器、微处理控制器、A/D转换器、若干个放大器和红外接收管；微处理控制器经若干个位移锁存器与红外发生管连接；红外接收管经若干个放大器和A/D转换器与微处理控制器连接。

3.根据权利要求1所述的一种儿童娱教监护机器人及其人体目标跟踪算法，其特征在于：所述语音处理模块包括麦克风阵列、语音识别电路、语音合成电路和音响；麦克风阵列经语音识别电路与上位机连接；上位机经语音合成电路与音响连接。

4.根据权利要求1所述的一种儿童娱教监护机器人及其人体目标跟踪算法，其特征在于：所述人体目标跟踪模块包括摄像头和人体目标检测与跟踪电路；摄像头经人体目标检测与跟踪电路与上位机连接；所述摄像头为Kinect摄像头。

5.根据权利要求1所述的一种儿童娱教监护机器人及其人体目标跟踪算法，其特征在于：所述传感器模块包括烟雾传感器和气体传感，烟雾传感器实时检测机器人所处的环境是否出现烟雾，并把检测数据传给数字信号处理器；气体传感检测空气的成份数据传给数字信号处理器进行识别处理。

6.根据权利要求1所述的一种儿童娱教监护机器人及其人体目标跟踪算法，其特征在于：所述机械臂模块包括驱动模块、直流模块、舵机和电机编码器；驱动模块和直流模块控制舵机工作，电机编码器采集舵机状态编码传给数字信号处理器。

7.根据权利要求1所述的一种儿童娱教监护机器人及其人体目标跟踪算法，其特征在于：所述舵机包括肩关节舵机、肘关节舵机和腕关节舵机；所述关节舵机、肘关节舵机和腕关节舵机的控制端均与数字信号处理器连接。

8.基于权利要求4所述的一种儿童娱教监护机器人的人体目标跟踪算法，其特征在于，包括如下步骤：

步骤1：通过Kinect摄像头获取人体目标的色彩信息和深度信息，并建立三维空间目标模型；

步骤2：把采集的人体目标的色彩信息和深度信息通过Camshift算法拓展到三维空间目标模型中；

步骤3：在三维空间目标模型中融合人体目标的深度信息，并利用Kalman滤波器预测目标的位置信息；

步骤4：通过对预测目标的位置信息进行计算初步锁定窗口的质心；

步骤5：通过调整窗口大小和/或移动窗口中心来确定质心的具体位置；

步骤6：计算质心的位置区域是否收敛，当不收敛时，返回步骤4，当收敛时，输出质心的位置和目标方向，并且质心的位置作为下一次目标锁定的初始窗口；

步骤7：在深度图像中计算人体目标的质心，对人体进行跟踪。