CN106826753A - 一种基于深度信息和全景信息的两轮自平衡跟随服务机器人 - Google Patents

Abstract

本发明涉及一种基于深度信息和全景信息的两轮自平衡跟随服务机器人。包括手机客户端、机器人主体、储物箱箱盖、触控显示屏幕、轮子、侧端盖、深度摄像头、鱼眼摄像头；客户端安装于智能手机；机器人主体包括控制模块、动力模块、语音识别模块；深度摄像头位于机器人主体的前部；鱼眼摄像头位于机器人主体的前部和两侧。本发明主要针对室外环境，如商场、车站和机场等，可实现目标识别、自平衡、载物跟随、自动避障、动态地图构建、智能路径规划、多机器人协同作业、GPS定位、自动驾驶等功能。本发明采用深度信息和全景信息结合的方式，且无需被跟随目标额外佩戴定位装置；机器人主体内置GPS全球定位系统，辅助机器人进行导航、定位等功能。

Description

一种基于深度信息和全景信息的两轮自平衡跟随服务机器人

技术领域

本发明涉及机器人领域，特别涉及一种基于深度信息和全景信息的可跟随人体的两轮自平衡服务机器人。

背景技术

国际机器人联合会(International Federation of Robotics，IFR)对个人/家庭用服务机器人可分为以下几种：家政服务机器人、助老助残机器人、教育娱乐机器人等。个人/家庭用服务机器人中，家政服务机器人指的是能够代替人完成一些家庭日常服务工作的机器人，能够进行防盗监测、卫生清洁、物品搬运、家电控制，以及报时催醒、家用统计等工作，但家政服务机器人的主要工作地点是在室内，目前市场上商业化比较成功的家政服务机器人虽然价格不高，但功能比较单一，只能完成既定任务，且无法满足针对室外的服务需求。助老助残机器人产品主要功能是辅助老年人和残疾人的日常生活，针对特定用户的特定需求，如帮助老人行走或者帮助有身体缺陷的人吃饭、打字等，需要根据人类的指令完成各种不同的任务，其灵活性和安全性都有待提高。教育娱乐机器人主要针对儿童早期教育、陪伴、娱乐等。服务机器人中采用四轮移动方式的较多，但是在保证电机不易被烧坏的情况下，四轮移动方式所需要的电机、驱动器数量比两轮的要多，且对电量的消耗更大；履带移动方式也存在能耗高、噪声大、对地形的适应性不好等缺点。在保证功能满足的前提下，采用两轮自平衡方式更具优势。本发明主要针对室外环境，如商场、街道、车站和机场等，可以实现目标识别、自平衡、载物跟随、自动避障、即时定位与地图构建、智能路径规划、多机器人协同作业、GPS定位等功能，在地图构建完成的情况下，配合GPS定位系统还能进行自动驾驶到达指定目标地点，完成物品投递等任务。

中国专利CN 105563451 A公开了一种智能跟随机器人，该专利需要使目标人体佩戴专门的定位装置，机器人利用查找定位装置的方位来进行跟随，无线信号传输不稳定且容易被环境干扰，同时该机器人采用履带移动方式，重量和体积都较大，需要的电量也比较高。中国专利CN 106054897 A公开了一种可以进行人体跟随的机器人，该专利采用图像处理和红外线处理结合的方式进行跟随目标识别，但是红外信号容易受各种热源、光源、射频辐射、热气流的干扰；且被动红外信号穿透力差，人体的红外辐射容易被遮挡；当环境温度较高且和人体温度接近时，探测和灵敏度明显下降，会造成短时失灵。中国专利CN105751217 A公开了一种具备蓝牙定位自动跟随技术的跟随机器人，采用蓝牙测距和蓝牙定位模块，但由于蓝牙传输协议和其他2.4G设备一样，都是共用这一频段的信号，尤其在室外环境下会导致信号互相干扰情况比较严重，同时，蓝牙协议并不是一项免费的技术，任何使用这项技术的厂商都要向蓝牙技术联盟(Bluetooth Special Interest Group)交纳专利费，而这部分费用也会体现在机器人成本中。

从现代社会的发展和市场需求角度出发，不仅要求跟随机器人能够进行3D空间定位寻找跟随目标，还能够在跟随的同时进行实时动态地图构建，主动避开障碍物，在无跟随目标状态下，能够根据已得地图联合GPS全球定位系统进行智能路径规划、自动驾驶，到达目标地点完成既定任务。同时本发明所采用的基于深度信息和全景信息的跟随方案，寻找跟随目标不依赖于额外佩戴的定位装置。

发明内容

本发明的目的在于提供一种基于深度信息和全景信息的两轮跟随机器人，以解决上述背景技术中的不足，本发明采用的深度摄像头主要获取被跟随者的距离信息，据此计算出机器人的跟随速度，鱼眼摄像头主要获取和预测被跟随者的运动轨迹信息，决定机器人的跟随方向。本发明可在诸如商场、街道、车站和机场等室外环境中，可以实现目标识别、自平衡、载物跟随、自动避障、即时定位与地图构建、智能路径规划、多机器人协同作业等功能，在地图构建完成的情况下，配合GPS全球定位系统还能进行自动驾驶到达指定目标地点，完成物品投递等任务。

为达到上述目的，本发明采用下述技术方案：

一种基于深度信息和全景信息的两轮跟随机器人，包括手机客户端、机器人主体、储物箱箱盖、触控显示屏幕、轮子、侧端盖、深度摄像头、鱼眼摄像头；所述手机客户端安装于智能手机，显示机器人的相关信息、对机器人进行控制和进行必要状态下的机器人定位，所述机器人主体包括控制模块、动力模块、语音识别模块；所述储物箱箱盖位于机器人主体内部储物箱的上方；所述触控显示屏幕位于储物箱箱盖的上方，用以进行触摸控制和显示机器人电量等相关信息；所述轮子位于机器人主体的两侧；所述侧端盖位于机器人主体的两侧；所述深度摄像头位于机器人主体的前部；所述鱼眼摄像头位于机器人主体的前部和两侧。

优选的，所述机器人控制模块主要包括触控显示屏、主板电路、驱动器，所述主板电路包括GPS全球定位系统、无线信号发射模块和无线信号接收模块。

进一步的，所述无线信号发射模块用于发射无线信号和手机客户端相连，所述无线信号接收模块至少有三个，分别位于机器人主体的两端和储物箱箱盖内，用来接收手机客户端的指令，无线信号发射模块和无线信号接收模块用于实现机器人和手机客户端之间的通讯，当机器人目标丢失或者传输距离超过限制时，手机客户端予以响铃、振动提醒。所述手机客户端是辅助工具，并不是必要的，在没有手机客户端的情况下，机器人控制模块仍旧能够工作，机器人仍旧能够进行跟随。

进一步的，所述驱动器用以连接主板电路和电机，将主板电路的控制指令转换成电机转速，控制机器人行走。

进一步的，所述主板电路在机器人工作状态下，需要保证机器人处于自平衡状态。

优选的，所述动力模块主要包括锂电池、电机、减速器、传动装置、刹车装置、锁定装置。

进一步的，所述锂电池和电机位于机器人主体的下部，增加机器人行进的稳定性，所述减速器位于机器人主体的下部和电机相连，用于降低电机转速，增大扭矩。

进一步的，所述传动装置将减速器输出的扭矩传递给轮子，所述刹车装置用于紧急情况、坡路行进等情况时的减速，所述锁定装置用于机器人停止时候的运动锁定。

优选的，所述触控显示屏幕除显示机器人相关信息外，也可通过相关触控操作，用于对机器人的直接控制，触控完成后在预定时间内锁屏，锁屏后可显示相关动画，在手机客户端进行操作设置的前提下，触控显示屏幕显示相关动画回应手机客户端的操作和设置。

优选的，所述深度摄像头至少有两个，位于机器人主体的前部，用于捕捉被跟随者的距离信息和环境信息，并根据距离信息计算出机器人的跟随速度，同时进行动态地图构建。

优选的，所述鱼眼摄像头至少有三个，位于机器人主体的前部和两侧，主要获取和预测被跟随者的运动轨迹信息和环境信息，辅助识别被跟随目标和动态地图构建。

与现有技术相比，本发明具有的有益效果如下所述：

本发明无需被跟随目标额外佩戴定位装置，识别被跟随目标通过摄像头和软件算法实现；采用两轮自平衡系统，减少电机、驱动器、减速器等装置数目，结构简单，控制容易实现；机器人主体内置GPS全球定位系统，辅助机器人进行导航、定位、即时定位与地图构建、路径规划等，必要时候可以对机器人主体定位，容易找回；开发了手机客户端，方便被跟随者进行相关控制、设置和了解机器人相关信息，特殊情况下能进行提醒，防止跟丢和遗失；采用基于深度信息和全景信息的方式，深度摄像头保证机器人的跟随速度，鱼限摄像头保证机器人的跟随方向，确保高目标识别准确率。

附图说明

图1是机器人控制模块原理示意图。

图2是机器人动力模块原理示意图。

图3是机器人控制流程框图。

图4是本发明机器人结构示意图。

具体实施方式

以下将结合附图，对本发明的具体实施作详细说明。

如图1所示，机器人控制模块包括触控显示屏、主板电路、驱动器，主板电路包括GPS全球定位系统、无线信号发射模块和无线信号接收模块，驱动器外接电机。无线信号发射模块用于发射无线信号和手机客户端相连，且为了保持信号接收稳定，安装了至少三个无线信号接收模块，分别位于机器人主体侧端盖内和储物箱箱盖内，用来接收手机客户端的指令，无线信号发射模块和无线信号接收模块用于实现机器人和手机客户端之间的通讯；当机器人目标丢失或者传输距离超过限制时，手机客户端予以响铃、振动提醒；深度摄像头和鱼眼摄像头捕捉到的环境和被跟随者的信息，传输给主板电路进行处理；驱动器用以连接主板电路和电机，将主板电路的控制指令转换成电机转速，控制机器人行走。

如图2所示，动力模块主要包括锂电池、电机、减速器、传动装置、轮子、刹车装置、锁定装置。锂电池和电机位于机器人主体的下部，锂电池提供电机转动的电量；驱动器提供电机转动的指令；减速器和电机相连，用于降低电机转速，增大扭矩，将动力传递给传动装置；传动装置将减速器输出的扭矩传递给轮子，驱动机器人行走；刹车装置用于紧急情况、坡路行进等情况时机器人的减速；锁定装置用于机器人停止时候的运动锁定。

如图3所示，当机器人开始工作时，自平衡系统也随着机器人一起启动，并一直保持工作状态，维持机器人的自平衡状态，一直到机器人关机停止工作；首先，需要对机器人的参数进行设置；接下来需要通过摄像头采集被跟随者的信息，主要通过对照片和视频的特征提取，让机器人能够识别出需要跟随的目标；如果目标匹配，就可以启动跟随，机器人会实时识别被跟随者的方位和距离，进行跟随，如果目标不匹配，则需要重新或者继续采集被跟随者的信息；当出现超出跟随范围或者目标丢失等情况时，机器人则向手机客户端发送警告，提示被跟随者机器人已经无法继续进行跟随；当目标重新被识别，机器人可以继续跟随，直到用户将机器人关停。在进行跟随的同时，机器人通过GPS全球定位系统和摄像头捕捉到的环境数据，对环境进行即时定位与地图构建，在地图构建完成的情况下，配合GPS全球定位系统进行智能路径规划，可以自动驾驶到指定目标地点，完成物品投递等任务。

如图4所示，一种基于深度信息和全景信息的两轮自平衡跟随机器人，包括手机客户端1、机器人主体2、储物箱箱盖3、触控显示屏幕4、侧端盖5、鱼眼摄像头6、轮子7、深度摄像头8；所述手机客户端1安装于智能手机，显示机器人的相关信息、对机器人进行控制和进行必要状态下的机器人定位，所述机器人主体2包括控制模块、动力模块、语音识别模块；所述储物箱箱盖3位于机器人主体2内部储物箱的上方；所述触控显示屏幕4位于储物箱箱盖3的上方，用以进行触摸控制和显示机器人电量等相关信息；所述侧端盖5位于机器人2主体的两侧；所述鱼眼摄像头6位于机器人主体2的前部和两侧；所述轮子7位于机器人主体2的两侧；所述深度摄像头8位于机器人主体2的前部。

Claims (7)

1.一种基于深度信息和全景信息的两轮自平衡跟随服务机器人，其特征在于，包括手机客户端(1)、机器人主体(2)、储物箱箱盖(3)、触控显示屏幕(4)、侧端盖(5)、鱼眼摄像头(6)、轮子(7)、深度摄像头(8)；所述手机客户端(1)安装于智能手机，可显示机器人的相关信息、对机器人进行控制和进行必要状态下的机器人定位，所述机器人主体(2)包括控制模块、动力模块、语音识别模块；所述储物箱箱盖(3)位于机器人主体(2)内部储物箱的上方；所述触控显示屏幕(4)位于储物箱箱盖(3)的上方，用以进行触摸控制和显示机器人电量等相关信息；所述侧端盖(5)位于机器人(2)主体的两侧；所述鱼眼摄像头(6)位于机器人主体(2)的前部和两侧；所述轮子(7)位于机器人主体(2)的两侧；所述深度摄像头(8)位于机器人主体(2)的前部。

2.根据权利要求1所述的基于深度信息和全景信息的两轮自平衡跟随服务机器人，其特征在于，机器人控制模块包括触控显示屏、主板电路、驱动器。

3.根据权利要求1所述的触控显示屏幕，其特征在于，除显示机器人相关信息外，也可通过相关触控操作用于对机器人的直接控制，触控完成后在预定时间内锁屏，锁屏后可显示相关动画，在手机客户端进行操作设置的前提下，触控显示屏幕显示相关动画回应手机客户端的操作和设置。

4.根据权利要求1所述的主板电路，其特征在于，包括GPS全球定位系统、无线信号发射模块和无线信号接收模块，驱动器外接电机。无线信号发射模块用于发射无线信号和手机客户端相连，且为了保持信号接收稳定，安装了至少三个无线信号接收模块，分别位于机器人主体侧端盖内和储物箱箱盖内，用来接收手机客户端的指令，无线信号发射模块和无线信号接收模块用于实现机器人和手机客户端之间的通讯；当机器人目标丢失或者传输距离超过限制时，手机客户端予以响铃、振动提醒；深度摄像头和鱼眼摄像头捕捉到的环境和被跟随者的信息，传输给主板电路进行处理；驱动器用以连接主板电路和电机，将主板电路的控制指令转换成电机转速，控制机器人行走。

5.根据权利要求1所述的基于深度信息和全景信息的两轮自平衡跟随服务机器人，其特征在于，动力模块主要包括锂电池、电机、减速器、传动装置、轮子、刹车装置、锁定装置。

6.根据权利要求5所述的动力模块，其特征在于，锂电池和电机位于机器人主体的下部，锂电池提供电机转动的电量；驱动器提供电机转动的指令；减速器和电机相连，用于降低电机转速，增大扭矩，将动力传递给传动装置；传动装置将减速器输出的扭矩传递给轮子，驱动机器人行走；刹车装置用于紧急情况、坡路行进等情况时机器人的减速；锁定装置用于机器人停止时候的运动锁定。

7.根据权利要求1/2/5所述的两轮自平衡跟随服务机器人，其特征在于，当机器人开始工作时，自平衡系统也随着机器人一起启动，并一直保持工作状态，维持机器人的自平衡状态，一直到机器人关机停止工作；首先，需要对机器人的参数进行设置；接下来需要通过摄像头采集被跟随者的信息，主要通过对照片和视频的特征提取，让机器人能够识别出需要跟随的目标；如果目标匹配，就可以启动跟随，机器人会实时识别被跟随者的方位和距离，进行跟随，如果目标不匹配，则需要重新或者继续采集被跟随者的信息；当出现超出跟随范围或者目标丢失等情况时，机器人则向手机客户端发送警告，提示被跟随者机器人已经无法继续进行跟随；当目标重新被识别，机器人可以继续跟随，直到用户将机器人关停。在进行跟随的同时，机器人通过GPS全球定位系统和摄像头捕捉到的环境数据，对环境进行动态地图构建，在地图构建完成的情况下，配合GPS全球定位系统进行智能路径规划，可以自动驾驶到指定目标地点，完成物品投递等任务。