CN110575653A - 一种智能捡网球机器人 - Google Patents

Abstract

本发明涉及移动智能捡球(包括但不限于网球、乒乓球、高尔夫球等)设备领域。集自主导航，自动避障，自主识别、拾取、收集、运送网球，自动充电等功能于一体的智能捡网球机器人；基于带刷传送带的拾球、收集系统，结构设计简单易于实现，可以同时拾取多个网球捡球效率高；机器人能够根据视觉或者激光雷达感知环境变化并进行地图更新；能够识别场地划线和运动员状态，不会影响运动员的活动；自主漫游形成环境地图，无需人工干预；可以实现不同球类的拾取，兼容大部分球筐，无需专门定制；自主充电，自动归位，管理成本小。

Description

一种智能捡网球机器人

技术领域

本发明涉及移动智能捡球设备领域，尤其是一种智能捡网球、乒乓球、高尔夫球等机器人。

背景技术

随着人们生活质量的提高，越来越注重锻炼身体，进行娱乐活动。越来越多的人开始打网球、乒乓球、高尔夫球(以下仅以网球展开)，并热爱上这个运动。但是捡球却是一个比较消耗体力、浪费时间又乏味的事情。而且网球场相较于羽毛球场地、乒乓球场地更大，球的落点更分散。因此急需设计一种网球自动拾取装置，节省运动员的体力、时间，提高打球体验。

现有网球自动拾取装置，主要有手推式的捡球机、app手动控制捡球机，这两种拾取装置不能实现自主定位、导航、避障识别网球并拾取。还有一种捡球机器人需要安装场地摄像头或定位模块，才能进行定位和球体识别，而在现场布置相应的设备，投入成本较高，部署起来费时费力，有比较大的局限性。并且都不能实现跟随、自动充电、导航避障等功能。

新型捡球机器人的技术关键是能够进行感知环境、自我定位和导航、自主识别网球并收集、自动把收集到的球运送到指定地点，以及对被服务人(管理员或运动员)的识别和跟随。

对于环境的感知、成图、定位和导航技术上属于同步定位和成图领域(SLAM：Simultaneous Localization And Mapping)，以下简称SLAM，目前主要通过激光雷达和视觉两种方式完成，通过视觉方式的SLAM又称为V-SLAM。目前机器人SLAM系统中用到的传感器主要包括：激光雷达、视觉(单目、双目、深度摄像头等)、惯性传感器(IMU)等。但是目前SLAM系统主要适用于静态环境，对于体育场这种动态环境，目前的SLAM系统还不能很好的实现定位和导航。本发明把激光雷达和视觉组合在一起，并通过基于深度学习的方法有效识别行人和其它移动的目标(包括其它机器人)，使得机器人能够比较好的适应这种动态环境。

网球收集可以分为识别、拾取、收集过程。现有识别方案有人眼、场地摄像头等方式，都不够智能化和便利化。本发明使用机器人机身的深度摄像头4通过图像处理识别网球位置和距离。拾取和收集有前置卷刷方案，靠橡皮筋的弹性来捡球，再靠重力使球进入球篮等方案。卷刷方案靠摩擦力拾球，动力不足，不能直接将球运送入较高的球篮，需要单独设计运球入篮系统。靠橡皮筋弹性捡球容易损伤网球，且靠重力使球入篮机构设计复杂。本发明使用卷刷传送带方案，能够在收球后直接将球运送至较高位置进入球篮。

对于被服务人的识别和跟随属于视觉跟随技术，目前主要采用HOG+SVM等方法来完成，但是这些方法只能获得行人及移动目标的识别，并不能获取其深度信息，所以需要通过其它方法获取深度信息，两者结合才能比较好的获得被识别人的位置信息。但是对于体育场这种公共的环境，仅仅做到上面的这一点还是不够，还需要机器人能够识别其它的行人和移动目标并且能够避障。这也是目前基于视觉跟随技术的机器人难以进行现场部署的主要原因。本发明综合视觉跟随技术和SLAM技术以及避障技术，很好的解决了商业化部署的问题。

发明内容

本发明的内容在于：针对上述客户的需求和现有技术的不足，设计一种集自主导航，自动避障，自主识别、拾取、收集、运送网球到指定区域，智能跟随，人机交互，自动充电，上网娱乐，在线支付，和无人订场地、甚至定饮料等功能于一体的智能捡网球机器人。

本发明一种智能捡网球机器人，包括主体框架、网球拾取系统、人机交互系统、控制系统、定位和导航系统、视觉跟随系统、避障系统、电源系统、驱动系统。

所述主体框架包括底盘部分和功能部分；所述底盘包括万向轮32、驱动轮18、轮轴28和底盘支撑板31；所述功能部分包括侧挡板11、传送带配合支撑板29、后挡板24、球篮27和球篮挂钩26，球篮挂钩26 固定在球篮挂钩导轨25上，可根据球篮大小调节合适的高度。

所述网球拾取系统包括传送带上挡板1、传送带侧挡板7、传送带正挡板12、网球导向挡板21、网球导向挡板导轨19、传送带安装上导轨8、传送带安装下导轨20、带刷传送带23、两个传送带固定轴7、传送带配合支撑板29和三角带、捡球驱动电机、球篮27组成。拾球时机器人朝网球方向移动，同时捡球驱动电机经由三角带传动，带动带刷传送带以一定速度逆时针转动。带刷传送带和网球导向挡板21共同作用将接触到的网球拾取，然后带刷传送带23和传送带配合支撑板29共同挤压摩擦作用将球运送到出球口22，由于出球口22无传送带配合支撑板29承载网球，网球会落入球篮27，完成整个网球拾取动作。所述网球导向挡板21可以沿网球导向挡板导轨19调节高度，以适应捡球和行走避障不同场合的需求。所述传送带安装上导轨8、传送带安装下导轨20可以根据拾取球的大小调节带刷传送带23和传送带配合支撑板29的高度兼容乒乓球等其它球类拾取。所述传送带安装上导轨8还有导向槽便于安装带刷传送带23。

所述人机交互系统主要包括音箱和麦克风、触摸显示屏(选配)、控制按钮、无线连接控制接口。机器人两侧各内置一个音箱，和正面麦克风一起实现机器人的“听、说”功能，和用户进行语音交互。触摸显示屏(选配)，能够使用户在显示屏上进行各种控制功能的操作，同时进行定网球场地、游戏操作、视频观看、音乐播放等功能。控制按钮在机器人正面包括开关键和急停键，开关键用于控制机器人的开启和关闭(关机状态下未断电)，出现紧急情况可按急停键，急停按键按下时整机断电。无线连接控制接口方便用户，通过手机无线连接机器人在相应手机app上进行各种控制功能的操作。

所述控制系统包括有处理机、控制箱里面的下位机等；所述处理机是一台紧凑型计算机，包括足够的计算能力和内存，能够接受视觉数据、激光雷达数据、超声波数据、IMU数据、里程计数据，并进行处理，人机交互和功能算法、定位以及路径规划算法处理；也能够和后台主机、用户手机进行通讯，接受后台主机服务器、用户手机的指令；同时和下位机交互，驱动机器人移动；所述下位机为单片机，分别连接电机驱动板和编码器模块，用于运动系统即底层运动的控制；

所述定位和导航系统包括激光雷达和视觉系统、超声波队列、里程计和陀螺仪，能够感知环境，形成环境的地图信息、机器人位姿信息。同时连接人机交互系统，将信息显示在触摸显示屏或手机app客户端上，用户只需要给予相关网球地点指令，其可进行智能识别最优路径，然后指引客户到达指定场地。视觉系统为一套深度摄像头4，包括一对深度传感器、一个RGB传感器和一个红外信号发射器，固定于机器人正面，当对象在移动或机器人处于移动中时，可提供准确的深度感知。所述激光雷达13固定于正面，为二维激光雷达，以每秒至少10赫兹或者更高的频率扫描周边环境，用于SLAM建图；所述超声波队列包括前后左右共10个超声波传感器，用来感知周围的环境信息，不仅用于定位，而且用于避障系统；所述激光雷达装置融合视觉传感器感知周围环境，获得环境的动态地图，并根据用户的要求规划行走路线，指引用户到达指定地点。机器人的环境感知能够识别场地划线和运动员状态，在运动员打球时，不会进入运动场地，不会影响运动员的活动。

所述视觉跟随包括视觉系统和激光雷达以及相应的软件系统。视觉系统用于采集用户的身体体征、外表的色彩和平面信息，来精确识别使用用户，消除其他人员和外物的干扰；所述深度摄像头4用于采集环境中的深度信息，实现智能跟随。基于定位和导航系统以及利用深度学习的行人和移动目标识别系统，捡网球机器人可以跟随在客户身后到达指定地点；

所述避障系统实际上是定位导航系统以及视觉跟随的辅助系统，包括超声波系统以及相应的软件系统。所述超声波队列包括前后左右共10个超声波传感器，用来感知周围的环境信息，结合激光雷达13和视觉，不仅可以用于辅助定位，还提供360度避障功能；避障有两种类型，可预知的以及不可预知的。

所述电源系统包括一个集中部署的电源模块、电量显示模块及报警模块、分布式供电线路、手动充电口以及自动充电接口，为机器人的各个系统提供电能，所述电量显示和报警模块实时监控电量，当电量低于警戒位时进行后台报警，申请充电；所述自动充电接口用来完成自动充电功能，安装于机器人前部，自动充电时机器人能够就近选择闲置的充电桩、自动对准充电。

所述驱动系统包括控制箱里面的驱动板、电机和编码器、驱动轮、万向轮等，所述控制箱设置于底盘驱动轮处；所述控制箱中集成了驱动板、电机和编码器；所述驱动板为电机驱动板，用于电机驱动控制；所述编码器提供里程计信息如驱动轮的转速等信息；所述底盘驱动装置包括两个伺服电机、联轴器和电机保护壳；所述伺服电机通过联轴器连接轮轴带动驱动轮运动，通过两个电机实行差速来实现转向；所述电机保护壳为金属保护壳。

本发明一种智能捡网球机器人，所述在线支付指的是通过扫描二维码选择支付方式，使得用户通过租赁的方式获得机器人的使用权。在线支付支持多种支付方式包括但不限于微信支付、支付宝、银行卡。

本发明一种智能捡网球机器人，能够支持手动控制模式(手机app控制移动)和自主模式两种基本工作方式，通过人机交互进行这两种工作方式的切换。

所述自主模式又包括5种工作模式：空闲模式、网球收集模式、智能跟随模式、自动归位模式、自主充电模式：

所述空闲模式：机器人进入睡眠待机状态，雷达、摄像头、电机、触摸显示屏(选配)等大功耗外设全部断电，可采用后台服务器控制或手机APP控制唤醒(机身有app二维码以及机器人编号)。任何其余四种模式退出后进入空闲模式，唤醒后进入相应设置的工作模式。

所述网球收集模式：可根据用户类型和需求设定网球的拾取范围，如场地管理员可以设定捡球范围为所有场地，运动员可以设定单个或多个场地。用户根据自己需要设定网球收集点，可设置多个用编号区分。机器人自主识别周围网球，并进行拾取。机器人的环境感知能够识别场地划线，和运动员状态，在运动员打球时，不会进入运动场地，不会影响运动员的活动。经由人机交互系统收到用户运送指令时，送球到指定地点。如果球筐满了，分为以下两种情况：一、只有一个网球收集点则自动运送网球到收集点，提醒并等待用户取球；二、有两个及以上网球收集点则先向用户发出运球请求，用户给出需要运送到的收集点。如若发出请求后一段时间内未收到用户回复则自动将球运送到优先级最高的集合点等待用户取球。

所述智能跟随模式：机器人智能识别当前用户，与用户保持一定距离，用户到那里，它就到那里；用户快，它就快；用户慢，它就慢；用户停，它就停；用户倒退，它就倒退；用户旋转，它也旋转……当用户倒退的时候，能够监测其后面环境，防止后退时撞到行人或者物品。

所述自动归位模式，用户使用完之后开启回收功能，捡网球机器人搜索和定位最近的存放点，通过自主导航模块，自动移动到存放点，并自动进入空闲模式等待唤醒，从而节省人力。

所述自动充电模式：有以下两种情况：一、在空闲模式、自动归位模式下检测到电量低于设定值时候，进行后台报警，并自主唤醒，自主寻找并导航到最近的充电桩自主进行充电；二、在收集网球模式、智能跟随模式下检测到电量低于设定值的时候，进行报警，向用户发出充电请求，得到允许后，自主寻找并导航到最近的充电桩自主进行充电；三、后台或控制端发送充电命令，机器人会检测电量是否充足，如电量大于95％时返回电量充足拒绝充电，否则自主寻找并导航到最近的充电桩自主进行充电；

充电完成后发送充电完成消息给用户和后台，等待一段时间未收到新指令则自动进入自动归位模式自动归位，并随即进入空闲模式等待唤醒。

本发明与现有的智能捡网球机器人相比其优点在于：

1)首创性的设计了基于带刷传送带的拾球、收集系统，结构设计简单易于实现，可以同时拾取多个网球捡球效率高。并且通过调节带刷传送带23和传送带配合支撑板29的高度可以实现不同球类的拾取，乒乓球、高尔夫球等。网球筐挂钩可以根据球框大小调节高度，无需专门定制网球筐，兼容性好

2)自主漫游形成环境地图，无需人工干预；这和现有移动机器人需要人工提供环境的地图信息不同

3)对于环境的变化，机器人能够根据视觉或者激光雷达感知变化并进行地图更新。能够识别场地划线和运动员状态，在运动员打球时，不会进入运动场地，不会影响运动员的活动

4)本发明改变了目前仅仅依靠视觉或者仅仅依靠激光雷达定位的方式，将两者连同里程计、惯性测量单元(IMU)、超声波等多传感器融合在一起，大大提高了定位精度

5)改变了以往基于HOG+SVM的行人和移动目标的识别方式，代之以深度学习的方法并创新性的将深度摄像头4、激光雷达13等融合在一起，提高了识别率和识别的速度

6)自主模式时5种工作模式灵活切换，实现无人为干预管理

7)机器人具有无人订场地、跟随、识别等一系列自主解决方案，实现了网球场馆的自主管理

8)机器人能够实现自主充电，自动归位，减小维护管理成本

附图说明

图1是本发明智能捡网球机器人的轴测图。

图2是本发明智能捡网球机器人后视图。

图3是本发明智能捡网球机器人侧剖图。

图中标记：1为传送带上挡板，2为急停按钮，3为启停按钮，4为深度摄像头，5为带触摸液晶屏，6为麦克风，7为传送带固定轴x2，8为传送带安装上导轨，9为传送带侧挡板，10为音箱x2，11为侧挡板 x2，12为传送带正挡板，13为激光雷达，14为人工充电口，15为高清摄像头，16为超声波测距x10，17 为自动充电口x2，18为驱动轮x2，19为网球导向挡板导轨，20为传送带安装下导轨，21为网球导向挡板，22为出球口，23为带刷传送带，24为后挡板，25为球篮挂钩导轨x2，26为球篮挂钩x2，27为球篮， 28为轮轴x2，29为传送带配合支撑板，30为前挡板，31为底盘支撑板，32为万向轮x2。

具体实施方式

下面结合实例对本发明作进一步的描述。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明一种智能捡网球机器人，包括主体框架、网球拾取系统、人机交互系统、控制系统、定位和导航系统、视觉跟随系统、避障系统、电源系统、驱动系统。提供环境地图自动生成、更新、精化功能，定位和导航、视觉跟随、网球识别收集运送、自动回位、自动充电、语音交互、自动避障、无人订场地等功能。下面先介绍一下各个功能的实施，然后介绍结构方面的实施。

手动控制模式(手机app控制移动)和自主模式的切换，通过人机交互系统下发指令：

1)自主模式切换到手动控制模式方式有两种。1、语音切换：在自主模式的收集网球模式、智能跟随模式、下，当前用户说“xxx，切换到手动控制模式”(xxx即为机器人名，可由管理员设定)。2、通过手机app上的模式选择，将连接好的机器人由自主模式设定为手动控制模式。无论哪种切换方式只要设定成功，机器人都会发出“已切换到手动控制模式”的提示音

2)手动控制模式切换到自主模式方式有两种。1、语音切换：在手动控制模式下，当前用户说“xxx，切换到自主模式”(xxx即为机器人名，可由管理员设定)。2、通过手机app上的模式选择，将连接好的机器人由手动控制模式设定为自主模式。无论哪种切换方式只要设定成功，机器人都会发出“已切换到自主模式”的提示音

定位功能的实施：

本发明机器人安装了激光雷达13和深度摄像头4，激光雷达13的探测距离可以到达30米，而深度摄像头 4的探测距离10米。在道路或网球馆这样的动态环境中，仅仅依靠2维激光雷达来感知环境是不够的，因为2维激光雷达只是在一个平面上扫描环境，得到这个平面上的物体信息。而如果采用多个2维激光雷达或者3D激光雷达又太复杂或者价格昂贵。本发明采用将2维激光雷达13和深度摄像头4结合起来的方案，既节省了成本，又能满足动态环境的要求。在这个过程中，本实施方案只使用深度摄像头4的深度图像。具体来说，分为以下几步：

1)基于RGB图像的V-SLAM定位

通过提取RGB图像关键帧的ORB特征，前后关键帧的ORB特征进行PnP(Prospective nPoints)方法估计前后帧图像之间智能捡网球机器人的位姿的变化，从而得到智能捡网球机器人在前后帧之间的移动情况；当机器人重新回到之前到过的地方，系统进行回环检测，消除误差的累积，得到纠错以后的机器人位置、轨迹及环境地图；

2)与里程计和IMU的融合

由于视觉容易受到光线变化的影响，或者在机器人快速移动或者转弯的时候，容易发生前后帧图像匹配不成功的情况，本发明集成了IMU和里程计的信息在上述1)步的机器人位姿估计和回环检测中，这样能有效解决视觉容易跟丢的问题；

3)深度噪声过滤

根据深度图像和RGB图像形成三维点云，根据三维点云的信息区分地面和障碍物，把地面的点云和高于一定高度的点云信息去除，只考虑有可能影响智能捡网球机器人移动的点云信息；

4)深度信息和激光雷达数据的融合

把步骤3)留下的点云向激光雷达所在的平面进行垂直投影，在同一个激光雷达扫描方向上，如果点云的深度小于激光雷达13的深度信息，那么该点云的“点”得以保留；如果点云中的某一点的深度信息大于激光雷达13的深度，那么该点被忽略。然后，归拢每一个激光雷达13扫描方向上的所有点，求其平均深度，把在平均深度25％-75％的点保留下来，而去掉该范围以外的点；

5)通过激光雷达的scan matching方案，取得智能捡网球机器人的当前位置及环境信息

本发明将第1)2)4)5)步获得的机器人位置，通过非线性优化的方案，进行了多传感器(激光雷达、视觉、IMU和里程计)的融合，这样可以进一步优化智能捡网球机器人的位姿以及障碍物的信息，得到机器人当前时刻的精确的位置信息以及周围障碍物的空间信息。

通过上述的融合，使得智能捡网球机器人能够比较准确的感知环境，识别行人和障碍物。

导航和避障功能的实施

通过上述定位功能，同时形成环境的地图信息。在形成了地图信息以后：

1)客户在地图上选择目的地(通过语音交互或者手机app交互均可)

2)系统根据目的地和当前位置，当前的系统流量和拥挤状况，规划一条最佳路线

3)提醒客户，跟随机器人的指引前往目的地

4)在跟随客户前往目的地的过程中，时刻通过前置摄像头监控客户的行走情况，如果客户慢下来，那么机器人也慢下来；如果客户赶时间走快了，那么机器人也相应快速移动；如果客户停止，那么机器人也停止；如果客户消失，那么机器人将停在原地进行旋转以期发现客户

在前往目的地的过程中，会有两者不同类型的障碍物，一种是可预知的障碍，如从远处走来的行人或者其它机器人或者载人电瓶车，对于这种类型的避障功能：

5)机器人会实时监控环境信息，如果在规划路线上出现行人或者其它移动目标，机器人会根据定位和行人及移动目标识别模块，估计移动目标的轨迹，提前进行路径规划，避开此移动目标

对于恶意的冲撞式的障碍物，如从侧面快速插入的移动目标，或者突然扑上来要抓机器人的孩子，或者飞来的皮球等，无法提前规划避障路径：

6)采取急停策略，并停止本机器人的移动，同时继续通过激光雷达和视觉识别移动目标的位置和速度

7)采取旋转等策略避开移动目标移动的方向，在不发生碰撞的情况下顺利到达目的地

说话人定位及语音识别

1)客户使用业务时候，通过视觉识别客户的特征(这里的特征与传统的HOG特征不同，是通过深度学习的方法识别的行人及移动目标的特征)，深度摄像头4确定说话人的位置

2)将上述位置与激光雷达13的定位结果进行二次确认

3)在确定了客户的位置和特征以后，接收该说话人的语音

4)根据语音识别的结果进行特定的服务

地图精化以及根据地图的重定位

1)对于环境的变化，机器人能够根据视觉或者激光雷达感知变化并进行地图更新

2)机器人重定位，是指机器人重新上电或被人为移动到新的位置，机器人将自动进行环境扫描，并与全局地图进行对比，以便确定自身在环境中的当前位置

行人和移动目标(包括其他移动的机器人)识别功能的实施：

本发明机器人安装了激光雷达13和深度摄像头4，激光雷达13的探测距离可以到达30米，而深度摄像头 4的探测距离10米，不同于当前只识别行人和移动目标(如其他机器人、载人小客车等)但是不给出深度信息的行人及移动目标识别系统，本发明：

1)通过深度摄像头4和鱼眼相机，利用多模态深度学习算法识别行人和移动目标

本发明为了有效识别行人和移动目标，采用了多模态融合的方式，目前使用深度摄像头4的深度图像和RGB 图像，未来会加入鱼眼相机的图像。算法基于深度网络专家的混合(融合)，这种融合是通过一个额外的网络-门网络(Gating Network)来完成的，该门网络采用各个专家网络的特征表达作为输入。门网络然后根据输入给各个专家网络的输出加权值，并最终决定最后的分类结果F(x)。在识别出每个行人的基础上，本发明还可以识别各个行人之间的社会关系(如家庭、情侣、工作等关系)，根据社会关系形成“群” (group)的概念

2)激光雷达13采集周围环境中的深度信息，与行人和移动目标的识别结合，得出其深度信息。在识别出行人和移动目标以后，找出行人和移动目标的深度与激光雷达13扫描形成的点云的对应，从而进一步确定行人和移动目标的深度信息，这个对应是通过非线性优化的方法来得到的

3)上述两个步骤得出的结果用来完成跟随功能

跟随功能的实施

跟随功能是指智能捡网球机器人识别特定人(即当前任务的客户)，与特定人保持一定距离进行跟随。这个时候客户在前，机器人在后跟随。

1)判读行人的移动速度和轨迹

既然已经识别出行人和移动目标，并且可以实时监控他们的深度信息(也就是距离智能捡网球机器人的距离信息)，那么就可以根据时间维度得出其移动轨迹和速度

2)在确定了自身位置和速度以及移动轨迹后，根据上述1)步得出的行人的位置、速度和轨迹，就可以计算人体和机器人之间的距离，控制机器人，保持与人体之间的距离为固定值

3)发出驱动命令给左右控制箱，驱动轮根据指令进行旋转，驱动机器人移动

4)检测到障碍物时，通过视觉和激光雷达13的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行跟随

网球识别收集运送

1)用户设置机器人进入网球收集模式后，可根据用户类型和需求设定网球的拾取范围，如场地管理员可以设定捡球范围为所有场地，运动员可以设定单个或多个场地。用户根据自己需要设定网球收集点，可设置多个用编号区分。机器人自主识别周围网球，并进行拾取。机器人的环境感知能够识别场地划线，和运动员状态，在运动员打球时，不会进入运动场地，不会影响运动员的活动

2)所述识别过程的实施如下：进入网球收集模式后机器人先在原地旋转，识别周围视距范围(上部的深度摄像头4识别远处网球，下部的高清摄像头15识别近处网球)内的网球，然后根据采集到的网球分布规划最优路径拾取

3)所述收集过程的实施如下：拾球时机器人朝网球方向移动，同时捡球驱动电机经由三角带传动，带动带刷传送带以一定速度逆时针转动。带刷传送带和网球导向挡板21共同作用将接触到的网球拾取，然后带刷传送带23和传送带配合支撑板29共同挤压摩擦作用将球运送到出球口22，由于出球口22无传送带配合支撑板29承载网球，网球会落入球篮27，完成整个网球拾取动作。所述网球导向挡板21 可以沿网球导向挡板导轨19调节高度，以适应捡球和行走避障不同场合的需求。所述传送带安装上导轨8、传送带安装下导轨20可以根据拾取球的大小调节带刷传送带23和传送带配合支撑板29的高度兼容乒乓球等其它球类拾取。所述传送带安装上导轨8还有导向槽便于安装带刷传送带23

4)所述运送过程的实施如下：用户可通过人机交互系统发送指令给网球机器人，送球到指定地点，收到指令后机器人自行检索匹配相应收集点，并自主规划最优路径送球到收集点，提醒并等待用户取球。如果拾球过程中检测到球筐满了，分为以下两种情况：一、只有一个网球收集点则自动运送网球到收集点，提醒并等待用户取球；二、有两个及以上网球收集点则先向用户发出运球请求，用户给出需要运送到的收集点。如若发出请求后一段时间内未收到用户回复则自动将球运送到优先级最高的集合点等待用户取球

场地内特定区域以及运动员状态的识别的实施

捡球机器人在工作时候，会通过摄像头捕捉运动员位置和状态，确定运动员是否处于运动状态。如果运动员处于运动状态，识别场地的划线，并且不能进入活动的场地。具体做法是根据RGB图像识别场地划线以及球网等标志，根据划线和球网的位置得到场地的位置，保证机器人自身不会进入场地。

在捡球机器人工作的过程中，时刻检测和跟踪移动目标(行人、移动目标如场内小车等)，根据这些移动目标的运动轨迹，相应调整自身的运动，以免发生碰撞等。

自动充电功能的实施

1)通过检测电池电压以及电量计对充放电电荷的统计，检测电池电量

2)在空闲模式、自动归位模式下检测到电量低于设定值的时候，进行后台报警，并自主唤醒，自主寻找并导航到最近的充电桩自主进行充电

3)在收集网球模式、智能跟随模式下检测到电量低于设定值的时候，进行报警，向用户发出充电请求，得到允许后，自主寻找并导航到最近的充电桩自主进行充电

4)后台或控制端发送充电命令，机器人会检测电量是否充足，如电量大于95％时返回电量充足拒绝充电，否则自主寻找并导航到最近的充电桩自主进行充电

自动回位功能的实施

1)整个环境会设置一定数量的机器人存放点。在任意一个时刻，每个机器人都会上报自身位置和状态(电量、是否服务中等)给后台调度系统，后台调度系统根据当前的客户数量、客户请求、机器人的数量等决定某些机器人是否需要到指定存放点进行待命

2)用户使用完之后开启回收功能，捡网球机器人搜索和定位最近的存放点，通过自主导航模块，自动移动到存放点，并自动进入空闲模式等待唤醒

服务的唤醒、暂停、终止功能的实施：

1)唤醒有后台服务器和客户通过手机APP控制唤醒两种方式(机身有app二维码和机器人编号)

2)暂停或终止服务可以通过语音、手机app、后台服务器三种方式操作：当客户说“xxx，暂停”、“xxx，终止服务”等包含上述关键字的时候，系统会自动暂停或终止服务；也可以通过手机app暂停或终止服务；后台服务器也可根据需要发送指令暂停或终止某个机器人的服务

所述语音互动模块，与麦克风连接，通过语音控制机器人的启动和停止，实现音乐、视频的播放，本发明采用了开源的语音识别系统，实时性好，识别准确。

所述无人订场地(有屏幕方案才支持)，是运动员到达场馆后无需去柜台办理登记、选场地、缴费，通过捡网球机器人的触摸显示屏即可完成定场地缴费的一系列操作；

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (7)

1.本发明一种智能捡网球机器人，包括主体框架、网球拾取系统、人机交互系统、控制系统、定位和导航系统、视觉跟随系统、避障系统、电源系统、驱动系统。提供环境地图自动生成、更新、精化功能，定位和导航、网球识别收集运送、自动回位、自动充电、自动避障等功能。能够支持手动控制模式和自主模式两种基本工作方式；所述自主模式又包括5种工作模式：空闲模式、网球收集模式、智能跟随模式、自动归位模式、自主充电模式。

2.根据权利要求1，所述网球拾取系统包括传送带上挡板1、传送带侧挡板7、传送带正挡板12、网球导向挡板21、网球导向挡板导轨19、传送带安装上导轨8、传送带安装下导轨20、带刷传送带23、两个传送带固定轴7、传送带配合支撑板29和三角带、捡球驱动电机、球篮27组成。

3.根据权利要求1，所述定位功能的实施，其特征在于采用将2维激光雷达和深度摄像头结合起来的方案，既节省了成本，又能满足动态环境的要求：

步骤a：基于RGB图像的V-SLAM定位。通过提取RGB图像关键帧的视觉特征，前后关键帧的视觉特征方法估计前后帧图像之间智能捡网球机器人的位姿的变化，从而得到智能捡网球机器人在前后帧之间的移动情况；当机器人重新回到之前到过的地方，系统进行回环检测，消除误差的累积，得到纠错以后的机器人位置、轨迹及环境地图；

步骤b：与里程计和IMU的融合。由于视觉容易受到光线变化的影响，或者在机器人快速移动或者转弯的时候，容易发生前后帧图像匹配不成功的情况，本发明集成了IMU和里程计的信息在上述a)步的机器人位姿估计和回环检测中，这样能有效解决视觉容易跟丢的问题；

步骤c：深度噪声过滤。根据深度图像和RGB图像形成三维点云，根据三维点云的信息区分地面和障碍物，把地面和高于一定高度的点云去除，只考虑有可能影响智能捡网球机器人移动的点云信息；

步骤d：深度信息和激光雷达数据的融合；把步骤c)留下的点云向激光雷达所在的平面进行垂直投影，在同一个激光雷达扫描方向上，如果点云的深度小于激光雷达的深度信息，那么该点云的“点”得以保留；如果点云中的某一点的深度信息大于激光雷达的深度，那么该点被忽略。然后，归拢每一个激光雷达扫描方向上的所有点，求其平均深度，把在平均深度25％-75％的点保留下来，而去掉该范围以外的点；

步骤e：通过激光雷达的scan matching方案，取得智能捡网球机器人的当前位置及环境信息。

步骤f：将第a)b)d)e)步骤获得的机器人位置，通过非线性优化的方案，进行了多传感器(激光雷达、视觉、IMU和里程计)的融合，这样可以进一步优化智能捡网球机器人的位姿以及障碍物的信息，得到机器人当前时刻的精确的位置信息以及周围障碍物的空间信息。

4.根据权利要求1，网球识别收集运送的实施，其特征在于不影响运动员打球的情况下自主识别、收集、运送网球：

步骤a：用户设置机器人进入网球收集模式后，可根据用户类型和需求设定网球的拾取范围，如场地管理员可以设定捡球范围为所有场地，运动员可以设定单个或多个场地；用户根据自己需要设定网球收集点，可设置多个用编号区分；机器人自主识别周围网球，并进行拾取；机器人的环境感知能够识别场地划线，和运动员状态，在运动员打球时，不会进入运动场地，不会影响运动员的活动；

步骤b：所述识别过程的实施如下：进入网球收集模式后机器人先在原地旋转，识别周围视距范围(上部的深度摄像头4识别远处网球，下部的高清摄像头15识别近处网球)内的网球，然后根据采集到的网球分布规划最优路径拾取；

步骤c：所述收集过程的实施如下：拾球时机器人朝网球方向移动，同时捡球驱动电机经由三角带传动，带动带刷传送带以一定速度逆时针转动；带刷传送带和网球导向挡板21共同作用将接触到的网球拾取，然后带刷传送带23和传送带配合支撑板29共同挤压摩擦作用将球运送到出球口22，由于出球口22无传送带配合支撑板29承载网球，网球会落入球篮27，完成整个网球拾取动作；所述网球导向挡板21可以沿网球导向挡板导轨19调节高度，以适应捡球和行走避障不同场合的需求；

步骤d：所述运送过程的实施如下：用户可通过人机交互系统发送指令给网球机器人，送球到指定地点，收到指令后机器人自行检索匹配相应收集点，并自主规划最优路径送球到收集点，提醒并等待用户取球；如果拾球过程中检测到球框满了，分为以下两种情况：一、只有一个网球收集点则自动运送网球到收集点，提醒并等待用户取球；二、有两个及以上网球收集点则先向用户发出运球请求，用户给出需要运送到的收集点；如若发出请求后一段时间内未收到用户回复则自动将球运送到优先级最高的集合点等待用户取球。

5.根据权利要求4，场地内特定区域以及运动员状态的识别的实施：

捡球机器人在工作时候，会通过摄像头捕捉运动员位置和状态，确定运动员是否处于运动状态。如果运动员处于运动状态，识别场地的划线，并且不能进入活动的场地。具体做法是根据RGB图像识别场地划线以及球网等标志，根据划线和球网的位置得到场地的位置，保证机器人自身不会进入场地。

在检球机器人工作的过程中，时刻检测和跟踪移动目标(行人、其它机器人等)，根据这些移动目标的运动轨迹，相应调整自身的运动，以免发生碰撞等。

6.根据权利要求1，导航和避障功能的实施，其特征在于导航的时候监控客户的状态，与客户状态同步并导航和避障：

步骤a：通过前述定位功能，同时形成环境的地图信息。客户在地图上选择目的地

步骤b：系统根据目的地和当前位置，根据当前的系统流量和拥挤状况，规划一条最佳路线

步骤c：在导航前往目的地的过程中，如果出现障碍物，那么进行避障功能。

避障功能的实施，其特征在于能够支持两种避障方案，即可预测的避障以及突发的意外避障，其步骤：

步骤a：一种是可预知的障碍，如从远处走来的行人或者其它移动目标，对于这种类型的避障功能，小车会实时监控环境信息，如果在规划路线上出现行人或者其它移动目标，小车会根据定位和行人及移动目标识别模块，估计移动目标的轨迹，提前进行路径规划，避开此移动目标

步骤b：对于恶意的冲撞式的障碍物，如从侧面快速插入的移动目标，或者突然扑上来要抓小车的孩子，或者飞来的皮球等，无法提前规划避障路径，小车会采取急停策略，暂时停止移动，同时继续通过激光雷达和视觉识别移动目标的位置和速度，并采取旋转等策略避开移动目标移动的方向，碰撞解除后继续移动，并顺利到达目的地。

7.兼容网球、乒乓球、高尔夫球等的拾取，其特征在于可根据不同大小球体调整结构：通过传送带安装上导轨8、传送带安装下导轨20，根据拾取球的大小调节带刷传送带23和传送带配合支撑板29的高度兼容乒乓球等其它球类拾取。