CN111571618A - 一种基于视觉算法的自主捡拾机器人及其捡拾方法 - Google Patents

Abstract

本发明涉及一种基于视觉算法的自主捡拾机器人及其捡拾方法，该机器人的导航捡拾模块在搜索状态下接收全局定位模块发送的机器人所在场地坐标系下的坐标、姿态和捡拾目标序列信息以及捡拾目标检测模块发送的捡拾目标坐标序列信息，将最近的目标作为捡拾对象进行锁定，并切换到导航捡拾状态；控制机器人导航到锁定的捡拾目标，使用动态更新导航算法进行运动控制，完成导航捡拾操作。另外，捡拾过程中通过多传感器的综合避障策略，能够在快速导航的情况下，实现较高灵敏度和准确度的避障。本发明具有很强的实用性和安全性，捡拾效率和准确度比较高。

Description

一种基于视觉算法的自主捡拾机器人及其捡拾方法

技术领域

本发明属于机器人领域，具体涉及一种基于视觉算法的自主捡拾机器人及其捡拾方法。

背景技术

随着生活水平的提高，现在球类爱好者越来越多，从乒乓球、羽毛球，到网球、高尔夫，这些球类运动具有很好的健身效果。在这些球类运动中特别是网球运动，我们发现很大一部分时间会消耗在捡拾球的过程中，捡球这样的机械动作，是一个非常乏味的工作，极大的降低了球类运动的效率和体验效果，因此将球员从乏味的捡球中解脱出来具有非常高的实用价值。类似的问题也存在于其他一些物体的捡拾中，如垃圾的收集清理，散落物体的捡拾等。

随着人工智能时代的到来，人们不断的尝试用机器人代替人工完成机械重复的工作。专利申请号201821674958.9，提出了一种自动捡拾乒乓球的自主捡拾机器人；专利申请号201720658716.X，提出了一种双目视觉自动捡球机器人；专利申请号201710345365.1，提出了一种网球捡拾机器人；专利申请号201710131530.3，提出了一种基于opencv图像识别的捡球机器人。

目前球馆中的捡球设备主要还是需要人工操作，不过越来越多的智能化改造方案正在推出。但是这些方案普遍存在实用性不强，结构设计复杂或者存在场景约束，没有考虑到安全性等因素。如果专利CN200810188136.4中提到用相机顶视图进行机器人全局定位方案，但是该方案针对的室内场景，室外场景不适用，专利CN201621301712.8中提到使用无人机载摄像机进行全局定位，该方案一方面操作难度高，另一方面存在安全隐患。如专利201811351346.0，专利201720882172.5，专利201710345365.1等，捡球的挡板刷外漏，具有比较大的风险隐患。

大部分目前的智能捡球方案因为考虑到便携性和美观性，前置球体检测摄像机的高度设置的比较低，达不到球童的高度，导致机器人的可视范围比较小，不利于捡球设备的快速导航捡拾；另外只能进行模糊导航，不能提供精确的球相对机器人的距离和角度，因此捡拾效率会比较低。

在避障方面，目前的捡球设备主要使用的是超声波或者红外避障，但是实际中室外球场的网栏并不是实体，此时超声波可能失效，因此需要更多的传感器进行综合提高防撞能力，同时因为网球场比较大，机器人运动速度要求比较快，对避障的灵敏度要求就更高。

发明内容

针对上述问题，本发明提供一种采用多传感器进行综合避障的、能够对较远距离的目标进行快速导航捡拾、安全性能高的基于视觉算法的自主捡拾机器人及其捡拾方法。

为解决上述问题，本申请采取的技术方案为：一种基于视觉算法的自主捡拾机器人，包括控制机构、支撑机构、驱动机构、捡拾机构及防撞检测机构；所述的控制机构包括MCU；所述的支撑机构包括底盘及其骨架；所述的驱动机构包括设置于底盘前侧的两个平行的驱动轮及底盘后侧的尾部万向轮，所述的尾部万向轮设在底盘的尾部中间部分，作为尾部的承重轮。所述的两个驱动轮连接两个带编码器的减速驱动电机，带编码器的减速驱动电机经电机驱动器、arduino控制器连接MCU，带编码器的减速驱动电机为驱动轮提供转动动力并向MCU提供编码数据；所述的捡拾机构包括捡拾驱动电机、捡拾毛刷辊、传球槽及尾箱，捡拾驱动电机经电机驱动器、arduino控制器连接MCU，捡拾驱动电机为捡拾毛刷辊提供转动动力，当目标物体进入到毛刷的转动范围的时候，捡拾毛刷辊将目标物带入传球槽，经传球槽送入尾箱，为便于目标物的传送，传球槽的设置与底盘呈一定角度，可为45度角；防撞检测机构包括设置于车头的防撞条传感器、超声波传感器，设置于可拉伸的相机支架的局部广角相机及防撞条传感器、超声波传感器及局部广角相机均与MCU连接。

优选的，所述的相机支架设置为多节拉伸结构，其顶部设置有控制拉伸结构高度的按钮。针对捡球相机高度低会引起可视范围比较小，无法计算准确的捡拾目标与机器人的相对位置和角度的问题。本发明采用了可拉升的相机支架，该拉伸相机支架在机器人携带过程中收缩到壳里面，在捡球的时候可以把相机拉出来，保证相机能够达到球童的高度；同时使用广角局部相机提高机器人的视野范围，这样捡拾机器人能够获取到准确的导航坐标，能够对较远距离的目标进行快速导航捡拾，能够提高捡拾的速度。

基于上述视觉算法的自主捡拾机器人的捡拾方法，包括：

步骤一、导航捡拾模块在搜索目标状态下，接收全局定位模块发送的机器人在球场坐标系中的坐标、姿态和捡拾目标序列信息以及捡拾目标检测模块发送的捡拾目标坐标序列信息，将最近的目标作为捡拾对象进行锁定，并切换到导航捡拾状态；

步骤二、在导航捡拾状态下，控制机器人导航到锁定的捡拾目标，并进行捡拾操作，实时接收全局定位模块及捡拾目标检测模块发送的信息，使用动态更新导航算法进行运动控制，当完成捡拾操作后，切换到捡拾完成状态；导航捡拾过程使用了机器人局部定位信息，该机器人局部定位信息通过带编码器的减速驱动电机的电机编码器和IMU进行融合计算得到。

步骤三、在捡拾完成状态，停止机器人运动和捡拾驱动电机的转动，切换到搜索目标状态。

本发明提出了一种基于视觉的机器人定位方法，该方法有两种实施方案，方案一：在球场的两端分别布置一个全局鱼眼相机，方案二：在球场侧边布置一个全局鱼眼相机，通过对全局鱼眼相机采集的图像进行机器人头部和尾部标志物的检测，计算得到机器人在球场中的位置和姿态；另外通过全局鱼眼相机进行球体检测，能够引导机器人进行快速的目标搜索。

本发明提供了一个具有很强实用性的自动捡拾方案，包含捡拾的机械结构装置、捡拾目标检测和导航捡拾、多传感器综合避障、全局相机的机器人全局定位等功能，同时人机交互方便简单，相比现有的捡拾方案，本发明具有很强的实用性和安全性，捡拾效率和准确度比较高。

本发明使用可拉升的相机支架和广角局部相机，很好的兼容了便携性和更大可视范围的问题；设计了一种具有很强实用性并且安全的捡球毛刷，该毛刷能够保护球体，即使出现障碍物不会损坏毛刷，能够快速的将单球或者多球捡入尾箱中。通过以上的结构优化，本发明的捡拾机器人能够快速的捡拾目标进行导航捡拾，捡拾效率比较高。

本发明提出一种动态更新导航的算法，该算法将路径规划分为旋转和直线运动的组合，通过实时观测机器人与目标捡拾物之间的位置关系，判断机器人导航路径是否有效，如果存在偏差则进行导航规划的调节，如果发现导航无法抵达目标捡拾物的情况下会结束本次导航，这样能够避免无效运动，可以提高导航捡拾效率，使机器人具有更高的灵敏度。

本发明提出了一种多传感器融合的避障方法，该方法充分利用不同传感器之间的优势，在保证快速导航捡拾的情况下，有效的进行碰撞防护和困境解脱，相比现有的避障方案，本发明的避障策略具有更高的灵敏度和准确度。

附图说明

图1为捡拾机器人结构连接示意图；

图2为捡拾机器人立体图；

图3为捡拾机器人内部结构示意图；

图4为捡拾毛刷辊示意图；

图5为捡拾系统框图；

图6为避障策略流程图。

1、底盘，2、驱动轮，3、尾部万向轮，4、捡拾毛刷辊，5、相机支架，6、局部广角相机，7、车头，8、尾箱。

具体实施方式

实施例一

如图1所示，一种基于视觉算法的自主捡拾机器人，包括控制机构、支撑机构、驱动机构、捡拾机构及防撞检测机构；所述的控制机构包括MCU；所述的支撑机构包括底盘1及其骨架；所述的驱动机构包括设置于底盘1前侧的两个平行的驱动轮2及底盘后侧的尾部万向轮3，所述的尾部万向轮3设在底盘1的尾部中间部分，作为尾部的承重轮。所述的两个驱动轮2连接两个带编码器的减速驱动电机，带编码器的减速驱动电机经电机驱动器、arduino控制器连接MCU，带编码器的减速驱动电机为驱动轮2提供转动动力并向MCU提供编码数据；所述的捡拾机构包括捡拾驱动电机、捡拾毛刷辊4、传球槽及尾箱8，捡拾驱动电机经电机驱动器、arduino控制器连接MCU，捡拾驱动电机为捡拾毛刷辊4提供转动动力，当目标物体进入到毛刷的转动范围的时候，捡拾毛刷辊4将目标物带入传球槽，经传球槽送入尾箱8，为便于目标物的传送，传球槽的设置与底盘1呈一定角度，可为45度角；防撞检测机构包括设置于车头7的防撞条传感器、超声波传感器。设置于可拉伸的相机支架5的局部广角相机6、防撞条传感器、超声波传感器均与MCU连接。

针对捡球相机高度低会引起可视范围比较小，无法计算准确的捡拾目标与机器人的相对位置和角度的问题。本发明采用了可拉升的相机支架5，该拉伸相机支架5在机器人携带过程中收缩到壳里面，在捡球的时候可以把相机拉出来，保证相机能够达到球童的高度；同时使用广角局部相机提高机器人的视野范围，这样捡拾机器人能够获取到准确的导航坐标，能够对较远距离的目标进行快速导航捡拾，能够提高捡拾的速度。

优选的，所述底盘1为凹型的PVC底板，凹型的底盘1可以使球顺着底盘的凹槽进入到机器人尾箱8。底盘前端呈U型缺口能够让目标物沿着U型边缘进入到毛刷捡拾范围，尾部呈半圆形，方便遇到障碍的时候脱身；所述的骨架为合金材料制成，使支撑机构具有较强的承重能力，又不给支撑机构增加过多重量。

优选的，所述底盘上侧面设置有支撑架，支撑架上悬挂有捡拾驱动电机、捡拾毛刷辊4；所述的可拉伸的相机支架5设置于支撑架上方。

优选的，所述的MCU连接有九轴自由度IMU传感器模块。九轴自由度IMU传感器模块包括三轴陀螺仪、三轴加速度、三轴磁场，和电机的编码器一起使用，提高定位精度。

如图4所示，所述的捡拾毛刷辊4上设有四组毛刷，毛刷具有较大半径，每组毛刷交错排列两排刷丝，刷丝为尼农材料制成。

优选的，在球场内设置有与MCU经WIFI连接的全局广角相机，在机器人车头和尾箱设置有定位标志物。本发明提出了一种在球场边界设置两个鱼眼相机的方案，单个鱼眼相机负责所在对应半场的机器人定位，通过球场标志线的识别对相机进行标定，在机器人头和尾部设置标志物，能够实时监测机器人的位置，并指导机器人进行快速的全局搜索。

优选的，可选用可充电电池为整个机器人提供动力来源。

优选的，在车头位置设置有电压显示器，实时显示当前电压和电量。

如图5所示，基于上述视觉算法的自主捡拾机器人的捡拾方法，包括：

步骤一、导航捡拾模块在搜索目标状态下，接收全局定位模块发送的机器人在球场坐标系中的坐标、姿态和捡拾目标序列信息以及捡拾目标检测模块发送的捡拾目标坐标序列信息，将最近的目标作为捡拾对象进行锁定，并切换到导航捡拾状态；

步骤二、在导航捡拾状态下，控制机器人导航到锁定的捡拾目标，并进行捡拾操作，实时接收全局定位模块及捡拾目标检测模块发送的信息，使用动态更新导航算法进行运动控制，当完成捡拾操作后，切换到捡拾完成状态；导航捡拾过程使用了机器人局部定位信息，该机器人局部定位信息通过带编码器的减速驱动电机的电机编码器和IMU进行融合计算得到。

步骤三、在捡拾完成状态，停止机器人运动和捡拾驱动电机的转动，切换到搜索目标状态。

所述的动态更新导航算法具体步骤为：

步骤一、机器人进入到搜索目标模式，当接收到捡拾目标检测模块发送的捡拾目标序列消息之后，将捡拾目标序列中离机器人最近的捡拾目标作为导航捡拾目标，完成捡拾目标锁定；捡拾目标序列消息包括：捡拾目标在机器人坐标系x轴方向的坐标，捡拾目标在机器人坐标系y轴方向的坐标，捡拾目标与机器人的距离，捡拾目标与机器人坐标系y轴方向的夹角；

步骤二、开始进行导航捡拾

2.1机器人进行旋转运动，直至机器人正对着目标捡拾物；

2.2机器人直线向前运动期望距离，直至距离小于捡拾阈值，并且目标连续不可见；

2.2.1机器人直线向捡拾目标运动过程中，根据实时接收到的锁定目标的坐标，动态更新直线运动期望距离；

2.2.2机器人直线向捡拾目标运动过程中，如果判断到目标离机器人越来越远，则主动结束该次导航；

2.2.3机器人直线向捡拾目标运动过程中，当机器人离捡拾目标的距离小于1m，实时判断目标是否在可捡拾范围内，如果不在捡拾范围内，则主动结束该次导航；

2.3启动捡拾驱动电机对目标进行捡拾，完成本次导航捡拾。

动态更新导航算法的具体流程如下：

捡拾目标检测模块实时发送离机器人本体最近的N个目标，捡拾目标序列的信息表示为：

其中t为时间戳，k为捡拾目标的ID,其中

为捡拾目标在机器人坐标系x轴方向的坐标，

为捡拾目标在机器人坐标系y轴方向的坐标，

为捡拾目标与机器人的距离，

为捡拾目标与机器人坐标系y轴方向的夹角。

机器人默认进入到搜索目标模式，当接收到捡拾目标检测模块的捡拾目标序列消息之后，将捡拾目标序列中离机器人最近的捡拾目标作为导航捡拾目标，完成捡拾目标锁定。

当完成捡拾目标锁定后，开始进行导航捡拾，假设该捡拾目标id为k，锁定时间戳为t_lock，目标位置信息为

具体导航捡拾算法描述如下：

第一步：机器人进行旋转运动，旋转角度为

使机器人正对着目标捡拾物。

第二步：当旋转完成后，此时的时间戳为t_rotated，则通过

来判断机器人是否正对着捡拾目标，如果

小于阈值ρ，则说明机器人正对着捡拾目标，执行第三步，否则机器人进行二次优化旋转，旋转角度

再执行第三步。

第三步：机器人直线向前运动期望距离

运动过程中，假设时间戳为t_forward，通过电机编码器和IMU信息融合获取机器人已经直线运动的距离为：dist_moved_{t_forward}，同时接收到的视觉检测模块消息为

首先动态更新直线运动期望距离dynamic_dist，更新策略如下：

然后根据实时更新的目标信息作出如下处理：

情形一：如果目标连续不可见，并且最后一次记录的dynamic_dist小于β，其中β为开启捡拾的阈值，说明机器人离目标捡拾物已经很近，开启捡拾电机旋转运动，进行目标物的捡拾。

情形二：如果连续M次出现

大于

其中γ为允许误差阈值，说明机器人运动方向不正确，离目标捡拾物越来越远，则结束该次导航，执行第四步。

情形三：当dynamic_dist小于1m的时候，说明机器人离捡拾目标距离不远，需要提前进行减速。

情形四：如果dynamic_dist小于1m，则判断捡拾目标是否在机器人的可捡拾范围内，具体判断机制如下：

其中α为x轴偏移阈值，ρ为角度偏移阈值，

满足该条件则说明捡拾目标在捡拾范围内，继续直线运动完成导航，否则结束该次导航，执行第四步。

第四步：结束该次导航，停止捡拾电机转动，切换到搜索模式。

所述的全局定位模块获取机器人在球场坐标系中的坐标、姿态和捡拾目标序列信息的过程包括如下步骤：

步骤一、使用棋盘格进行全局广角相机的内参标定，包括畸变系数和内参；

步骤二、获取全局广角相机的图像，对图像进行畸变校正，在校正后的图像中提取球场标志线，计算球场标志线之间的交点，通过交点的图像坐标和球场坐标的映射关系，计算图像坐标到球场坐标的投影矩阵即相机的外参；

步骤三、对全局广角相机进行机器人标志物的检测和捡拾目标的检测，并通过坐标转换计算得到机器人在球场中的坐标与姿态；

步骤四、将机器人在球场坐标系中的坐标、姿态和捡拾目标序列的信息发送给导航捡拾模块，当机器人在搜索状态下，导航机器人向最近的捡拾目标方向进行搜索，通过全局定位和搜索引导，从而极大的提高了搜索的效率。

所述的捡拾目标检测模块获取捡拾目标坐标序列信息过程主要包括如下环节：机器人局部广角相机的标定、基于深度学习的目标检测摸型训练、捡拾目标的检测与轨迹关联，图像坐标系和机器人本体坐标系的转换，具体包括如下步骤：

步骤一、通过棋盘格，对局部广角相机的内参和外参进行标定，得到内参、畸变系数、投影矩阵；

步骤二、采集和标注目标检测模型训练需要的数据集，训练深度学习的目标检测模型；

步骤三、获取局部广角相机的图像，对该图像进行捡拾目标的检测和轨迹关联；

步骤四、通过局部广角相机的标定参数，将捡拾目标的图像坐标转换为机器人坐标系下的坐标；

步骤五、将离机器人最近N个捡拾目标坐标序列发送给导航捡拾模块。

如图6所示，捡拾过程中所涉及的基于多传感器的综合避障过程包括视觉避障分类模型训练，通过采集障碍物视角图片数据集和平整地面视角数据集，截取ROI，训练深度学习分类模型，该模型能够判断前方是否存在障碍物或者平整的地面。该视觉避障具有监测距离远，侦测前方障碍物灵敏，但是存在一定的误判障碍物的情况。因此在视觉避障判断到前方有障碍物情况下，降低机器人运动速度。

超声波避障和防撞条属于强避障。当超声波检测到距离小于阈值一的时候，开始后退；当检测到小于阈值二的时候开始转弯；当检测到距离小于阈值三的时候开始减速。当防撞条检测到障碍物的时候开始后退，后退固定距离后开始转弯。

按照优先级别：防撞条>超声波>视觉避障，具体步骤如下：

步骤一、进行防撞条碰撞侦测，如发现存在碰撞，则后退并转弯，若未发现碰撞否则执行步骤二；

步骤二、从超声波序列中，读取得到最小的超声波距离，若超声波最小距离小于阈值一，则进行后退运动；若超声波最小距离不小于阈值一但小于阈值二，则进行转弯；若超声波最小距离不小于阈值二但小于阈值三，进行减速；当超声波最小距离大于阈值三的时候，执行步骤三；

步骤三、获取局部广角相机的图像，截取ROI图像,通过训练好的视觉避障分类模型对ROI图像进行分类，判断是否存在视觉障碍物，如果判断存在，则进行减速，否则正常运行。

实施例二

在球场侧边布置一个全局鱼眼相机，通过对全局鱼眼相机采集的图像进行机器人头部和尾部标志物的检测，计算得到机器人在球场中的位置和姿态；另外通过全局鱼眼相机进行球体检测，能够引导机器人进行快速的目标搜索。其他部分与实施例一相同。

本发明的具体实施例均是以捡拾网球为例进行阐述，但本发明中的捡拾机器人的捡拾对象包括一切低密度且有规则形状的目标物。捡拾其他目标物时，场地由球场更换为其他对应场地即可。

Claims (10)

1.一种基于视觉算法的自主捡拾机器人，其特征在于：包括控制机构、支撑机构、驱动机构、捡拾机构及防撞检测机构；所述的控制机构包括MCU；所述的支撑机构包括底盘及其骨架；所述的驱动机构包括设置于底盘前侧的驱动轮及底盘后侧的尾部万向轮，所述的驱动轮连接带编码器的减速驱动电机，带编码器的减速驱动电机经电机驱动器、arduino控制器连接MCU，带编码器的减速驱动电机为驱动轮提供转动动力并向MCU提供编码数据；所述的捡拾机构包括捡拾驱动电机、捡拾毛刷辊、传球槽及尾箱，捡拾驱动电机连接电机驱动器并经arduino控制器连接MCU，捡拾驱动电机为捡拾毛刷辊提供转动动力，捡拾毛刷辊将目标物带入传球槽，经传球槽送入尾箱；防撞检测机构包括设置于车头的防撞条传感器、超声波传感器；设置于可拉伸的相机支架的局部广角相机与所述的防撞条传感器、超声波传感器均与MCU连接。

2.根据权利要求1所述的基于视觉算法的自主捡拾机器人，其特征在于：所述的相机支架设置为多节拉伸结构，其顶部设置有控制拉伸结构高度的按钮。

3.根据权利要求1所述的基于视觉算法的自主捡拾机器人，其特征在于：所述底盘为凹型的PVC底板，底盘前端呈U型缺口，尾部呈半圆形；所述的骨架为合金材料制成。

4.根据权利要求1所述的基于视觉算法的自主捡拾机器人，其特征在于：所述底盘上侧面设置有支撑架，支撑架上悬挂有捡拾驱动电机、捡拾毛刷辊；所述的可拉伸的相机支架设置于支撑架上方。

5.根据权利要求1所述的基于视觉算法的自主捡拾机器人，其特征在于：所述的捡拾毛刷辊上设有四组毛刷，每组毛刷交错排列两排刷丝，刷丝为尼农材料制成。

6.根据权利要求1所述的基于视觉算法的自主捡拾机器人的捡拾方法，其特征在于包括：

步骤一、导航捡拾模块在搜索目标状态下接收全局定位模块发送的机器人在球场坐标系中的坐标、姿态和捡拾目标序列信息以及捡拾目标检测模块发送的捡拾目标坐标序列信息，将最近的目标作为捡拾对象进行锁定，并切换到导航捡拾状态；

步骤二、在导航捡拾状态下，控制机器人导航到锁定的捡拾目标，并进行捡拾操作，实时接收全局定位模块及捡拾目标检测模块发送的信息，使用动态更新导航算法进行运动控制，当完成捡拾操作后，切换到捡拾完成状态；

步骤三、在捡拾完成状态，停止机器人运动和捡拾驱动电机的转动，切换到搜索目标状态。

7.根据权利要求6所述的捡拾方法，其特征在于：所述的动态更新导航算法具体为：

步骤一、机器人进入到搜索目标模式，当接收到捡拾目标检测模块发送的捡拾目标序列消息之后，将捡拾目标序列中离机器人最近的捡拾目标作为导航捡拾目标，完成捡拾目标锁定；捡拾目标序列消息包括：捡拾目标在机器人坐标系x轴方向的坐标，捡拾目标在机器人坐标系y轴方向的坐标，捡拾目标与机器人的距离，捡拾目标与机器人坐标系y轴方向的夹角；

步骤二、开始进行导航捡拾

2.1机器人进行旋转运动，直至机器人正对着目标捡拾物；

2.2机器人直线向前运动期望距离，直至距离小于捡拾阈值，并且目标连续不可见；

2.2.1机器人直线向捡拾目标运动过程中，根据实时接收到的锁定目标的坐标，动态更新直线运动期望距离；

2.2.2机器人直线向捡拾目标运动过程中，如果判断到目标离机器人越来越远，则主动结束该次导航；

2.2.3机器人直线向捡拾目标运动过程中，当机器人离捡拾目标的距离小于1m，实时判断目标是否在可捡拾范围内，如果不在捡拾范围内，则主动结束该次导航；

2.3启动捡拾驱动电机对目标进行捡拾，完成本次导航捡拾。

8.根据权利要求6所述的捡拾方法，其特征在于：所述的全局定位模块获取机器人在球场坐标系中的坐标、姿态和捡拾目标序列信息的过程包括如下步骤：

步骤一、使用棋盘格进行全局广角相机的内参标定，包括畸变系数和内参；

步骤二、获取全局广角相机的图像，对图像进行畸变校正，在校正后的图像中提取球场标志线，计算球场标志线之间的交点，通过交点的图像坐标和球场坐标的映射关系，计算图像坐标到球场坐标的投影矩阵即相机的外参；

步骤三、对全局广角相机进行机器人标志物的检测和捡拾目标的检测，并通过坐标转换计算得到机器人在球场中的坐标与姿态；

步骤四、将机器人在球场坐标系中的坐标、姿态和捡拾目标序列的信息发送给导航捡拾模块。

9.根据权利要求6所述的捡拾方法，其特征在于：所述的捡拾目标检测模块获取捡拾目标坐标序列信息过程包括如下步骤：

步骤一、通过棋盘格，对局部广角相机的内参和外参进行标定，得到内参、畸变系数、投影矩阵；

步骤二、采集和标注目标检测模型训练需要的数据集，训练深度学习的目标检测模型；

步骤三、获取局部广角相机的图像，对该图像进行捡拾目标的检测和轨迹关联；

步骤四、通过局部广角相机的标定参数，将捡拾目标的图像坐标转换为机器人坐标系下的坐标；

步骤五、将离机器人最近N个捡拾目标坐标序列发送给导航捡拾模块。

10.根据权利要求6所述的捡拾方法，其特征在于：捡拾过程中所涉及的基于多传感器的综合避障过程包括如下步骤：

步骤一、进行防撞条碰撞侦测，如发现存在碰撞，则后退并转弯，若未发现碰撞否则执行步骤二；

步骤二、从超声波序列中，读取得到最小的超声波距离，若超声波最小距离小于阈值一，则进行后退运动；若超声波最小距离不小于阈值一但小于阈值二，则进行转弯；若超声波最小距离不小于阈值二但小于阈值三，进行减速；当超声波最小距离大于阈值三的时候，执行步骤三；

步骤三、获取局部广角相机的图像，截取ROI图像,通过训练好的视觉避障分类模型对ROI图像进行分类，判断是否存在视觉障碍物，如果判断存在，则进行减速，否则正常运行。

Images