CN113741550B - 移动机器人跟随方法和系统 - Google Patents

移动机器人跟随方法和系统 Download PDF

Info

Publication number
CN113741550B
CN113741550B CN202010416725.4A CN202010416725A CN113741550B CN 113741550 B CN113741550 B CN 113741550B CN 202010416725 A CN202010416725 A CN 202010416725A CN 113741550 B CN113741550 B CN 113741550B
Authority
CN
China
Prior art keywords
target
following
mobile robot
calculating
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010416725.4A
Other languages
English (en)
Other versions
CN113741550A (zh
Inventor
刘洋
张志彦
李洋帆
马力超
韩晓英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN202010416725.4A priority Critical patent/CN113741550B/zh
Publication of CN113741550A publication Critical patent/CN113741550A/zh
Application granted granted Critical
Publication of CN113741550B publication Critical patent/CN113741550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Abstract

本发明涉及一种移动机器人跟随方法，属于人工智能技术领域，解决了现有跟随方法非合作目标跟随、确定跟随目标繁琐等的问题。跟随方法包括：根据人的特定手势确定跟随目标信息；通过激光雷达、惯性导航单元、GPS采集数据，根据数据利用SLAM软件构建地图并实时计算移动机器人自身位姿；通过双目视觉模块采集跟随目标信息，根据跟随目标信息实时计算目标位姿；根据目标位姿和移动机器人自身位姿计算全局最优路线以自动规避静态障碍，以及基于全局最优路线提供线速度和角速度指令。根据人的特定手势确定跟随目标信息，实现对非合作目标的跟踪，通过计算全局最优路线实现自动规避静态障碍。

Description

移动机器人跟随方法和系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种移动机器人跟随方法和系统。
背景技术
根据指令不同，现有移动机器人目标跟随方法分为两类：一类是根据目标与机器人之间的距离和角度偏差，调整移动机器人运动对目标进行跟随；另一类以目标位置作为目标点，根据路径规划算法得到机器人从当前位置到目标点的移动轨迹，然后通过轨迹跟踪实现目标跟随。
第一类目标跟随方法采用双目视觉可以获得跟随目标距离和角度信息进行跟随，然后通过调整移动机器人运动跟随目标，缺点是跟随过程无法避障。第二类目标跟随方法包括：采用UWB(Ultra Wide Band，超宽带)定位技术和主动光测距传感器相结合的定位技术来获得目标位置指令；或者通过超宽频测距测角模块测量机器人到目标的距离和目标相对机器人的偏角，并转换成目标坐标指令。第二类跟随方法能够实现自主跟随避障，缺点是需要在目标上安装标签来实现目标跟随。
现有技术方案存在以下不足：(1)根据距离和角度偏差实现目标跟随的方案无法避障；(2)根据目标位置实现目标跟随的方案需要在目标上安装标签，无法实现对非合作目标的跟踪；(3)同时出现多个目标时跟随容易出错；(4)遇到动态障碍物时移动机器人会停下了重新规划路线，导致效率低下；以及(5)确定(即，装订)目标繁琐。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种移动机器人跟随方法和系统，用以解决现有跟随方法非合作目标跟随、确定跟随目标繁琐等的问题。
一方面，本发明实施例提供了一种移动机器人跟随方法，包括：根据人的特定手势确定跟随目标信息；通过激光雷达、惯性导航单元、GPS采集数据，根据所述数据利用SLAM软件构建地图并实时计算移动机器人自身位姿；通过双目视觉模块采集所述跟随目标信息，根据所述跟随目标信息实时计算目标位姿；根据所述目标位姿和所述移动机器人自身位姿计算全局最优路线以自动规避静态障碍，以及基于所述全局最优路线提供线速度和角速度指令。
上述技术方案的有益效果如下：根据本发明实施例的移动机器人跟随方法能够根据人的特定手势确定跟随目标信息，能够实现对非合作目标的跟踪，通过计算全局最优路线实现自动规避静态障碍。
基于上述方法的进一步改进，根据人的特定手势确定跟随目标信息进一步包括：在双目视觉模块的摄像头视野内用双手以所述特定手势指向目标；根据所述特定手势指向的目标确定跟随目标；以及在确定所述跟随目标后，所述移动机器人以LED闪烁、蜂鸣器鸣叫的方式给出反馈。
基于上述方法的进一步改进，根据所述反馈判断所述跟随目标的正确性；以及当所述跟随目标错误时，重复根据人的特定手势确定跟随目标信息。
基于上述方法的进一步改进，通过激光雷达、惯性导航单元、GPS采集数据进一步包括：通过所述惯性导航单元向所述SLAM软件或定位软件提供移动机器人加速度和角速度信息；通过所述GPS在室外移动时向所述SLAM软件或所述定位软件提供所述移动机器人位置和速度信息；以及通过所述激光雷达测量环境点云信息以为控制模块、所述SLAM软件或所述定位软件提供环境障碍物信息。
基于上述方法的进一步改进，通过双目视觉模块采集所述跟随目标信息，根据所述跟随目标信息实时计算目标位姿进一步包括：计算所述跟随目标的位置；当在摄像头视野中存在与所述跟随目标同类别的多个物体时，去除干扰目标；以及基于所述跟随目标的当前位置和先前位置计算目标位姿。
基于上述方法的进一步改进，计算所述跟随目标的位置进一步包括：通过双目视觉模块采集连续的跟随目标信息；通过目标检测识别模块计算所述跟随目标在图像坐标系中的位置；以及根据所述跟随目标在图像坐标系中的位置计算所述跟随目标在世界坐标系中的位置。
基于上述方法的进一步改进，当在摄像头视野中存在与所述跟随目标同类别的多个物体时，去除干扰目标进一步包括：当在摄像头视野中存在与所述跟随目标同类别的多个物体时，分别计算在所述世界坐标系中各个物体的当前时刻的位置和所述跟随目标的先前时刻的位置之间的差值；以及当所述差值大于预定阈值时，将所述多个物体作为干扰目标被去除，其中，基于所述跟随目标的速度、所述移动机器人的速度以及控制周期设置所述预定阈值。
上述技术方案的有益效果如下：通过当前时刻的位置和先前时刻的位置之间的差值与预定阈值之间的比较结果能够去除干扰目标，从而避免跟随出错。
基于上述方法的进一步改进，基于所述跟随目标的当前位置和先前位置计算所述目标位姿进一步包括：获取所述跟随目标在先前时刻和当前时刻之间的位置连线在所述世界坐标系中的方位角作为目标姿态；以及将所述跟随目标在所述世界坐标系中的位置和所述目标姿态作为所述目标位姿。
基于上述方法的进一步改进，基于所述全局最优路线提供线速度和角速度指令进一步包括：通过控制软件得到使所述移动机器人逼近所述全局最优路线的线速度和角速度；以及将所述移动机器人的线速度和角速度指令分解为移动底盘的每个轮子的指令，以驱动所述移动机器人对所述跟随目标进行跟随。
另一方面，本发明实施例提供了一种移动机器人跟随系统，包括：目标确定模块，用于根据人的特定手势确定跟随目标信息；机器人定位模块，用于根据激光雷达、惯性导航单元、GPS采集的数据，利用SLAM软件构建地图并实时计算移动机器人自身位姿；目标定位模块，用于通过双目视觉模块采集的所述跟随目标信息实时计算目标位姿；以及控制模块，用于根据所述目标位姿和所述移动机器人自身位姿计算全局最优路线以自动规避静态障碍，并基于所述全局最优路线提供线速度和角速度指令。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、通过双目视觉确定目标位姿，不需要在目标上安装标签，可应用于非合作目标的跟随场合；
2、通过特定手势确定目标，不需要人机交互界面，从而提升操作便利性；
3、双目视觉目标定位算法中加入了对坐标值的筛选，避免视野中同时有多个目标时跟随出错；
4、通过路径规划和轨迹跟踪实现目标跟随，能够自动避障，可应用于动态环境目标跟随场合；以及
5、路径规划算法中加入了对动态障碍的轨迹预测，避免移动机器人在靠近动态障碍物时因重新规划路径导致的频繁停顿使移动底盘线速度和角速度指令更连续，提升跟随效率。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的移动机器人跟随方法的流程图；
图2为通过特定手势录入跟随目标的示意图；
图3为根据目标定位的原理图；
图4为根据本发明实施例的移动机器人跟随系统的框图。
图5为根据本发明实施例的移动机器人跟随系统的具体框图。
附图标记：
402-目标确定模块；404-机器人定位模块；406-目标定位模块；408-控制模块
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种移动机器人跟随方法，如图1所示。移动机器人跟随方法包括：步骤S102，根据人的特定手势确定跟随目标信息；步骤S104，通过激光雷达、惯性导航单元、GPS采集数据，根据数据利用SLAM软件构建地图并实时计算移动机器人自身位姿；步骤S106，通过双目视觉模块采集跟随目标信息，根据跟随目标信息实时计算目标位姿；以及步骤S108，根据目标位姿和移动机器人自身位姿计算全局最优路线以自动规避静态障碍，以及基于全局最优路线提供线速度和角速度指令。
与现有技术相比，本实施例提供的移动机器人跟随方法，根据人的特定手势确定跟随目标信息，能够实现对非合作目标的跟踪，通过计算全局最优路线实现自动规避静态障碍。
下文中，将参考图1至图3对移动机器人跟随方法进行详细描述。
移动机器人跟随方法包括：步骤S102，根据人的特定手势确定跟随目标信息。具体地，根据人的特定手势确定跟随目标信息进一步包括：在双目视觉模块的摄像头视野内用双手以特定手势指向目标；根据特定手势指向的目标确定跟随目标；以及在确定跟随目标后，移动机器人以LED闪烁、蜂鸣器鸣叫的方式给出反馈。根据反馈判断跟随目标的正确性；以及当跟随目标错误时，重复根据人的特定手势确定跟随目标信息。当跟随目标正确时，则进入步骤S104。
在确定跟随目标之后，进入步骤S104，通过激光雷达、惯性导航单元、GPS采集数据，根据数据利用SLAM软件构建地图并实时计算移动机器人自身位姿。具体地，通过激光雷达、惯性导航单元、GPS采集数据进一步包括：通过惯性导航单元向SLAM软件或定位软件提供移动机器人加速度和角速度信息；通过GPS在室外移动时向SLAM软件或定位软件提供移动机器人位置和速度信息；以及通过激光雷达测量环境点云信息以为控制模块、SLAM软件或定位软件提供环境障碍物信息。
在计算移动机器人自身位姿的同时或之后，进入步骤S106，通过双目视觉模块采集跟随目标信息，根据跟随目标信息实时计算目标位姿。通过双目视觉模块采集跟随目标信息，根据跟随目标信息实时计算目标位姿进一步包括：计算跟随目标的位置；当在摄像头视野中存在与所述跟随目标同类别的多个物体时，去除干扰目标；以及基于跟随目标的当前位置和先前位置计算目标位姿。具体地，计算跟随目标的位置进一步包括：通过双目视觉模块采集连续的跟随目标信息；通过目标检测识别模块计算跟随目标在图像坐标系中的位置；以及根据跟随目标在图像坐标系中的位置计算跟随目标在世界坐标系中的位置。当在摄像头视野中存在与所述跟随目标同类别的多个物体时，去除干扰目标进一步包括：当在摄像头视野中存在与跟随目标同类别的多个物体时，分别计算在世界坐标系中的各个物体的当前时刻的位置和跟随目标的先前时刻的位置之间的差值；以及当差值大于预定阈值时，将多个物体作为干扰目标被去除，其中，基于跟随目标的速度、移动机器人的速度以及控制周期设置预定阈值。基于跟随目标的当前位置和先前位置计算目标位姿进一步包括：获取跟随目标在先前时刻和当前时刻之间的位置连线在世界坐标系中的方位角作为目标姿态；以及将跟随目标在世界坐标系中的位置和目标姿态作为目标位姿。
在计算目标位姿之后，步骤S108，根据目标位姿和移动机器人自身位姿计算全局最优路线以自动规避静态障碍，以及基于全局最优路线提供线速度和角速度指令。基于全局最优路线提供线速度和角速度指令进一步包括：通过控制软件得到使移动机器人逼近全局最优路线的线速度和角速度；以及将移动机器人的线速度和角速度指令分解为移动底盘的每个轮子的指令，以驱动移动机器人对跟随目标进行跟随。
下文中，以具体实例的方式参照图2至图3对移动机器人跟随方法进行详细描述。
基于双目视觉的移动机器人跟随系统的实现方法如下：
1、开机后，控制软件目标装订功能自动根据人的特定手势录入跟随目标信息(包括但不限于在摄像头视野内用双手按特定手势指向目标，如图2)，装订完成后移动机器人给出反馈，包括但不限于LED闪烁、蜂鸣器鸣叫。控制软件根据移动机器人给出的反馈判断跟随目标的正确性。当跟随目标错误时，重复该步骤1，当跟随目标正确时，进入以下步骤2。
2、根据激光雷达、惯性导航单元、GPS等数据，利用SLAM软件构建地图并实时计算机器人自身位姿。
3、通过双目视觉采集目标信息，利用目标定位软件实时计算目标位姿。目标定位软件原理如图3所示：首先调用目标检测识别算法计算目标在图像坐标系中的位置(检测算法输出包含目标的方框四个顶点的坐标值，以方框中心点坐标值作为目标在图像坐标系中的位置)；然后，根据双目测量模型计算目标在世界坐标系中的位置；由于目标检测识别算法能够同时识别多个同类别物体，输出坐标值有多个，为了避免跟随目标错误，剔除与上一时刻目标位置差别过大的坐标值，只留下跟随目标的坐标值；最后，根据世界坐标系中目标历史位置和当前位置估计其当前姿态(例如，以T-1时刻和T时刻目标位置连线在世界坐标系中的方位角为目标姿态)。以目标当前在世界坐标系中的估计位置和姿态作为目标当前位姿指令。
4、根据目标位姿指令和移动机器人当前位姿，通过在控制软件路径规划算法中引入对动态目标的轨迹预测，计算全局最优路线，该路线自动实现对静态障碍的规避，同时，规避多数动态障碍物(动态目标轨迹预测实现方法包括但不限于：根据激光雷达和视觉等感知到动态障碍的信息，通过航迹推算对其位置进行预测)；然后，通过控制软件轨迹跟踪算法得到使移动机器人逼近全局最优路线的每个短周期内的线速度和角速度指令，在该过程中自动实现对所有动态障碍的规避；最后，控制软件将移动机器人的线速度和角速度指令分解为移动底盘每个轮子的指令，驱动移动机器人对目标进行跟随。
本发明的一个具体实施例，公开了一种移动机器人跟随系统。下文中，将参考图4对移动机器人跟随系统进行描述。
参考图4，移动机器人跟随系统包括：目标确定模块402，用于根据人的特定手势确定跟随目标信息；机器人定位模块404，用于根据激光雷达、惯性导航单元、GPS采集的数据，利用SLAM软件构建地图并实时计算移动机器人自身位姿；目标定位模块406，用于通过双目视觉模块采集的跟随目标信息实时计算目标位姿；以及控制模块408，用于根据目标位姿和移动机器人自身位姿计算全局最优路线以自动规避静态障碍，并基于全局最优路线提供线速度和角速度指令。
下文中，将以具体实例的方式对移动机器人跟随系统进行详细描述。
一种基于双目视觉的移动机器人跟随系统主要组成包括：移动底盘、惯性导航单元(IMU)、卫星导航单元(GPS)、激光雷达、双目视觉、计算模块和计算软件(控制软件、SLAM、目标定位等软件)，如图5所示。
移动底盘用于承载各种任务载荷，接收计算模块输出的线速度和角速度指令，并分解为底盘各轮电机指令，实现机器人移动。
惯性导航单元用于向SLAM软件或定位软件提供移动机器人加速度和角速度信息；卫星导航单元用于室外移动时向SLAM软件或定位软件提供移动机器人位置和速度信息；激光雷达用于测量环境点云信息，为控制软件、SLAM软件、定位软件等提供环境障碍物信息；双目视觉用于采集目标视频图像，为目标定位软件提供特征信息。
计算模块用于运行计算软件。控制软件用于完成目标装订、路径规划、路径跟踪(包括避障)等；SLAM软件用于完成实时定位；目标定位软件用于完成目标位置、姿态的实时计算。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、通过双目视觉确定目标位姿，不需要在目标上安装标签，可应用于非合作目标的跟随场合；
2、通过特定手势确定目标，不需要人机交互界面，从而提升操作便利性；
3、双目视觉目标定位算法中加入了对坐标值的筛选，避免视野中同时有多个目标时跟随出错；
4、通过路径规划和轨迹跟踪实现目标跟随，能够自动避障，可应用于动态环境目标跟随场合；
5、路径规划算法中加入了对动态障碍的轨迹预测，避免移动机器人在靠近动态障碍物时因重新规划路径导致的频繁停顿使移动底盘线速度和角速度指令更连续，提升跟随效率。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种移动机器人跟随方法，其特征在于，包括：
根据人的特定手势确定跟随目标信息；
通过激光雷达、惯性导航单元、GPS采集数据，根据所述数据利用SLAM软件构建地图并实时计算移动机器人自身位姿；
通过双目视觉模块采集所述跟随目标信息，根据所述跟随目标信息实时计算目标位姿；
根据所述目标位姿和所述移动机器人自身位姿计算全局最优路线以自动规避静态障碍，以及基于所述全局最优路线提供线速度和角速度指令，
其中，根据人的特定手势确定跟随目标信息进一步包括：在双目视觉模块的摄像头视野内用双手以所述特定手势指向目标；根据所述特定手势指向的目标确定跟随目标；以及在确定所述跟随目标后，所述移动机器人以LED闪烁、蜂鸣器鸣叫的方式给出反馈。
2.根据权利要求1所述的移动机器人跟随方法，其特征在于，
根据所述反馈判断所述跟随目标的正确性；以及
当所述跟随目标错误时，重复根据人的特定手势确定跟随目标信息。
3.根据权利要求1所述的移动机器人跟随方法，其特征在于，通过激光雷达、惯性导航单元、GPS采集数据进一步包括：
通过所述惯性导航单元向所述SLAM软件或定位软件提供移动机器人加速度和角速度信息；
通过所述GPS在室外移动时向所述SLAM软件或所述定位软件提供所述移动机器人位置和速度信息；以及
通过所述激光雷达测量环境点云信息以为控制模块、所述SLAM软件或所述定位软件提供环境障碍物信息。
4.根据权利要求1所述的移动机器人跟随方法，其特征在于，通过双目视觉模块采集所述跟随目标信息，根据所述跟随目标信息实时计算目标位姿进一步包括：
计算所述跟随目标的位置；
当在摄像头视野中存在与所述跟随目标同类别的多个物体时，去除干扰目标；以及
基于所述跟随目标的当前位置和先前位置计算目标位姿。
5.根据权利要求4所述的移动机器人跟随方法，其特征在于，计算所述跟随目标的位置进一步包括：
通过双目视觉模块采集连续的跟随目标信息；
通过目标检测识别模块计算所述跟随目标在图像坐标系中的位置；以及
根据所述跟随目标在图像坐标系中的位置计算所述跟随目标在世界坐标系中的位置。
6.根据权利要求5所述的移动机器人跟随方法，其特征在于，当在摄像头视野中存在与所述跟随目标同类别的多个物体时，去除干扰目标进一步包括：
当在摄像头视野中存在与所述跟随目标同类别的多个物体时，分别计算在所述世界坐标系中各个物体的当前时刻的位置和所述跟随目标的先前时刻的位置之间的差值；以及
当所述差值大于预定阈值时，将所述多个物体作为干扰目标被去除，其中，基于所述跟随目标的速度、所述移动机器人的速度以及控制周期设置所述预定阈值。
7.根据权利要求5所述的移动机器人跟随方法，其特征在于，基于所述跟随目标的当前位置和先前位置计算所述目标位姿进一步包括：
获取所述跟随目标在先前时刻和当前时刻之间的位置连线在所述世界坐标系中的方位角作为目标姿态；以及
将所述跟随目标在所述世界坐标系中的位置和所述目标姿态作为所述目标位姿。
8.根据权利要求1所述的移动机器人跟随方法，其特征在于，基于所述全局最优路线提供线速度和角速度指令进一步包括：
通过控制软件得到使所述移动机器人逼近所述全局最优路线的线速度和角速度；以及
将所述移动机器人的线速度和角速度指令分解为移动底盘的每个轮子的指令，以驱动所述移动机器人对所述跟随目标进行跟随。
9.一种移动机器人跟随系统，其特征在于，包括：
目标确定模块，用于根据人的特定手势确定跟随目标信息；
机器人定位模块，用于根据激光雷达、惯性导航单元、GPS采集的数据，利用SLAM软件构建地图并实时计算移动机器人自身位姿；
目标定位模块，用于通过双目视觉模块采集的所述跟随目标信息实时计算目标位姿；以及
控制模块，用于根据所述目标位姿和所述移动机器人自身位姿计算全局最优路线以自动规避静态障碍，并基于所述全局最优路线提供线速度和角速度指令，其中，
所述目标确定模块还用于在双目视觉模块的摄像头视野内用双手以所述特定手势指向目标；根据所述特定手势指向的目标确定跟随目标；以及在确定所述跟随目标后，所述移动机器人以LED闪烁、蜂鸣器鸣叫的方式给出反馈。
CN202010416725.4A 2020-05-15 2020-05-15 移动机器人跟随方法和系统 Active CN113741550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010416725.4A CN113741550B (zh) 2020-05-15 2020-05-15 移动机器人跟随方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010416725.4A CN113741550B (zh) 2020-05-15 2020-05-15 移动机器人跟随方法和系统

Publications (2)

Publication Number Publication Date
CN113741550A CN113741550A (zh) 2021-12-03
CN113741550B true CN113741550B (zh) 2024-02-02

Family

ID=78723580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010416725.4A Active CN113741550B (zh) 2020-05-15 2020-05-15 移动机器人跟随方法和系统

Country Status (1)

Country Link
CN (1) CN113741550B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494882A (zh) * 2022-10-20 2022-12-20 泉州装备制造研究所 基于电磁定位的移动机器人跟随方法、装置及可读介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105364915A (zh) * 2015-12-11 2016-03-02 齐鲁工业大学 基于三维机器视觉的智能家庭服务机器人
CN105636542A (zh) * 2013-10-01 2016-06-01 Abb高姆技术有限责任公司 借助手势控制来控制机器人系统的控制装置和方法
CN105955251A (zh) * 2016-03-11 2016-09-21 北京克路德人工智能科技有限公司 一种机器人的视觉跟随控制方法及机器人
CN106502418A (zh) * 2016-11-09 2017-03-15 南京阿凡达机器人科技有限公司 一种基于单目手势识别的视觉跟随方法
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN107813310A (zh) * 2017-11-22 2018-03-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN108304834A (zh) * 2018-02-27 2018-07-20 弗徕威智能机器人科技（上海）有限公司 一种物体跟随方法
CN108614563A (zh) * 2018-06-12 2018-10-02 北京康力优蓝机器人科技有限公司 一种通过定位导航实现移动机器人目标跟随的方法
CN109947119A (zh) * 2019-04-23 2019-06-28 东北大学 一种基于多传感器融合的移动机器人自主跟随系统及方法
CN110103237A (zh) * 2019-05-13 2019-08-09 湖北经济学院 基于视觉目标跟踪的跟随型伙伴机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001780B2 (en) * 2016-11-02 2018-06-19 Brain Corporation Systems and methods for dynamic route planning in autonomous navigation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105636542A (zh) * 2013-10-01 2016-06-01 Abb高姆技术有限责任公司 借助手势控制来控制机器人系统的控制装置和方法
CN105364915A (zh) * 2015-12-11 2016-03-02 齐鲁工业大学 基于三维机器视觉的智能家庭服务机器人
CN105955251A (zh) * 2016-03-11 2016-09-21 北京克路德人工智能科技有限公司 一种机器人的视觉跟随控制方法及机器人
CN106502418A (zh) * 2016-11-09 2017-03-15 南京阿凡达机器人科技有限公司 一种基于单目手势识别的视觉跟随方法
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN107813310A (zh) * 2017-11-22 2018-03-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN108304834A (zh) * 2018-02-27 2018-07-20 弗徕威智能机器人科技（上海）有限公司 一种物体跟随方法
CN108614563A (zh) * 2018-06-12 2018-10-02 北京康力优蓝机器人科技有限公司 一种通过定位导航实现移动机器人目标跟随的方法
CN109947119A (zh) * 2019-04-23 2019-06-28 东北大学 一种基于多传感器融合的移动机器人自主跟随系统及方法
CN110103237A (zh) * 2019-05-13 2019-08-09 湖北经济学院 基于视觉目标跟踪的跟随型伙伴机器人

Also Published As

Publication number Publication date
CN113741550A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Badue et al. Self-driving cars: A survey
Martin-Martin et al. Jrdb: A dataset and benchmark of egocentric robot visual perception of humans in built environments
CN108983781B (zh) 一种无人车目标搜索系统中的环境探测方法
US10192113B1 (en) Quadocular sensor design in autonomous platforms
CN110675307B (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
Fulgenzi et al. Probabilistic navigation in dynamic environment using rapidly-exploring random trees and gaussian processes
AU2019235504B2 (en) Enhanced vehicle tracking
US10849543B2 (en) Focus-based tagging of sensor data
CN102411368B (zh) 机器人的主动视觉人脸跟踪方法和跟踪系统
CN110362083B (zh) 一种基于多目标跟踪预测的时空地图下自主导航方法
CN110645974A (zh) 一种融合多传感器的移动机器人室内地图构建方法
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN113238554A (zh) 一种基于激光与视觉融合slam技术的室内导航方法及系统
Niedoba et al. Improving movement prediction of traffic actors using off-road loss and bias mitigation
Meng et al. Loop-closure detection with a multiresolution point cloud histogram mode in lidar odometry and mapping for intelligent vehicles
CN116576857A (zh) 一种基于单线激光雷达的多障碍物预测导航避障方法
Cardarelli et al. Multisensor data fusion for obstacle detection in automated factory logistics
CN115857504A (zh) 基于dwa的机器人在狭窄环境局部路径规划方法、设备和存储介质
CN113741550B (zh) 移动机器人跟随方法和系统
Santos et al. Tracking of multi-obstacles with laser range data for autonomous vehicles
CN114815851A (zh) 机器人跟随方法、装置、电子设备以及存储介质
Berlin Spirit of berlin: An autonomous car for the DARPA urban challenge hardware and software architecture
Deusch Random finite set-based localization and SLAM for highly automated vehicles
Joshi et al. Joint probabilistic modeling and inference of intersection structure
Langer et al. A reactive system for off-road navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant