CN113589685A - 一种基于深度神经网络的挪车机器人控制系统及其方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的挪车机器人控制系统及其方法，其针对挪车机器人运动控制场合，用于控制其准确且快速地到达指定车辆底盘中心位置。所述控制方法首先建立挪车机器人控制系统与差速运动模型，然后建立地图模型与规划路径，并采用pure‑pursuit跟踪路径到达车辆底盘下方，之后采集RGB相机与二维激光雷达获取图像与点云信息，根据所述车辆中心定位网络输出准确的中心位置坐标，应用差速PID点到点位置跟踪算法控制机器人到达指定位置，从而实现挪车机器人的准确定位。

Description

一种基于深度神经网络的挪车机器人控制系统及其方法

技术领域

本发明涉及机器人底盘运动控制领域，特别是一种基于深度神经网络的挪车机器人控制系统及其方法。

背景技术

随着社会的发展，人们生活水平的不断上升，汽车的数量也在一直上升，而车辆的乱停乱放成为近些年来日益严重的问题。车辆的乱停乱放会带来许多问题，堵塞交通、消防通道或影响社会紧急事件，为有效解决该现象，许多社会机构发明了一款用于挪车的机器人，而该类机器人的运动控制是成功挪车的关键，其中的关键点在于如何准确到达车辆正中心位置，从而实现挪车。随着深度学习理论的发展，已被广泛应用于目标识别、人脸识别、运动目标检测与风格迁移等各个领域中，本发明结合深度神经网络善于检测图像特征的优点，提出了一种用于控制挪车机器人准确到达车辆中心的运动控制方法。

发明内容

针对现有技术中存在的问题，本发明提供了一种实现挪车机器人的准确定位、控制其准确且快速地到达指定车辆底盘中心位置的基于深度神经网络的挪车机器人控制系统及其方法。

本发明的目的通过以下技术方案实现。

一种基于深度神经网络的挪车机器人控制系统，包括单片机和工控机，所述单片机与工控机双向连接，所述单片机分别与行走电机和回转与抬升电机双向连接，所述工控机分别与 RGB彩色相机、超声波传感器、遥控器和激光雷达双向连接。

进一步的，以工控机与单片机作为整个系统的主控部分，采用激光雷达与RGB彩色相机感知外界信息。单片机作为机器人的动力控制器，工控机处理各传感器数据，运行相应算法，并通过串口与单片机发送和接收数据，互相协同工作，完成对应的任务。

一种基于深度神经网络的挪车机器人控制方法，步骤包括：

1)根据挪车机器人实现功能，建立机器人整体控制系统与机器人运动数学模型；

2)基于机器人操作系统中Move_base软件包，采集二维激光雷达点云信息，规划机器人到车辆的路径，并采用pure-pursuit算法跟踪路径，实现机器人导航功能；

3)机器人到达车辆下方后，采集RGB相机彩色图像与激光雷达点云信息，通过车辆中心提取神经网络，获取车辆正中心的坐标信息；

4)根据车辆中心坐标信息，采取点对点PID算法控制机器人准确到达车辆下方正中心位置。

进一步的，所述挪车机器人使用差速履带式底盘，建立其运动学模型表示为

式中，x,y为大地坐标系下的机器人坐标，θ为机器人姿态角，v_l为左轮速度，v_r为右轮速度， l为左右轮间距。

进一步的，所述机器人导航功能基于机器人操作系统中Move_base软件包，采用pure-pursuit算法跟踪路径，所述机器人导航功能首先采用gmapping包构建二维地图，然后基于蒙特卡洛定位方法估计机器人在二维地图中的位置和姿态，并通过A※算法进行全局路径规划与本地实时规划，最后采用pure-pursuit算法跟踪路径，所述pure-pursuit算法是一种用几何关系确定曲率的方法，该曲率将驱动车辆到达选定的路径点，即为目标点，该目标点是轨迹上与当前车辆位置偏离一个视距l_d的点；假设车辆中心点可以按照一定的转弯半径r 行驶抵达该预瞄点，然后根据l_d，转弯半径r，车辆坐标系下预瞄点的朝向角α之间的几何关系来确定前轮转角；根据上述几何关系，得出底盘瞬时曲率

根据该曲率，将底盘中心速度分解为两轮速度，从而使底盘实时跟踪路径，到达车辆下方位置。

进一步的，所述车辆中心提取神经网络采用卷积神经网络提取RGB彩色图像与点云特征信息，输出车辆正中心位置坐标；所述车辆中心提取神经网络输入二维点云彩色图像信息，经过卷积层提取特征，检测图片中轮胎所在位置，输出轮胎瞄框在图像上的坐标，并结合激光雷达雷达点云信息，将提取轮胎图像坐标与点云输入全连接层，训练网络，从而输出车辆中心坐标。

进一步的，所述点对点PID算法准确控制机器人运动到车辆正中心位置，所述点对点PID 算法以传统单输入单输出PID控制算法为基础，控制机器人由当前点移动到指定目标点，其核心是令机器人在控制器作用下持续地朝向目标点运动，针对差速移动底盘二输入三输出的数学模型，底盘实时位姿为[x_t,y_t,θ_t]，目标位置为[x_G,y_G,θ_G]，设定机器与目标点间实时的距离差为

式中e₁为输入为距离差，输出为线速度v_c，即距离决定速度，距离远速度大，距离近速度小；设定实时角度差为

式中e₂为输入为离差，输出为角速度ω_c，即偏角误差决定转速，正偏左转，负偏右转；偏多转快，偏少转慢，根据上述公式得出底盘中心线速度与角速度后，根据运动学模型，解出所需的左右轮转速，控制底盘跟踪相应轨迹。

相比于现有技术，本发明的优点在于：本发明提出了一种基于深度神经网络的挪车机器人控制方法，其针对挪车机器人运动控制场合，用于控制其准确且快速地到达指定车辆底盘中心位置。挪车机器人是否成功将车辆抬起而不出现偏移等事故，关键在于车辆底盘中心位置的提取，本发明基于目前流行的卷积神经网络，利用其善于提取图像特征的优点，结合激光雷达准确的点云数据识别各种不同类型车辆的中心位置，然后采用一种差速PID点到点位置跟踪算法实现精确控制，从而实现挪车机器人的准确定位。

附图说明

图1是挪车机器人整体控制系统。

图2是挪车机器人差速运动模型。

图3是基于深度神经网络的挪车机器人控制方法流程示意图。

图4是pure-pursuit跟踪算法示意图。

图5是车辆中心提取网络示意图。

图6是点对点PID控制算法示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。为了使本技术领域的人员更好地理解本申请中的技术方案，下面对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

首先根据挪车机器人实现功能，建立机器人整体控制系统与机器人运动数学模型。机器人整体控制系统如图1，包括单片机和工控机，所述单片机与工控机双向连接，所述单片机分别与行走电机和回转与抬升电机双向连接，所述工控机分别与RGB彩色相机、超声波传感器、遥控器和激光雷达双向连接。挪车机器人整体控制系统以工控机与单片机作为整个系统的主控部分，采用激光雷达与RGB彩色相机感知外界信息。单片机作为机器人的动力控制器，工控机处理各传感器数据，运行相应算法，并通过串口与单片机发送和接收数据，互相协同工作，完成对应的任务。所述挪车机器人使用差速履带式底盘，建立其运动学模型可以表示为

式中，x,y为大地坐标系下的机器人坐标，θ为机器人姿态角，v_l为左轮速度，v_r为右轮速度， l为左右轮间距。其运动模型示意为图2。

基于上述控制系统与运动学模型，建立挪车机器人控制方法流程如图3。机器人首先采集二维激光雷达点云信息，然后采用Move_base中gmapping软件包建立地图模型，然后基于蒙特卡洛定位方法估计机器人在二维地图中的位置和姿态，最后基于A※算法进行全局路径规划与本地实时规划，从而规划靠近汽车底盘的最优路径。在获取最最优路径后，用pure-pursuit算法跟踪路径，pure-pursuit跟踪算法是一种用几何关系确定曲率的方法，该曲率将驱动车辆到达选定的路径点(称为目标点)。该目标点是轨迹上与当前车辆位置偏离一个视距l_d的点。假设车辆中心点可以按照一定的转弯半径r行驶抵达该预瞄点，然后根据l_d，转弯半径r，车辆坐标系下预瞄点的朝向角α之间的几何关系来确定前轮转角。根据上述几何关系，可以得出底盘瞬时曲率

根据该曲率，将底盘中心速度分解为两轮速度，从而使底盘实时跟踪路径，到达车辆下方位置。如图4所示，从而到达车辆底盘下方位置。

而在到达车辆下方后，机器人会采集RGB相机彩色图像与激光雷达点云信息，将其输入车辆中心提取网络，如图5所示。图像经过卷积层提取特征，检测图片中轮胎所在位置，输出轮胎瞄框在图像上的坐标，并结合雷达点云信息，提取轮胎位置坐标输入全连接层，从而输出车辆中心坐标。之后根据车辆中心坐标信息，采取点对点PID算法控制机器人准确到达车辆下方正中心位置，如图6。所述点对点PID算法以传统单输入单输出PID控制算法为基础，控制机器人由当前点移动到指定目标点，其核心是令机器人在控制器作用下持续地朝向目标点运动，针对差速移动底盘二输入三输出的数学模型，底盘实时位姿为[x_t,y_t,θ_t]，目标位置为[x_G,y_G,θ_G]，设定机器与目标点间实时的距离差为

式中e₁为输入为距离差，输出为线速度v_c，即距离决定速度，距离远速度大，距离近速度小。

设定实时角度差为

式中e₂为输入为离差，输出为角速度ω_c，即偏角误差决定转速，正偏左转，负偏右转；偏多转快，偏少转慢。从而根据上述公式得出底盘中心线速度与角速度后，根据运动学模型，解出所需的左右轮转速，从而控制底盘跟踪相应轨迹。

本实例基于目前流行的卷积神经网络，利用其善于提取图像特征的优点，结合激光雷达准确的点云数据识别各种不同类型车辆的中心位置，然后采用一种差速PID点到点位置跟踪算法实现精确控制，从而实现挪车机器人的准确定位。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于深度神经网络的挪车机器人控制系统，其特征在于包括单片机和工控机，所述单片机与工控机双向连接，所述单片机分别与行走电机和回转与抬升电机双向连接，所述工控机分别与RGB彩色相机、超声波传感器、遥控器和激光雷达双向连接。

2.根据权利要求1所述的一种基于深度神经网络的挪车机器人控制系统，其特征在于以工控机与单片机作为整个系统的主控部分，采用激光雷达与RGB彩色相机感知外界信息。单片机作为机器人的动力控制器，工控机处理各传感器数据，运行相应算法，并通过串口与单片机发送和接收数据，互相协同工作，完成对应的任务。

3.一种基于深度神经网络的挪车机器人控制方法，其特征在于步骤包括：

1)根据挪车机器人实现功能，建立机器人整体控制系统与机器人运动数学模型；

2)基于机器人操作系统中Move_base软件包，采集二维激光雷达点云信息，规划机器人到车辆的路径，并采用pure-pursuit算法跟踪路径，实现机器人导航功能；

3)机器人到达车辆下方后，采集RGB相机彩色图像与激光雷达点云信息，通过车辆中心提取神经网络，获取车辆正中心的坐标信息；

4)根据车辆中心坐标信息，采取点对点PID算法控制机器人准确到达车辆下方正中心位置。

4.根据权利要求3所述的一种基于深度神经网络的挪车机器人控制方法，其特征在于，所述挪车机器人使用差速履带式底盘，建立其运动学模型表示为

式中，x,y为大地坐标系下的机器人坐标，θ为机器人姿态角，v_l为左轮速度，v_r为右轮速度，l为左右轮间距。

5.根据权利要求3所述的一种基于深度神经网络的挪车机器人控制方法，其特征在于，所述机器人导航功能基于机器人操作系统中Move_base软件包，采用pure-pursuit算法跟踪路径，所述机器人导航功能首先采用gmapping包构建二维地图，然后基于蒙特卡洛定位方法估计机器人在二维地图中的位置和姿态，并通过A※算法进行全局路径规划与本地实时规划，最后采用pure-pursuit算法跟踪路径，所述pure-pursuit算法是一种用几何关系确定曲率的方法，该曲率将驱动车辆到达选定的路径点，即为目标点，该目标点是轨迹上与当前车辆位置偏离一个视距l_d的点；假设车辆中心点可以按照一定的转弯半径r行驶抵达该预瞄点，然后根据l_d，转弯半径r，车辆坐标系下预瞄点的朝向角α之间的几何关系来确定前轮转角；根据上述几何关系，得出底盘瞬时曲率

根据该曲率，将底盘中心速度分解为两轮速度，从而使底盘实时跟踪路径，到达车辆下方位置。

6.根据权利要求3所述的一种基于深度神经网络的挪车机器人控制方法，其特征在于，所述车辆中心提取神经网络采用卷积神经网络提取RGB彩色图像与点云特征信息，输出车辆正中心位置坐标；所述车辆中心提取神经网络输入二维点云彩色图像信息，经过卷积层提取特征，检测图片中轮胎所在位置，输出轮胎瞄框在图像上的坐标，并结合激光雷达雷达点云信息，将提取轮胎图像坐标与点云输入全连接层，训练网络，从而输出车辆中心坐标。

7.根据权利要求3所述的一种基于深度神经网络的挪车机器人控制方法，其特征在于，所述点对点PID算法准确控制机器人运动到车辆正中心位置，所述点对点PID算法以传统单输入单输出PID控制算法为基础，控制机器人由当前点移动到指定目标点，其核心是令机器人在控制器作用下持续地朝向目标点运动，针对差速移动底盘二输入三输出的数学模型，底盘实时位姿为[x_t,y_t,θ_t]，目标位置为[x_G,y_G,θ_G]，设定机器与目标点间实时的距离差为

式中e₁为输入为距离差，输出为线速度v_c，即距离决定速度，距离远速度大，距离近速度小；设定实时角度差为

式中e₂为输入为离差，输出为角速度ω_c，即偏角误差决定转速，正偏左转，负偏右转；偏多转快，偏少转慢，根据上述公式得出底盘中心线速度与角速度后，根据运动学模型，解出所需的左右轮转速，控制底盘跟踪相应轨迹。

Images