CN116578088B - 室外自主移动机器人连续轨迹生成方法及系统 - Google Patents

室外自主移动机器人连续轨迹生成方法及系统 Download PDF

Info

Publication number
CN116578088B
CN116578088B CN202310490781.6A CN202310490781A CN116578088B CN 116578088 B CN116578088 B CN 116578088B CN 202310490781 A CN202310490781 A CN 202310490781A CN 116578088 B CN116578088 B CN 116578088B
Authority
CN
China
Prior art keywords
track
map
robot
network
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310490781.6A
Other languages
English (en)
Other versions
CN116578088A (zh
Inventor
王越
王云凯
张冬堃
熊蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310490781.6A priority Critical patent/CN116578088B/zh
Publication of CN116578088A publication Critical patent/CN116578088A/zh
Application granted granted Critical
Publication of CN116578088B publication Critical patent/CN116578088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种室外自主移动机器人连续轨迹生成方法，属于机器人智能控制领域。本发明首先利用多帧激光雷达点云，利用神经网络提取点云中的障碍物信息，用于学习生成避障轨迹；其次，利用定位和离线规划好的地图生成当前局部拓扑地图，利用神经网络提取驾驶意图，用于在路口等情况下生成正确驾驶意图的轨迹；上述特征融合后，根据机器人当前动力学参数，利用轨迹生成网络生成轨迹参数，最后结合查询时间序列得到完整轨迹。本发明提出的方法基于数据驱动生产轨迹，且相对于传统轨迹生成方法而言，所生成的轨迹更加光滑，精度更高。

Description

室外自主移动机器人连续轨迹生成方法及系统
技术领域
本发明属于机器人智能控制领域，尤其涉及一种室外自主移动机器人连续轨迹生成方法。
背景技术
室外自主移动机器人是近年来热门的研究方向，随之带来的无人车货物配送、无人驾驶等应用，可以极大地降低人力成本，减少交通事故的发生，提高人们生活质量。在室外自主移动机器人系统中，机器人需要感知和理解环境，并利用这些信息进行决策规划，生成安全可行的运动轨迹，最后利用控制器得到机器人控制指令输出。然而，由于环境复杂性、时变性、动态性等因素，室外自主移动机器人系统面临许多挑战。
目前实现室外自主移动的主流方法包括传统方法和深度学习方法。传统算法解决方案需要涉及建图、定位、规划决策、控制等多个模块，每个模块需要大量的人工设计、调参，并且很难适应多个复杂变换的环境。传统算法的多模块流水线结构还会带来累积误差，从而导致算法执行错误的决策。基于规则的驾驶决策设计也很难穷举遇到的所有情况。近几年蓬勃发展的深度学习方法可以将感知、规划、控制等过程集成起来，利用数据驱动模型的训练，使得该方法拥有更强的泛化能力和智能性，也成为未来研究的重点。研究者们首先提出来的端到端控制方法，即学习从传感器原始数据到控制输入的映射。端到端学习的方法虽然能实现一些简单的驾驶任务，但是通常模型可解释性差、泛化能力差，因此，目前研究者提出的很多基于学习的驾驶方法是模块化设计的。然而，利用基于学习的方法同时学习耦合的环境信息、驾驶意图和系统动态性从而实现人类级别的驾驶能力依然存在许多挑战。
基于学习方法的视觉导航和规划主要难点在于，既要考虑环境的感知，包括在有遮挡情况、不同光照、不同季节下的静态和动态障碍物的感知，又要考虑自身与其他智能体的交互，包括保持一定的安全距离和特定的社交规则，还要考虑自动运动的动态特性，规划出合理可行的运动轨迹。目前主流的基于学习的轨迹生成方法，大多得到的是离散轨迹，并且模型忽略了位置、速度、朝向等物理量之间的内在联系，从而使得控制精度降低或者模型输出维度提高。
发明内容
本发明的目的在于解决现有技术中移动机器人生产连续轨迹存在的问题，并提供一种室外自主移动机器人连续轨迹生成方法，使室外自主移动机器人能够根据感知实现端到端轨迹生成。
本发明所采用的具体技术方案如下：
第一方面，本发明提供了一种室外自主移动机器人连续轨迹生成方法，其包括：
S1：针对机器人移动过程中获取的多帧激光雷达点云，将每帧激光雷达点云三维栅格化为多通道的灰度图，并通过栅格值记录栅格内是否存在障碍物；利用第一卷积神经网络(CNN)提取每张灰度图的特征，再将所有灰度图的特征按序拼接后输入到循环神经网络(RNN)中，提取点云特征；
S2：利用机器人自身定位和离线规划好的拓扑地图生成以机器人当前位置为中心的当前局部拓扑地图，并将当前局部拓扑地图输入第二卷积神经网络中，提取地图特征；
S3：将所述点云特征和所述地图特征进行拼接，并输入全连接网络中进行融合，得到轨迹特征；
S4：将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹。
作为上述第一方面的优选，所述S1中，将每帧激光雷达点云三维栅格化为多通道的灰度图的方法为：
针对每帧激光雷达点云，对点云的xyz三个维度按照预设的范围和精度进行三维栅格化，把水平方向的x和y维度分别作为灰度图的长和宽维度，把高度方向的z维度作为灰度图的通道维度，若栅格内存在障碍物则设灰度图中的栅格值为数值1，不存在障碍物则设灰度图中的栅格值为数值0，从而将激光雷达点云转换为一张多通道的灰度图。
作为上述第一方面的优选，所述第一卷积神经网络采用ResNet18骨架网络；所述循环神经网络采用单层的LSTM循环神经网络。
作为上述第一方面的优选，所述S2中，当前局部拓扑地图的生成方法如下：
首先在离线地图上根据出发点和目的地规划移动机器人的移动路线，并在地图上标注移动路线后，作为规划后的离线拓扑地图；再根据包括位置和朝向在内的移动机器人当前定位信息，从离线拓扑地图上以移动机器人当前所在位置为中心，按照预设大小裁剪出一张当前局部拓扑地图，且地图的朝向为移动机器人当前的朝向。
作为上述第一方面的优选，所述第二卷积神经网络采用ResNet18骨架网络。
作为上述第一方面的优选，所述S4的具体实现方法如下：
S4：将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹。
S41：将所述轨迹特征与机器人当前的动力学参数拼接，所述动力学参数包括速度和/或角速度信息；
S42：将拼接结果输入由多层全连接网络组成的轨迹生成网络中，其中最后一层全连接网络的输出不设置激活函数，倒数第二层全连接网络采用正弦激活函数进行输出，其余层的全连接网络均采用Leaky ReLU激活函数进行输出，轨迹生成网络最终输出轨迹方程的每个参数估计值，从而得到该参数下的连续可微的轨迹方程；
S43：根据查询时间序列，基于轨迹方程以及其微分方程，得到查询时间序列中每个查询时间对应的轨迹点和其他高阶物理量，从而生成移动机器人的连续轨迹；所述高阶物理量包括速度、加速度、角速度、曲率中的一种或多种。
作为上述第一方面的优选，所述S1～S4构成的方法框架中，各网络层的可学习参数需预先在训练阶段进行优化，且训练阶段以轨迹点和高阶物理量作为监督标签构建总损失函数；所述高阶物理量优选为速度和加速度。
第二方面，本发明提供了一种室外自主移动机器人连续轨迹生成系统，其包括：
点云特征提取模块，用于针对机器人移动过程中获取的多帧激光雷达点云，将每帧激光雷达点云三维栅格化为多通道的灰度图，并通过栅格值记录栅格内是否存在障碍物；利用第一卷积神经网络(CNN)提取每张灰度图的特征，再将所有灰度图的特征按序拼接后输入到循环神经网络(RNN)中，提取点云特征；
地图特征提取模块，用于利用机器人自身定位和离线规划好的拓扑地图生成以机器人当前位置为中心的当前局部拓扑地图，并将当前局部拓扑地图输入第二卷积神经网络中，提取地图特征；
特征融合模块，用于将所述点云特征和所述地图特征进行拼接，并输入全连接网络中进行融合，得到轨迹特征；
轨迹生成模块，用于将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹。
第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面任一方案所述的室外自主移动机器人连续轨迹生成方法。
第三方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面任一方案所述的室外自主移动机器人连续轨迹生成方法。
本发明相对于现有技术而言，具有以下有益效果：
1)相对于传统轨迹生成方法需要人工编写轨迹生成代码，本发明所提出的方法可以利用数据驱动的方式端到端生成轨迹；
2)相对于用端到端方法生成的离散轨迹点精度低、高阶物理量无法同时输出的缺点，本发明所提出的方法能够端到端生成连续可微的轨迹，可以得到任意时刻的轨迹点和其高阶物理量，例如速度、加速度、角速度、曲率等；
3)相对于用端到端方法生成的离散轨迹点，本发明提出的方法可以用任意采样时刻的轨迹点数据和任意高阶物理量进行监督训练，所生成的轨迹更加光滑，精度更高；
附图说明
图1为本发明实施例中室外自主移动机器人连续轨迹生成方法步骤示意图。
图2为本发明实施例中室外自主移动机器人连续轨迹生成方法的流程图。
图3为本发明实施例中室外自主移动机器人连续轨迹生成系统模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本发明的发明构思如下：首先利用多帧激光雷达点云，利用神经网络提取点云中的障碍物信息，用于学习生成避障轨迹；其次，利用定位和离线规划好的地图生成当前局部拓扑地图，利用神经网络提取驾驶意图，用于在路口等情况下生成正确驾驶意图的轨迹；在对上述两步得到的特征进行融合后，根据机器人当前动力学参数，利用轨迹生成网络生成轨迹参数，最后结合查询时间序列得到完整轨迹。在网络训练过程中，利用神经网络可微分的特性，用轨迹对查询时间求微分，可以得到速度信息，再次求微分可以得到加速度信息，由此可以计算得到角速度、曲率等高阶信息。而且在监督训练过程中，除了利用任意查询时刻对应的位置作为监督数据外，还可以利用任意查询时刻对应的速度、加速度、角速度、曲率等高阶物理量进行监督。
需要说明的是，本发明中的移动机器人可以是任意形式的可移动的机器人，例如无人驾驶车辆、轮式机器人等。
如图1所示，在本发明的一个较佳实施例中，提供了一种室外自主移动机器人连续轨迹生成方法，其包括：
S1：针对机器人移动过程中获取的多帧激光雷达点云，将每帧激光雷达点云三维栅格化为多通道的灰度图，并通过栅格值记录栅格内是否存在障碍物；利用第一卷积神经网络(CNN)提取每张灰度图的特征，再将所有灰度图的特征按序拼接后输入到循环神经网络(RNN)中，提取点云特征。
在本发明的实施例中，上述S1步骤的激光雷达点云的特征提取环节，在获取激光雷达点云后，对点云的xyz三个维度按照一定范围、一定精度进行三维栅格化，把水平方向的xy维度作为灰度图像的长和宽维度，把高度方向的z维度作为灰度图像的通道维度，若栅格内存在障碍物则设灰度图中的栅格值为数值1，不存在障碍物则设灰度图中的栅格值为数值0，从而将每帧激光雷达点云转换为一张多通道的灰度图。然后利用卷积神经网络(CNN)提取单张图的特征，再拼接连续多帧图像的特征，输入到循环神经网络(RNN)中提取动态信息。
在本发明的实施例中，上述第一卷积神经网络优选采用ResNet18骨架网络，而上述循环神经网络优选采用单层的LSTM循环神经网络。
S2：利用机器人自身定位和离线规划好的拓扑地图生成以机器人当前位置为中心的当前局部拓扑地图，并将当前局部拓扑地图输入第二卷积神经网络中，提取地图特征。
在本发明的实施例中，上述S2步骤的地图特征提取环节，首先在离线地图上，根据出发点和目的地规划好移动机器人的移动路线，并在地图上用特定颜色的线标注出来，作为规划后的离线拓扑地图。再根据机器人定位信息，包括位置、朝向信息，从离线拓扑地图上按照一定大小裁剪出当前局部拓扑地图，地图的朝向为机器人当前的朝向。局部拓扑地图输入地图特征提取的卷积神经网络中，提取地图特征。
在本发明的实施例中，上述第二卷积神经网络采用ResNet18骨架网络。
S3：将所述点云特征和所述地图特征进行拼接，并输入全连接网络中进行融合，得到轨迹特征。
在本发明的实施例中，上述S2步骤的特征融合环节，将点云特征与地图特征拼接，再输入到一个全连接网络中进行融合，得到轨迹特征z。
S4：将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹。
在本发明的实施例中，上述S4步骤的轨迹生成环节，用于拼接的动力学参数d可以是速度或角速度等信息，首先将上述融合后的特征和车辆当前的动力学参数拼接，再输入到轨迹生成网络F中。其中，轨迹生成网络F由多层全连接网络构成，最后一层全连接网络的输出没有激活函数，而最后第二层的全连接网络输出后用正弦sin激活函数。sin激活函数让网络能够更好学习到模型中的高频信息，并且多次对网络求导数后梯度不会消失。轨迹生成网络F中其余层的激活函数都为Leaky ReLU。轨迹生成网络的输出是轨迹方程的参数估计值，参数个数与轨迹方程的参数个数相同。根据查询时间序列，基于轨迹方程以及其微分方程，得到查询时间序列中每个查询时间对应的轨迹点和其他高阶物理量，从而生成移动机器人的连续轨迹。具体而言，在得到轨迹方程的参数后，可先结合查询时间序列t，获得对应的轨迹点序列x(t)。只要查询时间序列t中的时间是连续的，则对应的轨迹点序列x(t)可表达为连续可微的轨迹形式，其方程表达式为：
x(t)＝F(z,d,t)
其他高阶物理量可根据实际的需求进行选择，包括速度、加速度、角速度、曲率中的一种或多种。例如，用轨迹x(t)对查询时间求微分t，可以得到速度信息v(t)，再次求微分可以得到加速度信息a(t)：
由此可以进一步计算得到角速度、曲率等高阶信息，最终得到的轨迹可以包含以上信息。
上述步骤S1～S4构成了本发明的的室外自主移动机器人连续轨迹生成框架，该框架中包含了用于实际推理之前需要进行训练的多个神经网络，包括第一卷积神经网络、循环神经网络、第二卷积神经网络、特征融合的全连接网络以及轨迹生成网络，各网络层的可学习参数需预先在训练阶段进行优化。神经网络的训练属于现有技术，其中轨迹点需要作为总损失函数的监督标签。同时，除了利用任意查询时刻对应的位置作为监督数据外，还可以利用任意查询时刻对应的速度、加速度、角速度、曲率等任意一项或者多项高阶物理量进行监督。例如，假如使用速度、加速度作为高阶的监督，最后训练的总损失函数L为：
其中L2为L2损失函数，λ1和λ2可调节的系数。
下面通过一个实施例来进一步展示本发明上述S1～S4所示室外自主移动机器人连续轨迹生成方法的具体实现，该实施例中移动机器人采用为车辆形式。
实施例
本实施例提出一种室外自主移动机器人连续轨迹生成方法，该方法的流程图如图2所示。该方法包括以下步骤：
步骤1、激光雷达点云的特征提取：
在获取激光雷达点云后，对点云的xyz三个维度按照以车中心为原点，把水平xy维度作为图像的长和宽维度，前后左右各30米范围，0.2米×0.2米一个正方形网格栅格化。把高度z方向的维度作为图像的通道维度，高度方向从地面0米竖直向上2米范围，0.2米精度栅格化。该方法最终得到了300×300×10的三维栅格，栅格内存在激光点为数值1，不存在障碍物为数值0，得到一张10通道的300×300分辨率的灰度图。然后利用ResNet18骨架网络，调整输入的分辨率和输出的特征维度后，提取单张图的128维特征，再拼接连续10帧图像的特征，将其依次输入到单层的LSTM循环神经网络中提取动态信息，最后得到128维的点云特征。
步骤2、地图特征提取：
首先在离线地图上，根据出发点和目的地规划好路线，并在地图上用特定颜色的线标注出来，作为规划后的离线拓扑地图。再根据车辆定位信息，包括位置、朝向信息，从离线拓扑地图上按照前后左右各30米的大小裁剪出当前局部拓扑地图，地图的朝向为车当前的朝向，最终得到的局部拓扑地图为300×300×3的RGB图片。局部拓扑地图输入所述的地图特征提取的卷积神经网络中，使用ResNet18骨架网络，调整输入的分辨率和输出的特征维度后，提取128维的地图特征。
步骤3、特征融合：
将128维点云特征与128维地图特征拼接成256维，再输入到一个小的全连接网络中进行融合，例如网络为3层全连接层，最后输出得到128维的轨迹特征z。
步骤4、轨迹生成：
获取动力学参数d，动力学参数d包含当前车当前的横向和纵向的速度。首先将上述融合后的128维特征z和车辆当前的2维动力学参数d拼接成130维特征，再输入到轨迹生成网络F中。本实施例中，轨迹生成网络F由5层全连接网络构成，最后一层全连接网络的输出没有激活函数，而最后第二层的全连接网络输出后用正弦sin激活函数。其余层的激活函数都为Leaky ReLU。轨迹生成网络的输出是轨迹参数方程的各参数。本实施例中，轨迹方程是5次多项式曲线，横向纵向的起始点都是0，横向纵向的初速度为已知的动力学参数d，网络输出的参数是曲线横向纵向的2次、3次、4次和5次项的系数，因此输出维度是8维。在得到轨迹的参数后，结合查询时间序列t，获得对应的连续可微的轨迹点序列x(t)。最终轨迹表达式为：
x(t)＝F(z,d,t)
用轨迹x(t)对查询时间求微分t，可以得到速度信息v(t)，再次求微分可以得到加速度信息a(t)：
由此可以进一步计算得到角速度、曲率等高阶信息，最终得到的轨迹可以包含以上信息。
上述框架的训练环节中，除了轨迹点位置之外，本实施例可使用速度、加速度作为高阶的监督，因此最后训练的损失函数L为：
其中L2()为L2损失函数，λ1＝0.2和λ2＝0.05为可调节的系数。训练使用Adam优化器，学习率为0.003，每次抽样的轨迹数量是64，每条轨迹随机采样0～3秒内的任意一个时间点的横向和纵向的位置、速度、加速度用于训练。
最终结果表明，本实施例训练后的框架在进行实际推理时，所生成的轨迹响度与传统轨迹生成方法更加光滑，精度更高。
同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的室外自主移动机器人连续轨迹生成方法对应的一种室外自主移动机器人连续轨迹生成系统，如图3所示，其包括：
点云特征提取模块，用于针对机器人移动过程中获取的多帧激光雷达点云，将每帧激光雷达点云三维栅格化为多通道的灰度图，并通过栅格值记录栅格内是否存在障碍物；利用第一卷积神经网络提取每张灰度图的特征，再将所有灰度图的特征按序拼接后输入到循环神经网络中，提取点云特征。
地图特征提取模块，用于利用机器人自身定位和离线规划好的拓扑地图生成以机器人当前位置为中心的当前局部拓扑地图，并将当前局部拓扑地图输入第二卷积神经网络中，提取地图特征。
特征融合模块，用于将所述点云特征和所述地图特征进行拼接，并输入全连接网络中进行融合，得到轨迹特征。
轨迹生成模块，用于将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹。
具体而言，在上述室外自主移动机器人连续轨迹生成系统中，各模块与前述的S1～S4是一一对应的，因此各模块中的具体实现方式亦可参见上述S1～S4。
同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的室外自主移动机器人连续轨迹生成方法对应的一种电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如前所述的室外自主移动机器人连续轨迹生成方法。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的室外自主移动机器人连续轨迹生成方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如前所述的室外自主移动机器人连续轨迹生成方法。
具体而言，在上述两个实施例的计算机可读存储介质中，存储的计算机程序被处理器执行，可执行前述S1～S4的步骤。
可以理解的是，上述存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述的系统和方法中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (9)

1.一种室外自主移动机器人连续轨迹生成方法，其特征在于，包括：
S1：针对机器人移动过程中获取的多帧激光雷达点云，将每帧激光雷达点云三维栅格化为多通道的灰度图，并通过栅格值记录栅格内是否存在障碍物；利用第一卷积神经网络提取每张灰度图的特征，再将所有灰度图的特征按序拼接后输入到循环神经网络中，提取点云特征；
S2：利用机器人自身定位和离线规划好的拓扑地图生成以机器人当前位置为中心的当前局部拓扑地图，并将当前局部拓扑地图输入第二卷积神经网络中，提取地图特征；
S3：将所述点云特征和所述地图特征进行拼接，并输入全连接网络中进行融合，得到轨迹特征；
S4：将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹；
所述S4的具体实现方法如下：
S41：将所述轨迹特征与机器人当前的动力学参数拼接，所述动力学参数包括速度和/或角速度信息；
S42：将拼接结果输入由多层全连接网络组成的轨迹生成网络中，其中最后一层全连接网络的输出不设置激活函数，倒数第二层全连接网络采用正弦激活函数进行输出，其余层的全连接网络均采用Leaky ReLU激活函数进行输出，轨迹生成网络最终输出轨迹方程的每个参数估计值，从而得到每个所述参数下的连续可微的轨迹方程；
S43：根据查询时间序列，基于轨迹方程以及其微分方程，得到查询时间序列中每个查询时间对应的轨迹点和其他高阶物理量，从而生成移动机器人的连续轨迹；所述高阶物理量包括速度、加速度、角速度、曲率中的一种或多种。
2.如权利要求1所述的室外自主移动机器人连续轨迹生成方法，其特征在于，所述S1中，将每帧激光雷达点云三维栅格化为多通道的灰度图的方法为：
针对每帧激光雷达点云，对点云的xyz三个维度按照预设的范围和精度进行三维栅格化，把水平方向的x和y维度分别作为灰度图的长和宽维度，把高度方向的z维度作为灰度图的通道维度，若栅格内存在障碍物则设灰度图中的栅格值为数值1，不存在障碍物则设灰度图中的栅格值为数值0，从而将激光雷达点云转换为一张多通道的灰度图。
3.如权利要求1所述的室外自主移动机器人连续轨迹生成方法，其特征在于，所述第一卷积神经网络采用ResNet18骨架网络；所述循环神经网络采用单层的LSTM循环神经网络。
4.如权利要求1所述的室外自主移动机器人连续轨迹生成方法，其特征在于，所述S2中，当前局部拓扑地图的生成方法如下：
首先在离线地图上根据出发点和目的地规划移动机器人的移动路线，并在地图上标注移动路线后，作为规划后的离线拓扑地图；再根据包括位置和朝向在内的移动机器人当前定位信息，从离线拓扑地图上以移动机器人当前所在位置为中心，按照预设大小裁剪出一张当前局部拓扑地图，且地图的朝向为移动机器人当前的朝向。
5.如权利要求1所述的室外自主移动机器人连续轨迹生成方法，其特征在于，所述第二卷积神经网络采用ResNet18骨架网络。
6.如权利要求1所述的室外自主移动机器人连续轨迹生成方法，其特征在于，所述S1~S4构成的方法框架中，各网络层的可学习参数需预先在训练阶段进行优化，且训练阶段以轨迹点和所述高阶物理量作为监督标签构建总损失函数。
7.一种室外自主移动机器人连续轨迹生成系统，其特征在于，包括：
点云特征提取模块，用于针对机器人移动过程中获取的多帧激光雷达点云，将每帧激光雷达点云三维栅格化为多通道的灰度图，并通过栅格值记录栅格内是否存在障碍物；利用第一卷积神经网络提取每张灰度图的特征，再将所有灰度图的特征按序拼接后输入到循环神经网络中，提取点云特征；
地图特征提取模块，用于利用机器人自身定位和离线规划好的拓扑地图生成以机器人当前位置为中心的当前局部拓扑地图，并将当前局部拓扑地图输入第二卷积神经网络中，提取地图特征；
特征融合模块，用于将所述点云特征和所述地图特征进行拼接，并输入全连接网络中进行融合，得到轨迹特征；
轨迹生成模块，用于将机器人的动力学参数与所述轨迹特征进行拼接后，输入由多层全连接网络组成的轨迹生成网络中，生成轨迹方程的参数，再结合查询时间序列生成完整轨迹；
所述轨迹生成模块的具体实现方法如下：
S41：将所述轨迹特征与机器人当前的动力学参数拼接，所述动力学参数包括速度和/或角速度信息；
S42：将拼接结果输入由多层全连接网络组成的轨迹生成网络中，其中最后一层全连接网络的输出不设置激活函数，倒数第二层全连接网络采用正弦激活函数进行输出，其余层的全连接网络均采用Leaky ReLU激活函数进行输出，轨迹生成网络最终输出轨迹方程的每个参数估计值，从而得到每个所述参数下的连续可微的轨迹方程；
S43：根据查询时间序列，基于轨迹方程以及其微分方程，得到查询时间序列中每个查询时间对应的轨迹点和其他高阶物理量，从而生成移动机器人的连续轨迹；所述高阶物理量包括速度、加速度、角速度、曲率中的一种或多种。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1~6任一所述的室外自主移动机器人连续轨迹生成方法。
9.一种计算机电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1~6任一所述的室外自主移动机器人连续轨迹生成方法。
CN202310490781.6A 2023-05-04 2023-05-04 室外自主移动机器人连续轨迹生成方法及系统 Active CN116578088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310490781.6A CN116578088B (zh) 2023-05-04 2023-05-04 室外自主移动机器人连续轨迹生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310490781.6A CN116578088B (zh) 2023-05-04 2023-05-04 室外自主移动机器人连续轨迹生成方法及系统

Publications (2)

Publication Number Publication Date
CN116578088A CN116578088A (zh) 2023-08-11
CN116578088B true CN116578088B (zh) 2024-02-09

Family

ID=87536931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310490781.6A Active CN116578088B (zh) 2023-05-04 2023-05-04 室外自主移动机器人连续轨迹生成方法及系统

Country Status (1)

Country Link
CN (1) CN116578088B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278170A (zh) * 2013-05-16 2013-09-04 东南大学 基于显著场景点检测的移动机器人级联地图创建方法
WO2020154973A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
CN113128326A (zh) * 2019-12-31 2021-07-16 百度（美国）有限责任公司 具有语义地图和lstm的车辆轨迹预测模型
CN114022824A (zh) * 2021-12-03 2022-02-08 浙江大学 一种面向狭窄环境的四足机器人运动规划方法
CN114384920A (zh) * 2022-03-23 2022-04-22 安徽大学 一种基于局部栅格地图实时构建的动态避障方法
CN114442621A (zh) * 2022-01-17 2022-05-06 浙江大学 一种基于四足机器人的自主探索和建图系统
CN114897669A (zh) * 2022-04-25 2022-08-12 杭州海康汽车软件有限公司 一种标注方法、装置及电子设备
CN115755888A (zh) * 2022-10-31 2023-03-07 江苏大学 多传感器数据融合的agv障碍物检测系统及避障方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520347B2 (en) * 2019-01-23 2022-12-06 Baidu Usa Llc Comprehensive and efficient method to incorporate map features for object detection with LiDAR

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278170A (zh) * 2013-05-16 2013-09-04 东南大学 基于显著场景点检测的移动机器人级联地图创建方法
WO2020154973A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
CN111771135A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位
CN113128326A (zh) * 2019-12-31 2021-07-16 百度（美国）有限责任公司 具有语义地图和lstm的车辆轨迹预测模型
CN114022824A (zh) * 2021-12-03 2022-02-08 浙江大学 一种面向狭窄环境的四足机器人运动规划方法
CN114442621A (zh) * 2022-01-17 2022-05-06 浙江大学 一种基于四足机器人的自主探索和建图系统
CN114384920A (zh) * 2022-03-23 2022-04-22 安徽大学 一种基于局部栅格地图实时构建的动态避障方法
CN114897669A (zh) * 2022-04-25 2022-08-12 杭州海康汽车软件有限公司 一种标注方法、装置及电子设备
CN115755888A (zh) * 2022-10-31 2023-03-07 江苏大学 多传感器数据融合的agv障碍物检测系统及避障方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Autonomous Obstacle Avoidance Algorithm of UAVs for Automatic Terrain Following Application;Yue-Jiao Wang 等;《IEEE》;全文 *
Imitation Learning of Hierarchical Driving Model: From Continuous Intention to Continuous Trajectory;Wang, YK 等;《IEEE》;全文 *
Vinicio Rosas-Cervantes 等.Mobile robot 3D trajectory estimation on a multilevel surface with multimodal fusion of 2D camera features and a 3D light detection and ranging point cloud.《web of science》.2022,全文. *
基于神经网络的移动机器人轨迹预测控制;江一鸣 等;《兵器装备工程学报》;第43卷(第10期);全文 *

Also Published As

Publication number Publication date
CN116578088A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110136481B (zh) 一种基于深度强化学习的停车策略
CN111061277B (zh) 一种无人车全局路径规划方法和装置
US20220011122A1 (en) Trajectory prediction method and device
Chen et al. Driving maneuvers prediction based autonomous driving control by deep Monte Carlo tree search
CN107246876A (zh) 一种无人驾驶汽车自主定位与地图构建的方法及系统
Hu et al. Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving
Naz et al. Intelligence of autonomous vehicles: A concise revisit
Huang et al. Goal-guided transformer-enabled reinforcement learning for efficient autonomous navigation
CN113391633A (zh) 一种面向城市环境的移动机器人融合路径规划方法
CN115494849A (zh) 一种自动驾驶车辆导航控制方法及系统
CN116300909A (zh) 一种基于信息预处理和强化学习的机器人避障导航方法
Li A hierarchical autonomous driving framework combining reinforcement learning and imitation learning
Hu et al. Learning dynamic graph for overtaking strategy in autonomous driving
Gao et al. Autonomous driving based on modified sac algorithm through imitation learning pretraining
Wang et al. Vision-based autonomous driving: A hierarchical reinforcement learning approach
CN116578088B (zh) 室外自主移动机器人连续轨迹生成方法及系统
Mei et al. Autonomous navigation through intersections with graph convolutionalnetworks and conditional imitation learning for self-driving cars
CN114594776B (zh) 一种基于层次化和模块化学习的导航避障方法
Schier et al. Deep reinforcement learning for autonomous driving using high-level heterogeneous graph representations
EP3839830A1 (en) Trajectory estimation for vehicles
Xue et al. Monocular vision guided deep reinforcement learning UAV systems with representation learning perception
Rosero et al. CNN-Planner: A neural path planner based on sensor fusion in the bird's eye view representation space for mapless autonomous driving
Chen et al. Imitating driver behavior for fast overtaking through Bagging Gaussian Process Regression
Liu et al. Deep Reinforcement Learning-Based Driving Policy at Intersections Utilizing Lane Graph Networks
EP4296898A1 (en) Prediction method and system, computer program, computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant