CN113848750A

CN113848750A - 一种双轮机器人仿真系统及机器人系统

Info

Publication number: CN113848750A
Application number: CN202111075376.5A
Authority: CN
Inventors: 颜廷海; 陈章; 梁斌; 朱先进; 芦维宁
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-09-14
Filing date: 2021-09-14
Publication date: 2021-12-28

Abstract

本申请属于机器人仿真技术领域，具体而言涉及一种双轮机器人仿真系统及机器人系统。其中，感知仿真模块利用AirSim的插件对UE4的获取虚拟机器人自身及世界场景的感知信息并进行获取，然后通过数据集处理程序进行预处理；所述规划仿真模块利用AirSim客户端函数接口，通过智能决策规划程序对虚拟仿真场景中双轮智能机器人进行路径规划与运动规划；控制仿真模块通过自建的双轮机器人动力学模型与AirSim插件结合进行双轮机器人的操作控制仿真。本公开能够通过双轮智能机器人的虚拟场景设计制作，应用于感知数据集制作，感知算法调试与测试，规划算法的调试与测试，控制算法的调试与测试以及双轮智能机器人的动画展示演示等任务。

Description

一种双轮机器人仿真系统及机器人系统

技术领域

本申请属于机器人仿真技术领域，具体而言涉及一种双轮机器人仿真系统及机器人系统。

背景技术

随着人工智能技术及机器人技术的不断发展，可以预见在未来将会有大量的用于边境巡逻、野外搜寻、物资投送与救援的双轮高机动机器人。相对于四轮机器人，双轮机器人体积小，可通过性强，成本低。双轮机器人具有高速性、高机动性、远距离巡航等特点，具有很强的越障越野能力，能够适应多种复杂典型地理环境，可以在多种典型地形环境下高速通行，也可灵活穿越多种障碍物分布密集的复杂地形区域，如山坡、戈壁、草原、雪地、山林等野外区域，可以在复杂的高寒缺氧、干旱荒凉等环境恶劣与气候恶劣的极端环境中进行工作。

未来的双轮智能机器人系统具有智能自主感知、智能规划与智能运动控制的能力。然而，受到机构、控制、传感和人工智能等支撑技术的限制，研制能够在复杂野外环境下全自主方式工作的智能双轮机器人是一个艰难的科研历程。因此，充分利用现有计算机模拟仿真技术，研制双轮智能机器人仿真系统，对双轮机器人的感知，规划、控制等算法进行有效性和置信度的调试与评估，可以及时发现和解决问题，加快机器人的研制进度。双轮机器人的仿真系统是一种比较现实的选择与未来应用的必经之路。

目前无针对智能双轮机器人的仿真系统软件，研发针对双轮机器人的感知，规划、控制等算法进行有效性和置信度的调试与评估的仿真软件，加快机器人的研制进度。

目前摩托车动力学仿真软件BikeSim一般用于建立人-机-路环境下双轮机器人系统动力学模型，进行行驶稳定性、操纵平顺性、振动舒适性等动力学性能指标的研究与测试。

Bikesim为商业性软件，主要核心算法模块并不授权使用，仅能得到数值结果，对双轮机器人的感知、规划及运动控制算法研究的支持不够友好。

发明内容

本公开旨在至少解决部分已有技术中的问题，基于发明人对以下事实和问题的认识，目前无针对智能双轮机器人的仿真系统软件，双轮机器人的感知，规划、控制等算法的调试与研发基于分立的平台上，没有一体化的智能双轮机器人的仿真系统。

有鉴于此，本公开提出了一种双轮机器人仿真系统及机器人系统，以数学建模的方式将智能双轮机器人的潜在应用场景进行数字化还原，建立尽可能接近真实世界的系统模型，通过仿真系统进行分析和研究，以实现对智能双轮机器人系统和算法进行测试验证的目的。

根据本公开的第一方面，提出了双轮机器人仿真系统，包括：

场景仿真模块，用于构建双轮机器人的仿真工作场景，设定仿真任务，显示仿真过程与仿真结果；

感知仿真模块，用于获取双轮机器人对仿真场景的感知数据，对感知数据进行处理，并将该处理结果发送到规划仿真模块，所述感知仿真模块与所述场景仿真模块相连；

规划仿真模块，用于根据所述感知数据，对双轮机器人的运动路径进行规划，所述规划仿真模块同时与场景仿真模块和感知仿真模块相连；

控制仿真模块，用于根据规划运动路径控制双轮机器人在仿真场景中行驶，控制仿真模块同时与场景仿真模块和规划仿真模块相连；

动力学仿真模块，用于构成双轮机器人的动力学模型，动力学仿真模块同时与仿真场景模块和控制仿真模块相连。

可选地，所述场景仿真模块包括：

场景主控模块，用于构建生成仿真场景，并模拟双轮机器人与场景的接触与碰撞；

任务调度模块，用于设定仿真任务，并根据动力学仿真模块、感知仿真模块、规划仿真模块和控制仿真模块反馈信息，对仿真任务进行调整，所述任务调度模块分别与动力学仿真模块、感知仿真模块、规划仿真模块和控制仿真模块相连。

场景显示模块，用于显示仿真场景，并显示双轮机器人的运动仿真结果；

可选地，所述感知仿真模块，包括：

激光雷达感知模块，用于获取仿真场景的三维点云数据；

视觉传感器，用于获取仿真场景的图像数据；

GPS模块，用于获取仿真场景地理位置数据；

惯性测量模块，用于获取输入机器人的三轴姿态角和加速度。

可选地，所述对感知数据进行处理，包括：

(1)实时采集双轮机器人的仿真感知数据；

(2)利用实时感知数据训练深度学习网络，向训练后的深度学习网络输入实时采集感知数据中的三维点云数据和图像数据，输出得到仿真场景中的障碍物类别、大小与位置以双轮机器人可行驶区域。

可选地，所述规划仿真模块包括：

路径规划模块，用于根据处理后感知数据中的障碍物类别、大小与位置以双轮机器人可行驶区域，规划双轮机器人的路径；

运动规划模块，用于根据处理后感知数据中的障碍物类别、大小与位置以双轮机器人可行驶区域，规划双轮机器人的三轴姿态角和加速度。

可选地，所述控制仿真模块包括：

路径跟踪控制模块，用于根据规划的双轮机器人路径，控制双轮机器人在规划路径上行驶；

运动跟踪控制模块，用于根据规划双轮机器人的三轴姿态角和加速度，控制双轮机器人越过路径上的障碍物。

根据本公开的第二方面，提出了机器人系统，包括：本公开的机器人仿真系统，以及机器人控制器，其控制所述机器人，以使所述机器人的前端部沿所述规划路径移动。

8、一种计算机可读取的非易失型存储介质，存储使机器人仿真系统执行处理的指令，所述处理包括：

构建双轮机器人的仿真工作场景，设定仿真任务，显示仿真过程与仿真结果；

获取双轮机器人对仿真场景的感知数据，对感知数据进行处理，并将该处理结果发送到规划仿真模块；

根据所述感知数据，对双轮机器人的运动路径进行规划；

根据规划运动路径控制双轮机器人在仿真场景中行驶；

构成双轮机器人的动力学模型。

根据本公开的实施例，基于AirSim的智能双轮机器人仿真系统以数学建模的方式，将双轮机器人的潜在复杂应用场景进行数字化还原，建立尽可能接近真实世界的系统模型，通过各个仿真模块调试与测试各个模块算法，对算法进行分析和研究，达到对双轮机器人模块算法测试验证的目的，评估算法安全性、稳定性，提高算法研发的速度。而且通过双轮智能机器人的虚拟场景设计制作，应用于感知数据集制作，感知算法调试与测试，规划算法的调试与测试，控制算法的调试与测试以及双轮智能机器人的动画展示演示等任务。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显然，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开的一个实施例示出的双轮机器人仿真系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示是根据本公开一个实施例示出的双轮机器人仿真系统的结构示意图。

如图1所示，所述双轮机器人仿真系统，包括以下模块：

1、场景仿真模块，用于构建双轮机器人的仿真工作场景，设定仿真任务，显示仿真过程与仿真结果。

在一个实施例中，所述场景仿真模块包括：

任务调度模块，用于设定仿真任务，并根据动力学仿真模块、感知仿真模块、规划仿真模块和控制仿真模块反馈信息，对仿真任务进行调整，所述任务调度模块分别与动力学仿真模块、感知仿真模块、规划仿真模块和控制仿真模块相连。其中感知仿真模块对对感知数据进行处理，包括：(1)实时采集双轮机器人的仿真感知数据；(2)利用实时感知数据训练深度学习网络，向训练后的深度学习网络输入实时采集感知数据中的三维点云数据和图像数据，输出得到仿真场景中的障碍物类别、大小与位置以双轮机器人可行驶区域。其中实时感知数据训练深度学习网络结构为：Fast-SCNN深度学习网络。

场景显示模块，用于显示仿真场景，并显示双轮机器人的运动仿真结果。

2、感知仿真模块，用于获取双轮机器人对仿真场景的感知数据，对感知数据进行处理，并将该处理结果发送到规划仿真模块，所述感知仿真模块与所述场景仿真模块相连。

在一个实施例中，所述感知仿真模块，包括：

激光雷达感知模块，用于获取仿真场景的三维点云数据；

视觉传感器，用于获取仿真场景的图像数据；

GPS模块，用于获取仿真场景地理位置数据；

3、规划仿真模块，用于根据所述感知数据，对双轮机器人的运动路径进行规划，得到机器人的规划运动路径，并发送到控制仿真模块，所述规划仿真模块同时与场景仿真模块、感知仿真模块和控制仿真模块相连；

在一个实施例中，所述规划仿真模块包括：

所述规划仿真模块包括：

路径规划模块，用于根据处理后感知数据中的障碍物类别、大小与位置以双轮机器人可行驶区域，规划双轮机器人的路径；本公开的一个实施例中，所述路径可以为局部路径，路径中不包括目标点，也可以是全局路径。

4、控制仿真模块，用于根据规划运动路径控制双轮机器人在仿真场景中行驶，控制仿真模块同时与场景仿真模块、规划仿真模块和动力学仿真模块相连。

在一个实施例中，控制仿真模块包括：

5、动力学仿真模块，包括：

用于构成双轮机器人的动力学模型，动力学仿真模块与仿真场景模块相连；动力学模型中包括双轮机器人的运动属性

本公开的一个实施例中，动力学模型如下表所示：

本公开提出的双轮机器人仿真系统，具备以下各项功能：获取仿真世界场景的感知信息(包括视觉信息，深度信息等及对应的真值信息)功能，具备感知数据集生成功能，具备数据预处理功能，具备可视化环境中对感知算法调试与评测功能；可视化环境中端到端规划算法调试与测试功能；可视化环境中控制算法调试与测试功能；可视化环境中实验数据进行存储、备份及回放功能；智能双轮机器人感知、规划与控制算法的展示及演示功能。

本公开的一个实施例中，提出了应用本公开双轮机器人仿真系统的一种机器人系统，包括：上述本公开的机器人仿真系统以及机器人控制器，其控制所述机器人，以使机器人的前端部沿本公开双轮机器人仿真系统规划的路径移动。

本公开的一个实施例还提出了一种计算机可读取的非易失型存储介质，存储使机器人仿真系统执行处理的指令，所述处理包括：

根据所述感知数据，对双轮机器人的运动路径进行规划；

根据规划运动路径控制双轮机器人在仿真场景中行驶；

构成双轮机器人的动力学模型。

本公开实施例是基于AirSim的智能双轮机器人仿真系统原理如图所示，基于UE4，仿照真实复杂场景进行3D建模得到逼真的虚拟场景，仿照真实的传感器使用软件实现虚拟传感器并利用3D引擎获取虚拟场景的感知信息。虚拟感知系统、虚拟规划系统与虚拟执行器分别仿照感知系统、规划系统与控制执行系统的输入及输出使用软件模拟建立。在研发与调试感知算法、规划算法及控制算法的同时可以根据需要分别代替相应的真实系统。例如，在研究路径规划算法的过程中，可以利用到虚拟场景，虚拟传感器，虚拟感知系统加(或不加)真实(或虚拟)的执行系统等。

本公开一个实施例的双轮机器人仿真系统，其中：

场景仿真模块根据智能双轮机器人预定工作场景特点，设计制作仿真工作场景，设定仿真任务，进行各种仿真任务过程与结果的展示。

感知仿真模块根据智能双轮机器人感知系统特点，获取环境场景真值数据，模拟输出不同的感知仿真结果，并对数据进行处理，保存与发送感知结果数据。

规划仿真模块根据智能双轮机器人规划系统特点，双路机器人根据感知结果建立或更新用于规划的地图，模拟输出路径规划与运动规划仿真指令，并对指令进行处理供其他接口调用，保存并发送规划结果数据。

控制仿真模块根据智能双轮机器人控制系统特点，根据双轮机器人的动力学模型模拟输出控制仿真结果，在可视化的场景世界中调试双轮智能机器人的控制算法。

动力学仿真模块根据智能双轮机器人动力学特点，设计制作双轮机器人多体动力学模型，在可视化的场景世界中研究双轮智能机器人的动力学属性。

本公开一个实施例的双轮机器人仿真系统，其工作流程如下：

1、场景仿真模块：

场景仿真模块软件包括场景制作软件、任务调度软件与场景显示软件，运行于Windows 10操作系统和UE4软件及AirSim插件环境中，通过编程实现。场景仿真模块软件利用AirSim的API接口与UE4相连，制作预定工作场景，根据需求进行仿真任务分配，并对仿真任务过程与结果进行展示。感知仿真模块主要用于仿真任务的设定及仿真任务过程与结果展示。

2、感知仿真模块：

感知仿真模块软件包括虚拟传感器信息收集与处理软件，场景真值数据采集和处理软件，运行于Windows 10操作系统和UE4软件及AirSim插件环境中，通过编程实现。感知仿真系统软件利用AirSim的API接口与UE4相连，获取场景数据信息并处理，根据选择输出融合场景信息数据。感知仿真模块主要用于感知数据集的生成，感知数据处理及感知算法的调试与测试。

3、规划仿真模块：

规划仿真模块软件主要包括路径规划仿真与运动规划仿真两个模块。软件基于UE4软件及AirSim插件编程实现，运行于Windows 10操作系统。路径规划模块软件通过AirSim的API层获取UE4场景信息，生成路径及障碍物的地图数据信息。规划仿真模块具备仿真单个双轮机器人路径规划及多个机器人协同路径规划的功能，具备仿真双轮机器人运动规划的功能。

4、控制仿真模块：

控制仿真模块软件主要通过添加双轮机器人运动控制算法实现。控制仿真模块通过AirSim的API层与双轮机器人控制器相连，与双轮机器人动力学模型交互状态及控制信息并进行估计状态与期望状态的通信。

5、动力学仿真模块：

动力学仿真模块软件主要通过添加双轮机器人动力学模型实现。AirSim中无双轮机器人的动力学模型，利用软件实现双轮机器人动力学模型，在可视化的场景世界中对双轮机器人的动力学模型进行验证与测试，并进行双轮智能机器人的动力学属性的研究。

本公开一个实施例的双轮机器人仿真系统，其优点是：

1、真实世界进行测试，场景覆盖面及测试效率上存在较大局限。仿真系统可以模拟真实世界中出现概率极低的危险场景及极端环境场景，从而可以使双轮机器人系统在更加丰富和复杂的场景中进行高频度的有效调试与测试，在保障人员及双轮机器人安全的情况下，实现更充分及高效的测试验证效果，提高双轮机器人算法模块开发和测评的可靠性；

2、通过对双轮机器人测试数据进行复现和泛化，能更加有效和深入地分析双轮机器人算法中存在的问题，进行针对性调试优化，可以更加精准地约束测试条件，提升算法模块调试效率，缩短功能开发、调试及测试周期。

3、获取仿真世界场景的感知信息(包括视觉信息，深度信息等及对应的真值信息)功能，具备感知数据集生成功能，具备数据预处理功能，具备可视化环境中对感知算法调试与评测功能。

上述实施方式仅仅是本公开的优先实施方式，但绝不构成对本公开的限制，此外，还应当指出：对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。

Claims

1.一种双轮机器人仿真系统，其特征在于，包括：

动力学仿真模块，用于构成双轮机器人的动力学模型，动力学仿真模块同时与场景仿真模块与控制仿真模块相连。

2.根据权利要求1所述的双轮机器人仿真系统，其特征在于，所述场景仿真模块包括：

3.根据权利要求1所述的双轮机器人仿真系统，其特征在于，所述感知仿真模块，包括：

激光雷达感知模块，用于获取仿真场景的三维点云数据；

视觉传感器，用于获取仿真场景的图像数据；

GPS模块，用于获取仿真场景地理位置数据；

4.根据权利要求1所述的双轮机器人仿真系统，其特征在于，所述对感知数据进行处理，包括：

(1)实时采集双轮机器人的仿真感知数据；

5.根据权利要求1所述的双轮机器人仿真系统，其特征在于，所述规划仿真模块包括：

6.根据权利要求1所述的双轮机器人仿真系统，其特征在于，所述控制仿真模块包括：

7.一种机器人系统，其特征在于包括：权利要求1至6中任一项所述的机器人仿真系统；所述机器人；以及机器人控制器，其控制所述机器人，以使所述前端部沿所述路径移动。

8.一种计算机可读取的非易失型存储介质，存储使机器人仿真系统执行处理的指令，所述处理包括：

根据所述感知数据，对双轮机器人的运动路径进行规划；

根据规划运动路径控制双轮机器人在仿真场景中行驶；

构成双轮机器人的动力学模型。