CN115098941B - 面向智能算法敏捷部署的无人机数字孪生控制方法和平台 - Google Patents

Abstract

本发明涉及面向智能算法敏捷部署的无人机数字孪生控制方法和平台，方法包括：基于智能算法构建无人机的多层控制方案，得到无人机控制模型；构建仿真环境，在该虚拟环境中构建无人机虚拟实体，无人机控制模型分别通信连接虚拟环境和无人机虚拟实体，通过控制无人机虚拟实体并接收反馈值进行无人机控制模型的训练；通过无人机控制模型控制仿真环境中的无人机虚拟实体，实时观测无人机虚拟实体的飞行性能。与现有技术相比，本发明为强化学习等智能控制算法提供控制器设计、训练、部署、验证等一体化平台，大大简化和加快了控制器设计流程，同时可以快速验证智能控制器的飞行性能。

Description

面向智能算法敏捷部署的无人机数字孪生控制方法和平台

技术领域

本发明涉及无人机控制技术领域，尤其是涉及面向智能算法敏捷部署的无人机数字孪生控制方法和平台。

背景技术

近年来，机器人技术得到了广泛的应用，无人机的发展尤其引人注目。在这种情况下，出现了许多与无人机教育和研究相关的平台。但其核心功能要么是专有的，要么只能部分访问。并且这些商业平台不提供调试和数据检测的仿真功能，因此在真实飞机上进行实验时效率低下。一些研究机构和大学为无人机研究提出了许多优秀的硬件和软件的想法，但大多只是局限于某一研究点，不便于系统整体部署。

在无人机控制领域，一方面，许多研究者陆续提出了基于强化学习的无人机飞行控制算法，它们在仿真环境中实现了超过传统控制器(PID)的性能，如低级姿态控制方法、高性能姿态估计器、位置控制方法、端到端的轨迹规划等。但基于智能算法的控制器设计灵活性高，同时仍然主要采取编程的方式，这导致将算法移植到实际无人机控制模型始终是一个复杂的过程，需要大量的编程工作。

另一方面，智能算法大多是基于学习的，这意味着算法模型的大量训练阶段必不可少。同时，算法的实验验证也已经成为一个越来越普遍的要求。然而，由于自身成本较高以及实际真机飞行的脆弱性，无人机在现实世界的训练或验证可能会导致碰撞甚至造成自身损毁，带来高额的实验成本，进而影响算法的研究进程。

如公开号为CN107479368A的发明公开了一种基于人工智能的训练无人机控制模型的方法，包括：在预先构建的模拟环境中，利用无人机的传感器数据、目标状态信息以及所述无人机在深度神经网络输出的控制信息作用下的状态信息，得到训练数据；利用在模拟环境中得到的训练样本，训练所述深度神经网络模型，直至达到最小化所述无人机在深度神经网络输出的控制信息作用下的状态信息与目标状态信息之间的差距条件之后；利用实际环境中得到的训练样本，训练所述在模拟环境中训练后的深度神经网络模型，得到无人机控制模型，所述无人机控制模型用于根据无人机的传感器数据和目标状态信息得到对无人机的控制信息。

该方案在实际环境中获取训练样本用于对无人机进行测试，存在可能会导致碰撞甚至造成自身损毁，带来高额的实验成本，进而影响算法的研究进程的缺陷。

发明内容

本发明的目的就是为了克服上述现有技术存在无人机在现实世界的训练或验证可能会导致碰撞甚至造成自身损毁，带来高额的实验成本，进而影响算法的研究进程的缺陷而提供一种面向智能算法敏捷部署的无人机数字孪生控制方法和平台。

本发明的目的可以通过以下技术方案来实现：

一种面向智能算法敏捷部署的无人机数字孪生控制方法，包括以下步骤：

无人机控制模型构建步骤：基于智能算法构建无人机的多层控制方案，得到无人机控制模型；

训练步骤：构建仿真环境，在该虚拟环境中构建无人机虚拟实体，所述无人机控制模型分别通信连接虚拟环境和无人机虚拟实体，通过控制所述无人机虚拟实体并接收反馈值进行无人机控制模型的训练；

验证步骤：通过所述无人机控制模型控制仿真环境中的无人机虚拟实体，实时观测无人机虚拟实体的飞行性能。

进一步地，所述无人机控制模型的训练过程包括多轮迭代过程，每轮迭代过程均包括：

所述无人机虚拟实体基于所述仿真环境向所述无人机控制模型发送传感器数据和状态信息；所述无人机控制模型获取所述传感器数据和状态信息作为输入，计算无人机当前状态估计值，输出执行器控制信号控制所述无人机虚拟实体，并接收反馈值调整所述无人机控制模型内的参数。

进一步地，所述多层控制方案包括基于姿态控制和位置控制的内环控制，以及基于决策和自动飞行的外环控制。

进一步地，所述内环控制用于控制无人机的三轴角速度，所述内环控制采用预先构建并训练好的神经网络输出无人机各个电机的油门百分比，从而实现控制无人机的三轴角速度，所述神经网络以角速度误差和误差差值作为网络的输入；

所述角速度误差的表达式为：

e(t)＝Ω^*(t)-Ω(t)

式中，e(t)为t时刻的角速度误差，Ω^*(t)为t时刻的目标角速度，Ω(t)为t时刻的实际角速度；

所述误差差值的表达式为：

Δe(t)＝e(t)-e(t-1)

式中，Δe(t)为t时刻的误差差值，e(t-1)为t-1时刻的角速度误差.

进一步地，所述神经网络的训练过程中，对于单次型任务，选取的奖励函数的表达式为：

式中，r_e为基于角速度误差的奖励函数，e_φ为横滚角误差量，e_θ为俯仰角误差量，e_ψ为偏航角的误差量；

对于连续性任务，选取的奖励函数的表达式为：

G_t＝R_t+1+γR_t+2+γ²R_t+3+γ³R_t+4+...

式中，G_t为t时刻的长期奖励函数，R_t+1为t时刻的奖励函数，γ为折扣率。

进一步地，所述折扣率的取值在0.92-0.98范围以内。

本实施例还提供一种采用如上所述的一种面向智能算法敏捷部署的无人机数字孪生控制方法的控制平台，其特征在于，包括：无人机控制器和仿真平台，

所述无人机控制器的构建过程包括：通过所述无人机控制模型构建步骤构建无人机控制模型的代码，并将该代码部署到硬件控制器中，得到无人机控制器；

在所述仿真平台上构建仿真环境和无人机虚拟实体。

进一步地，采用Matlab/Simulink模块化开发无人机控制模型，采用Matlab/Simulink的PSP工具箱将无人机控制模型生成为代码，将该代码导入到PX4自驾仪的源代码，进而部署到硬件控制器。

进一步地，采用UE4搭建仿真环境，使用Airsim创建无人机孪生实体，将PX4SITL软件通过TCP协议连接Airsim，通过PX4 SITL软件控制无人机虚拟实体在仿真环境中飞行。

进一步地，获取远程连接的接收器和发射器，并将发射器连接到无人机控制器的遥控端口，无人机控制器通过USB端口连接Airsim，通过无人机控制器来控制无人机在仿真环境中飞行，从而观测无人机飞行时的性能，以及收集数据分析性能。

与现有技术相比，本发明具有以下优点：

本发明旨在为无人机智能控制算法设计提供一体化的数字孪生平台，使用于控制器的开发、部署、训练、验证各阶段的时间缩短，同时为训练和验证阶段提供了仿真环境以降低真实无人机训练损坏带来的高昂成本。

附图说明

图1为本发明实现Matlab/Simulink模块化设计及部署流程图；

图2为本发明实现在UE4/Airsim上训练阶段总体框架图；

图3为实例基于Matlab/Simulink的姿态控制器设计框架；

图4为实例中智能算法控制器采取的神经网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例1

本实施例提供一种面向智能算法敏捷部署的无人机数字孪生控制方法，包括以下步骤：

无人机控制模型构建步骤S1：基于智能算法构建无人机的多层控制方案，得到无人机控制模型；

训练步骤S2：构建仿真环境，在该虚拟环境中构建无人机虚拟实体，无人机控制模型分别通信连接虚拟环境和无人机虚拟实体，通过控制无人机虚拟实体并接收反馈值进行无人机控制模型的训练；

验证步骤S3：通过无人机控制模型控制仿真环境中的无人机虚拟实体，实时观测无人机虚拟实体的飞行性能。

对于无人机控制模型构建步骤S1，无人机控制模型的训练过程包括多轮迭代过程，每轮迭代过程均包括：

无人机虚拟实体基于仿真环境向无人机控制模型发送传感器数据和状态信息；无人机控制模型获取传感器数据和状态信息作为输入，计算无人机当前状态估计值，输出执行器控制信号控制无人机虚拟实体，并接收反馈值调整无人机控制模型内的参数。

多层控制方案包括基于姿态控制和位置控制的内环控制，以及基于决策和自动飞行的外环控制。

对于训练步骤S2，内环控制用于控制无人机的三轴角速度，内环控制采用预先构建并训练好的神经网络输出无人机各个电机的油门百分比，从而实现控制无人机的三轴角速度，神经网络以角速度误差和误差差值作为网络的输入；

角速度误差的表达式为：

e(t)＝Ω^*(t)-Ω(t)

式中，e(t)为t时刻的角速度误差，Ω^*(t)为t时刻的目标角速度，Ω(t)为t时刻的实际角速度；

误差差值的表达式为：

Δe(t)＝e(t)-e(t-1)

式中，Δe(t)为t时刻的误差差值，e(t-1)为t-1时刻的角速度误差.

神经网络的训练过程中，对于单次型任务，选取的奖励函数的表达式为：

式中，r_e为基于角速度误差的奖励函数，e_φ为横滚角误差量，e_θ为俯仰角误差量，e_ψ为偏航角的误差量；

对于连续性任务，选取的奖励函数的表达式为：

G_t＝R_t+1+γR_t+2+γ²R_t+3+γ³R_t+4+...

式中，G_t为t时刻的长期奖励函数，R_t+1为t时刻的奖励函数，γ为折扣率，优选的，折扣率的取值在0.92-0.98范围以内，这样既可以专注于长期回报而不至于陷入局部最优，又不会导致不收敛的方差。

实施例2

本实施例提供一种采用如实施例1的一种面向智能算法敏捷部署的无人机数字孪生控制方法的控制平台，包括：无人机控制器和仿真平台，

无人机控制器的构建过程包括：通过无人机控制模型构建步骤构建无人机控制模型的代码，并将该代码部署到硬件控制器中，得到无人机控制器；

在仿真平台上构建仿真环境和无人机虚拟实体。

概述：本实施例设计了一个面向智能算法敏捷部署的数字孪生无人机平台。该平台贯穿于无人机智能控制算法开发和部署、训练、验证阶段。在开发与部署阶段，平台通过Matlab/Simulink模块化设计基于智能算法的多层控制器，如姿态控制器、位置控制器等内环控制，以及决策、自动飞行等外环控制，而无需掌握C/C++编程语言；同时，平台采用Matlab/Simulink为Pixhawk推出的嵌入式代码生成器PSP工具箱，将构建的控制器模型算法自动编译和部署到Pixhawk硬件中。在训练阶段，平台通过UE4/AirSim进行构建逼真的虚拟环境，并根据无人机动力学模型来构建一个高保真的四旋翼无人机虚拟实体，以完成算法模型的参数训练。在验证阶段，分为SITL部分和HITL部分，在SITL部分，平台将控制器模型应用到UE4/AirSim提供的仿真环境和无人机虚拟实体上，进行软件在环测试。在HITL部分，平台将无线电遥控器连接控制器，控制器同时通过USB端口与Airsim相连，从而通过远程控制器控制无人机虚拟实体在仿真环境中飞行，进行硬件在环测试。

数字孪生是近年来兴起于工业领域的仿真技术，是指通过集成物理传感器反馈数据，辅以人工智能、机器学习和软件分析，在信息化平台上建立仿真环境下的虚拟实体，并向物理实体提供实时反馈，进而对物理实体进行控制。借助于数字孪生，使用仿真软件对无人机虚拟实体以及仿真环境进行建模并进行仿真飞行，可以完成强化学习等无人机智能控制算法的训练阶段以及实验验证阶段。

Pixhawk/PX4和APM是流行的开源无人机平台，其中低级和高级应用可以直接修改或使用。他们拥有一套完整的开发系统，包括用于仿真和调试的软件和硬件接口。但是它们的系统架构对于初学者来说有点复杂。如果初学者和开发人员想要修改源代码后，需要熟悉C/C++编程语言和Linux系统知识。

Matlab/Simulink因其丰富的工具而得到了广泛的应用，促进了机器人系统的发展。此外，Matlab/Simulink还支持C/C++语言的自动代码生成，用于部署到Pixhawk等嵌入式系统中，从而减少了模拟测试和物理部署之间的难度。利用MATLAB/Simulink，可以有效地设计出无人机的动态模型、控制器、滤波器和决策逻辑。

UE4是目前知名的游戏引擎之一,具有照片级逼真的视觉渲染水平、支持动态物理模拟的效果，包含丰富的数据接口。AirSim是微软公司开发的基于UE4的一个开源的跨平台仿真器，它可以用于无人机、无人机车等机器人的物理和视觉仿真。它同时支持基于Pixhawk和ArduPilot等飞行控制器的软件在环仿真，目前还支持基于PX4的硬件在环仿真。

本实施例方案的具体实施过程包括以下三个阶段：

一、开发和部署阶段

在开发阶段，如图1所示，平台通过Matlab/Simulink模块化设计基于智能算法的多层控制器，如姿态控制器、位置控制器等内环控制，以及决策、自动飞行等外环控制，而无需掌握C/C++编程语言。在部署部分，平台采用Matlab/Simulink为Pixhawk推出的嵌入式代码生成器，将构建的控制器模型算法自动编译和部署到Pixhawk硬件中。

如图2所示，无人机控制器用来控制无人机的三轴角速度(俯仰、横滚、偏航)，以使无人机飞行稳定。其中“遥控器输入”模块通过μORB模块(用于线程/进程之间通信的接口)获取标准化和校准后的遥控器RC信号以获得期望角速度Ω^*。利用陀螺仪读取并解算飞行器的实际三轴角速度(即俯仰角pitch、滚转角roll、偏航角yaw)。将实际角速度和期望角速度输入到强化学习控制系统，然后将其映射到1000～2000的PWMs值，经过归一化和校核后的信号更加可靠和方便。

如图3和4所示，在无人机控制器的内环控制设计中，控制系统采用的神经网络结构包括2个隐藏层，每个隐藏层有32个节点，层与层之间使用双曲正切函数作为激活函数。神经网络的训练目标是使飞行器实际角速度Ω更接近于目标角速度Ω^*。在每个离散时间步骤t，神经网络以角速度误差e(t)＝Ω^*(t)-Ω(t)和误差差值Δe(t)＝e(t)-e(t-1)作为训练网络的输入，经过神经网络前向传递，计算得到四旋翼无人机的四个电机的油门百分比u(t)，从而实现无人机控制器的建模与训练。

本实施例采用的是PPO强化学习算法来对网络参数进行训练。PPO算法适用于无人机的姿态控制，因此被本实例选为控制器的训练算法。算法的奖励函数被定义为其中e为智能体的角速度误差，角速度误差定义为期望角速度Ω^*减去实际角速度Ω(即e＝Ω^*-Ω)。对于连续型任务，需要定义一个长期的奖励函数作为衡量标准，以实现连续飞行控制任务。因此将长期奖励回报定义为：

G_t＝R_t+1+γR_t+2+γ²R_t+3+γ³R_t+4+...

其中γ为折扣率，当γ接近于0时，智能体更在意短期回报，很容易陷入局部最优解，而当γ接近于1时，长期回报将变得更重要。因此这里将γ设置为0.95，这样既可以专注于长期回报而不至于陷入局部最优，又不会导致不收敛的方差。

在部署阶段，本实施例基于PSP工具箱的嵌入式代码生成器生成C代码，并将该代码导入到PX4自驾仪的源代码中，生成“px4_simulink_app”的独立运行程序，嵌入式神经网络通过该模块实现对点击控制量的输出。然后，调用编译工具将所有代码编译为“.px4”的PX4自驾仪固件。最后，将得到的固件部署到PX4硬件，在实验中，PX4硬件会执行带有强化学习算法代码的姿态控制软件。

二、基于PPO强化学习算法的姿态控制器训练阶段

训练阶段，平台通过虚幻引擎UE4构建逼真的虚拟的仿真环境，使用AirSim插件并根据无人机控制模型、无人机动力学模型来构建一个高保真的四旋翼无人机虚拟实体。无人机虚拟实体基于仿真环境向飞行控制器发送传感器数据或状态信息，如姿态和速度。控制器将所需状态和传感器数据作为输入，计算当前状态的估计值，并输出执行器控制信号PWM值以控制无人机虚拟实体。Airsim为无人机虚拟实体的控制提供了丰富的API接口，本实施例基于此类接口应用了stable baselines3库来提供强化学习算法，以完成算法模型的参数训练。

具体地，整体流程基于图2框架，首先通过安装虚幻引擎4.26构建无人机用来飞行的仿真环境，再通过配置Airsim插件构建四旋翼无人机的虚拟实体。Airsim提供了可以用来控制无人机的python API接口，基于python语言的stable baseline3库可以用来提供强化学习算法。

在计算机程序中运行“TrainFlight.py”文件来控制无人机飞行。在飞行过程中通过“airsim.types.KinematicsState”接口来获取无人机实际角速度，通过“airsim.types.RCData”接口来获取无人机的期望角速度。

使用pytorch搭建所述的神经网络模型，使用stable baselines3库提供的PPO强化学习算法来进行网络参数训练。经过一万轮的训练，神经网络达到了非常好的拟合性能，继而将网络参数上传到基于PPO算法设计的PX4硬件中。

三、基于PPO强化学习算法的姿态控制器验证阶段

在验证阶段，分为SITL部分拟和HITL部分，在软件在环测试部分，与训练阶段类似，平台将控制器模型posix SITL版本连接到UE4/Airsim提供的仿真环境和无人机虚拟实体上，进行软件在环测试，以实时观测无人机飞行性能。在硬件在环测试部分，平台将部署在Pixhawk硬件系统上的控制器与UE4/Airsim连接，通过USB串行端口将加速计、气压计、磁强计、GPS等传感器数据发送到Pixhawk系统。Pixhawk/PX4自动驾驶仪将接收传感器数据进行状态估计，并通过内部uORB消息总线将估计的状态信息发送给控制器。控制器通过USB串口将各电机的控制信号作为输出发送回Airsim，从而进行硬件在环测试。

具体地，在SITL测试中，需要在Linux系统下或者Windows系统下的CygwinToolchain软件中提前下载PX4源代码并构建PX4的posix SITL版本，同时运行UE4的Airsim仿真环境。接着启动SITL模式下的pixhawk固件，通过对Airsim“setting.json”文件进行TCP、UDP端口配置，来连接虚拟实体与仿真环境。最后，运行“RunFlight.py”文件来控制无人机飞行，在飞行中过程中观察飞机在空中的姿态以及飞行的稳定性，同时可以通过Airsim提供的接口观察到三轴角速度的实时变化，以分析强化学习姿态控制器的控制性能(控制器跟踪目标角速度的程度)。

在HITL测试中，首先确保远程控制(RC)接收器和RC发射器绑定在一起，并将RC发射器连接到无人机控制器的遥控端口。其次，下载QGroundControl(QGC)软件，并通过USB端口来连接PX4硬件，并选择QGC中的HIL Quadrocopter机身来配置PX4控制器。最后，在Airsim“setting.json”文件中进行PX4的配置，完成以上步骤之后，可通过遥控器来控制无人机虚拟在仿真环境下飞行，同时收集RC指令和陀螺仪数据，以分析控制性能。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种面向智能算法敏捷部署的无人机数字孪生控制方法，其特征在于，包括以下步骤：

无人机控制模型构建步骤：基于智能算法构建无人机的多层控制方案，得到无人机控制模型；

训练步骤：构建仿真环境，在该仿真环境中构建无人机虚拟实体，所述无人机控制模型分别通信连接虚拟环境和无人机虚拟实体，通过控制所述无人机虚拟实体并接收反馈值进行无人机控制模型的训练；

验证步骤：通过所述无人机控制模型控制仿真环境中的无人机虚拟实体，实时观测无人机虚拟实体的飞行性能；

所述无人机控制模型的训练过程包括多轮迭代过程，每轮迭代过程均包括：

所述无人机虚拟实体基于所述仿真环境向所述无人机控制模型发送传感器数据和状态信息；所述无人机控制模型获取所述传感器数据和状态信息作为输入，计算无人机当前状态估计值，输出执行器控制信号控制所述无人机虚拟实体，并接收反馈值调整所述无人机控制模型内的参数；

所述多层控制方案包括基于姿态控制和位置控制的内环控制，以及基于决策和自动飞行的外环控制；

所述内环控制用于控制无人机的三轴角速度，所述内环控制采用预先构建并训练好的神经网络输出无人机各个电机的油门百分比，从而实现控制无人机的三轴角速度，所述神经网络以角速度误差和误差差值作为网络的输入；

所述角速度误差的表达式为：

e(t)＝Ω^*(t)-Ω(t)

式中，e(t)为t时刻的角速度误差，Ω^*(t)为t时刻的目标角速度，Ω(t)为t时刻的实际角速度；

所述误差差值的表达式为：

Δe(t)＝e(t)-e(t-1)

式中，Δe(t)为t时刻的误差差值，e(t-1)为t-1时刻的角速度误差。

2.一种采用如权利要求1所述的一种面向智能算法敏捷部署的无人机数字孪生控制方法的控制平台，其特征在于，包括：无人机控制器和仿真平台，

所述无人机控制器的构建过程包括：通过所述无人机控制模型构建步骤构建无人机控制模型的代码，并将该代码部署到硬件控制器中，得到无人机控制器；

在所述仿真平台上构建仿真环境和无人机虚拟实体。

3.根据权利要求2所述的平台，其特征在于，采用Matlab/Simulink模块化开发无人机控制模型，采用Matlab/Simulink的PSP工具箱将无人机控制模型生成为代码，将该代码导入到PX4自驾仪的源代码，进而部署到硬件控制器。

4.根据权利要求3所述的平台，其特征在于，采用UE4搭建仿真环境，使用Airsim创建无人机孪生实体，将PX4 SITL软件通过TCP协议连接Airsim，通过PX4 SITL软件控制无人机虚拟实体在仿真环境中飞行。

5.根据权利要求4所述的平台，其特征在于，获取远程连接的接收器和发射器，并将发射器连接到无人机控制器的遥控端口，无人机控制器通过USB端口连接Airsim，通过无人机控制器来控制无人机在仿真环境中飞行，从而观测无人机飞行时的性能，以及收集数据分析性能。