CN113759979A - 基于事件驱动的无人机吊挂系统在线轨迹规划方法 - Google Patents
基于事件驱动的无人机吊挂系统在线轨迹规划方法 Download PDFInfo
- Publication number
- CN113759979A CN113759979A CN202111114973.4A CN202111114973A CN113759979A CN 113759979 A CN113759979 A CN 113759979A CN 202111114973 A CN202111114973 A CN 202111114973A CN 113759979 A CN113759979 A CN 113759979A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- equation
- event
- suspension system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 239000000725 suspension Substances 0.000 title claims abstract description 43
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000002787 reinforcement Effects 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims description 55
- 239000013598 vector Substances 0.000 claims description 38
- 238000013461 design Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000033228 biological regulation Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims 1
- 230000001603 reducing effect Effects 0.000 abstract description 8
- 230000005764 inhibitory process Effects 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明属于四旋翼无人机吊挂系统轨迹规划技术领域,为针对吊挂系统空运过程中减小吊挂负载摆动以及降低机载处理器计算负担的需求,提出一种在线轨迹规划方法。本发明在此基础上本发明采用的技术方案是,基于事件驱动的无人机吊挂系统在线轨迹规划方法,将吊挂系统负载摆角的动力学方程转换成非线性仿射系统的形式,引入折现代价函数和强化学习机制,通过神经网络逼近的方法来求解负载摆角抑制的最优控制问题。本发明主要应用于四旋翼无人机吊挂系统轨迹控制场合。
Description
技术领域
本发明属于四旋翼无人机吊挂系统轨迹规划研究领域。针对吊挂系统空运过程中减小吊挂负载摆动以及降低机载处理器计算负担的需求,提出了一种基于事件驱动的在线轨迹规划方法。
背景技术
近年来,小型无人直升机凭借垂直起降能力、空中悬停能力以及具有灵活飞行的特点被视为工业级无人机的重要发展方向。然而,直升机具有非线性、强动态耦合以及其生成推力的空气动力学特性存在的参数和模型不确定性,难以建立精确的动力学模型,使得其控制设计极具挑战性。近年来,随着搜救,快递,农业,军事等领域对高效作业的需求上升,研究人员对四旋翼无人机展开了很多相关研究。其中,四旋翼无人机吊挂系统又以能够实现物资投放、快递运输、农业施肥以及军事援助等应用,成为了研究的热点之一。
四旋翼无人机作为一个典型的欠驱动系统,只有四个控制输入但有六个输出,本身存在不易控制的特点。并且由于没有直接的控制输入作用在负载上,一个带有吊挂负载的四旋翼无人机的欠驱动特性更加复杂。四旋翼无人机吊挂系统的控制目标是实现快速准确定位的同时有效抑制负载的摆动,这是一项具有挑战性的任务。为了获得令人满意的性能,鉴于人工神经网络对特定的函数具有良好的逼近性能,许多研究人员已经将人工神经网络融入到四旋翼无人机吊挂系统的控制器设计以及轨迹规划中去。萨格勒布大学的Ivana Palunko等人用高阶规划器生成航点,并用动态规划算法为吊挂负载的四旋翼无人机生成减摆轨迹。实验验证,该算法通过多次迭代遍历使得轨迹跟踪误差收敛且负载摆角减小(会议:2012IEEE International Conference on Robotics and Automation;著者:Ivana Palunko,Rafael Fierro,and Patricio Cruz;出版年月:2012;文章题目:Trajectory generation for swing-free maneuvers of a quadrotor with suspendedpayload:A dynamic programming approach;页码:2691–2697)。此外,Ivana Palunko等人采用一种基于最小二乘策略迭代(Least-Square Policy Iteration,LSPI)的强化学习方法。在飞行过程中四旋翼无人机根据自身飞行轨迹的反馈来实时学习生成目标轨迹点,从而保证负载沿预定轨迹运动(会议:2013IEEE International Conference on Roboticsand Automation;著者:Ivana Palunko,Aleksandra Faust,Patricio Cruz,Lydia Tapia,and Rafael Fierro;出版年月:2013;文章题目:A reinforcement learning approachtowards autonomous suspended load manipulation using aerial robots;页码:4896–4901)。新墨西哥大学的Aleksandra Faust等人提出了一种基于有限样本的批量强化学习算法,带吊挂负载的四旋翼无人机能根据不同环境生成相应的合理轨迹,且系统对噪声和系统未建模动态有一定的鲁棒性。其核心在于给予无人机有限的轨迹作为学习样本进行自主学习(会议:2013IEEE International Conference on Robotics and Automation;著者:Aleksandra Faust,Ivana Palunko,Patricio Cruz,Rafael Fierro,and LydiaTapia;出版年月:2013;文章题目:Learning swing-free trajectories for UAVs with asuspended load;页码:4902–4909)。Aleksandra Faust等人进一步优化了上述的学习算法,扩充了轨迹的样本空间,提出了一种在有静态障碍的环境中进行货物运输的强化学习方法(期刊:Artificial Intelligence;著者:Aleksandra Faust,Ivana Palunko,Patricio Cruz,Rafael Fierro,and Lydia Tapia;出版年月:2017;文章题目:Automatedaerial suspended cargo delivery through reinforcement learning;页码:381–398)。伊达尔戈州自治大学的Ricardo A.Barrón-Gómez等人提出了一种新型无模型自适应小波网络PID(Adaptive Wave-net PID,AWPID)控制器,实现了无人机位置跟踪与负载减摆控制(会议:2017 20th World Congress of the International Federation of AutomaticControl(IFAC);著者:Ricardo A.Barrón-Gómez,Luis E.Ramos-Velasco,EduardoS.Espinoza Quesada,and Luis R.García Carrillo;出版年月:2017;文章题目:Waveletneural network PID controller for a UAS transporting a cable-suspended load;页码:2335–2340)。中国石油大学(华东)的Cai Luo等人设计了一种基于径向基函数神经网络(Radial Basis Function Neural Network,RBFNN)的非线性反步滑模控制器,该控制器能够对多时变不确定性和干扰进行补偿(期刊:Electronics;著者:Cai Luo,Zhenpeng Du,and Leijian Yu;出版年月:2019;文章题目:Neural network control design for anunmanned aerial vehicle with a suspended payload;页码:931)。天津大学的韩晓薇等人利用基于能量整形的控制方法构造了一种新型的能量存储函数以处理状态耦合,然后利用神经网络对系统未建模动态特性进行在线估计,并采用基于符号函数的鲁棒控制算法补偿神经网络的估计误差(期刊:控制理论与应用;著者:韩晓薇,鲜斌,杨森;出版年月:2020;文章题目:无人机吊挂空运系统的自适应控制设计;页码:999–1006)。
基于以上分析可得,现有针对四旋翼无人机吊挂系统的研究结果主要是基于时间驱动的设计,如果需要在机载处理器上在线实时训练神经网络,随着网络层数增加,不可避免地会遇到计算负担过重的问题。为了满足复杂环境下的不同需求,解决人工神经网络在机载处理器上在线学习训练的计算过载问题,除了升级机载处理器这种硬件方法外,进行时间/事件转换以实现事件驱动的软件设计已经成为反馈控制社区的一条新途径。在事件驱动方法的一般框架下,人工神经网络或者控制器仅在满足一定条件时进行更新,在保证控制性能良好的前提下实现网络或者控制器输出的稳定及高效率。密苏里科技大学的Avimanyu Sahoo等人提出了一种基于多输入多输出未知非线性连续时间仿射系统的事件触发控制方法(期刊:IEEE Transactions on Neural Networks and Learning Systems;著者:Avimanyu Sahoo,Hao Xu,and Sarangapani Jagannathan;出版年月:2016;文章题目:Neural network-based event-triggered state feedback control of nonlinearcontinuous-time systems;页码:497–509)。在新框架下,设计的控制器仅在事件触发时进行更新,从而减少了神经网络学习和自适应最优控制两个过程的计算负担。注意到,要求具有初始稳定条件在一定程度上限制了基于事件驱动设计的应用。为此,利用神经网络逼近策略推导出基于事件的非线性折现最优控制律,可以不依赖于特殊的初始条件。
发明内容
为克服现有技术的不足,本发明旨在针对吊挂系统空运过程中减小吊挂负载摆动以及降低机载处理器计算负担的需求,提出一种在线轨迹规划方法。在基于事件驱动的前提下,本发明引入折现代价函数和强化学习机制,将吊挂系统负载摆角的动力学方程转换成非线性仿射系统的形式,在此基础上通过神经网络逼近的方法来求解负载摆角抑制的最优控制问题。本发明采用的技术方案是,基于事件驱动的无人机吊挂系统在线轨迹规划方法,步骤如下:
步骤1)确定四旋翼无人机吊挂系统的坐标系定义;
四旋翼无人机吊挂系统坐标系定义:{I}={xI,yI,zI}表示固定在大地的惯性坐标系,{B}={xB,yB,zB}表示无人机的机体坐标系,xi、yi、zi(i=I,B)分别对应坐标系三个主轴方向的单位矢量。图1(b)为此系统的二维模型,本发明主要考虑四旋翼无人机吊挂系统在惯性坐标系{I}下y、z方向上的位置状态以及负载摆角及角速度映射在y、z平面上的状态。
步骤2)确定四旋翼无人机吊挂系统的动力学模型;
通过分析四旋翼无人机吊挂系统的二维模型:采用欧拉-拉格朗日方法对系统进行建模,通过计算可以得到系统的动力学表达式如下
其中,表示系统的状态向量,y(t)、z(t)分别表示四旋翼无人机在y、z方向的位移,γ(t)表示负载摆角在y、z平面上的分量。Fq=[fy,fz,0]表示系统的控制输入,fy、fz分别表示无人机在y、z方向的升力。Fd=[dy,dz,dγ]表示系统受到的未知外界扰动,dy、dz、dγ分别表示系统受到的外界扰动在y、z、γ方向的分量。M(q)、 分别表示四旋翼无人机吊挂系统的惯性矩阵、向心力矩阵以及重力向量,表示实数域。式(1)中M(q)的表达式为
G(q)的表达式为
G(q)=[0(mL+mQ)g mLglsinγ]T (4)
步骤3)定义系统折现代价函数和最优控制律;
将式(1)展开可得负载摆动运动的动力学方程如下
输入仿射形式的动力系统在文献和工程中是常见的,将上式整理为如下的连续时间非线性仿射系统形式
g(x)的表达式为
f(·)与g(·)满足局部李普希兹(Lipschitz)连续条件。设t=0时,x(0)=x0,且x=0为系统平衡点,此时f(0)=0。在最优调节设计中,针对特定的代价函数来设计状态反馈控制律u(t)。选取为正定常数矩阵,为Hermite正定常数阵,定义函数r(x(τ),u(τ))如下
r(x(τ),u(τ))=xT(τ)Qx(τ)+uT(τ)Ru(τ) (9)
定义折现代价函数V(x(t),u(t))如下
其中,η>0为折现因子,用来调节收敛速率,e为自然常数。后文V(x(t),u(t))简写为V(x(t))或者V(x)。对于控制输入u(t),若代价函数连续且可微,则
经过适当的数学变换,可获得上式中非线性Lyapunov方程的无穷小形式如下式所示
据贝尔曼最优准则,最优代价函数V*(x)的表达式为
根据以上最优控制律,上述的HJB方程可改写为
因为R为Hermite正定阵,满足(R-1)T=R-1,上式可化为
步骤4)设计事件驱动机制;
将上述事件触发机制与式(15)中的最优控制律设计相结合,可得如下的控制设计
步骤5)设计自适应评价网络;
据神经网络的逼近策略,最优代价函数V*(x)可重构为
因为ωc未知,采用评价网逼近上述重构后的最优代价函数,可得近似最优代价函数为
采用逼近策略重构,式(20)可改写为
由以上可得近似哈密尔顿量为
其中,αc>0为设计的评价网学习率增益。
在传统的自适应评价网设计中,应该选择一种特殊的权值向量来创建初始的稳定控制器,然后再开始训练神经网络,否则可能会导致闭环系统不稳定。为避免以上情况,引入一个额外的Lyapunov候选函数Vs(x)来改进评价网的学习准则,并利用它来调节评价网的权值向量。令Vs(x)为保证时间导数为负的连续可微Lyapunov候选函数,即
据状态向量选择多项式来确定Vs(x),可选取Vs(x)=(1/2)xTx。
当使用式(20)中的基于事件驱动的最优控制律时,为使系统稳定,即需要引入一个额外的项通过沿着的负梯度方向调整来加强训练过程。为此,据式(26)中的基于事件驱动的近似最优控制律,可利用链式法则得到以下梯度下降运算
其中,αs>0为正常数。综上所述,评价网输出权值更新率由两部分组成,即
可得本发明的评价网输出权值更新率为
步骤6)轨迹规划设计;
定义四旋翼无人机规划的期望轨迹与标称轨迹的误差信号如下
上式中的为减摆设计,与为保证系统稳定的辅助函数,kγ、 及为正常数增益。标称轨迹与保证了四旋翼无人机能准确到达目标位置,标称轨迹要满足如下条件:(1)yt(t)、zt(t)在有限时间收敛到目标位置。(2)yt(t)、zt(t)的一二阶导数均能随时间收敛到0,且二阶导数的绝对值与一阶导数均是有上界的正实数。(3)初始值应满足当t=0时,yt(t)、zt(t)及其一阶导数均为0。
本发明选用如下的S形曲线作为标称轨迹
其中cy、cz、ny、nz、υ、py及pz为设计的正常数。
步骤7)位置跟踪控制律设计;
为使吊挂系统沿着规划的期望轨迹运动,定义四旋翼无人机实时位置与规划的轨迹之间的误差如下
选取如下的类PD控制器作为轨迹跟踪控制器
以上述控制律使四旋翼无人机吊挂系统跟踪本发明设计的期望轨迹,可以利用基于Lyapunov的稳定性分析方法可以得到以下结论:本发明所设计的在线轨迹规划方法可以保证四旋翼无人机y、z方向的位置、速度、负载摆角以及摆角角速度收敛到一定区域内。
本发明的特点及有益效果是:
1.四旋翼无人机吊挂系统具有欠驱动、强耦合、非线性等特性,本发明针对非线性动态模型未做过多假设以及线性化处理,与实际系统的动态特性较为相符;
2.本发明应用了事件触发机制,显著降低了无人机机载处理器处理神经网络学习和自适应最优控制两个过程的计算负担。这为在四旋翼无人机机载处理器上在线训练人工神经网络提供了一种新的手段;
3.本发明利用Lyapunov稳定性分析方法证明了评价网络输出权值估计误差一致最终有界,并证明了无人机位置误差和负载摆动的收敛;
4.本发明通过实际飞行实验,对提出的在线轨迹规划方法进行了验证,并且与点对点的PD跟踪控制方法进行了对比,实验结果表明本发明设计的基于事件驱动的在线轨迹规划方法具有更好的减摆效果以及良好的定位性能。
附图说明:
图1是本发明采用的四旋翼无人机吊挂系统模型示意图;
图2是本发明所使用的四旋翼无人机吊挂系统实验平台;
图3是位置跟踪控制实验时无人机位置信息的更新曲线图;
图4是位置跟踪控制实验时无人机控制输入的更新曲线图;
图5是位置跟踪控制实验时无人机负载摆角的更新曲线图;
图6是位置跟踪控制实验时自适应神经网络输入输出的更新曲线图;
图7是位置跟踪控制实验时神经网络学习过程触发条件的更新曲线图;
图8是位置跟踪控制实验时神经网络输出权值的更新曲线图。
具体实施方式
本发明在基于事件驱动的前提下,引入折现代价函数和强化学习机制,提出了一种新型的四旋翼无人机吊挂系统在线轨迹规划方法。本发明将吊挂系统负载摆角的动力学方程转换成非线性仿射系统的形式,在此基础上通过神经网络逼近的方法来求解负载摆角抑制的最优控制问题。在存在外界未知扰动的情况下,本发明利用负载摆角的反馈作为人工神经网络的输入,通过在线训练神经网络获得输出作为轨迹规划部分的补偿。本发明采用的技术方案是,基于事件驱动的无人机吊挂系统在线轨迹规划方法,步骤如下:
步骤1)确定四旋翼无人机吊挂系统的坐标系定义;
四旋翼无人机吊挂系统坐标系定义如图1所示,图1(a)为系统三维模型示意图,其中{I}={xI,yI,zI}表示固定在大地的惯性坐标系,{B}={xB,yB,zB}表示无人机的机体坐标系,xi、yi、zi(i=I,B)分别对应坐标系三个主轴方向的单位矢量。图1(b)为此系统的二维模型,本发明主要考虑四旋翼无人机吊挂系统在惯性坐标系{I}下y、z方向上的位置状态以及负载摆角及角速度映射在y、z平面上的状态。
步骤2)确定四旋翼无人机吊挂系统的动力学模型;
通过分析四旋翼无人机吊挂系统的二维模型如图1(b)所示。采用欧拉-拉格朗日方法对系统进行建模,通过计算可以得到系统的动力学表达式如下
其中,表示系统的状态向量,y(t)、z(t)分别表示四旋翼无人机在y、z方向的位移,γ(t)表示负载摆角在y、z平面上的分量。Fq=[fy,fz,0]表示系统的控制输入,fy、fz分别表示无人机在y、z方向的升力。Fd=[dy,dz,dγ]表示系统受到的未知外界扰动,dy、dz、dγ分别表示系统受到的外界扰动在y、z、γ方向的分量。M(q)、 分别表示四旋翼无人机吊挂系统的惯性矩阵、向心力矩阵以及重力向量,表示实数域。式(1)中M(q)的表达式为
G(q)的表达式为
G(q)=[0(mL+mQ)g mLglsinγ]T (4)
步骤3)定义系统折现代价函数和最优控制律;
将式(1)展开可得负载摆动运动的动力学方程如下
输入仿射形式的动力系统在文献和工程中是常见的,将上式整理为如下的连续时间非线性仿射系统形式
g(x)的表达式为
f(·)与g(·)满足局部李普希兹(Lipschitz)连续条件。设t=0时,x(0)=x0,且x=0为系统平衡点,此时f(0)=0。在最优调节设计中,针对特定的代价函数来设计状态反馈控制律u(t)。选取为正定常数矩阵,为Hermite正定常数阵,定义函数r(x(τ),u(τ))如下
r(x(τ),u(τ))=xT(τ)Qx(τ)+uT(τ)Ru(τ) (9)
定义折现代价函数V(x(t),u(t))如下
其中,η>0为折现因子,用来调节收敛速率,e为自然常数。后文V(x(t),u(t))简写为V(x(t))或者V(x)。对于控制输入u(t),若代价函数连续且可微,则
经过适当的数学变换,可获得上式中非线性Lyapunov方程的无穷小形式如下式所示
据贝尔曼最优准则,最优代价函数V*(x)的表达式为
根据以上最优控制律,上述的HJB方程可改写为
因为R为Hermite正定阵,满足(R-1)T=R-1,上式可化为
步骤4)设计事件驱动机制;
将上述事件触发机制与式(15)中的最优控制律设计相结合,可得如下的控制设计
步骤5)设计自适应评价网络;
据神经网络的逼近策略,最优代价函数V*(x)可重构为
因为ωc未知,采用评价网逼近上述重构后的最优代价函数,可得近似最优代价函数为
采用逼近策略重构,式(20)可改写为
由以上可得近似哈密尔顿量为
其中,αc>0为设计的评价网学习率增益。
在传统的自适应评价网设计中,应该选择一种特殊的权值向量来创建初始的稳定控制器,然后再开始训练神经网络,否则可能会导致闭环系统不稳定。为避免以上情况,引入一个额外的Lyapunov候选函数Vs(x)来改进评价网的学习准则,并利用它来调节评价网的权值向量。令Vs(x)为保证时间导数为负的连续可微Lyapunov候选函数,即
据状态向量选择多项式来确定Vs(x),可选取Vs(x)=(1/2)xTx。
当使用式(20)中的基于事件驱动的最优控制律时,为使系统稳定,即需要引入一个额外的项通过沿着的负梯度方向调整来加强训练过程。为此,据式(26)中的基于事件驱动的近似最优控制律,可利用链式法则得到以下梯度下降运算
其中,αs>0为正常数。综上所述,评价网输出权值更新率由两部分组成,即
可得本发明的评价网输出权值更新率为
步骤6)轨迹规划设计;
定义四旋翼无人机规划的期望轨迹与标称轨迹的误差信号如下
上式中的为减摆设计,与为保证系统稳定的辅助函数,kγ、 及为正常数增益。标称轨迹与保证了四旋翼无人机能准确到达目标位置,标称轨迹要满足如下条件:(1)yt(t)、zt(t)在有限时间收敛到目标位置。(2)yt(t)、zt(t)的一二阶导数均能随时间收敛到0,且二阶导数的绝对值与一阶导数均是有上界的正实数。(3)初始值应满足当t=0时,yt(t)、zt(t)及其一阶导数均为0。
本发明选用如下的S形曲线作为标称轨迹
其中cy、cz、ny、nz、v、py及pz为设计的正常数。
步骤7)位置跟踪控制律设计;
为使吊挂系统沿着规划的期望轨迹运动,定义四旋翼无人机实时位置与规划的轨迹之间的误差如下
选取如下的类PD控制器作为轨迹跟踪控制器
以上述控制律使四旋翼无人机吊挂系统跟踪本发明设计的期望轨迹,可以利用基于Lyapunov的稳定性分析方法可以得到以下结论:本发明所设计的在线轨迹规划方法可以保证四旋翼无人机y、z方向的位置、速度、负载摆角以及摆角角速度收敛到一定区域内。
以下结合具体实例以及附图对本发明做出详细说明。
一、实验平台介绍
为为了验证本发明设计的基于事件驱动的四旋翼无人机吊挂空运系统在线轨迹规划方法的实际效果,本发明采用如图2所示的实验平台进行了飞行实验。实验平台由两部分组成:(1)运动捕捉系统,系统能够实时采集无人机及吊挂负载的位置信息;(2)自主开发的四旋翼无人机吊挂系统,无人机机载处理器接收来自运动捕捉系统提供的位置信息。
实验平台的相关参数为:mq=1.008kg,mp=0.076kg,l=1.05m及g=9.81m/s2。
二、实验验证与分析
采用本发明设计的在线轨迹规划方法与不加轨迹规划的点对点的PD跟踪控制方法作对比,在上述的实验平台上进行了一组对比实验。不加轨迹规划的点对点PD跟踪控制方法中,定义四旋翼无人机实时位置与目标位置之间的误差如下
其中,yd,zd为设定的目标位置。
两种方法采用上述类PD控制器及其相关参数,使四旋翼无人机在吊挂负载的情况下到达目标位置。
(1)参数选择
在实际飞行实验中,本发明设计的基于事件驱动的近似最优控制律部分相关参数选取如下:Q=diag[0.001 0.05],R=diag[0.01 0.02],Vs(x)=(1/2)xTx,η=0.6,αc=0.1,αs=0.0015,nc=10。用作评价网输入的系统状态的采样时间为式(35)触发条件中的相关参数选取如下:φ=0.5,ψ=25。轨迹规划设计相关参数选取如下:k11=6.0,k12=5.0,k216.0,k22=5.0,kγ=1.0。标称轨迹中的相关参数选取如下cy=1.2,cz=1.2,ny=0.48,nz=0.48,v=3.5,py=3.0,pz=0.3。位置跟踪控制律中的控制增益选取如下: 四旋翼无人机的起始位置和目标位置分别设置为:y0=0m,z0=-1.75m与yd=3m,zd=-1.45m。
(2)结果分析
飞行实验中,定义当四旋翼无人机到达目标位置并保持在规定误差带(目标位置的5%)内时,系统进入稳态。定义调节时间为四旋翼无人机进入稳态所需的最短时间。通过对图3以及图5的动态过程进行具体分析,可得到表1,表1是在线轨迹规划方法和点对点的PD跟踪控制方法下系统调节时间的对比结果。通过分析可知,两种方法下,四旋翼无人机在y、z方向位移的调节时间相近,无人机均能较平滑的到达目标位置。但是比较负载摆角的调节时间,在线轨迹规划方法明显优于点对点的PD跟踪控制方法,并且从图5中可知,在线轨迹规划方法下,负载摆角的振荡幅值以及振荡次数均远小于点对点的PD跟踪控制方法下的摆角幅值与次数。根据图4可知,对于控制输入uy(t),从动态调节过程来看,在线轨迹规划方法控制器的输出相比较点对点的PD跟踪控制方法控制器的输出平缓许多。总的来说,动态过程中,在四旋翼无人机位移方面,两种方法的效果相近,但在负载摆角方面,在线轨迹规划方法的减摆效果明显优于点对点的PD跟踪控制方法。
对图3以及图5中的状态量的稳态过程进行定量分析,选取各个状态量进入稳态后的数据,分别对图中各个量求取了平均绝对误差(Mean absolute error,MAE),均方根误差(Mean square error,MSE)。表3,表4分别是在线轨迹规划方法和点对点的PD跟踪控制方法稳态后的平均绝对误差和均方根误差的对比。对于无人机y方向位移y(t),在线轨迹规划方法的平均绝对误差以及均方根误差略小于点对点的PD跟踪控制方法;对于无人机z方向位移z(t)以及负载摆角γ(t),两种方法的平均绝对误差以及均方根误差相近。总的来看,两种方法下吊挂系统的稳态性能均相近。图4中控制输入量uy(t)、uz(t)的稳态性能和y、z方向的位移y(t)、z(t)的稳态性能对应,合理地解释了y、z方向的位移y(t)、z(t)的变化曲线,间接体现了在线轨迹规划方法对负载优良的减摆性能。
表2:调节时间比较
调节时间/s | 在线轨迹规划方法 | 点对点的PD跟踪控制方法 |
t<sub>sy</sub> | 9.593 | 8.250 |
t<sub>sz</sub> | 6.782 | 6.302 |
t<sub>sγ</sub> | 7.543 | 28.416 |
表3:稳态平均绝对误差(MAE)比较
MAE/m | 在线轨迹规划方法 | 点对点的PD跟踪控制方法 |
y | 0.0116 | 0.0213 |
z | 0.0079 | 0.0073 |
γ | 0.7154 | 0.7264 |
表4:稳态均方根误差(RMSE)比较
RMSE/m | 在线轨迹规划方法 | 点对点的PD跟踪控制方法 |
y | 0.0228 | 0.0300 |
z | 0.0093 | 0.0089 |
γ | 0.8688 | 0.8926 |
当权衡控制精度和计算复杂度时,通过反复实验得到基于事件触发的评价网络的更新频率取20Hz时控制效果较好,此时评价网络输入的系统状态的采样时间为网络学习过程的触发条件和神经网络的实际输入分别如图6和图7所示。图6表示在实际飞行过程中,为避免小角度摆动过于频繁造成的影响,在满足评价网络输入持续激励条件前提下对神经网络的输入γ(t)做了处理,即降低了摆角绝对值在0.04rad以内的输入值的幅值。图7表明经过以上处理后,学习过程始终满足式(35)中的触发条件,即||ei(t)||2/eT的值小于1。
如图8所示,评价网的输出权值向量最终收敛。从图中可以发现,权值向量的初始值都被设为零,说明初始控制律不需要是稳定的。可以观察到输出权值向量的收敛发生在t=7.64s,之后系统进入了小角度摆动状态。
本发明设计的创新之处除了上述对负载优良的减摆性能外,还有如下一点:在达到相同控制效果的前提下,与基于时间的评价网络相比较,基于事件触发的评价网络有着更低的更新频率,为此降低了无人机机载处理器的运算负担。原因在于,在只涉及无人机外环控制的轨迹规划中,为达到良好的位置跟踪效果,无人机外环控制器的控制更新频率有一定的下限,并且基于时间的评价网设计普遍采用与无人机外环控制器相同的更新频率。在本发明实验中,无人机采用的外环控制器的控制更新频率不低于50Hz,这就要求机载处理器具有较强的运算能力能够处理基于时间的评价网的迭代更新。为解决机载处理器算力不足的问题,本发明设计的基于事件触发机制的在线轨迹规划方法,能在保证系统稳定性以及位置跟踪效果的前提下,将评价网络的更新频率降低至20Hz,这显著降低了机载处理器在处理评价网络的迭代更新时的计算消耗。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于事件驱动的无人机吊挂系统在线轨迹规划方法,其特征是,将吊挂系统负载摆角的动力学方程转换成非线性仿射系统的形式,在此基础上引入折现代价函数和强化学习机制,通过神经网络逼近的方法来求解负载摆角抑制的最优控制问题。
2.如权利要求1所述的基于事件驱动的无人机吊挂系统在线轨迹规划方法,其特征是,具体步骤如下:
步骤1)确定四旋翼无人机吊挂系统的坐标系定义;
四旋翼无人机吊挂系统坐标系定义:{I}={xI,yI,zI}表示固定在大地的惯性坐标系,{B}={xB,yB,zB}表示无人机的机体坐标系,xi、yi、zi(i=I,B)分别对应坐标系三个主轴方向的单位矢量;
步骤2)确定四旋翼无人机吊挂系统的动力学模型;
通过分析四旋翼无人机吊挂系统的二维模型,采用欧拉-拉格朗日方法对系统进行建模,通过计算可以得到系统的动力学表达式如下
其中,表示系统的状态向量,y(t)、z(t)分别表示四旋翼无人机在y、z方向的位移,γ(t)表示负载摆角在y、z平面上的分量,Fq=[fy,fz,0]表示系统的控制输入,fy、fz分别表示无人机在y、z方向的升力,Fd=[dy,dz,dγ]表示系统受到的未知外界扰动,dy、dz、dγ分别表示系统受到的外界扰动在y、z、γ方向的分量,M(q)、分别表示四旋翼无人机吊挂系统的惯性矩阵、向心力矩阵以及重力向量,表示实数域,式(1)中M(q)的表达式为
G(q)的表达式为
G(q)=[0 (mL+mQ)g mLglsinγ]T (4)
步骤3)定义系统折现代价函数和最优控制律;
将式(1)展开可得负载摆动运动的动力学方程如下
输入仿射形式的动力系统在文献和工程中是常见的,将上式整理为如下的连续时间非线性仿射系统形式
g(x)的表达式为
f(·)与g(·)满足局部李普希兹(Lipschitz)连续条件,设t=0时,x(0)=x0,且x=0为系统平衡点,此时f(0)=0,在最优调节设计中,针对特定的代价函数来设计状态反馈控制律u(t),选取为正定常数矩阵,为Hermite正定常数阵,定义函数r(x(τ),u(τ))如下
r(x(τ),u(τ))=xT(τ)Qx(τ)+uT(τ)Ru(τ) (9)
定义折现代价函数V(x(t),u(t))如下
其中,η>0为折现因子,用来调节收敛速率,e为自然常数,后文V(x(t),u(t))简写为V(x(t))或者V(x),对于控制输入u(t),若代价函数连续且可微,则
经过适当的数学变换,获得上式中非线性Lyapunov方程的无穷小形式如下式所示
据贝尔曼最优准则,最优代价函数V*(x)的表达式为
根据以上最优控制律,上述的HJB方程可改写为
因为R为Hermite正定阵,满足(R-1)T=R-1,上式可化为
步骤4)设计事件驱动机制;
当t=si时,ei(t)=0,在每个触发时刻,系统状态是采样的,ei(t)复位为0,反馈控制律
将上述事件触发机制与式(15)中的最优控制律设计相结合,可得如下的控制设计
步骤5)设计自适应评价网络;
据神经网络的逼近策略,最优代价函数V*(x)可重构为
因为ωc未知,采用评价网逼近上述重构后的最优代价函数,可得近似最优代价函数为
采用逼近策略重构,式(20)可改写为
由以上可得近似哈密尔顿量为
其中,αc>0为设计的评价网学习率增益;
引入一个额外的Lyapunov候选函数Vs(x)来改进评价网的学习准则,并利用它来调节评价网的权值向量,令Vs(x)为保证时间导数为负的连续可微Lyapunov候选函数,即
据状态向量选择多项式来确定Vs(x),可选取Vs(x)=(1/2)xTx;
当使用式(20)中的基于事件驱动的最优控制律时,为使系统稳定,即需要引入一个额外的项通过沿着的负梯度方向调整来加强训练过程,为此,据式(26)中的基于事件驱动的近似最优控制律,可利用链式法则得到以下梯度下降运算
其中,αs>0为正常数,综上所述,评价网输出权值更新率由两部分组成,即
可得本发明的评价网输出权值更新率为
步骤6)轨迹规划设计;
定义四旋翼无人机规划的期望轨迹与标称轨迹的误差信号如下
上式中的为减摆设计,与为保证系统稳定的辅助函数,kγ、及为正常数增益,标称轨迹与保证了四旋翼无人机能准确到达目标位置,标称轨迹要满足如下条件:(1)yt(t)、zt(t)在有限时间收敛到目标位置,(2)yt(t)、zt(t)的一二阶导数均能随时间收敛到0,且二阶导数的绝对值与一阶导数均是有上界的正实数,(3)初始值应满足当t=0时,yt(t)、zt(t)及其一阶导数均为0;
选用如下的S形曲线作为标称轨迹
其中cy、cz、ny、nz、υ、py及pz为设计的正常数;
步骤7)位置跟踪控制律设计;
为使吊挂系统沿着规划的期望轨迹运动,定义四旋翼无人机实时位置与规划的轨迹之间的误差如下
选取如下的类PD控制器作为轨迹跟踪控制器
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111114973.4A CN113759979B (zh) | 2021-09-23 | 2021-09-23 | 基于事件驱动的无人机吊挂系统在线轨迹规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111114973.4A CN113759979B (zh) | 2021-09-23 | 2021-09-23 | 基于事件驱动的无人机吊挂系统在线轨迹规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113759979A true CN113759979A (zh) | 2021-12-07 |
CN113759979B CN113759979B (zh) | 2023-11-21 |
Family
ID=78796999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111114973.4A Active CN113759979B (zh) | 2021-09-23 | 2021-09-23 | 基于事件驱动的无人机吊挂系统在线轨迹规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113759979B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115265277A (zh) * | 2022-08-01 | 2022-11-01 | 北京千禧卫通装备技术有限公司 | 基于直升机无控武器动中精准射击系统及方法 |
CN115617039A (zh) * | 2022-09-15 | 2023-01-17 | 哈尔滨工程大学 | 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法 |
CN116227221A (zh) * | 2023-03-16 | 2023-06-06 | 上海理工大学 | 一种基于最优控制的二维轨迹重构方法 |
CN116841199A (zh) * | 2023-06-29 | 2023-10-03 | 南京工业大学 | 一种基于数据驱动的蒸汽-水热交换机系统的量化事件触发控制方法 |
CN117111629A (zh) * | 2023-07-26 | 2023-11-24 | 中国人民解放军陆军工程大学 | 基于自适应动态规划的多无人机固定时间最优控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9146557B1 (en) * | 2014-04-23 | 2015-09-29 | King Fahd University Of Petroleum And Minerals | Adaptive control method for unmanned vehicle with slung load |
CN110908398A (zh) * | 2019-11-29 | 2020-03-24 | 天津大学 | 能量耦合四旋翼无人机吊挂空运系统自适应控制方法 |
CN111008467A (zh) * | 2019-11-29 | 2020-04-14 | 天津大学 | 无人机吊挂飞行运输系统的减摆轨迹在线规划方法 |
CN111625019A (zh) * | 2020-05-18 | 2020-09-04 | 天津大学 | 基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法 |
CN112685835A (zh) * | 2020-12-31 | 2021-04-20 | 中国科学院数学与系统科学研究院 | 车辆自主驾驶的弹性事件触发控制方法及系统 |
-
2021
- 2021-09-23 CN CN202111114973.4A patent/CN113759979B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9146557B1 (en) * | 2014-04-23 | 2015-09-29 | King Fahd University Of Petroleum And Minerals | Adaptive control method for unmanned vehicle with slung load |
CN110908398A (zh) * | 2019-11-29 | 2020-03-24 | 天津大学 | 能量耦合四旋翼无人机吊挂空运系统自适应控制方法 |
CN111008467A (zh) * | 2019-11-29 | 2020-04-14 | 天津大学 | 无人机吊挂飞行运输系统的减摆轨迹在线规划方法 |
CN111625019A (zh) * | 2020-05-18 | 2020-09-04 | 天津大学 | 基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法 |
CN112685835A (zh) * | 2020-12-31 | 2021-04-20 | 中国科学院数学与系统科学研究院 | 车辆自主驾驶的弹性事件触发控制方法及系统 |
Non-Patent Citations (6)
Title |
---|
BIN XIAN: "An Online Trajectory Planning Approach for a Quadrotor UAV With a Slung Payload", IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, vol. 67, no. 8, XP011782035, DOI: 10.1109/TIE.2019.2938493 * |
J B UBBINK: "Sequence-Constrained Trajectory Planning and Execution for a Quadrotor UAV with Suspended Payload", IFAC-PAPERSONLINE, vol. 53 * |
安航;鲜斌;: "无人直升机的姿态增强学习控制设计与验证", 控制理论与应用, no. 04 * |
李婷: "基于强化学习的无人机悬挂负载系统控制研究", 中国优秀硕士学位论文全文数据库, no. 2 * |
韩晓薇: "无人机吊挂系统的自适应控制设计", 控制理论与应用, vol. 37, no. 5 * |
鲜斌: "基于强化学习的无人机吊挂负载系统轨迹规划", 吉林大学学报, vol. 51, no. 6 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115265277A (zh) * | 2022-08-01 | 2022-11-01 | 北京千禧卫通装备技术有限公司 | 基于直升机无控武器动中精准射击系统及方法 |
CN115617039A (zh) * | 2022-09-15 | 2023-01-17 | 哈尔滨工程大学 | 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法 |
CN115617039B (zh) * | 2022-09-15 | 2023-06-13 | 哈尔滨工程大学 | 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法 |
CN116227221A (zh) * | 2023-03-16 | 2023-06-06 | 上海理工大学 | 一种基于最优控制的二维轨迹重构方法 |
CN116227221B (zh) * | 2023-03-16 | 2023-11-03 | 上海理工大学 | 一种基于最优控制的二维轨迹重构方法 |
CN116841199A (zh) * | 2023-06-29 | 2023-10-03 | 南京工业大学 | 一种基于数据驱动的蒸汽-水热交换机系统的量化事件触发控制方法 |
CN117111629A (zh) * | 2023-07-26 | 2023-11-24 | 中国人民解放军陆军工程大学 | 基于自适应动态规划的多无人机固定时间最优控制方法 |
CN117111629B (zh) * | 2023-07-26 | 2024-05-28 | 中国人民解放军陆军工程大学 | 基于自适应动态规划的多无人机固定时间最优控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113759979B (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu | Composite learning finite-time control with application to quadrotors | |
CN113759979B (zh) | 基于事件驱动的无人机吊挂系统在线轨迹规划方法 | |
Chen et al. | Finite-time approximation-free attitude control of quadrotors: Theory and experiments | |
He et al. | A Simple Attitude Control of Quadrotor Helicopter Based on Ziegler‐Nichols Rules for Tuning PD Parameters | |
Raffo et al. | Nonlinear robust control of a quadrotor UAV for load transportation with swing improvement | |
CN107765553B (zh) | 针对旋翼无人机吊挂运输系统的非线性控制方法 | |
CN111625019B (zh) | 基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法 | |
Xu et al. | Information fusion estimation-based path following control of quadrotor UAVs subjected to Gaussian random disturbance | |
CN110442020B (zh) | 一种新型的基于鲸鱼优化算法的容错控制方法 | |
CN111522352B (zh) | 多旋翼飞行器单参数自抗扰姿态控制器设计方法 | |
Yin et al. | Adaptive neural network sliding mode control for quad tilt rotor aircraft | |
Hu et al. | Proximal policy optimization with an integral compensator for quadrotor control | |
CN108508746A (zh) | 四旋翼无人机吊挂运输系统的自适应控制方法 | |
Samadikhoshkho et al. | Nonlinear control of aerial manipulation systems | |
CN113759722B (zh) | 一种无人机自抗扰控制器参数优化方法 | |
Peng et al. | Online integral reinforcement learning control for an uncertain highly flexible aircraft using state and output feedback | |
Qin et al. | Dual-loop robust attitude control for an aerodynamic system with unknown dynamic model: Algorithm and experimental validation | |
El Houm et al. | Optimal new sliding mode controller combined with modified supertwisting algorithm for a perturbed quadrotor UAV | |
Han et al. | Robust I&I adaptive control for a class of quadrotors with disturbances | |
Wang et al. | PID-like model free adaptive control with discrete extended state observer and its application on an unmanned helicopter | |
Brahim et al. | Finite Time Adaptive SMC for UAV Trajectory Tracking Under Unknown Disturbances and Actuators Constraints | |
Yu et al. | Compensating aerodynamics of over-actuated multi-rotor aerial platform with data-driven iterative learning control | |
CN113954077A (zh) | 带有能量优化的水下游动机械臂轨迹跟踪控制方法及装置 | |
Khanesar et al. | Controlling the pitch and yaw angles of a 2-dof helicopter using interval type-2 fuzzy neural networks | |
Huang | Characteristic modeling and all-coefficient adaptive control of a quadrotor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Xian Bin Inventor after: Cai Jiaming Inventor before: Xian Bin |
|
GR01 | Patent grant | ||
GR01 | Patent grant |