CN109828454B - 基于海况等级切换的多策略融合auv运动控制方法 - Google Patents

Abstract

本发明公开一种基于海况等级切换的多策略融合AUV运动控制方法，按照AUV的运动控制分析、控制策略自主决策的思路，结合长航程AUV在海洋环境下航行所需适应的各种海况条件为输入，开展系统研究，基于海洋航行环境，结合多种控制器的优势，设计多策略融合切换控制方法，可实现基于Q‑learning算法的自主控制策略选择，保证AUV的运动精度及抗干扰能力。根据运动控制输入、输出、干扰等关键指标，针对不同海况，通过选择有效合理的AUV运动控制方法，有效提高AUV的运动控制精度和可靠性，进一步提升AUV适应复杂海洋环境的能力。

Description

基于海况等级切换的多策略融合AUV运动控制方法

技术领域

本发明涉及AUV运动控制领域，具体涉及一种基于海况等级切换的多策略融合AUV运动控制方法。

背景技术

自治式水下航行器(Autonomous Underwater Vehicle，AUV)在复杂的海洋环境下长期航行，运动控制是其完成指定任务的前提和保障，是AUV关键技术之一。随着AUV应用范围的扩大，对其运动控制的精度和稳定性的要求也随之增加，如何提高其运动控制性能就成了目前研究的一个重要课题，如何保证AUV的运动控制精度是亟需解决的关键科学问题。

目前，AUV的多数运动控制均采用单一控制策略，不论多么复杂的海况，最终也都是采用单一的控制方法，比如，从国内外公开的有关控制技术的论文来看，经典控制理论、现代控制理论和智能控制理论中的许多方法都己经应用在AUV的运动控制上，如PID(proportion-integral-differential)控制、H_∞控制、滑模变结构控制、模糊控制、自适应控制和神经网络控制；但是，当海况发生变化时，单一策略有其应用的局限性，无论其设计思路、控制方式、控制精度多么优异，都是针对固定或设定海况进行设计，当面对复杂海洋环境的调查任务，加上海洋环境的未知性和复杂性，AUV的航行控制不能完全按照先验知识进行运动控制，若要保证AUV在海洋中长期安全的航行，AUV必须能够对航行过程中不同的海况自主适应，这样的情况下，单一运动控制策略显然有其应用的局限性，控制并不能达到最优。

综上所述，面对复杂深海环境的调查任务，加之海洋环境的未知性和复杂性，单一的控制器不能满足其要求，所以针对这一问题，亟待提出一种基于海洋航行环境，结合多种控制器的优势，设计多策略融合的控制新方法。

发明内容

本发明针对现有技术中存在的上述缺陷，提出一种基于海况等级切换的多策略融合AUV运动控制方法，针对每级海况设计切实可行的控制器，并结合海况等级切换最适宜的控制策略，有效解决单一控制方法无法满足复杂海况下AUV运动控制效果的关键问题。

本发明是采用以下的技术方案实现的：一种基于海况等级切换的多策略融合AUV运动控制方法，包括以下步骤：

步骤A、建立AUV水平面运动模型；

步骤B、基于步骤A所建立的运动模型，建立不同海况下的控制策略，具体包括：

步骤B1、针对1级海况设计PID控制器；

步骤B2、针对3级海况设计自抗扰控制器；

步骤B3、针对4级海况设计分数阶自抗扰控制器；

步骤C、基于Q-learning建立自主决策的控制系统：

所述自主决策控制系统包括动作集合模块和自主决策模块，所述动作集合模块包括海洋环境状态集合S＝{1级海况，3级海况，4级海况}和离散动作策略集合A＝{PID，ADRC，FOADRC}，所述自主决策模块则基于Q-learning算法根据海况等级从离散动作策略集合中自主选择控制策略；

步骤D、基于不同海况等级实现自主决策控制，具体包括：

1)任意给定当前海洋环境状态s_t，s_t∈S；

2)通过Q(s_t，a_t)＝r(s_t，a_t)+γmax_aQ(s_t+1，a)在环境状态s_t+1的所有可能行为中选取一个行为a(a∈A，表示可以选择任意一种策略)，a_t∈A，t表示时刻，γ为参数(0≤γ＜1)(a可以是a₁，a₂，a₃，但是获得的奖赏r是不同的)；

3)观察新海洋环境状态s_t+1；

4)从环境中获得即时奖赏回报r，

列表示控制策略行为，行表示海况状态；

5)根据下式对状态s_t和动作a_t相应的Q值进行更新：

Q(s_t，a_t)←Q(s_t，a_t)+α[r+γmaxQ(s_t+1，a)-Q(s_t，a_t)]

α是学习率(0≤α＜1)(或学习步长)；

6)如果s_t←s_t+1结束；

7)否则s_t→s_t+1返回到第2)步重新选择控制策略，以实现不同海况下AUV控制策略的自主选择。

进一步的，所述步骤B3中，设计分数阶自抗扰控制器包括：

(1)安排过渡过程产生跟踪信号；设期望航向ψ_d为输入，ψ₁和ψ₂为输出信号，ψ₁跟踪ψ_d，ψ₂为ψ₁的微分信号；

(2)通过扩张状态观测器根据AUV的输出信号ψ和输入信号u估计出AUV的状态z₁，z₂和作用于AUV的总和扰动z₃；

(3)基于状态误差反馈，根据e₁，e₂，采用分数阶PID组合形式得到误差反馈控制量u₀，其中，e₁＝ψ₁-z₁，e₂＝ψ₂-z₂；

(4)对误差反馈控制量u₀用扰动估计值z₃的补偿来决定最终控制量u。

与现有技术相比，本发明的优点和积极效果在于：

本发明方案按照AUV的运动控制分析、控制策略自主决策的思路，结合长航程AUV在海洋环境下航行所需适应的各种海况条件为输入，开展系统研究，基于海洋航行环境，结合多种控制器的优势，设计多策略融合切换控制方法，可实现基于Q-learning算法的自主控制策略选择，保证AUV的运动精度及抗干扰能力。根据运动控制输入、输出、干扰等关键指标，针对不同海况，通过选择有效合理的AUV运动控制方法，有效提高AUV的运动控制精度和可靠性，进一步提升AUV适应复杂海洋环境的能力。

附图说明

图1为本发明的实施例中所建立的AUV的坐标系示意图；

图2为本发明实施例所述航向PID控制结构图；

图3为本发明实施例所述航向自抗扰控制结构图；

图4为本发明实施例所述航向分数阶自抗扰控制结构图；

图5为本发明实施例所述基于海况等级多策略融合控制原理示意图；

图6为本发明实施例1级海况PID、ADRC和FOADRC仿真结果示意图；

图7为本发明实施例3级海况PID与ADRC仿真结果示意图；

图8为本发明实施例4级海况PID、ADRC和FOADRC仿真结果示意图；

图9为本发明实施例基于海况等级切换的多策略融合AUV运动控制仿真结果示意图。

具体实施方式

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。

本实施例公开一种基于海况等级切换的多策略融合AUV运动控制方法，通过对AUV的运动控制建模，基于海况级别差异，深入研究多控制策略融合；着眼于不同海况下的AUV运动控制，重点研究多种控制策略融合的控制方法应用，旨在提高AUV的运动控制精度和可靠性，以进一步提升AUV适应复杂海洋环境的能力，具体包括以下步骤：

一、建立AUV水平面运动模型

(1)建立坐标系

为了研究AUV的运动规律，本实施例中采用国际水池会议和造船与轮机工程学会术语公报的体系。一个是固定坐标系(E-ξηζ)，一个是运动坐标系(E-xyz)，具体如图1所示，其中，各变量符号定义如表1所示：

表1 AUV符号表

(2)建立水平面运动线性方程

研究AUV水平面的运动，它的一半运动方程如公式(1)所示：

由于AUV在弱机动时，航速u变化很小，

忽略X方程，并考虑到AUV艏、艉部不对称，由此所得AUV水平面线性运动方程，如公式(2)所示：

由于AUV关于舯横剖面对称，上述方程中，

得到公式(3)：

从上式中消除

v，可得到AUV的首摇响应线性方程：

式中，

B₀＝N_v(mu-Y_r)+Y_vN_r,δ_r为垂直舵舵角。

将公式(4)进行拉普拉斯变换得到公式(5)：

由于

即获得航向的传递函数如公式(6)所示：

二、控制系统设计：

I、基于海况等级的控制器设计

海况等级分类以及各级海况的百分比如表2所示。根据海况的分级，当海况超过4级或者更高时，一方面这些情况出现的概率较少，另一方面这些海况并不适合AUV及船舶作业，本实施例考虑1级、3级和4级海况，并对应的针对1级、3级和4级海况设计合理有效的控制器，以保证AUV稳定航行。所选取的海况占总海况的80％以上，具有典型的代表意义。

表2 海况等级

(1)1级海况控制器设计与确定：

针对1级海况，本实施例选取PID控制(Proportion integral differential)。PID控制是最早发展起来的控制方法之一，由于其算法简单、可靠性高等优点，被广泛应用于工业过程控制。在该环境下干扰较小，采用PID控制简单易行，控制效果满足要求，PID的控制过程如图2所示。

(2)3级海况控制器设计与确定

针对3级海况设计自抗扰控制器，其控制过程如图3所示，具体的：

①安排过渡过程：根据设定值ψ_d安排过渡过程ψ₁并提取其微分信号ψ₂；

②根据AUV的输出信号ψ和输入信号u估计出对象的状态z₁，z₂，和作用于AUV的总和扰动z₃；

③误差反馈率根据e₁，e₂的非线性组合来决定控制规律u₀；

④对误差反馈控制量u₀用扰动估计值z₃的补偿来决定最终控制量u。

自抗扰控制器算法如下：

其中，

d＝rh；d₀＝hd；x＝e+hψ₂；

h为采样周期

其中，β₁，β₂，β₃，α₁，α₂，α₀₁，α₀₂,r,δ为控制器参数；K_p，K_d为比例-微分系数。z₁，z₂，z₃为扩张状态观测器输出；ψ_d为系统输入，ψ为系统输出；ψ₁，ψ₂为安排过渡过程输出；u₀为误差反馈控制量；u为控制器的输出。

(3)4级海况控制设计与确定

随着干扰继续增大，自抗扰控制器的控制精度逐渐下降；本实施例针对4级海况设计分数阶自抗扰控制器(Fractional order active disturbance reject controller，FOADRC)，其控制过程如图4所示；

其中，所述分数阶自抗扰控制器包括安排过渡过程、状态误差反馈和状态扩张观测器三部分，具体原理如下：

①安排过渡过程产生跟踪信号：期望航向ψ_d为输入，ψ₁和ψ₂为输出信号，ψ₁跟踪ψ_d，ψ₂是ψ₁的微分信号；

②扩张状态观测器：根据AUV的输出信号ψ和输入信号u估计出AUV的状态z₁，z₂和作用于AUV的总和扰动z₃；

③状态误差反馈：根据e₁，e₂，采用分数阶PID组合形式得到控制规律u₀；

④对误差反馈控制量u₀用扰动估计值z₃的补偿来决定最终控制量u。

具体算法处理过程如下：

fst(·)为最速控制综合函数，定义如下：

d＝rh；d₀＝hd；x＝ψ₁+hψ₂；

h为采样周期；r表示跟踪微分器的快慢因子；sgn(·)为符号函数；d，d₀，x，a₀为中间变量；

非线性函数fal(·)定义如下：

δ为线性段的区间长度；

其中，β₁，β₂，β₃，α₁，α₂为控制器参数；z₁，z₂，z₃为扩张状态观测器输出；ψ_d(期望航向)为系统输入，ψ(实际航向)为系统输出；ψ₁，ψ₂为安排过渡过程输出；u₀为误差反馈控制量；u为控制器的输出；K_fP，K_fI，K_fD为分数阶PID的系数，λ，μ是积分和微分的阶次。

其中：

表示

的整数部分，q为计算步长，

为二项式系数，t₀，t为积分的上下限；γ＞0时，表示分数阶微分；γ＜0时，表示分数阶积分。

本实施例中，参数设置如下：安排过渡过程：r＝5，h＝1；状态观测器：β₁＝100，β₂＝300，β₃＝1000，α₁＝0.5，α₂＝0.25，δ＝0.0025，b₀＝1；状态误差反馈：K_fP＝300，K_fI＝0.01，K_fD＝0.1，λ＝0.8，μ＝0.8。

1级海况时，采用PID控制器，控制结构简单，易于工程实现；然而PID控制器的抗干扰能力较差，随着干扰逐渐增大，显然PID控制不能满足控制要求。故3级海况采用自抗扰控制，自抗扰控制器具有估计扰动并给予相应补偿的能力，对于解决在运动控制中遇到的各种扰动问题是具有可研究性。对于扩张状态观测器，能够实时跟踪估计扰动的作用，扰动的估计补偿能力就是抗干扰功能，有利于提高控制器的抗干扰性和鲁棒性，以克服由于模型的不确定性、控制指令的多变性带来的问题，并有效抑制运动控制过程中可能会遇到的海浪、海流等扰动。当达到4级海况时，为保证控制效果，利用分数阶PID控制率的鲁棒性改进自抗扰控制中的非线性反馈律，并且加入了分数阶积分的作用，即减小了整数阶积分使得闭环变得迟钝，容易产生振荡，积分饱和引起的控制量饱和等负面影响，同时也消除了ESO的“总和干扰”估计误差，使得稳态误差为0。

II、基于Q-learning自主决策的控制系统设计

控制策略选择通过Q-learning对状态行为对的值函数进行估计以求得最优策略，Q-learning是一种强化学习方法，通过与环境的交互，环境给出间接评价信息，学习者基于这个评价信息调整自己的行为，保证控制策略最优，其设计过程如图5所示：

包括动作集合模块和自主决策模块，所述动作集合模块包括离散海洋环境状态集合S＝{1级海况，3级海况，4级海况}，离散动作策略集合A＝{PID，ADRC，FOADRC}；s_t∈S，a_t∈A；Q(s，a)代表AUV在状态s下执行动作策略a时所得到的最优奖赏值，它的更新是依据AUV与环境的交互经验来完成，其学习过程如下：

1.给定参数α，γ和奖赏矩阵r；

2.令：Q＝0；

3.Repeat；即：

1)任意给定当前海洋环境状态s_t，s_t∈S；

2)通过Q(s_t，a_t)＝r(s_t，a_t)+γmax_aQ(s_t+1，a)在环境状态s_t+1的所有可能行为中选取一个行为a(a∈A，a表示可以选择任意一种策略，可以是a₁，a₂，a₃，但获得的奖赏r是不同的)，a_t∈A，t表示时刻，γ为参数(0≤γ＜1)，)γ(0≤γ＜1)

3)观察新海洋环境状态s_t+1；

4)从环境中获得即时奖赏回报r；

5)根据下式对状态s_t和动作策略a_t相应的Q值进行更新：

Q(s_t，a_t)←Q(s_t，a_t)+α[r+γmaxQ(s_t+1，a)-Q(s_t，a_t)]

α是学习率(0≤α＜1)(或学习步长)；

6)如果s_t←s_t+1结束；

7)否则s_t→s_t+1返回到第2)步。

4.输出最终策略：π＝arg max_a Q(s，a)。

其中，奖赏矩阵r的建立：

列表示控制策略行为，行表示海况状态。当环境状态是1级海况，选择控制策略1(PID)的奖赏是100，选择控制策略2和3的奖赏是0；当环境状态是3级海况选择控制策略2(ADRC)的奖赏是100，选择控制策略1和3的奖赏是0；当环境状态是4级海况选择控制策略3(FOADRC)的奖赏是100，选择控制策略1和2的奖赏是0。

比如，Q函数初始化为3*3的零矩阵，γ为0.8，通过迭代学习自主决策得到最佳控制策略，

Q(1，1)＝r(1，1)+γmax{_aQ(1，1)，Q(1，2)，Q(1，3)}＝100+0.8*0＝100，经过一次迭代后：

同理，经过多次迭代后得到最佳控制策略。

仿真结果如图6-9所示，利用阶跃信号模拟1级海况，图6中，三种控制方式稳态误差均为零，相同的超调量分数阶自抗扰控制的上升时间短，虽然PID的上升时间最长，但其控制是最简单、可行，并能满足控制要求，所以在1级海况下采用PID控制。利用白噪声信号仿真3级海况，海浪0.5-1.25m，从图7中可以看出，PID已经不能很好的跟踪输入信号，自抗扰控制的控制效果强于PID。利用白噪声信号仿真4级海况，海浪1.25-2.5米，随着干扰逐渐增大，从图8中可以看出PID和ADRC已经不能很好的跟踪输入信号，只能采用分数阶自抗扰控制跟踪输入信号。图9为多策略融合下的仿真结果示意图，0-10s为1级海况，10s-20s为三级海况，20s-30s为四级海况。当海况发生变化时，自动进行切换控制器，控制效果及可行性优于单一控制策略。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (1)

1.基于海况等级切换的多策略融合AUV运动控制方法，其特征在于，包括以下步骤：

步骤A、建立AUV水平面运动模型；

步骤B、基于步骤A所建立的运动模型，建立不同海况下的控制策略，具体包括：

步骤B1、针对1级海况设计PID控制器；

步骤B2、针对3级海况设计自抗扰控制器；

步骤B3、针对4级海况设计分数阶自抗扰控制器，具体包括：

(1)安排过渡过程产生跟踪信号；设期望航向ψ_d为输入，ψ₁和ψ₂为输出信号，ψ₁跟踪ψ_d，ψ₂为ψ₁的微分信号；

(2)通过扩张状态观测器根据AUV的输出信号ψ和输入信号u估计出AUV的状态z₁，z₂和作用于AUV的总和扰动z₃；

(3)基于状态误差反馈，根据e₁，e₂，采用分数阶PID组合形式得到误差反馈控制量u₀，其中，e₁＝ψ₁-z₁,e₂＝ψ₂-z₂；

(4)对误差反馈控制量u₀用扰动估计值z₃的补偿来决定最终控制量u；

步骤C、基于Q-learning建立自主决策控制系统：

所述自主决策控制系统包括动作集合模块和自主决策模块，所述动作集合模块包括海洋环境状态集合S＝{1级海况，3级海况，4级海况}和离散动作策略集合A＝{PID，ADRC，FOADRC}，所述自主决策模块则基于Q-learning算法根据海况等级从离散动作策略集合中自主选择控制策略；

步骤D、基于不同海况等级实现自主决策控制，具体包括：

1)任意给定当前海洋环境状态s_t，s_t∈S；

2)通过Q(s_t,a_t)＝r(s_t,a_t)+γmax_aQ(s_t+1,a)在环境状态s_t+1的所有可能行为中选取一个行为a，a∈A，a_t∈A，其中，t表示时刻，γ为参数，且0≤γ<1；

3)观察新海洋环境状态s_t+1；

4)从环境中获得即时奖赏回报r，

列表示控制策略行为，行表示海况状态；

5)根据下式对状态s_t和动作策略a_t相应的Q值进行更新：

Q(s_t,a_t)←Q(s_t,a_t)+α[r+γmaxQ(s_t+1,a)-Q(s_t,a_t)]

α为学习率，0≤α＜1；

6)如果s_t←s_t+1结束；

7)否则s_t→s_t+1返回到第2)步重新选择控制策略，以实现不同海况下AUV控制策略的自主选择。

Images