CN109828463A - 一种海流干扰自适应波浪滑翔器艏向控制方法 - Google Patents

Abstract

本发明提供的是一种海流干扰自适应波浪滑翔器艏向控制方法。针对波浪滑翔器在不同期望潜体艏向下，海流相对波浪滑翔器流速、流向不同的特点，考虑波浪滑翔器在长航时、大航程作业过程中遭遇海流不断改变的工况，利用策略直接搜索的强化学习方法实现在艏向控制器中对环境干扰的动态补偿。所述策略直接搜索强化学习方法借助径向基神经网络拟合动作值函数，基于ITAE性能指标设计回报函数作为控制效果的评价指标。通过不依赖控制模型的、可以动态调整偏移的曲面控制器，提升波浪滑翔器在不同期望潜体艏向角、不同海流流速、流向下的艏向艏向控制精度。

Description

一种海流干扰自适应波浪滑翔器艏向控制方法

技术领域

本发明涉及的是一种波浪滑翔器艏向控制方法。

背景技术

波浪滑翔器是近年来新兴的一种海上观测平台。它不搭载传统的螺旋桨等推进装置，通过自身特殊的浮体、潜体机械结构，将海洋中的波浪能转化为自身航行的推进力。通过浮体上搭载的太阳能板维持自身控制系统与通信系统的供电。因此，相比传统的海上观测平台，波浪滑翔器具有运营成本低廉、无环境污染、生存能力强、具备执行长航时、大航程观测任务的能力等众多优点，现已广泛应用于海洋气象信息监测、海洋生物迁徙跟踪研究等诸多领域。由于波浪滑翔器长期工作于海洋环境中，且航程较远，因此航行过程必然会受到不同海流的影响。

在实际使用过程中，在不同的波浪滑翔器期望潜体艏向下，海流对波浪滑翔器的相对流速、流向不同，且当波浪滑翔器在长航时、大航程作业过程中，所遭受的海流必然发生变化。因此，为保证海流作用下波浪滑翔器具有良好的艏向控制效果，就需要波浪滑翔器艏向控制器对不同的海流干扰进行补偿。

强化学习的思想源于动物学习的过程，是一种重要的机器学习方法。它是指从环境状态到动作映射的学习。智能体通过采取不同的动作，根据从环境中获得的反馈进行对动作进行评价，根据评价修正自身动作以获得最大的奖励，使智能体获得最优动作策略。

策略直接搜索的强化学习方法不需要先验知识，不需要MDP状态转移概率和回报函数模型，直接通过智能体与环境的相互作用，在参数化策略空间搜索最优策略即可完成学习。传统的波浪滑翔器艏向曲面控制器中，为了应对海流影响，加入了曲面偏移值可以补偿海流影响对艏向控制的干扰，利用策略直接搜索强化学习方法可以实现波浪滑翔器艏向曲面控制器在不同期望潜体艏向角、不同海流流速、流向下的曲面偏移自整定。

赵冬斌等人提出的《基于监督式强化学习的最优控制方法》(公开号：CN103324085A)中，利用控制器(Actor)与评价器(Critic)两个人工神经网络实现监督式强化学习与最优控制。

赵婷婷等人提出的《引导型策略搜索强化学习算法》中通过重构目标函数，降低了因使用重要采样技术而降低算法稳定性能及收敛率的问题。定义引导型高质量学习样本，避免情况较坏的局部最优。

发明内容

本发明的目的在于提供一种能够提升波浪滑翔器在不同期望潜体艏向角、不同海流流速、流向下的艏向控制精度的海流干扰自适应波浪滑翔器艏向控制方法。

本发明的目的是这样实现的：

第一步：初始化波浪滑翔器期望潜体艏向角ψ_d以及策略直接搜索强化学习算法参数配置，包括策略参数θ、每一幕学习时间T、学习总幕数N、资格迹z、学习率α、折扣因子β、曲面偏移动作集A；

第二步：波浪滑翔器潜体上的艏向传感器与海流传感器将当前波浪滑翔器潜体艏向角ψ_G，海流流速v与流向φ反馈至主控计算机；

第三步：将波浪滑翔器当前状态s_t输入径向基神经网络，输出在策略参数为θ_t下选择各动作a_i的概率o_i；

第四步：利用SoftMax函数将第三步中选择各动作a_i的概率o_i归一化，得到参数化策略π(s_t,a_t)，依据π(s_t,a_t)选择当前时刻执行的动作a_t，主控计算机根据动作a_t调整波浪滑翔器艏向曲面控制器的偏移值；

第五步：利用调整偏移值后的艏向曲面控制器控制波浪滑翔器潜体艏向，根据下一时刻波浪滑翔器状态s_t+1计算回报r_t+1；

第六步：根据下一时刻回报r_t+1、资格迹z_t、学习率α、折扣因子β及策略参数θ_t计算下一时刻资格迹z_t+1及策略参数θ_t+1，并更新策略参数θ；

第七步：判断当前学习时间是否达到每一幕学习时间T，如未达到则返回至第二步进行下一个采样时刻的学习，如达到则输出策略参数θ，并进入第八步；

第八步：判断当前学习幕数是否达到总幕数N，如未达到则将第七步中输出的策略参数θ作为初始策略参数，将资格迹z重新初始化为0，并返回至第二步进行下一幕的学习。如果当前学习幕数达到总幕数N，则保存第七步中输出的策略参数θ，并根据该策略参数计算波浪滑翔器期望潜体艏向角为ψ_d、海流流速为v、流向为φ的情况下的艏向曲面控制器偏移值ΔS。

本发明的波浪滑翔器潜体艏向采用具有偏差的曲面控制器：

其中，u为归一化的控制力输出，k₁为比例项控制参数，k₂为微分项控制参数，e、分别为偏差和偏差变化率，ΔS为曲面控制器的偏移值，表示适应海流干扰的调整项。

曲面控制器的比例项控制参数k₁及微分项控制参数k₂由操控人员在无海流作用下进行整定。曲面控制器的偏移值ΔS采用策略直接搜索强化学习方法由波浪滑翔器自主整定。

波浪滑翔器在具有不同期望潜体艏向角、受不同海流流速、流向影响下，艏向曲面控制器的具有与之相对应的曲面偏移，进而提升波浪滑翔器在海流作用下的艏向控制精度。

所述策略直接搜索强化学习方法具体包括：将波浪滑翔器潜体艏向曲面控制器偏移值的动态调整作为Markov决策过程(MDP)，波浪滑翔器的当前期望潜体艏向角ψ_d、实际潜体艏向角与期望潜体艏向角偏差Δψ、海流流速v与流向φ作为波浪滑翔器的状态s，动作a为离散化的曲面偏移值ΔS_i，动作值函数Q^π(s,a)通过径向基神经网络拟合，策略参数θ为径向基神经网络权值参数，优化指标J(θ)为各状态的折扣回报和的期望，即：

回报值函数基于ITAE性能指标选取，策略参数θ根据优化指标相对于策略参数θ的梯度进行更新。

本发明针对在不同的波浪滑翔器期望潜体艏向下，海流对波浪滑翔器的相对流速、流向不同，以及波浪滑翔器在长航时、大航程作业过程中遭遇海流不断改变的工况，利用策略直接搜索的强化学习方法实现在艏向控制器中对环境干扰的动态补偿。所述策略直接搜索强化学习方法借助径向基神经网络拟合动作值函数，基于ITAE性能指标设计回报函数作为控制效果的评价指标。通过可以动态调整偏移的曲面控制器，提升波浪滑翔器在不同期望潜体艏向角、不同海流流速、流向下的艏向艏向控制精度。

与现有技术相比，本发明的有益效果是：本发明的提供一种海流干扰自适应波浪滑翔器艏向控制方法。针对在不同的波浪滑翔器期望潜体艏向下，海流对波浪滑翔器的相对流速、流向不同，以及波浪滑翔器在长航时、大航程作业过程中遭遇海流不断改变的工况，利用波浪滑翔器长航时自主作业的特点，采用策略直接搜索的强化学习方法实现在艏向控制器中对环境干扰的动态补偿。所述策略直接搜索强化学习方法借助径向基神经网络拟合动作值函数，基于ITAE性能指标设计回报函数作为控制效果的评价指标。通过不依赖控制模型的、可以动态调整偏移的曲面控制器，提升波浪滑翔器在不同期望潜体艏向角、不同海流流速、流向下的艏向艏向控制精度。

与《基于监督式强化学习的最优控制方法》不同，本发明中采用基于单个人工神经网络的策略直接搜索的强化学习方法。

与《引导型策略搜索强化学习算法》不同，本发明基于策略直接搜索强化学习方法实现海流干扰下波浪滑翔器艏向曲面控制器整体偏移补偿。

附图说明

图1为本发明依托的波浪滑翔器硬件结构示意图；

图2为本发明中一种海流干扰自适应波浪滑翔器艏向控制方法流程图；

图3为本发明中一种海流干扰自适应波浪滑翔器艏向控制器结构图。

具体实施方式

下面举例对本发明做更详细的描述。

结合图1描述波浪滑翔器硬件结构。所述波浪滑翔器潜体3上安装有舵机4、艏向传感器6、海流传感器5，浮体1上安装有主控计算机3。艏向传感器6实时测量潜体艏向角ψ_G，海流传感器5实时测量海流流速v与流向φ。艏向传感器6与海流传感器5将测量数据反馈至主控计算机2。主控计算机2根据当前期望潜体艏向角ψ_d、当前实际潜体艏向角ψ_G及海流数据计算当前期望舵角δ_d，并控制舵机4旋转至期望舵角δ_d。

结合图2，所述的一种海流干扰自适应波浪滑翔器艏向控制方法，其步骤特征在于：

第一步：初始化波浪滑翔器期望潜体艏向角ψ_d以及策略直接搜索强化学习算法参数配置，包括策略参数θ、每一幕学习时间T、学习总幕数N、资格迹z、学习率α、折扣因子β、曲面偏移动作集A等。策略直接搜索强化学习算法参数的初始值由操控依据强化学习算法的期望性能事先给出。

第二步：波浪滑翔器潜体上的艏向传感器与海流传感器将当前波浪滑翔器潜体艏向角ψ_G，海流流速v与流向φ反馈至主控计算机。

第三步：将波浪滑翔器当前状态s_t输入径向基神经网络，输出在策略参数为θ_t下选择各动作a_i的概率o_i。

第四步：利用SoftMax函数将第三步中选择各动作a_i的概率o_i归一化，选择某一动作a_i的概率为：

得到归一化的选择各动作的概率，即参数化策略π(s_t,a_t)后，依据π(s_t,a_t)选择当前时刻执行的动作a_t，主控计算机根据动作a_t调整波浪滑翔器艏向曲面控制器的曲面偏移值。

第五步：利用调整S偏移值后的艏向曲面控制器控制波浪滑翔器潜体艏向，根据下一时刻波浪滑翔器状态s_t+1计算回报r_t+1。回报函数r的形式为：

其中Δt表示两个采样时刻之间的时间间隔。

第六步：根据下一时刻回报r_t+1、资格迹z_t、学习率α、折扣因子β及策略参数θ_t计算下一时刻资格迹z_t+1及策略参数θ_t+1，并更新策略参数θ。其中：

θ_t+1＝θ_t+αr_t+1z_t+1 (4)

第七步：判断当前学习时间是否达到每一幕学习时间T，如未达到则返回至第二步进行下一个采样时刻的学习，如达到则输出策略参数θ，并进入第八步。

第八步：判断当前学习幕数是否达到总幕数N，如未达到则将第七步中输出的策略参数θ作为初始策略参数，将资格迹z重新初始化为0，并返回至第二步进行下一幕的学习。如果当前学习幕数达到总幕数N，则保存第七步中输出的策略参数θ，并根据该策略参数计算波浪滑翔器期望潜体艏向角为ψ_d、海流流速为v、流向为φ的情况下的艏向曲面控制器曲面偏移值ΔS。

本发明中一种海流干扰自适应波浪滑翔器艏向控制方法，其特征在于：波浪滑翔器潜体艏向采用具有偏差的曲面控制器：

其中，u为归一化的控制力输出，k₁为比例项控制参数，k₂为微分项控制参数，e、分别为偏差和偏差变化率，ΔS为曲面控制器的偏移值，表示适应海流干扰的调整项。

结合图3，所述的一种海流干扰自适应波浪滑翔器艏向控制方法，其特征在于：曲面控制器的比例项控制参数k₁及微分项控制参数k₂由操控人员在无海流作用下进行整定。曲面控制器的偏移值ΔS采用策略直接搜索强化学习方法由波浪滑翔器自主整定。

所述的一种海流干扰自适应波浪滑翔器艏向控制方法，其特征在于：波浪滑翔器在具有不同期望潜体艏向角、受不同海流流速、流向影响下，艏向曲面控制器的具有与之相对应的曲面偏移，进而提升波浪滑翔器在海流作用下的艏向控制精度。

所述策略直接搜索强化学习方法，其特征在于：将波浪滑翔器潜体艏向曲面控制器偏移值的动态调整作为Markov决策过程(MDP)，波浪滑翔器的当前期望潜体艏向角ψ_d、实际潜体艏向角与期望潜体艏向角偏差Δψ、海流流速v与流向φ作为波浪滑翔器的状态s，动作a为离散化的曲面偏移值ΔS_i，动作值函数Q^π(s,a)通过径向基神经网络拟合，回报值函数基于ITAE性能指标选取，策略参数θ为径向基神经网络权值参数，优化指标J(θ)为各状态的折扣回报和的期望，即：

策略参数θ根据优化指标相对于策略参数θ的梯度进行更新。

Claims (4)

1.一种海流干扰自适应波浪滑翔器艏向控制方法，其特征是包括如下步骤：

第一步：初始化波浪滑翔器期望潜体艏向角ψ_d以及策略直接搜索强化学习算法参数配置，包括策略参数θ、每一幕学习时间T、学习总幕数N、资格迹z、学习率α、折扣因子β、曲面偏移动作集A；

第二步：波浪滑翔器潜体上的艏向传感器与海流传感器将当前波浪滑翔器潜体艏向角ψ_G、海流流速v与流向φ反馈至主控计算机；

第三步：将波浪滑翔器当前状态s_t输入径向基神经网络，输出在当前时刻策略参数为θ_t下选择各动作a_i的概率o_i；

第四步：利用SoftMax函数将第三步中选择各动作a_i的概率o_i归一化，得到参数化策略π(s_t,a_t)，依据π(s_t,a_t)选择当前时刻执行的动作a_t，主控计算机根据动作a_t调整波浪滑翔器艏向曲面控制器的偏移值；

第五步：利用调整偏移值后的艏向曲面控制器控制波浪滑翔器潜体艏向，根据下一时刻波浪滑翔器状态s_t+1计算回报r_t+1；

第六步：根据下一时刻回报r_t+1、资格迹z_t、学习率α、折扣因子β及当前时刻策略参数θ_t计算下一时刻资格迹z_t+1及下一时刻策略参数θ_t+1，并更新策略参数θ；

第七步：判断当前学习时间是否达到每一幕学习时间T，如未达到则返回至第二步进行下一个采样时刻的学习，如达到则输出策略参数θ，并进入第八步；

第八步：判断当前学习幕数是否达到总幕数N，如未达到则将第七步中输出的策略参数θ作为初始策略参数，将资格迹z重新初始化为0，并返回至第二步进行下一幕的学习；如果当前学习幕数达到总幕数N，则保存第七步中输出的策略参数θ，并根据该策略参数计算波浪滑翔器期望潜体艏向角为ψ_d、海流流速为v、流向为φ的情况下的艏向曲面控制器偏移值ΔS。

2.根据权利要求1所述的海流干扰自适应波浪滑翔器艏向控制方法，其特征是第五步中，回报函数r的形式为：

其中Δt表示两个采样时刻之间的时间间隔，t为时间。

3.根据权利要求1或2所述的海流干扰自适应波浪滑翔器艏向控制方法，其特征是：曲面控制器的比例项及微分项控制参数在无海流作用下进行整定，曲面控制器的偏移值采用策略直接搜索强化学习方法由波浪滑翔器自主整定。

4.根据权利要求3所述的海流干扰自适应波浪滑翔器艏向控制方法，其特征是所述曲面控制器的偏移值采用策略直接搜索强化学习方法由波浪滑翔器自主整定具体包括：将波浪滑翔器潜体艏向曲面控制器偏移值的动态调整作为Markov决策过程，波浪滑翔器的当前期望潜体艏向角ψ_d、实际潜体艏向角与期望潜体艏向角偏差Δψ、海流流速v与流向φ作为波浪滑翔器的状态s，动作a为离散化的曲面偏移值ΔS_i，动作值函数Q^π(s,a)通过径向基神经网络拟合，策略参数θ为径向基神经网络权值参数，优化指标J(θ)为各状态的折扣回报和的期望回报值函数基于ITAE性能指标选取，策略参数θ根据优化指标相对于策略参数θ的梯度进行更新。