CN108333925A - 考虑输入和终端约束的船舶推力分配自适应优化方法 - Google Patents

Abstract

本发明涉及一种考虑输入和终端约束的船舶推力分配自适应优化方法，包括以下步骤：首先建立了带输入饱和与终端约束的离散非线性最优控制模型；然后提出了该类约束模型的HJB方程的构造和基于自适应动态规划的求解方法；最后给出了自适应动态规划模型中神经网络的训练和求解步骤，来得到终端约束条件。与现有技术相比，本发明能显著减少推进器状态调整过程中的推力误差等优点。

Description

考虑输入和终端约束的船舶推力分配自适应优化方法

技术领域

本发明涉及船舶自动控制技术领域，尤其是涉及一种考虑输入和终端约束的船舶推力分配自适应优化方法。

背景技术

随着世界经济的发展，各类矿产资源、生物资源和化石能源匮乏问题日趋尖锐，人们对海洋蕴含资源的开发和探索需求日益明显，活动范围也从沿海、近海扩展到了更深的海域，深海资源开发对船舶动力定位技术的需求越来越迫切。

船舶动力定位系统采用过驱动配置，冗余的全回转推进器和侧推进器等新型设备在增加了推力系统的可靠性和机动性的同时，也增加了可控变量个数，使得船舶推力结构愈发复杂，需要对推力的分配进行优化配置。推力分配需要综合考虑推进器的功率极限、推力和推力角的变化速率限制、推进器的磨损、奇异推进结构等诸多物理约束条件，才能获得可以实际使用的运动控制算法，使控制器输出的横向、纵向合力和艏摇力矩合理的转化为各个推进器的推力和推进角度，即下一时刻最优的船舶推进器状态。在最优的推进器状态下，推进器组能精确地产生目标合力/力矩，用较少的功率消耗确保作业精度和安全。

现有的船舶推力分配算法或者只考虑了无约束优化，无法满足实际需求；或者在考虑了优化之后使得问题非常复杂，难以求解。因此，解决带输入饱和与终端约束的船舶推力分配非线性优化问题具有重要的实际应用价值。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种考虑输入和终端约束的船舶推力分配自适应优化方法，所得的优化解可以满足物理系统对输入饱和和终端的约束要求，具有重要的实际应用价值。

本发明的目的可以通过以下技术方案来实现：

一种考虑输入和终端约束的船舶推力分配自适应优化方法，包括以下步骤：

首先建立了带输入饱和与终端约束的离散非线性最优控制模型；

然后提出了该类约束模型的HJB方程的构造和基于自适应动态规划的求解方法；

最后给出了自适应动态规划模型中神经网络的训练和求解步骤，来得到终端约束条件。

与现有技术相比，本发明冗余推进器的船舶推力分配问题本质上是一个带约束的优化问题，求解过程会受到推进器物理性能的限制，为了求解带输入饱和与终端约束的推力分配非线性优化问题，本发明采用一种针对该问题的自适应动态规划解法，引入非二次控制惩罚量处理输入有界约束，然后采用终端罚函数、神经网络反向训练和预先计算变量界的方式处理终端约束，采用RBF神经网络实现了自适应动态规划，该方法能显著减少推进器状态调整过程中的推力误差。

附图说明

图1为本发明双启发式自适应动态规划结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

一种考虑输入和终端约束的船舶推力分配自适应优化方法，包括以下步骤：

首先建立了带输入饱和与终端约束的离散非线性最优控制模型；

然后提出了该类约束模型的HJB方程的构造和基于自适应动态规划的求解方法；

最后给出了自适应动态规划模型中神经网络的训练和求解步骤，来得到终端约束条件。

所述的首先建立了带输入饱和与终端约束的离散非线性最优控制模型具体为：

若以整个变化过程积累的推力误差为优化目标，冗余推进器的推力分配非线性优化问题表示成离散系统最优控制问题：

其中，x(i)为第i步推进器状态，τ_d是推进器输出力矩；

[τ_d-B(x(i))x(i)]^TQ[τ_d-B(x(i))x(i)]为推力误差的二次型惩罚项，Q是权值矩阵，B(α)∈R^n×r为推力结构矩阵，代表从各个推进器推力u至合力或者力矩τ_d的映射关系，推进器状态初始状态x(0)＝x_i，终端约束x(N_s)＝x^*，状态转移方程为x(i+1)＝x(i)+u(i)，u(i)即为第i步推进器状态的变化量，因受机械限制有输入饱和限制|u(i)|＜δ_x，N_s为跟新步长；x^*为最优状态；δ_x为推力输入上界。

记单步代价函数为H(x(k))＝[τ_d-B(x(i))x(i)]^TQ[τ_d-B(x(i))x(i)]，从k时刻开始的代价函数为如果已经得到从k+1时刻开始的所有可能状态x(k+1)的最优代价函数则k时刻的最优代价函数和控制量u*(x(k))可定义为：

式中U为控制量u(x(k))的可行区域。

所述的提出了该类约束模型的HJB方程的构造具体为：

首先构造相应的无约束代价函数为：

式中，φ(·)是终端误差惩罚项，对于推力分配问题中的最终状态约束x(N_s)＝x^*，取φ(x)＝(x-x^*)^TP(x-x^*)；W(u(k))通常被选为控制量u(k)的二次型，一方面是对控制功率的优化，一方面也使得基于的HJB方程数值解法可以进行；表示k+1时刻开始的所有可能状态的最优状态。P(x-x^*)是一个正定矩阵；

其次，针对输入饱和约束引入以下非二次惩罚项：

式中为控制量u(i)∈R^r+p的饱和限制；其中R^r+p为控制输入的维数；u_m(i)表示第i时刻第m个控制输入；为第r+p个控制输入的上界；s是积分变量；函数选取双曲正切函数

根据式(6)，最优控制u^*(x(k))满足：

为了获取u^*(k)的迭代式，令式(8)等式右侧对u(k)偏导为零：

整理可得:

式(5)(6)与(9)就组成了推力分配多步优化的离散HJB方程。

对于带终端或输入约束的非线性系统，构造出来的HJB方程一般不存在解析解，采用网格离散化方法则会使计算量和存储量有灾难性增长。为克服该问题，本发明采用自适应动态规划方法，利用RBF神经网络近似最优代价函数和控制策略的选取，获得最优控制轨迹的近似数值解。

所述的基于自适应动态规划的求解方法具体为：

定义协状态函数为：则式(9)简化为：

而由带入式(6)，化简可得：

λ_k(x(k))表示第k时刻的协状态函数；表示第k时刻最优代价函数在状态x的偏导；表示第k时刻代价函数在状态x的偏导；Q是权值矩阵；表示(τ_d-B(x)x)在状态x的偏导。

自适应动态规划分别利用两组神经网络来近似(5-10)和(5-11)中的控制量函数u^*(x(k))和协状态函数λ(x(k))，让此刻k的变量求解仅基于当前时刻的变量，近似求解上述离散HJB方程。

所述的两组神经网络采用两组径向基函数神经网络，一组作为“评价网络”近似第k步的代价函数协状态λ_k(x(k))，一组作为“控制网络”近似第k步的控制量的选取策略。

所述的神经网络采用RBF神经网络，包含输入层、隐含层和输出层。

所述的输入层为推进器状态向量x∈R^r+p，共有r+p个输入层节点，每一个隐含层节点，都有自己的中心位置c_i和作用范围σ_i，根据输入层的向量x，输出自己被激活的程度值H_i(x)。

所述的激活函数取高斯密度函数：

其中c_i为RBF神经网络隐含层的中心位置，δ_i为为RBF神经网络隐含层的作用范围。

为了保证隐含节点的激活范围基本覆盖输入向量x，将推进器状态x的可行范围Ω_k规定为：在k步内可以由x(0)出发得到，并且还能在接下来N_s-k步到达x(N_s)的点集：

上下界形式为：

Ω_k＝{xL_ki≤x_i≤U_ki} (15)

L_ki为状态x_i的下界，U_ki为状态x_i的上界；

考虑到计算规模和求解精度的权衡，在可行范围Ω_k,k＝0,1,...,N_s内均匀随机地选取h＝5N_s个点作为隐含层节点中心，其中第i个的作用范围σ_i可由下式得到：

c_ki为第i个中心向量；c_kj为第j个中心向量；h中心节点个数、n总节点个数。

RBF网络的隐含层与输出层通过权值矩阵连接，由此可以得到自适应动态规划评价网络和控制网络的输入输出方程为：

式中V_k,W_k∈R^h×(r+p)即分别为两个RBF网络的隐含层至输出层的权值矩阵，决定了各个隐含层激活函数占最终输出的比重；σ(x)和ρ(k)分别为两个RBF网络的隐含层激活函数；为自适应动态规划评价网络的输出；为自适应动态规划控制网络的输出；为求解周期。

由离散HJB方程迭代式(7)(10)(11)可以得到评价网络和控制网络的训练目标为：

为第N_s时刻(终输出时刻)的权重；为自适应动态规划控制网络的输出权重；为自适应动态规划评价网络的输出权重。

根据上式即可得到自适应动态规划的在线训练结构如图1所示，控制网络和评价网络的训练交替进行。针对代价函数协状态迭代的结构称为双启发式规则DHP。

因为的方程已知，训练从最后一步k＝N_s-1向前进行到k＝0，步骤如下：

第1步，随机取训练权值矩阵来满足式(19)；

第2步，记k＝N_s-1，从最后一步向前训练；

第3步,记i＝0，随机生成权值矩阵的初始迭代值；

第4步，随机取x∈Ω_k，训练权值矩阵来满足式(20)；

第5步，设i:＝i+1，迭代第4步直到收敛或者达到迭代上限i＞i_max；

第6步，记作为多步决策过程在第k步的控制网络权值；

第7步，记i＝0,并且令作为初始迭代值；

第8步，随机取x∈Ω_k，训练权值矩阵来满足式(21)；

第9步，设i:＝i+1，迭代第8步直到收敛或者达到迭代上限i＞i_max；

第10步，设k:＝k-1，循环至第3步直至k＝0；

RBF神经网络训练过程结束后，即可从x(0)开始逐次通过式(18)获得最优控制量u^*(i),i＝1,2,...,N_s-1，求解推力状态改变过程x(i),i＝1,2,...,N_s。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种考虑输入和终端约束的船舶推力分配自适应优化方法，其特征在于，包括以下步骤：

首先建立了带输入饱和与终端约束的离散非线性最优控制模型；

然后提出了该类约束模型的HJB方程的构造和基于自适应动态规划的求解方法；

最后给出了自适应动态规划模型中神经网络的训练和求解步骤，来得到终端约束条件。

2.根据权利要求1所述的方法，其特征在于，所述的首先建立了带输入饱和与终端约束的离散非线性最优控制模型具体为：

若以整个变化过程积累的推力误差为优化目标，冗余推进器的推力分配非线性优化问题表示成离散系统最优控制问题：

其中，x(i)为第i步推进器状态，τ_d是推进器输出力矩；

[τ_d-B(x(i))x(i)]^TQ[τ_d-B(x(i))x(i)]为推力误差的二次型惩罚项，Q是权值矩阵，B(α)∈R^n×r为推力结构矩阵，代表从各个推进器推力u至合力或者力矩τ_d的映射关系，推进器状态初始状态x(0)＝x_i，终端约束x(N_s)＝x^*，状态转移方程为x(i+1)＝x(i)+u(i)，u(i)即为第i步推进器状态的变化量，因受机械限制有输入饱和限制|u(i)|＜δ_x，N_s为跟新步长；x^*为最优状态；δ_x为推力输入上界；

记单步代价函数为H(x(k))＝[τ_d-B(x(i))x(i)]^TQ[τ_d-B(x(i))x(i)]，从k时刻开始的代价函数为如果已经得到从k+1时刻开始的所有可能状态x(k+1)的最优代价函数则k时刻的最优代价函数和控制量u^*(x(k))可定义为：

式中U为控制量u(x(k))的可行区域。

3.根据权利要求2所述的方法，其特征在于，所述的提出了该类约束模型的HJB方程的构造具体为：

首先构造相应的无约束代价函数为：

式中，φ(·)是终端误差惩罚项，对于推力分配问题中的最终状态约束x(N_s)＝x^*，取φ(x)＝(x-x^*)^TP(x-x^*)；W(u(k))通常被选为控制量u(k)的二次型，一方面是对控制功率的优化，一方面也使得基于的HJB方程数值解法可以进行；表示k+1时刻开始的所有可能状态的最优状态，P(x-x^*)是一个正定矩阵；

其次，针对输入饱和约束引入以下非二次惩罚项：

式中为控制量u(i)∈R^r+p的饱和限制；其中R^r+p为控制输入的维数；u_m(i)表示第i时刻第m个控制输入；为第r+p个控制输入的上界；s是积分变量；函数选取双曲正切函数

根据式(6)，最优控制u^*(x(k))满足：

为了获取u^*(k)的迭代式，令式(8)等式右侧对u(k)偏导为零：

整理可得:

式(5)(6)与(9)就组成了推力分配多步优化的离散HJB方程。

4.根据权利要求3所述的方法，其特征在于，所述的基于自适应动态规划的求解方法具体为：

采用自适应动态规划方法，利用RBF神经网络近似最优代价函数和控制策略u^*(x(k))的选取，获得最优控制轨迹的近似数值解；

定义协状态函数为：则式(9)简化为：

而由带入式(6)，化简可得：

λ_k(x(k))表示第k时刻的协状态函数；表示第k时刻最优代价函数在状态x的偏导；表示第k时刻代价函数在状态x的偏导；Q是权值矩阵；表示(τ_d-B(x)x)在状态x的偏导；

自适应动态规划分别利用两组神经网络来近似(5-10)和(5-11)中的控制量函数u^*(x(k))和协状态函数λ(x(k))，让此刻k的变量求解仅基于当前时刻的变量，近似求解上述离散HJB方程。

5.根据权利要求4所述的方法，其特征在于，所述的两组神经网络采用两组径向基函数神经网络，一组作为“评价网络”近似第k步的代价函数协状态λ_k(x(k))，一组作为“控制网络”近似第k步的控制量的选取策略。

6.根据权利要求5所述的方法，其特征在于，所述的神经网络采用RBF神经网络，包含输入层、隐含层和输出层。

7.根据权利要求6所述的方法，其特征在于，所述的输入层为推进器状态向量x∈R^r+p，共有r+p个输入层节点，每一个隐含层节点，都有自己的中心位置c_i和作用范围σ_i，根据输入层的向量x，输出自己被激活的程度值H_i(x)。

8.根据权利要求7所述的方法，其特征在于，所述的激活函数取高斯密度函数：

其中c_i为RBF神经网络隐含层的中心位置，δ_i为为RBF神经网络隐含层的作用范围。

为了保证隐含节点的激活范围基本覆盖输入向量x，将推进器状态x的可行范围Ω_k规定为：在k步内可以由x(0)出发得到，并且还能在接下来N_s-k步到达x(N_s)的点集：

上下界形式为：

Ω_k＝{x|L_ki≤x_i≤U_ki} (15)

L_ki为状态x_i的下界，U_ki为状态x_i的上界。

9.根据权利要求8所述的方法，其特征在于，考虑到计算规模和求解精度的权衡，在可行范围Ω_k,k＝0,1,...,N_s内均匀随机地选取h＝5N_s个点作为隐含层节点中心，其中第i个的作用范围σ_i可由下式得到：

c_ki为第i个中心向量；c_kj为第j个中心向量；h中心节点个数、n总节点个数。

RBF网络的隐含层与输出层通过权值矩阵连接，由此可以得到自适应动态规划评价网络和控制网络的输入输出方程为：

式中V_k,W_k∈R^h×(r+p)即分别为两个RBF网络的隐含层至输出层的权值矩阵，决定了各个隐含层激活函数占最N_s终输出的比重；σ(x)和ρ(k)分别为两个RBF网络的隐含层激活函数，为自适应动态规划评价网络的输出；为自适应动态规划控制网络的输出；N_s为求解周期；

由离散HJB方程迭代式(7)(10)(11)可以得到评价网络和控制网络的训练目标为：

为第N_s时刻的权重；为自适应动态规划控制网络的输出权重；为自适应动态规划评价网络的输出权重。

10.根据权利要求9所述的方法，其特征在于，因为的方程已知，训练从最后一步k＝N_s-1向前进行到k＝0，步骤如下：

第1步，随机取训练权值矩阵来满足式(19)；

第2步，记k＝N_s-1，从最后一步向前训练；

第3步,记i＝0，随机生成权值矩阵的初始迭代值；

第4步，随机取x∈Ω_k，训练权值矩阵来满足式(20)；

第5步，设i:＝i+1，迭代第4步直到收敛或者达到迭代上限i＞i_max；

第6步，记V_k＝V_k ⁱ，作为多步决策过程在第k步的控制网络权值；

第7步，记i＝0,并且令作为初始迭代值；

第8步，随机取x∈Ω_k，训练权值矩阵来满足式(21)；

第9步，设i:＝i+1，迭代第8步直到收敛或者达到迭代上限i＞i_max；

第10步，设k:＝k-1，循环至第3步直至k＝0；

RBF神经网络训练过程结束后，即可从x(0)开始逐次通过式(18)获得最优控制量u^*(i),i＝1,2,...,N_s-1，求解推力状态改变过程x(i),i＝1,2,...,N_s。