CN111880546A - 一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法 - Google Patents

Abstract

本发明提供一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，包括：建立船舶靠泊非线性控制系统数学模型；基于建立的船舶靠泊非线性控制系统数学模型，引入虚拟引导系统，得到最优控制器，将靠泊控制问题转化为跟踪控制问题；基于最优控制器，建立靠泊最优评价指标；将跟踪控制问题转化为最优调节问题；基于自适应动态规划方法设计船舶最优靠泊控制，逼近靠泊最优评价指标；通过神经网络执行船舶最优靠泊控制，获得最优靠泊控制律。本发明的技术方案解决了模型动态未知的船舶自动靠泊问题，有效降低了控制器能量消耗，并且提高了船舶跟踪的精度，从而获得最优靠泊路径。

Description

一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制 方法

技术领域

本发明涉及船舶控制技术领域，具体而言，尤其涉及一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法。

背景技术

随着信息技术和人工智能技术的发展，船舶无人化、自动化程度不断提高，智能船舶技术已成为当今海洋交通运输发展的主流方向，其中，自动靠泊技术被认为是最困难、最复杂的操作之一。船舶在自主靠泊时不仅面临较大的环境干扰，还要受到速度低、岸壁效应导致的舵效差、模型动态不确定等问题，因此船舶的自主靠泊控制是船舶自动控制领域的一大难题。针对船舶自动靠泊中存在的问题，智能算法不断应用于船舶靠泊控制领域，如鲁棒控制，模糊自适应控制、迭代滑模控制等；同时一些非线性优化方法也应用靠泊领域，如基于变分法的序列共轭梯度算法、基于神经网络的最小时间操作系统以及模型预测控制等。但是这些方法在工程实践中存在需要模型动态已知以及过高的计算复杂度等问题。

发明内容

根据上述提出的技术问题，而提供一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法。本发明主要针对船舶靠泊系统，首先，通过引入虚拟引导系统，将靠泊控制问题转化为跟踪控制问题，然后将跟踪问题进一步转化为最优调节问题。其次，采用自适应动态规划算法求解模型未知的船舶最优调节控制问题。

本发明采用的技术手段如下：

一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，包括如下步骤：

步骤S1、建立船舶靠泊非线性控制系统数学模型；

步骤S2、基于所述建立的船舶靠泊非线性控制系统数学模型，引入虚拟引导系统，得到最优控制器，将靠泊控制问题转化为跟踪控制问题；

步骤S3、基于所述最优控制器，建立靠泊最优评价指标；将所述跟踪控制问题转化为最优调节问题；

步骤S4、基于自适应动态规划方法设计船舶最优靠泊控制，逼近所述靠泊最优评价指标；

步骤S5、通过神经网络执行所述船舶最优靠泊控制，获得最优靠泊控制律。

进一步地，所述步骤S1的具体实现方式如下：

步骤S11、考虑船舶自主靠泊时通常以较低的速度运行，因此船舶靠泊数学模型表述如下：

式(1)中，

表示船舶位置坐标和艏向角的姿态变量；υ＝[u,v,r]^T表示船舶前进速度、横向速度和艏摇速度变量；

表示坐标转换矩阵，其表示形式如下：

式(2)中，M为正定惯性矩阵，D为线性阻尼矩阵，τ_f＝[τ_f1,τ_f2,τ_f3]^T为船舶纵向控制力τ_f1、横向控制力τ_f2以及艏摇控制力矩τ_f3；

步骤S12、定义Δt为采样时间间隔，将式(1)和式(2)进行离散化，得到船舶靠泊非线性控制系统数学模型：

υ(k+1)＝υ(k)+ΔtM^-1(τ_f-Dυ(k)) (5)

步骤S13、定义x(k)＝[η(k)^T,υ(k)^T]^T，可以得到：

x(k+1)＝f(x(k))+g(x(k))u(k) (6)

其中，

且u(k)＝τ_f。

进一步地，所述步骤S2的具体实现方式如下：

设虚拟引导系统采用直线运动形式，同时其状态x_g(k)满足x_g(k+1)＝φ(x_g(k))；船舶系统状态x(k)跟踪虚拟引导系统状态x_g(k)，船舶跟踪误差设为ξ(k)＝x(k)-x_g(k)，得到最优控制器为：

其中，

表示g(·)的伪逆。

进一步地，所述步骤S3的具体实现方式如下：

步骤S31、设d(k)为d(k)＝u(k)-u_e(k)，则针对船舶时变最优跟踪控制得到如下船舶靠泊跟踪性能指标函数：

其中，

为正定矩阵；

步骤S32、令最优靠泊控制律θ(k)＝d(k)-d(k-1)，且θ(0)＝d(0)，则可以得到：

所以船舶跟踪性能指标函数可以描述为：

又由于ξ(k+1)＝x(k+1)-x_g(k+1)，结合(6)式可得

ξ(k+1)＝f(x(k))+g(x(k))u(k)-x_g(k+1) (11)

步骤S33、将公式(9)、(10)和(11)转化为最优调节问题，转换之后的系统可以表示为：

进一步地，所述步骤S4的具体实现方式如下：

步骤S41、基于贝尔曼最优性原理，船舶最优性能指标函数满足下面的HJB方程：

其中，J^*(ξ(k))表示最优跟踪问题的性能指标函数。

步骤S42、采用自适应动态规划算法，将船舶跟踪性能指标函数和控制律从i＝0开始更新迭代，对于i＝0,1,2,…可得到：

以及

其中，θ_i(k)表示第i次迭代的控制律；J_i(ξ(k))表示第i次迭代的性能指标函数。

步骤S43、若得到最优控制律θ(k)，则原始船舶靠泊系统(6)的最优靠泊控制可以通过下式得到：

进一步地，所述步骤S5的具体实现方式如下：

步骤S51、在执行自适应动态规划算法之前，对未知船舶靠泊系统动态进行辨识：

其中，

为模型网络的输入，V_m表示输入层至隐含层的权值矩阵，W_m表示隐含层至输出层的权值矩阵；则模型网络误差定义为：

步骤S52、定义性能误差为：

步骤S53、采用梯度下降法，更新模型网络权重：

其中，α_m是模型网络学习率；

步骤S54、采用评价网络近似性能指标函数J_i(ξ(k))，其输出表示为：

其中，V_c表示输入层至隐含层的权值矩阵，W_c表示隐含层至输出层的权值矩阵；且目标函数为：

步骤S55、定义评价网络误差函数为

则评价网络的目标是极小化

因此，神经网络权重更新律为：

其中，α_c是评价网络学习率；

步骤S56、以状态误差作为输入并以最优控制的差分作为输出，则执行网络的输出表示为：

其中，V_a表示输入层至隐含层的权值矩阵，W_a表示隐含层至输出层的权值矩阵；而且，，执行网络的目标函数由(14)式给出，θ_i(k)是目标函数可以表示为：

其中，g(x(k))可以表示为：

因此，执行网络的输出表示为

执行网络的目标是最小化

所以权值更新律为：

其中，β_a是评价网络学习率。

较现有技术相比，本发明具有以下优点：

1、本发明方法通过引入虚拟导引系统，将原船舶的靠泊控制问题转化为船舶最优跟踪控制问题，进一步将船舶跟踪控制问题转化为船舶最优调节问题，对于转化后的船舶最优调节问题，利用输入输出数据识别浅水、低速、岸壁效应以及外界干扰引起的水动力导数变化等因素影响下的船舶未知模型，设计最优靠泊控制器。

2、本发明建立的船舶性能指标函数，解决了传统性能指标函数的无限计算问题和船舶系统可能出现的振荡问题，提高了船舶的跟踪性能。

基于上述理由本发明可在船舶控制等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明通过神经网络执行船舶最优靠泊控制的示意图。

图3为本发明实施例提供的模型网络的输出ξ(k)仿真示意图。

图4为本发明实施例提供的模型网络成功辨识出未知系统的仿真示意图。

图5为本发明实施例提供的船舶位置矢量的跟踪误差。

图6为本发明实施例提供的船舶速度矢量的跟踪误差。

图7为本发明实施例提供的船舶靠泊时的航行轨迹路线。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明作进一步说明：

如图1所示，本发明提供了一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，包括如下步骤：

步骤S1、建立船舶靠泊非线性控制系统数学模型；

步骤S11、考虑船舶自主靠泊时通常以较低的速度运行，因此船舶靠泊数学模型表述如下：

式(1)中，

表示船舶位置坐标和艏向角的姿态变量；υ＝[u,v,r]^T表示船舶前进速度、横向速度和艏摇速度变量；

表示坐标转换矩阵，其表示形式如下：

式(2)中，M为正定惯性矩阵，D为线性阻尼矩阵，τ_f＝[τ_f1,τ_f2,τ_f3]^T为船舶纵向控制力τ_f1、横向控制力τ_f2以及艏摇控制力矩τ_f3；

步骤S12、定义Δt为采样时间间隔，将式(1)和式(2)进行离散化，得到船舶靠泊非线性控制系统数学模型：

υ(k+1)＝υ(k)+ΔtM^-1(τ_f-Dυ(k)) (5)

步骤S13、定义x(k)＝[η(k)^T,υ(k)^T]^T，可以得到：

x(k+1)＝f(x(k))+g(x(k))u(k) (6)

其中，

且u(k)＝τ_f。因为船舶速度值会受到外界干扰和装载状态的影响，所以f(·)和g(·)可以看作是未知的。

步骤S2、基于所述建立的船舶靠泊非线性控制系统数学模型，引入虚拟引导系统，得到最优控制器，将靠泊控制问题转化为跟踪控制问题；

设虚拟引导系统采用直线运动形式，同时其状态x_g(k)满足x_g(k+1)＝φ(x_g(k))；船舶系统状态x(k)跟踪虚拟引导系统状态x_g(k)，船舶跟踪误差设为ξ(k)＝x(k)-x_g(k)，得到最优控制器为：

其中，

表示g(·)的伪逆。

步骤S3、基于所述最优控制器，建立靠泊最优评价指标；将所述跟踪控制问题转化为最优调节问题；

步骤S31、设d(k)为d(k)＝u(k)-u_e(k)，则针对船舶时变最优跟踪控制得到如下船舶靠泊跟踪性能指标函数：

其中，

为正定矩阵；

步骤S32、令最优靠泊控制律θ(k)＝d(k)-d(k-1)，且θ(0)＝d(0)，则可以得到：

所以船舶跟踪性能指标函数可以描述为：

又由于ξ(k+1)＝x(k+1)-x_g(k+1)，结合(6)式可得

ξ(k+1)＝f(x(k))+g(x(k))u(k)-x_g(k+1) (11)

步骤S33、将公式(9)、(10)和(11)转化为最优调节问题，转换之后的系统可以表示为：

下一步的工作是根据(12)求出一个稳定控制θ(ξ)以使得性能指标(10)为有界的。

步骤S4、基于自适应动态规划方法设计船舶最优靠泊控制，逼近所述靠泊最优评价指标；

步骤S41、基于贝尔曼最优性原理，船舶最优性能指标函数满足下面的HJB方程：

其中，J^*(ξ(k))表示最优跟踪问题的性能指标函数。

步骤S42、采用自适应动态规划算法，将船舶跟踪性能指标函数和控制律从i＝0开始更新迭代，对于i＝0,1,2,…可得到：

以及

其中，θ_i(k)表示第i次迭代的控制律；J_i(ξ(k))表示第i次迭代的性能指标函数。

步骤S43、若得到最优控制律θ(k)，则原始船舶靠泊系统(6)的最优靠泊控制可以通过下式得到：

步骤S5、如图2所示，通过神经网络执行所述船舶最优靠泊控制，获得最优靠泊控制律。

步骤S51、在执行自适应动态规划算法之前，对未知船舶靠泊系统动态进行辨识：

其中，

为模型网络的输入，V_m表示输入层至隐含层的权值矩阵，W_m表示隐含层至输出层的权值矩阵；则模型网络误差定义为：

步骤S52、定义性能误差为：

步骤S53、采用梯度下降法，更新模型网络权重：

其中，α_m是模型网络学习率；当模型网络训练完成之后，其权重保持不变。

步骤S54、采用评价网络近似性能指标函数J_i(ξ(k))，其输出表示为：

其中，V_c表示输入层至隐含层的权值矩阵，W_c表示隐含层至输出层的权值矩阵；且目标函数为：

步骤S55、定义评价网络误差函数为

则评价网络的目标是极小化

因此，神经网络权重更新律为：

其中，α_c是评价网络学习率；

步骤S56、以状态误差作为输入并以最优控制的差分作为输出，则执行网络的输出表示为：

其中，V_a表示输入层至隐含层的权值矩阵，W_a表示隐含层至输出层的权值矩阵；而且，执行网络的目标函数由(14)式给出，θ_i(k)是目标函数可以表示为：

其中，g(x(k))可以表示为：

因此，执行网络的输出表示为

执行网络的目标是最小化

所以权值更新律为：

其中，β_a是评价网络学习率。

基于上述方法，以实际智能船舶模型为例，进行计算机仿真。

已知某智能船舶的参数如下：惯性矩阵和水动力阻尼矩阵分别为

和

初始位置和速度矢量x(0)＝[10m 8m(25/180)πrad 5m/s 0m/s 0rad/s]^T；期望信号x_g(k+1)＝x_g(k)-Δtk_ptanh(x_g(k))；初始状态为x_g(0)＝[7m0m0πrad4m/s 0m/s 0rad/s]^T。船舶跟踪性能指标中的Q和R取Q＝0.01×I_6×6和R＝0.05×I_3×3，采样间隔Δt＝0.01。选择三层神经网络即模型网络、执行网络和评价网络作为神经网络，结构分别为15-20-2，6-8-3和6-20-1。选择双曲正切传递函数作为神经网络基函数。执行网络、评价网络和模型网络的初始值在[-1,1]间随机选取。

采用本发明基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法的仿真结果如图3-7所示。图3中的z_i,i＝1,2,...6是模型网络的输出ξ(k)。根据图4显示，经过模型网辨识之后，模型网络成功辨识出未知系统。图5和图6分别表示了船舶位置矢量和速度矢量的跟踪误差，可以看出，误差最后均趋近于0。图7是船舶靠泊时的航行轨迹路线。以上仿真结果表明了船舶具有较好的自动靠泊性能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，其特征在于，包括如下步骤：

步骤S1、建立船舶靠泊非线性控制系统数学模型；

步骤S2、基于所述建立的船舶靠泊非线性控制系统数学模型，引入虚拟引导系统，得到最优控制器，将靠泊控制问题转化为跟踪控制问题；

步骤S3、基于所述最优控制器，建立靠泊最优评价指标；将所述跟踪控制问题转化为最优调节问题；

步骤S4、基于自适应动态规划方法设计船舶最优靠泊控制，逼近所述靠泊最优评价指标；

步骤S5、通过神经网络执行所述船舶最优靠泊控制，获得最优靠泊控制律。

2.根据权利要求1所述的基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，其特征在于，所述步骤S1的具体实现方式如下：

步骤S11、考虑船舶自主靠泊时通常以较低的速度运行，因此船舶靠泊数学模型表述如下：

式(1)中，

表示船舶位置坐标和艏向角的姿态变量；υ＝[u,v,r]^T表示船舶前进速度、横向速度和艏摇速度变量；

表示坐标转换矩阵，其表示形式如下：

式(2)中，M为正定惯性矩阵，D为线性阻尼矩阵，τ_f＝[τ_f1,τ_f2,τ_f3]^T为船舶纵向控制力τ_f1、横向控制力τ_f2以及艏摇控制力矩τ_f3；

步骤S12、定义Δt为采样时间间隔，将式(1)和式(2)进行离散化，得到船舶靠泊非线性控制系统数学模型：

υ(k+1)＝υ(k)+ΔtM^-1(τ_f-Dυ(k)) (5)

步骤S13、定义x(k)＝[η(k)^T,υ(k)^T]^T，可以得到：

x(k+1)＝f(x(k))+g(x(k))u(k) (6)

其中，

且u(k)＝τ_f。

3.根据权利要求1所述的基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，其特征在于，所述步骤S2的具体实现方式如下：

设虚拟引导系统采用直线运动形式，同时其状态x_g(k)满足x_g(k+1)＝φ(x_g(k))；船舶系统状态x(k)跟踪虚拟引导系统状态x_g(k)，船舶跟踪误差设为ξ(k)＝x(k)-x_g(k)，得到最优控制器为：

其中，

表示g(·)的伪逆。

4.根据权利要求1所述的基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，其特征在于，所述步骤S3的具体实现方式如下：

步骤S31、设d(k)为d(k)＝u(k)-u_e(k)，则针对船舶时变最优跟踪控制得到如下船舶靠泊跟踪性能指标函数：

其中，

为正定矩阵；

步骤S32、令最优靠泊控制律θ(k)＝d(k)-d(k-1)，且θ(0)＝d(0)，则可以得到：

所以船舶跟踪性能指标函数可以描述为：

又由于ξ(k+1)＝x(k+1)-x_g(k+1)，结合(6)式可得

ξ(k+1)＝f(x(k))+g(x(k))u(k)-x_g(k+1) (11)

步骤S33、将公式(9)、(10)和(11)转化为最优调节问题，转换之后的系统可以表示为：

5.根据权利要求1所述的基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，其特征在于，所述步骤S4的具体实现方式如下：

步骤S41、基于贝尔曼最优性原理，船舶最优性能指标函数满足下面的HJB方程：

其中，J^*(ξ(k))表示最优跟踪问题的性能指标函数。

步骤S42、采用自适应动态规划算法，将船舶跟踪性能指标函数和控制律从i＝0开始更新迭代，对于i＝0,1,2,…可得到：

以及

其中，θ_i(k)表示第i次迭代的控制律；J_i(ξ(k))表示第i次迭代的性能指标函数。

步骤S43、若得到最优控制律θ(k)，则原始船舶靠泊系统(6)的最优靠泊控制可以通过下式得到：

6.根据权利要求1所述的基于自适应动态规划算法的虚拟引导船舶自动靠泊控制方法，其特征在于，所述步骤S5的具体实现方式如下：

步骤S51、在执行自适应动态规划算法之前，对未知船舶靠泊系统动态进行辨识：

其中，

为模型网络的输入，V_m表示输入层至隐含层的权值矩阵，W_m表示隐含层至输出层的权值矩阵；则模型网络误差定义为：

步骤S52、定义性能误差为：

步骤S53、采用梯度下降法，更新模型网络权重：

其中，α_m是模型网络学习率；

步骤S54、采用评价网络近似性能指标函数J_i(ξ(k))，其输出表示为：

其中，V_c表示输入层至隐含层的权值矩阵，W_c表示隐含层至输出层的权值矩阵；且目标函数为：

步骤S55、定义评价网络误差函数为

则评价网络的目标是极小化

因此，神经网络权重更新律为：

其中，α_c是评价网络学习率；

步骤S56、以状态误差作为输入并以最优控制的差分作为输出，则执行网络的输出表示为：

其中，V_a表示输入层至隐含层的权值矩阵，W_a表示隐含层至输出层的权值矩阵；而且，执行网络的目标函数由(14)式给出，θ_i(k)是目标函数可以表示为：

其中，g(x(k))可以表示为：

因此，执行网络的输出表示为

执行网络的目标是最小化

所以权值更新律为：

其中，β_a是评价网络学习率。

Images