CN111679585B - 一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法 - Google Patents

Abstract

本发明针对无人水面船系统，提供了一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法，本发明方法，包括：建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；基于设定的期望轨迹数学模型，引入控制器输入饱和函数；基于引入控制器输入饱和函数的期望轨迹数学模型，设计无人船控制率；基于设计的无人船控制率，设计神经网络权重更新率。同时，本发明方法考虑控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差，更加具有实际工程意义。

Description

一种具有输入饱和受限的无人船强化学习自适应跟踪控制 方法

技术领域

本发明涉及强化学习与水面无人船的轨迹跟踪技术领域，具体而言，尤其涉及一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法。

背景技术

水面无人船是具有自主导航能力，并且可自主实现环境感知、目标探测等任务的智能化、无人化水面平台，其最主要的特征便是欠驱动性，即利用两个独立的输入端同时控制三个自由渡的运动；欠驱动系统能够通过较少的驱动器来完成复杂的控制任务，不仅能够降低成本，简化控制系统结构，同事也能提高系统的可靠性与易维护性；但是在对水面无人船的跟踪控制方面仍然存在一些问题，例如：当外界存在较大的风浪流等干扰时，控制器需要较大的值来克服干扰。但当控制器中存在饱和特性时，往往不能达到控制要求，因此需要考虑在控制器存在饱和时的轨迹跟踪控制问题。

发明内容

根据上述提出的技术问题，而提供一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法。本发明考虑了控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差。

本发明采用的技术手段如下：

一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法，所述方法包括：

建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；

基于设定的期望轨迹数学模型，引入控制器输入饱和函数；

基于引入控制器输入饱和函数的期望轨迹数学模型，设计无人船控制率；

基于设计的无人船控制率，设计神经网络权重更新率。

进一步地，所述建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；包括：

定义北东坐标系OX₀Y₀Z₀和附体坐标系BXYZ两个坐标系；

将北东坐标系(OX₀Y₀Z₀)视作惯性坐标系，取地球任一点O为坐标原点，OX₀指向正北，OY₀指向正东，OZ₀指向地球球心；

将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷，BZ轴沿XY平面垂直指向下；

对无人水面船进行建模，得到如下船舶运动控制数学模型：

其中，η＝[x,y,ψ]^T表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，ψ∈[0,2π]表示艏摇角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度向量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

设定无人水面船的期望轨迹数学模型如下：

其中，x_d＝[η_d ^T,v_d ^T]^T，η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别是无人水面船跟踪的期望位置向量及速度向量。

进一步地，所述基于设定的期望轨迹数学模型，引入控制器输入饱和函数，包括：

引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示控制输入；τ_i,M是τ_i的界，τ_i表示具有饱和特性的控制输入；sat(μ_i)是μ_i的饱和函数；

将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

则引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+ρ(μ_i)

其中，ρ(μ_i)表示有界函数，J(μ_i)表示饱和函数的逼近函数。

进一步地，所述基于引入控制器输入饱和函数的期望轨迹数学模型，设计无人船控制率，包括：

构建成本函数，如下：

其中，t表示时间；γ表示折扣因子；z表示跟踪误差；e表示指数函数，

η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足

μ表示控制输入；

构建无人船轨迹跟踪动态，如下：

其中，

R^T表示转换矩阵，h^T表示辅助变量的转置，f^T(η,v)表示系统动态向量，

表示参考系统的动态向量；

μ^*表示最优控制率；

定义最优成本函数，如下：

其中，r(e,μ^*)＝e^TΛ_ee+μ^*TΛ_μμ^*，Λ_e,Λ_μ均为正定矩阵；e^T表示误差的转置；

根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，

表示成本函数的梯度；

得到无人船最优控制率，如下：

进一步地，所述基于设计的无人船控制率，设计神经网络权重更新率，包括：

根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，

表示评判器神经网络理想的权重向量，N表示神经元的个数，

表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

设计所述最优成本函数的逼近函数，表示如下：

其中，

表示

的估计；

表示基函数；

基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，

表示

的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

计算演员更新率

其计算公式如下：

其中，k_a为常数，

Γ_a为正定矩阵。

与现有的技术相比，本方案的有益效果主要体现在：

无人船舶行驶在恶劣的环境中，如北极航道。外界有较大的风浪流等干扰因素，因此无人船需要较大的控制输入来进行控制，本方案考虑控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差，更加具有实际工程意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明无人船位置跟踪图。

图3为本发明无人船速度跟踪图。

图4为本发明无人船位置误差图。

图5为本发明无人船速度误差图。

图6为本发明无人船轨迹跟踪图。

图7为本发明评论家神经网络权重更新图。

图8为本发明演员神经网络权重更新图。

图9为本发明无人船控制律图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法，包括如下步骤：

S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；具体包括：

S11、定义北东坐标系OX₀Y₀Z₀和附体坐标系BXYZ两个坐标系；

S12、将北东坐标系(OX₀Y₀Z₀)视作惯性坐标系，取地球任一点O为坐标原点，OX₀指向正北，OY₀指向正东，OZ₀指向地球球心；

S13、将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷，BZ轴沿XY平面垂直指向下；

S14、对无人水面船进行建模，得到如下船舶运动控制数学模型：

其中，η＝[x,y,ψ]^T表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，ψ∈[0,2π]表示艏摇角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度向量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

S15、设定无人水面船的期望轨迹数学模型如下：

其中，x_d＝[η_d ^T,v_d ^T]^Tη_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别是无人水面船跟踪的期望位置向量及速度向量。

S2、基于设定的期望轨迹数学模型，引入控制器输入饱和函数；具体包括：

S21、引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示控制输入；τ_i,M是τ_i的界，τ_i表示含有输入饱和的控制输入；sat(μ_i)是μ_i的饱和函数；

S22、将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

S23、引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+ρ(μ_i)

其中，ρ(μ_i)表示有界函数，J(μ_i)表示输入饱和函数的逼近函数。

S3、基于设定的期望轨迹数学模型，引入控制器输入饱和函数；具体包括：

S31、构建成本函数，如下：

其中，t表示时间；γ表示折扣因子；z表示误差；e表示指数函数，

η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足

μ表示控制输入；

S32、构建无人船轨迹跟踪动态，如下：

其中，

v_e表示速度误差，R^T表示转换矩阵的转置，h^T表示辅助变量的转置，f^T(η,v)表示系统动态信息，

表示参考系统动态信息；

μ^*表示最优控制率；

S33、定义最优成本函数，如下：

其中，r(e,μ^*)＝e^TΛ_ee+μ^*TΛ_μμ^*，Λ_e,Λ_μ均为正定矩阵；e^T表示误差的转置；

S34、根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，

表示成本函数的梯度；

S35、得到无人船最优控制率，如下：

S4、基于设计的无人船控制率，设计神经网络权重更新率。具体包括：

S41、根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，

表示评判器神经网络理想的权重向量，N表示神经元的个数，

表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

S42、设计所述最优成本函数的逼近函数，表示如下：

其中，

表示

的估计；

表示基函数；

S43、基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，

表示

的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

S44、计算演员更新率

其计算公式如下：

其中，k_a为常数，

Γ_a为正定矩阵。

从下述附图中可以看出本方法跟踪的优越性。图2为无人船位置跟踪图，可以看出船舶在非常短的时间内跟踪上；图3为速度跟踪图，可见虽然前期的速度有波动，但是在较短的时间内也达到跟踪效果。图4和图5分别是位置误差和速度误差，从这两个误差图中可以看出误差最终都在零附近波动。图6为船舶的旋转仿真实验，船舶参考轨迹为一个圆，可以看出跟踪效果很好；图7和图8分别是评论家权重更新律和演员权重更新率，可见船舶在较短时间内进行训练然后稳定，达到跟踪效果；图9为船舶跟踪控制率，可见船舶在有饱和输入限制时，通过辅助变量的设计使得船舶在具有较大的控制律时仍可以达到跟踪效果，解决了船舶输入饱和限制。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (1)

1.一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法，其特征在于，所述方法包括：

建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型，包括：

定义北东坐标系OX₀Y₀Z₀和附体坐标系BXYZ两个坐标系；

将北东坐标系(OX₀Y₀Z₀)视作惯性坐标系，取地球任一点O为坐标原点，OX₀指向正北，OY₀指向正东，OZ₀指向地球球心；

将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷，BZ轴沿XY平面垂直指向下；

对无人水面船进行建模，得到如下船舶运动控制数学模型：

其中，η＝[x,y,ψ]^T表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，ψ∈[0,2π]表示艏摇角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度向量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

设定无人水面船的期望轨迹数学模型如下：

其中，x_d＝[η_d ^T,v_d ^T]^T，η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别是无人水面船跟踪的期望位置向量及速度向量；

基于设定的期望轨迹数学模型，引入控制器输入饱和函数；包括：

引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示控制输入；τ_i,M是τ_i的界，τ_i表示具有饱和特性的控制输入；sat(μ_i)是μ_i的饱和函数；

将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

则引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+ρ(μ_i)

其中，ρ(μ_i)表示有界函数，J(μ_i)表示饱和函数的逼近函数；

基于引入控制器输入饱和函数的期望轨迹数学模型，设计无人船控制率；包括：

构建成本函数，如下：

其中，t表示时间；γ表示折扣因子；z表示跟踪误差；e表示指数函数，

η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足

μ表示控制输入；

构建无人船轨迹跟踪动态，如下：

其中，

R^T表示转换矩阵，f^T(η,v)表示系统动态向量，

表示参考系统的动态向量；

μ^*表示最优控制率；

定义最优成本函数，如下：

其中，r(e,μ^*)＝e^TΛ_ee+μ^*TΛ_μμ^*，Λ_e,Λ_μ均为正定矩阵；e^T表示误差的转置；

根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，

表示成本函数的梯度；

得到无人船最优控制率，如下：

基于设计的无人船控制率，设计神经网络权重更新率；包括：

根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，

表示评判器神经网络理想的权重向量，N表示神经元的个数，

表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

设计所述最优成本函数的逼近函数，表示如下：

其中，

表示

的估计；

表示神经网络输入向量基函数；

基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，

表示

的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

计算演员更新率

其计算公式如下：

其中，k_a为常数，

Γ_a为正定矩阵。

Images