CN112327638A - 一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法 - Google Patents

Abstract

本发明提供一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，包括：建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；引入控制器输入饱和函数；将系统的性能约束转化为等价的性能约束，得到指定性能控制方法的期望轨迹数学模型；基于引入的所述控制器输入饱和函数以及指定性能控制方法的期望轨迹数学模型，设计无人船轨迹跟踪最优控制率；设计神经网络权重更新率。本发明的技术方案考虑控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差，当需要提高系统的控制性能而对系统的指定性能进行设计时，就需要用到指定性能的控制方法，使得系统的暂态性能得到保证。

Description

一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最 优控制方法

技术领域

本发明涉及强化学习与水面无人船的轨迹跟踪技术领域，具体而言，尤其涉及一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法。

背景技术

如今人工智能技术已经广泛应用于控制领域，特别是无人船系统中。与传统船舶相比无人船可以很好的处理复杂多变的海上环境并且减少人为因素和不确定扰动的影响。强化学习是一个解决最优控制问题的高效的解决方法。它可以解决传统的最优控制问题中求解哈密尔顿-雅克比-贝尔曼方程不易的缺点。Werbos提出一种基于强化学习并使用演员-评论家神经网络的最优控制框架。通过使用演员-评论家神经网络可以逼近成本函数和控制策略，从而满足最优准则且避免了维数灾难问题。

当外界存在较大的风浪流等干扰时，控制器需要较大的值来克服干扰。但当控制器中存在饱和特性时，往往不能达到控制要求，因此需要考虑在控制器存在饱和时的轨迹跟踪控制问题。同时当系统的误差需要保持在一定范围内时，往往对控制的精度要求比较高，因此需要考虑在控制器存在饱和时系统的指定性能轨迹跟踪控制问题。

发明内容

根据上述提出的技术问题，而提供一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法。本发明考虑控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差，当需要提高系统的控制性能而对系统的指定性能进行设计时，就需要用到指定性能的控制方法，使得系统的暂态性能得到保证。

本发明采用的技术手段如下：

一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，

包括如下步骤：

S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；

S2、基于设定的所述期望轨迹数学模型，引入控制器输入饱和函数；

S3、将系统的性能约束转化为等价的性能约束，得到指定性能控制方法的期望轨迹数学模型；

S4、基于引入的所述控制器输入饱和函数以及指定性能控制方法的期望轨迹数学模型，设计无人船轨迹跟踪最优控制率；

S5、基于设计的所述无人船轨迹跟踪最优控制率，进一步设计神经网络权重更新率。

进一步地，所述步骤S1具体包括：

S11、定义两个坐标系，分别为北东坐标系XOY和附体坐标系X_BO_BY_B，将北东坐标系XOY视作惯性坐标系，取地球任一点O为坐标原点，OX指向正北，OY指向正东；将附体坐标系X_BO_BY_B视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点O_B，O_BX_B轴沿着船舶中线指向船艏方向，O_BY_B轴垂直指向右舷；

S12、建立无人水面船数学模型，如下所示：

v＝τ′(u)+f(v)

其中，η＝[x,y,ψ]^T，x、y表示无人水面船运动位置矢量，ψ∈[0,2π]表示艏向角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度矢量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

S13、设定无人水面船的期望轨迹数学模型，如下所示：

其中，x_d＝[η_d ^T,v_d ^T]^T,η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别表示无人水面船跟踪的期望位置向量及速度向量。

进一步地，所述步骤S2具体包括：

S21、引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示无人船系统的控制输入，i＝u,v,r；τ_i,M是τ(μ_i)的上界，τ(μ_i)表示具有饱和特性的控制输入；sat(μ_i)是μ_i的饱和函数；

S22、将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

则引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+σ(μ_i)

其中，σ(μ_i)表示有界函数，J(μ_i)逼近饱和函数的平滑函数。

S23、考虑系统的误差方程：

其中，

η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足

μ表示控制输入，

进一步地，所述步骤S3具体包括：

S31、将系统的指定性能描述为如下形式：

-δ_i,minμ_i(t)≤e_i(t)≤δ_i,maxμ_i(t)

其中μ_i(t)是正定的并且是递减的平滑函数，且带有

δ_i,min与δ_i,max为符号参数，性能函数被选择为指数形式

其中a_i,μ_i,0,μ_i,∞是适当的正定常数；

S32、针对性能函数的特性，μ_i,0＞μ_i,∞，-δ_i,minμ_i(0)≤e_i(0)≤δ_i,maxμ_i(0)，跟踪的误差的性能边界由性能函数μ_i(t)和常数δ_i,min,δ_i,max共同决定，因此，对跟踪误差进行转换，跟踪误差被重新定义为：

e_i(t)＝μ_i(t)Φ_i(z_i(t))

其中，z_i是转换的误差，Φ_i是平滑且递减的函数，表示如下：

上述函数的反函数为：

因此转化的形式可以被写为：

其中，

S33、将转换的误差动力学写为以下的等价的形式：

其中，z＝[z_x,z_y,z_j,z_u,z_v,z_r]^T，

是位置的系统误差方程，并且ρ＝diag[ρ_x,ρ_y,ρ_j,ρ_u,ρ_v,ρ_r]^T，

是时变的控制增益；

在包括原点的集合

内是利普西茨连续的，系统动态方程中的

是有界的，即

对于常数b_f,b_g是恒成立的，因此，如果存在一个连续的控制器μ∈Ω_μ使得系统保持稳定，那么该系统就是可控的；

S34、设计系统的消耗函数，如下所示：

其中，t表示当前时间；γ表示折扣因子。

进一步地，所述步骤S4具体包括：

S41、定义最优成本函数，如下：

其中，r(z,μ^*)＝z^TΛ_zz+μ^*TΛ_μμ^*，Λ_z,Λ_μ均为正定矩阵；z^T表示误差矢量的转置；

S42、根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，

表示成本函数对误差矢量的梯度；

S43、得到无人船最优控制率，如下：

进一步地，所述步骤S5具体包括：

S51、根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，

表示评判器神经网络理想的权重向量，N表示神经元的个数，

表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

S52、设计所述最优成本函数的逼近函数，表示如下：

其中，

表示

的估计；

表示神经网络输入的向量基函数；

S53、基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，

表示

的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

S54、计算执行器更新率

其计算公式如下：

其中，k_a为常数，

为正定矩阵。

较现有技术相比，本发明具有以下优点：

本发明提供的具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，考虑控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差，当需要提高系统的控制性能而对系统的指定性能进行设计时，就需要用到指定性能的控制方法，使得系统的暂态性能得到保证，更加具有实际工程意义。

基于上述理由本发明可在强化学习与水面无人船的轨迹跟踪等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明实施例提供的无人船位置跟踪图。

图3为本发明实施例提供的无人船速度跟踪图。

图4为本发明实施例提供的无人船位置误差图。

图5为本发明实施例提供的无人船速度误差图。

图6为本发明实施例提供的无人船轨迹跟踪图。

图7为本发明实施例提供的评论家神经网络权重更新图。

图8为本发明实施例提供的演员神经网络权重更新图。

图9为本发明实施例提供的无人船控制律图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，包括如下步骤：

S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；

具体实施时，作为本发明优选的实施方式，所述步骤S1具体包括：

S11、定义两个坐标系，分别为北东坐标系XOY和附体坐标系X_BO_BY_B，将北东坐标系XOY视作惯性坐标系，取地球任一点O为坐标原点，OX指向正北，OY指向正东；将附体坐标系X_BO_BY_B视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点O_B，O_BX_B轴沿着船舶中线指向船艏方向，O_BY_B轴垂直指向右舷；

S12、建立无人水面船数学模型，如下所示：

其中，η＝[x,y,ψ]^T，x、y表示无人水面船运动位置矢量，ψ∈[0,2π]表示艏向角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度矢量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

S13、设定无人水面船的期望轨迹数学模型，如下所示：

其中，x_d＝[η_d ^T,v_d ^T]^T,η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别表示无人水面船跟踪的期望位置向量及速度向量。

S2、基于设定的所述期望轨迹数学模型，引入控制器输入饱和函数；

具体实施时，作为本发明优选的实施方式，所述步骤S2具体包括：

S21、引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示无人船系统的控制输入，i＝u,v,r；τ_i,M是τ(μ_i)的上界，τ(μ_i)表示具有饱和特性的控制输入；sat(μ_i)是μ_i的饱和函数；

S22、将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

则引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+σ(μ_i)

其中，σ(μ_i)表示有界函数，J(μ_i)逼近饱和函数的平滑函数。

S23、考虑系统的误差方程：

其中，

η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足

μ表示控制输入，

S3、将系统的性能约束转化为等价的性能约束，得到指定性能控制方法的期望轨迹数学模型；

具体实施时，作为本发明优选的实施方式，所述步骤S3具体包括：

S31、将系统的指定性能描述为如下形式：

-δ_i,minμ_i(t)≤e_i(t)≤δ_i,maxμ_i(t)

其中μ_i(t)是正定的并且是递减的平滑函数，且带有

δ_i,min与δ_i,max为符号参数，性能函数被选择为指数形式

其中a_i,μ_i,0,μ_i,∞是适当的正定常数；

S32、针对性能函数的特性，μ_i,0＞μ_i,∞，-δ_i,minμ_i(0)≤e_i(0)≤δ_i,maxμ_i(0)，跟踪的误差的性能边界由性能函数μ_i(t)和常数δ_i,min,δ_i,max共同决定，因此，对跟踪误差进行转换，跟踪误差被重新定义为：

e_i(t)＝μ_i(t)Φ_i(z_i(t))

其中，z_i是转换的误差，Φ_i是平滑且递减的函数，表示如下：

上述函数的反函数为：

因此转化的形式可以被写为：

其中，

S33、将转换的误差动力学写为以下的等价的形式：

其中，z＝[z_x,z_y,z_j,z_u,z_v,z_r]^T，

是位置的系统误差方程，并且ρ＝diag[ρ_x,ρ_y,ρ_j,ρ_u,ρ_v,ρ_r]^T，

是时变的控制增益；

在包括原点的集合

内是利普西茨连续的，系统动态方程中的

是有界的，即

对于常数b_f,b_g是恒成立的，因此，如果存在一个连续的控制器μ∈Ω_μ使得系统保持稳定，那么该系统就是可控的；

S34、设计系统的消耗函数，如下所示：

其中，t表示当前时间；γ表示折扣因子。

S4、基于引入的所述控制器输入饱和函数以及指定性能控制方法的期望轨迹数学模型，设计无人船轨迹跟踪最优控制率；

具体实施时，作为本发明优选的实施方式，所述步骤S4具体包括：

S41、定义最优成本函数，如下：

其中，r(z,μ^*)＝z^TΛ_zz+μ^*TΛ_μμ^*，Λ_z,Λ_μ均为正定矩阵；z^T表示误差矢量的转置；

S42、根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，

表示成本函数对误差矢量的梯度；

S43、得到无人船最优控制率，如下：

S5、基于设计的所述无人船轨迹跟踪最优控制率，进一步设计神经网络权重更新率。

具体实施时，作为本发明优选的实施方式，所述步骤S5具体包括：

S51、根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，

表示评判器神经网络理想的权重向量，N表示神经元的个数，

表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

S52、设计所述最优成本函数的逼近函数，表示如下：

其中，

表示

的估计；

表示神经网络输入的向量基函数；

S53、基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，

表示

的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

S54、计算执行器更新率

其计算公式如下：

其中，k_a为常数，

Γ_a为正定矩阵。

为了验证本发明方法的有效性，进行了仿真实验，从附图2-9可以看出本发明方法跟踪的优越性，图2为无人船位置跟踪图，可以看出船舶在非常短的时间内跟踪上；图3为速度跟踪图，可见虽然前期的速度有波动，但是在较短的时间内也达到跟踪效果。图4和图5分别是位置误差和速度误差，从这两个误差图中可以看出误差最终都在零附近波动并可以满足无人船系统指定性能控制效果。图6为船舶的旋转仿真实验，船舶参考轨迹为一个圆，可以看出跟踪效果很好；图7和图8分别是评论家权重更新律和演员权重更新率，可见船舶在较短时间内进行训练然后稳定，达到跟踪效果；图9为船舶跟踪控制律，可见船舶在有饱和输入限制时，通过辅助变量的设计使得船舶在具有饱和限制时仍可以达到跟踪效果，解决了船舶输入饱和限制。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，其特征在于，包括如下步骤：

S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；

S2、基于设定的所述期望轨迹数学模型，引入控制器输入饱和函数；

S3、将系统的性能约束转化为等价的性能约束，得到指定性能控制方法的期望轨迹数学模型；

S4、基于引入的所述控制器输入饱和函数以及指定性能控制方法的期望轨迹数学模型，设计无人船轨迹跟踪最优控制率；

S5、基于设计的所述无人船轨迹跟踪最优控制率，进一步设计神经网络权重更新率。

2.根据权利要求1所述的具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，其特征在于，所述步骤S1具体包括：

S11、定义两个坐标系，分别为北东坐标系XOY和附体坐标系X_BO_BY_B，将北东坐标系XOY视作惯性坐标系，取地球任一点O为坐标原点，OX指向正北，OY指向正东；将附体坐标系X_BO_BY_B视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点O_B，O_BX_B轴沿着船舶中线指向船艏方向，O_BY_B轴垂直指向右舷；

S12、建立无人水面船数学模型，如下所示：

其中，η＝[x,y,ψ]^T，x、y表示无人水面船运动位置矢量，ψ∈[0,2π]表示艏向角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度矢量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

S13、设定无人水面船的期望轨迹数学模型，如下所示：

其中，x_d＝[η_d ^T,v_d ^T]^T,η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别表示无人水面船跟踪的期望位置向量及速度向量。

3.根据权利要求1所述的具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，其特征在于，所述步骤S2具体包括：

S21、引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示无人船系统的控制输入，i＝u,v,r；τ_i,M是τ(μ_i)的上界，τ(μ_i)表示具有饱和特性的控制输入；sat(μ_i)是μ_i的饱和函数；

S22、将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

则引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+σ(μ_i)

其中，σ(μ_i)表示有界函数，J(μ_i)逼近饱和函数的平滑函数。

S23、考虑系统的误差方程：

其中，

η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足

μ表示控制输入，

4.根据权利要求1所述的具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，其特征在于，所述步骤S3具体包括：

S31、将系统的指定性能描述为如下形式：

-δ_i,minμ_i(t)≤e_i(t)≤δ_i,maxμ_i(t)

其中，μ_i(t)是正定的并且是递减的平滑函数，且带有lim_t→∞μ_i(t)＝μ_i,∞,i＝x,y,ψ,u,v,r，δ_i,min与δ_i,max为符号参数，性能函数被选择为指数形式μ_i(t)＝(μ_i,0-μ_i,∞)e^-ait+μ_i,∞，其中，a_i,μ_i,0,μ_i,∞是适当的正定常数；

S32、针对性能函数的特性，μ_i,0＞μ_i,∞，-δ_i,minμ_i(0)≤e_i(0)≤δ_i,maxμ_i(0)，跟踪的误差的性能边界由性能函数μ_i(t)和常数δ_i,min,δ_i,max共同决定，因此，对跟踪误差进行转换，跟踪误差被重新定义为：

e_i(t)＝μ_i(t)Φ_i(z_i(t))

其中，z_i是转换的误差，Φ_i是平滑且递减的函数，表示如下：

上述函数的反函数为：

因此转化的形式可以被写为：

其中，

S33、将转换的误差动力学写为以下的等价的形式：

制增益；

在包括原点的集合

内是利普西茨连续的，系统动态方程中的

是有界的，即

对于常数b_f,b_g是恒成立的，因此，如果存在一个连续的控制器μ∈Ω_μ使得系统保持稳定，那么该系统就是可控的；

S34、设计系统的消耗函数，如下所示：

其中，t表示当前时间；γ表示折扣因子。

5.根据权利要求1所述的具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，其特征在于，所述步骤S4具体包括：

S41、定义最优成本函数，如下：

其中，r(z,μ^*)＝z^TΛ_zz+μ^*TΛ_μμ^*，Λ_z,Λ_μ均为正定矩阵；z^T表示误差矢量的转置；

S42、根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，

表示成本函数对误差矢量的梯度；

S43、得到无人船最优控制率，如下：

6.根据权利要求1所述的具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法，其特征在于，所述步骤S5具体包括：

S51、根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，

表示评判器神经网络理想的权重向量，N表示神经元的个数，

表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

S52、设计所述最优成本函数的逼近函数，表示如下：

其中，

表示

的估计；

表示神经网络输入的向量基函数；

S53、基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，

表示

的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

S54、计算执行器更新率

其计算公式如下：

其中，k_a为常数，

Γ_a为正定矩阵。

Images