CN113189867A - 一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法 - Google Patents

一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法 Download PDF

Info

Publication number
CN113189867A
CN113189867A CN202110313345.2A CN202110313345A CN113189867A CN 113189867 A CN113189867 A CN 113189867A CN 202110313345 A CN202110313345 A CN 202110313345A CN 113189867 A CN113189867 A CN 113189867A
Authority
CN
China
Prior art keywords
optimal
unmanned ship
considering
unmanned
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110313345.2A
Other languages
English (en)
Other versions
CN113189867B (zh
Inventor
王宁
李堃
高颖
杨忱
薛皓原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110313345.2A priority Critical patent/CN113189867B/zh
Publication of CN113189867A publication Critical patent/CN113189867A/zh
Application granted granted Critical
Publication of CN113189867B publication Critical patent/CN113189867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Abstract

本发明提供考虑位姿与速度受限的无人船自学习最优跟踪控制方法，包括：S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；S2、考虑无人船状态受限，引入障碍李雅普诺夫函数；S3、考虑位姿受限，采用反步法计算最优虚拟控制率；S4、基于步骤S3计算的所述最优虚拟控制率，设计神经网络权重更新率；S5、考虑速度受限，采用反步法设计最优控制器；S6、基于步骤S5设计的所述最优控制器，设计神经网络权重更新率。本发明在考虑无人船最优控制的同时引入状态受限的影响，解决无人船在狭窄水域航行的问题。

Description

一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法
技术领域
本发明涉及强化学习与水面无人船的轨迹跟踪技术领域，具体而言，尤其涉及一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法。
背景技术
如今人工智能技术已经广泛应用于控制领域，特别是无人船系统中。与传统船舶相比无人船可以很好的处理复杂多变的海上环境并且减少人为因素和不确定扰动的影响。强化学习是一个解决最优控制问题的高效的解决方法。它可以解决传统的最优控制问题中求解哈密尔顿-雅克比-贝尔曼方程不易的缺点。Werbos提出一种基于强化学习并使用演员-评论家神经网络的最优控制框架。通过使用演员-评论家神经网络可以逼近成本函数和控制策略，从而满足最优准则且避免了维数灾难问题。当无人船在狭窄水域航行时，无人船的位置和速度会受到一定的限制，但已有的最优控制研究中并没有考虑状态受限的问题，不能解决无人船在狭窄水域航行的问题。
发明内容
根据上述提出的技术问题，而提供一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法。本发明在考虑无人船最优控制的同时引入状态受限的影响，解决无人船在狭窄水域航行的问题。
本发明采用的技术手段如下：
一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法，包括如下步骤：
S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；
S2、考虑无人船状态受限，引入障碍李雅普诺夫函数；
S3、考虑位姿受限，采用反步法计算最优虚拟控制率；
S4、基于步骤S3计算的所述最优虚拟控制率，设计神经网络权重更新率；
S5、考虑速度受限，采用反步法设计最优控制器；
S6、基于步骤S5设计的所述最优控制器，设计神经网络权重更新率。
进一步地，所述步骤S1具体包括：
S11、定义北东坐标系OX0Y0Z0和附体坐标系BXYZ，将北东坐标系OX0Y0Z0视作惯性坐标系，取地球任一点O为坐标原点，OX0指向正北，OY0指向正东；OZ0指向地球球心；将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷；BZ轴沿XY平面垂直指向下；
S12、对无人水面船进行建模，得到如下船舶运动控制数学模型：
Figure BDA0002990827220000021
Figure BDA0002990827220000022
其中，
Figure BDA0002990827220000023
表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，
Figure BDA0002990827220000024
表示艏摇角；R表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]T表示附体坐标系下无人水面船运动的速度矢量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；μ′＝M-1μ；μ＝[μu,μv,μr]T表示船舶控制输入向量，μu、μv、μr分别表示纵荡控制力、横荡控制力、艏摇控制力；f(η,v)＝-M-1(C(v)v+D(v)v+Δ(v))，M(t)＝MT(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵，Δ(v)表示系统建模不准确量；
S13、设定无人水面船的期望轨迹数学模型如下：
Figure BDA0002990827220000025
其中，xd＝[ηd T,vd T]T，
Figure BDA0002990827220000026
和νd＝[ud,vd,rd]T分别是无人水面船跟踪的期望位置向量及速度向量。
进一步地，所述步骤S2具体为：
对于非线性系统
Figure BDA0002990827220000027
定义一个障碍李雅普诺夫函数作为标量函数，且系统在包含原点在内的开区间
Figure BDA0002990827220000028
内是连续的、正定的，且系统在区间
Figure BDA0002990827220000031
内具有一阶连续偏导数；当x趋于区间
Figure BDA0002990827220000032
的边界时，V(x)趋于无穷大；对于任意时刻t0≥0，系统满足V(x(t))≤b，b为正常数且
Figure BDA0002990827220000033
进一步地，所述步骤S3具体包括：
S31、考虑位姿受限，定义无人船的跟踪误差：
eη＝η-ηd
其中，ηd表示参考轨迹的位置矢量；
S32、设计成本函数：
Figure BDA0002990827220000034
其中，γ表示折扣因子，s表示积分变量，t表示时间，α表示最优虚拟控制器；
S33、定义最优成本函数：
Figure BDA0002990827220000035
其中，rη(eη,α*)表示大于零的数，
Figure BDA0002990827220000036
S34、基于步骤S33定义的所述最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程如下：
Figure BDA0002990827220000037
S35、计算最优虚拟控制率，计算公式如下：
Figure BDA0002990827220000038
其中，βη表示调试参数。
进一步地，所述步骤S4具体包括：
S41、根据前馈神经网络的全局逼近特性，将最优代价函数表示成如下形式：
Figure BDA0002990827220000039
Figure BDA00029908272200000310
其中，
Figure BDA0002990827220000041
是评判器神经网络理想的权重向量，N是神经元的个数，
Figure BDA0002990827220000042
表示神经网络输入向量基函数，εη是有界神经网络函数逼近误差；
S42、设计成本函数的逼近函数：
Figure BDA0002990827220000043
其中，
Figure BDA0002990827220000044
是
Figure BDA0002990827220000045
的估计，则最优虚拟控制器为：
Figure BDA0002990827220000046
S43、采用梯度下降法得到神经网络更新率的导数
Figure BDA0002990827220000047
如下：
Figure BDA0002990827220000048
其中ka为常数，ση表示矩阵，
Figure BDA0002990827220000049
S44、基于障碍李雅普诺夫函数，分析得到评判器神经网络更新率的导数
Figure BDA00029908272200000410
如下：
Figure BDA00029908272200000411
进一步地，所述步骤S5具体包括：
S51、考虑速度受限，定义无人船的跟踪误差：
Figure BDA00029908272200000412
S52、系统动态采用神经网络逼近，如下：
Figure BDA00029908272200000413
其中，θ*表示最优权重；
S53、定义最优成本函数：
Figure BDA0002990827220000051
其中，rv(ev,μ*)表示大于零的数，
Figure BDA0002990827220000052
S54、基于步骤S53定义的所述最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程如下：
Figure BDA0002990827220000053
S55、计算最优虚拟控制率，计算公式如下：
Figure BDA0002990827220000054
其中，βv表示调试参数。
进一步地，所述步骤S6具体包括：
S61、根据前馈神经网络的全局逼近特性，将最优代价函数表示成如下形式：
Figure BDA0002990827220000055
Figure BDA0002990827220000056
其中，
Figure BDA0002990827220000057
是
Figure BDA0002990827220000058
的估计，则最优虚拟控制器为：
Figure BDA0002990827220000059
S62、采用梯度下降法得到评判器权重更新率导数
Figure BDA00029908272200000510
如下：
Figure BDA00029908272200000511
其中，kb为常数，σv表示矩阵，
Figure BDA0002990827220000061
S63、基于障碍李雅普诺夫函数，分析得到执行器更新率
Figure BDA0002990827220000062
如下：
Figure BDA0002990827220000063
较现有技术相比，本发明具有以下优点：
本发明提供的考虑位姿与速度受限的无人船自学习最优跟踪控制方法，使得无人船舶行驶在狭窄水域，并且无人船系统动态未知时，可以实现最优跟踪控制效果，即无人船状态受限情况下的最优控制问题得以解决。在实际应用中，无人船经常会在狭窄水域中航行，如港口，运河等，在船舶密集处，无人船的速度也会受到限制，因此考虑无人船状态受限下的跟踪问题更加有实际意义。
基于上述理由本发明可在强化学习与水面无人船的轨迹跟踪等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明实施例提供的无人船x跟踪图。
图3为本发明实施例提供的无人船y跟踪图。
图4为本发明实施例提供的无人船艏摇角误差图。
图5为本发明实施例提供的无人船纵荡速度误差图。
图6为本发明实施例提供的无人船横荡速度跟踪图。
图7为本发明实施例提供的无人船艏摇速度跟踪图。
图8为本发明实施例提供的无人船x轴误差图。
图9为本发明实施例提供的无人船y轴误差图。
图10为本发明实施例提供的无人船艏摇误差图。
图11为本发明实施例提供的无人船纵荡速度误差图。
图12为本发明实施例提供的无人船横荡速度误差图。
图13为本发明实施例提供的无人船艏摇速度误差图。
图14为本发明实施例提供的无人船轨迹跟踪图。
图15为本发明实施例提供的评判器权重二范数图。
图16为本发明实施例提供的执行器权重二范数图。
图17为本发明实施例提供的无人船控制律图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法，包括如下步骤：
S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；
具体实施时，作为本发明优选的实施方式，所述步骤S1具体包括：
S11、定义北东坐标系OX0Y0Z0和附体坐标系BXYZ，将北东坐标系OX0Y0Z0视作惯性坐标系，取地球任一点O为坐标原点，OX0指向正北，OY0指向正东；OZ0指向地球球心；将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷；BZ轴沿XY平面垂直指向下；
S12、对无人水面船进行建模，得到如下船舶运动控制数学模型：
Figure BDA0002990827220000081
Figure BDA0002990827220000082
其中，
Figure BDA0002990827220000083
表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，
Figure BDA0002990827220000084
表示艏摇角；R表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]T表示附体坐标系下无人水面船运动的速度矢量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；μ′＝M-1μ；μ＝[μu,μv,μr]T表示船舶控制输入向量，μu、μv、μr分别表示纵荡控制力、横荡控制力、艏摇控制力；f(η,v)＝-M-1(C(v)v+D(v)v+Δ(v))，M(t)＝MT(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵，Δ(v)表示系统建模不准确量；
S13、设定无人水面船的期望轨迹数学模型如下：
Figure BDA0002990827220000085
其中，xd＝[ηd T,vd T]T，
Figure BDA0002990827220000086
和νd＝[ud,vd,rd]T分别是无人水面船跟踪的期望位置向量及速度向量。
S2、考虑无人船状态受限，引入障碍李雅普诺夫函数；
具体实施时，作为本发明优选的实施方式，所述步骤S2具体为：
对于非线性系统
Figure BDA0002990827220000091
定义一个障碍李雅普诺夫函数作为标量函数，且系统在包含原点在内的开区间
Figure BDA0002990827220000092
内是连续的、正定的，且系统在区间
Figure BDA0002990827220000093
内具有一阶连续偏导数；当x趋于区间
Figure BDA0002990827220000094
的边界时，V(x)趋于无穷大；对于任意时刻t0≥0，系统满足V(x(t))≤b，b为正常数且
Figure BDA0002990827220000095
采用障碍李雅普诺夫函数进行稳定性分析，可以将状态限制在约束的范围内。
S3、考虑位姿受限，采用反步法计算最优虚拟控制率；
具体实施时，作为本发明优选的实施方式，所述步骤S3具体包括：
S31、考虑位姿受限，定义无人船的跟踪误差：
eη＝η-ηd
其中，ηd表示参考轨迹的位置矢量；
S32、设计成本函数：
Figure BDA0002990827220000096
其中，γ表示折扣因子，s表示积分变量，t表示时间，α表示最优虚拟控制器；
S33、定义最优成本函数：
Figure BDA0002990827220000097
其中，rη(eη,α*)表示大于零的数，
Figure BDA0002990827220000098
S34、基于步骤S33定义的所述最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程如下：
Figure BDA0002990827220000099
S35、计算最优虚拟控制率，计算公式如下：
Figure BDA00029908272200000910
其中，βη表示调试参数。
S4、基于步骤S3计算的所述最优虚拟控制率，设计神经网络权重更新率；
具体实施时，作为本发明优选的实施方式，所述步骤S4具体包括：
S41、根据前馈神经网络的全局逼近特性，将最优代价函数表示成如下形式：
Figure BDA0002990827220000101
Figure BDA0002990827220000102
其中，
Figure BDA0002990827220000103
是评判器神经网络理想的权重向量，N是神经元的个数，
Figure BDA0002990827220000104
表示神经网络输入向量基函数，εη是有界神经网络函数逼近误差；
S42、设计成本函数的逼近函数：
Figure BDA0002990827220000105
其中，
Figure BDA0002990827220000106
是
Figure BDA0002990827220000107
的估计，则最优虚拟控制器为：
Figure BDA0002990827220000108
S43、采用梯度下降法得到神经网络更新率的导数
Figure BDA0002990827220000109
如下：
Figure BDA00029908272200001010
其中ka为常数，ση表示矩阵，
Figure BDA00029908272200001011
S44、基于障碍李雅普诺夫函数，分析得到评判器神经网络更新率的导数
Figure BDA00029908272200001012
如下：
Figure BDA00029908272200001013
S5、考虑速度受限，采用反步法设计最优控制器；
具体实施时，作为本发明优选的实施方式，所述步骤S5具体包括：
S51、考虑速度受限，定义无人船的跟踪误差：
Figure BDA0002990827220000111
S52、系统动态采用神经网络逼近，如下：
Figure BDA0002990827220000112
其中，θ*表示最优权重；
S53、定义最优成本函数：
Figure BDA0002990827220000113
其中，rv(ev,μ*)表示大于零的数，
Figure BDA0002990827220000114
S54、基于步骤S53定义的所述最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程如下：
Figure BDA0002990827220000115
S55、计算最优虚拟控制率，计算公式如下：
Figure BDA0002990827220000116
其中，βv表示调试参数。
S6、基于步骤S5设计的所述最优控制器，设计神经网络权重更新率。
具体实施时，作为本发明优选的实施方式，所述步骤S6具体包括：
S61、根据前馈神经网络的全局逼近特性，将最优代价函数表示成如下形式：
Figure BDA0002990827220000117
Figure BDA0002990827220000121
其中，
Figure BDA0002990827220000122
是
Figure BDA0002990827220000123
的估计，则最优虚拟控制器为：
Figure BDA0002990827220000124
S62、采用梯度下降法得到评判器权重更新率导数
Figure BDA0002990827220000125
如下：
Figure BDA0002990827220000126
其中，kb为常数，σv表示矩阵，
Figure BDA0002990827220000127
S63、基于障碍李雅普诺夫函数，分析得到执行器更新率
Figure BDA0002990827220000128
如下：
Figure BDA0002990827220000129
为了验证本发明方法的有效性，进行了仿真实验，如图2-4所示，为无人船位姿跟踪效果图，从图中可以看出，本发明提出的方法有更好的跟踪效果。如图5-7所示，为无人船速度跟踪效果图，从图中可以看出，本发明提出的方法在指定的速度范围内能很好的跟踪期望速度。如图8-10所示，为位姿误差图，从图中可以进一步说明本发明所提出的方法有更小的跟踪误差，如图11-13所示，为速度误差图，同样说明本发明的方法有更好的跟踪效果。如图14所示，为轨迹跟踪图，从该图可以直观的看出本发明方法的优越性，即在指定范围内跟踪期望轨迹。图15和图16分别是神经网络的二范数图，上述两张图说明神经网络在进行初期的学习后到达稳定。图17是无人船控制器图，即采用图17的控制器可以达到上述跟踪效果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法，其特征在于，包括如下步骤：
S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；
S2、考虑无人船状态受限，引入障碍李雅普诺夫函数；
S3、考虑位姿受限，采用反步法计算最优虚拟控制率；
S4、基于步骤S3计算的所述最优虚拟控制率，设计神经网络权重更新率；
S5、考虑速度受限，采用反步法设计最优控制器；
S6、基于步骤S5设计的所述最优控制器，设计神经网络权重更新率。
2.根据权利要求1所述的考虑位姿与速度受限的无人船自学习最优跟踪控制方法，其特征在于，所述步骤S1具体包括：
S11、定义北东坐标系OX0Y0Z0和附体坐标系BXYZ，将北东坐标系OX0Y0Z0视作惯性坐标系，取地球任一点O为坐标原点，OX0指向正北，OY0指向正东；OZ0指向地球球心；将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷；BZ轴沿XY平面垂直指向下；
S12、对无人水面船进行建模，得到如下船舶运动控制数学模型：
Figure FDA0002990827210000011
Figure FDA0002990827210000012
其中，
Figure FDA0002990827210000013
表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，
Figure FDA0002990827210000014
表示艏摇角；R表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]T表示附体坐标系下无人水面船运动的速度矢量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；μ′＝M-1μ；μ＝[μu,μv,μr]T表示船舶控制输入向量，μu、μv、μr分别表示纵荡控制力、横荡控制力、艏摇控制力；f(η,v)＝-M-1(C(v)v+D(v)v+Δ(v))，M(t)＝MT(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵，Δ(v)表示系统建模不准确量；
S13、设定无人水面船的期望轨迹数学模型如下：
Figure FDA0002990827210000021
其中，xd＝[ηd T，vd T]T，
Figure FDA0002990827210000022
和νd＝[ud,vd,rd]T分别是无人水面船跟踪的期望位置向量及速度向量。
3.根据权利要求1所述的考虑位姿与速度受限的无人船自学习最优跟踪控制方法，其特征在于，所述步骤S2具体为：
对于非线性系统
Figure FDA0002990827210000023
定义一个障碍李雅普诺夫函数作为标量函数，且系统在包含原点在内的开区间
Figure FDA0002990827210000024
内是连续的、正定的，且系统在区间
Figure FDA0002990827210000025
内具有一阶连续偏导数；当x趋于区间
Figure FDA0002990827210000026
的边界时，V(x)趋于无穷大；对于任意时刻t0≥0，系统满足V(x(t))≤b，b为正常数且
Figure FDA0002990827210000027
4.根据权利要求1所述的考虑位姿与速度受限的无人船自学习最优跟踪控制方法，其特征在于，所述步骤S3具体包括：
S31、考虑位姿受限，定义无人船的跟踪误差：
eη＝η-ηd
其中，ηd表示参考轨迹的位置矢量；
S32、设计成本函数：
Figure FDA0002990827210000028
其中，γ表示折扣因子，s表示积分变量，t表示时间，α表示最优虚拟控制器；
S33、定义最优成本函数：
Figure FDA0002990827210000029
其中，rη(eη,α*)表示大于零的数，
Figure FDA00029908272100000210
S34、基于步骤S33定义的所述最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程如下：
Figure FDA00029908272100000211
S35、计算最优虚拟控制率，计算公式如下：
Figure FDA0002990827210000031
其中，βη表示调试参数。
5.根据权利要求1所述的考虑位姿与速度受限的无人船自学习最优跟踪控制方法，其特征在于，所述步骤S4具体包括：
S41、根据前馈神经网络的全局逼近特性，将最优代价函数表示成如下形式：
Figure FDA0002990827210000032
Figure FDA0002990827210000033
其中，
Figure FDA0002990827210000034
是评判器神经网络理想的权重向量，N是神经元的个数，
Figure FDA0002990827210000035
表示神经网络输入向量基函数，εη是有界神经网络函数逼近误差；
S42、设计成本函数的逼近函数：
Figure FDA0002990827210000036
其中，
Figure FDA0002990827210000037
是
Figure FDA0002990827210000038
的估计，则最优虚拟控制器为：
Figure FDA0002990827210000039
S43、采用梯度下降法得到神经网络更新率的导数
Figure FDA00029908272100000310
如下：
Figure FDA00029908272100000311
其中ka为常数，ση表示矩阵，
Figure FDA00029908272100000312
S44、基于障碍李雅普诺夫函数，分析得到评判器神经网络更新率的导数
Figure FDA0002990827210000041
如下：
Figure FDA0002990827210000042
6.根据权利要求1所述的考虑位姿与速度受限的无人船自学习最优跟踪控制方法，其特征在于，所述步骤S5具体包括：
S51、考虑速度受限，定义无人船的跟踪误差：
Figure FDA0002990827210000043
S52、系统动态采用神经网络逼近，如下：
Figure FDA0002990827210000044
其中，θ*表示最优权重；
S53、定义最优成本函数：
Figure FDA0002990827210000045
其中，rv(ev,μ*)表示大于零的数，
Figure FDA0002990827210000046
S54、基于步骤S53定义的所述最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程如下：
Figure FDA0002990827210000047
S55、计算最优虚拟控制率，计算公式如下：
Figure FDA0002990827210000048
其中，βv表示调试参数。
7.根据权利要求1所述的考虑位姿与速度受限的无人船自学习最优跟踪
控制方法，其特征在于，所述步骤S6具体包括：
S61、根据前馈神经网络的全局逼近特性，将最优代价函数表示成如下形式：
Figure FDA0002990827210000051
Figure FDA0002990827210000052
其中，
Figure FDA0002990827210000053
是
Figure FDA0002990827210000054
的估计，则最优虚拟控制器为：
Figure FDA0002990827210000055
S62、采用梯度下降法得到评判器权重更新率导数
Figure FDA0002990827210000056
如下；
Figure FDA0002990827210000058
其中，kb为常数，σv表示矩阵，
Figure FDA0002990827210000059
S63、基于障碍李雅普诺夫函数，分析得到执行器更新率
Figure FDA00029908272100000510
如下：
Figure FDA00029908272100000511
CN202110313345.2A 2021-03-24 2021-03-24 一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法 Active CN113189867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313345.2A CN113189867B (zh) 2021-03-24 2021-03-24 一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313345.2A CN113189867B (zh) 2021-03-24 2021-03-24 一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法

Publications (2)

Publication Number Publication Date
CN113189867A true CN113189867A (zh) 2021-07-30
CN113189867B CN113189867B (zh) 2023-11-14

Family

ID=76973743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313345.2A Active CN113189867B (zh) 2021-03-24 2021-03-24 一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法

Country Status (1)

Country Link
CN (1) CN113189867B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101519117A (zh) * 2009-04-17 2009-09-02 哈尔滨工程大学 船舶舵/翼舵-鳍/翼鳍联合控制方法
CN103576555A (zh) * 2013-11-14 2014-02-12 哈尔滨工程大学 一种动力定位船舶循迹导引控制方法
CN103592849A (zh) * 2013-11-12 2014-02-19 中国交通建设股份有限公司 一种船舶动力定位控制方法
CN104536448A (zh) * 2014-11-17 2015-04-22 哈尔滨工程大学 一种基于Backstepping法的无人机姿态系统控制方法
CN104793629A (zh) * 2015-05-04 2015-07-22 中国人民解放军国防科学技术大学 一种飞艇三维航迹跟踪的反步神经网络控制方法
CN105159304A (zh) * 2015-06-26 2015-12-16 哈尔滨工业大学 接近并跟踪空间非合作目标的有限时间容错控制方法
EP2962161A1 (de) * 2013-02-28 2016-01-06 AVL List GmbH Verfahren zum entwerfen eines nichtlinearen reglers für nichtlineare prozesse
CN105487376A (zh) * 2015-12-30 2016-04-13 南京航空航天大学 一种基于数据驱动单网络结构的最优控制方法
CN107748498A (zh) * 2017-10-09 2018-03-02 上海海事大学 一种基于模型预测控制的混合动力船舶的能量管理方法
CN108388123A (zh) * 2018-03-09 2018-08-10 迪比（重庆）智能科技研究院有限公司 多个仿人机器人在速度不可测下的自适应控制方法
CN111278704A (zh) * 2018-03-20 2020-06-12 御眼视觉技术有限公司 用于导航车辆的系统和方法
CN111308890A (zh) * 2020-02-27 2020-06-19 大连海事大学 一种带有指定性能的无人船数据驱动强化学习控制方法
CN111679585A (zh) * 2020-07-03 2020-09-18 大连海事大学 一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法
CN112034865A (zh) * 2020-08-12 2020-12-04 浙江大学 基于优化算法的全驱动水下航行器航迹跟踪控制方法
CN112327638A (zh) * 2020-12-03 2021-02-05 大连海事大学 一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101519117A (zh) * 2009-04-17 2009-09-02 哈尔滨工程大学 船舶舵/翼舵-鳍/翼鳍联合控制方法
EP2962161A1 (de) * 2013-02-28 2016-01-06 AVL List GmbH Verfahren zum entwerfen eines nichtlinearen reglers für nichtlineare prozesse
CN103592849A (zh) * 2013-11-12 2014-02-19 中国交通建设股份有限公司 一种船舶动力定位控制方法
CN103576555A (zh) * 2013-11-14 2014-02-12 哈尔滨工程大学 一种动力定位船舶循迹导引控制方法
CN104536448A (zh) * 2014-11-17 2015-04-22 哈尔滨工程大学 一种基于Backstepping法的无人机姿态系统控制方法
CN104793629A (zh) * 2015-05-04 2015-07-22 中国人民解放军国防科学技术大学 一种飞艇三维航迹跟踪的反步神经网络控制方法
CN105159304A (zh) * 2015-06-26 2015-12-16 哈尔滨工业大学 接近并跟踪空间非合作目标的有限时间容错控制方法
CN105487376A (zh) * 2015-12-30 2016-04-13 南京航空航天大学 一种基于数据驱动单网络结构的最优控制方法
CN107748498A (zh) * 2017-10-09 2018-03-02 上海海事大学 一种基于模型预测控制的混合动力船舶的能量管理方法
CN108388123A (zh) * 2018-03-09 2018-08-10 迪比（重庆）智能科技研究院有限公司 多个仿人机器人在速度不可测下的自适应控制方法
CN111278704A (zh) * 2018-03-20 2020-06-12 御眼视觉技术有限公司 用于导航车辆的系统和方法
CN111308890A (zh) * 2020-02-27 2020-06-19 大连海事大学 一种带有指定性能的无人船数据驱动强化学习控制方法
CN111679585A (zh) * 2020-07-03 2020-09-18 大连海事大学 一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法
CN112034865A (zh) * 2020-08-12 2020-12-04 浙江大学 基于优化算法的全驱动水下航行器航迹跟踪控制方法
CN112327638A (zh) * 2020-12-03 2021-02-05 大连海事大学 一种具有指定性能并带有输入饱和限制的无人船轨迹跟踪最优控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
唐冲;童仲志;侯远龙;: "火箭炮位置伺服系统的神经网络自抗扰控制", 电气自动化, no. 04, pages 23 - 45 *
宋申民;郑重;苏烨;: "控制受限的编队航天器鲁棒自适应控制", 宇航学报, no. 12, pages 12 - 15 *
武冠群;宋申民;孙经广;: "考虑输入受限的航天器安全接近姿轨耦合控制", 控制理论与应用, no. 10, pages 33 - 66 *
赵晓东: "四旋翼无人机着陆过程中姿态控制技术研究", 哈尔滨理工大学工程硕士学位论文, vol. 1, no. 1, pages 12 - 34 *

Also Published As

Publication number Publication date
CN113189867B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN110018687B (zh) 基于强化学习方法的无人水面船最优轨迹跟踪控制方法
Witkowska et al. Adaptive dynamic control allocation for dynamic positioning of marine vessel based on backstepping method and sequential quadratic programming
CN111679585B (zh) 一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法
CN108008628B (zh) 一种不确定欠驱动无人艇系统的预设性能控制方法
Wondergem et al. Output feedback tracking of ships
CN111308890B (zh) 一种带有指定性能的无人船数据驱动强化学习控制方法
Hassanein et al. Model-based adaptive control system for autonomous underwater vehicles
CN109901598A (zh) 基于随机模型预测控制技术的自主水下机器人路径跟踪方法
CN112462792B (zh) 一种基于Actor-Critic算法的水下机器人运动控制方法
CN107065569B (zh) 基于rbf神经网络补偿的船舶动力定位滑模控制系统及方法
CN109407671B (zh) 一种欠驱动无人船目标包围控制器结构及设计方法
CN111240344B (zh) 基于强化学习技术的自主水下机器人无模型控制方法
CN111857165B (zh) 一种水下航行器的轨迹跟踪控制方法
Zhang et al. Anti-disturbance control for dynamic positioning system of ships with disturbances
CN111290270A (zh) 一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法
CN110865539A (zh) 一种随机干扰下的无人艇跟踪误差约束控制方法
CN112650233A (zh) 死区限制下基于反步法与自适应动态规划的无人船轨迹跟踪最优控制方法
CN113268059A (zh) 一种基于有限时间扩张状态观测器的多无人艇编队控制方法
CN111273677B (zh) 基于强化学习技术的自主水下机器人速度和艏向控制方法
Wang et al. Experimental and numerical study of autopilot using Extended Kalman Filter trained neural networks for surface vessels
Amendola et al. Navigation in restricted channels under environmental conditions: Fast-time simulation by asynchronous deep reinforcement learning
Yuan et al. Course control of underactuated ship based on nonlinear robust neural network backstepping method
CN112099506A (zh) 一种欠驱动无人船时变编队的跟踪控制方法和系统
CN116088309B (zh) 一种基于故障辨识的水面船复合学习容错控制方法
CN113189867A (zh) 一种考虑位姿与速度受限的无人船自学习最优跟踪控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant