CN113219842A - 基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质 - Google Patents
基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质 Download PDFInfo
- Publication number
- CN113219842A CN113219842A CN202110648754.8A CN202110648754A CN113219842A CN 113219842 A CN113219842 A CN 113219842A CN 202110648754 A CN202110648754 A CN 202110648754A CN 113219842 A CN113219842 A CN 113219842A
- Authority
- CN
- China
- Prior art keywords
- optimal
- follows
- dynamic programming
- tracking
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开一种基于自适应动态规划的机械臂最优跟踪控制方法,采用自适应动态规划技术,针对机械臂系统设计了一种最优跟踪控制方案。首先,建立机械臂系统模型;其次,设计关于跟踪误差的新型无限域性能指标;接着,利用自适应动态规划技术和神经网络技术设计出近似最优跟踪控制器。本发明解决了强化学习在设计最优跟踪控制器时,对被控系统的限制,同时,简化了跟踪控制器的步骤。
Description
技术领域
本发明涉及最优跟踪技术领域,具体来说是一种基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质。
背景技术
在工程应用中,本实施例不仅希望被控对象在设计的控制器下经过一段时间达到稳定,同时更希望设计的控制器是要求的性能指标下最优的。为了解决这一难题,最优控制的思想被引入。然而当设计最优跟踪控制器时,为了保证性能指标是有界的,一般会把最优控制方案分为两步进行设计,一步是设计稳态控制器,一步设计误差反馈控制器。这样设计出来的最优控制器严格的说是相对于误差动态系统最优的,而不是相对于原系统最优的。同时,还要求被控对象含有零平衡点,这给基于自适应动态规划技术设计最优控制器带来了很多的限制。
综上所述,现有的最优控制方案仍然存在以下几个难题:
1)如何设计关于原系统的最优跟踪控制器。
2)如何设计被控对象不含零平衡点的最优跟踪控制器。
如申请号为202010572028.8公开的一种基于强化学习的导弹纵向姿态控制算法,该方法设计了一种基于强化学习的导弹纵向姿态控制算法。该方案首先建立导弹纵向姿态的数学模型,并基于这个建立的模型设计与跟踪误差相关的性能指标函数,利用最优控制理论,设计最优的姿态跟踪控制器。该方法存在以下缺点:
1)被控对象含有零平衡点。
2)跟踪控制器设计分为两部分,过程复杂
又如申请号为201810799985.7公开的一种基于自适应动态规划的分布式最优协同容错控制方法;该方法利用自适应动态规划技术设计了一种分布式最优容错控制方案。首先建立大规模被控对象的模型;接着利用最优控制理论设计最优控制器;最后,设计估计器估计系统中发生的未知故障,进而设计一种分布式最优容错控制方法。该方法存在以下缺点:
1)此方案缺少仿真验证或者实验验证;
2)此方案被控对象含有零平衡点。
发明内容
本发明所要解决的技术问题在于采用自适应动态规划技术,针对机械臂系统设计了一种最优跟踪控制方案。
本发明通过以下技术手段实现解决上述技术问题的:
基于自适应动态规划的机械臂最优跟踪控制方法,包括以下步骤:
步骤1、建立机械臂系统的数学模型;
步骤2、设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器;
步骤3、利用神经网络计算求得近似最优控制器
步骤4、仿真验证所提方法的有效性。
进一步的,所述步骤1具体为:
建立机械臂系统的数学模型如下
进一步的,所述步骤2具体为:设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器
其中
定义最优性能指标如下
则,根据最优理论得
令u*代表最优控制器,则
计算得
进一步的,所述步骤3具体为:
定义
代入公式(6)中得
公式(13)减去公式(14),得
定义代价函数为
则神经网络权值估计的更新率可以设计如下
因此,近似最优跟踪控制器表示如下
与上述方法对应的,本发明还公开一种基于自适应动态规划的机械臂最优跟踪控制系统,包括:
数学模型建立模块,建立机械臂系统的数学模型;
最优跟踪器设计模块,设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器;
近似最优控制器计算模块,利用神经网络计算求得近似最优控制器
仿真模块,仿真验证所提方法的有效性。
进一步的,所述数学模型建立模块具体为:
建立机械臂系统的数学模型如下
进一步的,所述最优跟踪器设计模块具体为:设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器
其中
定义最优性能指标如下
则,根据最优理论得
令u*代表最优控制器,则
计算得
进一步的,所述近似最优控制器计算模块具体为:
定义
代入公式(6)中得
公式(13)减去公式(14),得
定义代价函数为
则神经网络权值估计的更新率可以设计如下
因此,近似最优跟踪控制器表示如下
本发明还提供一种处理设备,包括至少一个处理器,以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被处理器执行的程序指令,所述处理器调用所述程序指令能够执行上述的方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的方法。
本发明的优点在于:
本发明采用自适应动态规划技术,针对机械臂系统设计了一种最优跟踪控制方案。首先,建立机械臂系统模型;其次,设计关于跟踪误差的新型无限域性能指标;接着,利用自适应动态规划技术和神经网络技术设计出近似最优跟踪控制器。本发明解决了强化学习在设计最优跟踪控制器时,对被控系统的限制,同时,简化了跟踪控制器的步骤。
附图说明
图1为本发明实施例中基于自适应动态规划的机械臂最优跟踪控制方法所考虑的机械臂结构示意图;
图2为本发明实施例中基于自适应动态规划的机械臂最优跟踪控制方法所获得的控制器控制方框图;
图3、图4为本发明实施例中基于自适应动态规划的机械臂最优跟踪控制方法仿真中机械臂的角度和对应参考信号的变化曲线;
图5为本发明实施例中基于自适应动态规划的机械臂最优跟踪控制方法仿真中代价函数随时间的变化曲线图;
图6为本发明实施例中基于自适应动态规划的机械臂最优跟踪控制方法仿真中控制输入信号随时间的变化曲线图;
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例公开一种基于自适应动态规划的机械臂最优跟踪控制方法,如图1所示,包括以下步骤:
步骤1、建立机械臂系统的数学模型;
步骤2、设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器;
步骤3、利用神经网络计算求得近似最优控制器
步骤4、仿真验证所提方法的有效性。
下面针对每一步骤进行详细描述:
步骤1,考虑如图,2所示的机械臂系统,建立机械臂系统的数学模型如下
其中,是对称正定矩阵,代表力矩阵,代表重力向量,代表角度向量,它的一阶和二阶导数用符号和表示,分别代表角速度向量和角加速度向量,τ∈R2代表系统的控制输入。本实施例的目的是利用自适应动态规划技术设计最优跟踪控制器
步骤2、设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器
因此,哈密顿方程可定义如下
其中
定义最优性能指标如下
则,根据最优理论得
令u*代表最优控制器,则
计算得
步骤3、利用神经网络计算求得近似最优控制器
定义
代入公式(6)中得
公式(13)减去公式(14),得
定义代价函数为
则神经网络权值估计的更新率可以设计如下
因此,近似最优跟踪控制器表示如下
本实施例所提控制方法的控制方框图如下图1所示。
步骤4、仿真验证所提方法的有效性
机械臂的详细数学模型表示如下
其中
系统参数为l1=1m,l2=0.8m,g=9.8m/s2。参考信号设计为q1r=0.5sin(2t)+0.3sin(t),q2r=1+sin(2t),性能指标参数设计为Q=6I2×2,R=2I2×2。仿真结果如图3至图6所示。其中图3和图4为机械臂的角度和对应参考信号的变化曲线,同时,也给出了跟踪误差的变化曲线。可以看出,本实施例所提的方法可以使机械臂的角度信号很好的跟踪上对应的参考信号。图5给出了代价函数随时间的变化曲线,可以看到随着时间的变化,代价函数越来越小。图6给出了控制输入随时间的变化曲线。从仿真结果,本实施例可以得到本实施例所提的最优跟踪控制方案可以得到很好的控制效果,同时代价函数也越来越小。
与上述方法对应的,本实施例公开一种基于自适应动态规划的机械臂最优跟踪控制系统,如图1所示,包括:
数学模型建立模块,建立机械臂系统的数学模型;
最优跟踪器设计模块,设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器;
近似最优控制器计算模块,利用神经网络计算求得近似最优控制器
仿真模块,仿真验证所提方法的有效性。
下面针对每一步骤进行详细描述:
数学模型建立模块,考虑如图,2所示的机械臂系统,建立机械臂系统的数学模型如下
其中,是对称正定矩阵,代表力矩阵,代表重力向量,代表角度向量,它的一阶和二阶导数用符号和表示,分别代表角速度向量和角加速度向量,τ∈R2代表系统的控制输入。本实施例的目的是利用自适应动态规划技术设计最优跟踪控制器
最优跟踪器设计模块,设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器
因此,哈密顿方程可定义如下
其中
定义最优性能指标如下
则,根据最优理论得
令u*代表最优控制器,则
计算得
近似最优控制器计算模块,利用神经网络计算求得近似最优控制器
定义
代入公式(6)中得
公式(13)减去公式(14),得
定义代价函数为
则神经网络权值估计的更新率可以设计如下
因此,近似最优跟踪控制器表示如下
本实施例所提控制方法的控制方框图如下图1所示。
步骤4、仿真验证所提方法的有效性
机械臂的详细数学模型表示如下
其中
系统参数为l1=1m,l2=0.8m,g=9.8m/s2。参考信号设计为q1r=0.5sin(2t)+0.3sin(t),q2r=1+sin(2t),性能指标参数设计为Q=6I2×2,R=2I2×2。仿真结果如图3至图6所示。
图3:第一个子图中的实线为参考信号随时间的变化曲线,虚线为实际的角度状态信号随时间变化的曲线。第二个子图为跟踪误差信号随时间的变化曲线;
图4:第一个子图中的实线为参考信号随时间的变化曲线,虚线为实际的角度状态信号随时间变化的曲线。第二个子图为跟踪误差信号随时间的变化曲线;其中图3和图4为机械臂的角度和对应参考信号的变化曲线,同时,也给出了跟踪误差的变化曲线。可以看出,本实施例所提的方法可以使机械臂的角度信号很好的跟踪上对应的参考信号。
图5给出了代价函数随时间的变化曲线,可以看到随着时间的变化,代价函数越来越小。图6给出了控制输入随时间的变化曲线。从仿真结果,本实施例可以得到本实施例所提的最优跟踪控制方案可以得到很好的控制效果,同时代价函数也越来越小。
本实施例还提供一种处理设备,包括至少一个处理器,以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被处理器执行的程序指令,所述处理器调用所述程序指令能够执行上述的方法。
本实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的方法。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.基于自适应动态规划的机械臂最优跟踪控制方法,其特征在于,包括以下步骤:
1)建立机械臂系统的数学模型;
2)设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器;
3)利用神经网络计算求得近似最优控制器
4)仿真验证所提方法的有效性。
5.基于自适应动态规划的机械臂最优跟踪控制系统,其特征在于,包括:
数学模型建立模块,建立机械臂系统的数学模型;
最优跟踪器设计模块,设计关于跟踪误差的新型无限域性能指标并利用自适应动态规划技术设计最优跟踪控制器;
近似最优控制器计算模块,利用神经网络计算求得近似最优控制器
仿真模块,仿真验证所提方法的有效性。
9.一种处理设备,其特征在于,包括至少一个处理器,以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110648754.8A CN113219842B (zh) | 2021-06-10 | 2021-06-10 | 基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110648754.8A CN113219842B (zh) | 2021-06-10 | 2021-06-10 | 基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113219842A true CN113219842A (zh) | 2021-08-06 |
CN113219842B CN113219842B (zh) | 2021-12-10 |
Family
ID=77080138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110648754.8A Active CN113219842B (zh) | 2021-06-10 | 2021-06-10 | 基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113219842B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311147A (zh) * | 2023-09-25 | 2023-12-29 | 安徽大学 | 基于双层级观测器的模块化机器人分散最优容错控制系统与方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109108964A (zh) * | 2018-07-25 | 2019-01-01 | 西北工业大学 | 一种基于自适应动态规划Nash博弈的空间机械臂协调控制方法 |
CN110170992A (zh) * | 2019-04-02 | 2019-08-27 | 长春工业大学 | 一种基于动态规划的模块化机械臂多故障容错控制方法 |
CN111531538A (zh) * | 2020-05-08 | 2020-08-14 | 哈尔滨工业大学 | 一种切换拓扑下的多机械臂系统一致性控制方法及装置 |
CN111650830A (zh) * | 2020-05-20 | 2020-09-11 | 天津大学 | 一种基于迭代学习的四旋翼飞行器鲁棒跟踪控制方法 |
CN112925203A (zh) * | 2021-01-21 | 2021-06-08 | 深圳翱诺科技有限公司 | 一种基于加强学习的最优跟踪控制算法 |
-
2021
- 2021-06-10 CN CN202110648754.8A patent/CN113219842B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109108964A (zh) * | 2018-07-25 | 2019-01-01 | 西北工业大学 | 一种基于自适应动态规划Nash博弈的空间机械臂协调控制方法 |
CN110170992A (zh) * | 2019-04-02 | 2019-08-27 | 长春工业大学 | 一种基于动态规划的模块化机械臂多故障容错控制方法 |
CN111531538A (zh) * | 2020-05-08 | 2020-08-14 | 哈尔滨工业大学 | 一种切换拓扑下的多机械臂系统一致性控制方法及装置 |
CN111650830A (zh) * | 2020-05-20 | 2020-09-11 | 天津大学 | 一种基于迭代学习的四旋翼飞行器鲁棒跟踪控制方法 |
CN112925203A (zh) * | 2021-01-21 | 2021-06-08 | 深圳翱诺科技有限公司 | 一种基于加强学习的最优跟踪控制算法 |
Non-Patent Citations (2)
Title |
---|
XIE KEDI等: "Acceleration-level trajectory planning for a dual-arm space robot", 《IFAC-PAPERSONLINE》 * |
马敏等: "含有执行器故障的非线性切换互联大系统的自适应模糊Backstepping容错控制", 《南京信息工程大学学报(自然科学版)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311147A (zh) * | 2023-09-25 | 2023-12-29 | 安徽大学 | 基于双层级观测器的模块化机器人分散最优容错控制系统与方法 |
CN117311147B (zh) * | 2023-09-25 | 2024-03-19 | 安徽大学 | 基于双层级观测器的模块化机器人分散最优容错控制系统与方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113219842B (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220363259A1 (en) | Method for generating lane changing decision-making model, method for lane changing decision-making of unmanned vehicle and electronic device | |
CN112904728B (zh) | 一种基于改进型趋近律的机械臂滑模控制轨迹跟踪方法 | |
CN111580392B (zh) | 一种串联倒立摆的有限频率范围鲁棒迭代学习控制方法 | |
CN112207834B (zh) | 一种基于干扰观测器的机器人关节系统控制方法及系统 | |
CN111722531B (zh) | 一种切换线性系统在线无模型最优控制方法 | |
CN111965976B (zh) | 基于神经网络观测器的机器人关节滑模控制方法及系统 | |
CN110877333A (zh) | 一种柔性关节机械臂控制方法 | |
Chu et al. | Observer-based adaptive neural network control for a class of remotely operated vehicles | |
CN111596545A (zh) | 一种多输入多输出机械系统自适应容错预设性能控制方法 | |
CN110286595B (zh) | 一类受饱和非线性输入影响的分数阶系统自适应控制方法 | |
CN113589689B (zh) | 一种基于多参数自适应神经网络的滑模控制器设计方法 | |
CN111783250A (zh) | 柔性机器人末端抵达控制方法、电子设备和存储介质 | |
CN107577146A (zh) | 基于摩擦整体逼近的伺服系统的神经网络自适应控制方法 | |
CN113219842B (zh) | 基于自适应动态规划的机械臂最优跟踪控制方法、系统、处理设备、存储介质 | |
CN114474078B (zh) | 机械臂的摩擦力补偿方法、装置、电子设备及存储介质 | |
CN116991068A (zh) | 基于分布式预设时间梯度下降法的电机控制方法及系统 | |
Zengin et al. | Blending based multiple-model adaptive control of multivariable systems with application to lateral vehicle motion control | |
CN113325717B (zh) | 基于互联大规模系统的最优容错控制方法、系统、处理设备、存储介质 | |
CN111531543B (zh) | 基于生物启发式神经网络的机器人自适应阻抗控制方法 | |
CN112305917A (zh) | 充液航天器的固定时间终端滑模鲁棒容错控制方法及装置 | |
CN112346342B (zh) | 一种非仿射动力学系统的单网络自适应评价设计方法 | |
Wang et al. | Trajectory tracking control based on memory data for robots with imprecise dynamic properties and interference | |
Norris et al. | Neural networks for control: A tutorial and survey of stability-analysis methods, properties, and discussions | |
CN116931421A (zh) | 非完整系统事件触发有限时间抗干扰跟踪控制方法及系统 | |
CN118192221A (zh) | 轮式移动机器人位置和姿态建模方法、控制器及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |