CN116533247A - 基于dmp与卷积神经网络的机械臂多模态抓取任务实现方法 - Google Patents
基于dmp与卷积神经网络的机械臂多模态抓取任务实现方法 Download PDFInfo
- Publication number
- CN116533247A CN116533247A CN202310629052.4A CN202310629052A CN116533247A CN 116533247 A CN116533247 A CN 116533247A CN 202310629052 A CN202310629052 A CN 202310629052A CN 116533247 A CN116533247 A CN 116533247A
- Authority
- CN
- China
- Prior art keywords
- dmp
- mechanical arm
- neural network
- track
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 241000282414 Homo sapiens Species 0.000 claims abstract description 25
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 4
- 230000033001 locomotion Effects 0.000 claims description 23
- 239000004973 liquid crystal related substance Substances 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 210000001364 upper extremity Anatomy 0.000 claims description 13
- 230000004118 muscle contraction Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 210000003205 muscle Anatomy 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，包括以下步骤：采集目标物体图像，构建卷积神经网络，输出目标物体的位置；选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号；将肌电信号转化为刚度信息，并利用DMP建模，确定阻抗DMP模型参数；构建全连接神经网络并进行DMP参数训练；针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。与现有技术相比，本发明能够很好地将少量示教泛化到机械臂自主执行的特定抓取任务中。
Description
技术领域
本发明涉及模仿学习技术领域，尤其是涉及一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法。
背景技术
模仿学习是现在备受关注的一种技术，是机器学习中的一种技术，通过让学习者观察和模仿人类专家的行为和决策来实现自主学习的过程。它是一种监督式学习的变体，它利用人类专家提供的示范数据和反馈来训练模型，并且可以应用于各种各样的任务，而将模仿学习用与机器人控制领域，让机器人通过观察人类或其他机器人的行为来学习执行特定的任务，可以大大减少编程人员的工作量。
应用于机器人领域的模仿学习方法由很多种，其中较为著名的是在2002年由Ijspeert等人提出的动态运动基元(DMP)模型。DMP利用了机器学习中的回归方法，通过学习一组基本的运动模式，即动态运动基元，来生成复杂的运动。动态运动基元是一组由非线性微分方程表示的基本的运动模式，能够模拟出各种连续的运动模式，例如握取、抓取、走路等。已经广泛应用于机器人学、控制工程和运动控制等领域，并已经在许多实际应用中得到了验证，例如机器人操作、航空航天、生物力学和康复医疗等。
在通过DMP方法完成机械臂抓取任务的过程中，并不能够将任务很好地泛化到不同抓取物体以及不同抓取位置的情况。
发明内容
本发明的目的是为了提供一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，将少量示教泛化到机械臂自主执行的特定抓取任务中，实现高精度、高效率、广适用性的抓取。
本发明的目的可以通过以下技术方案来实现：
一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，包括以下步骤：
步骤1)采集目标物体图像，构建训练数据集，构建卷积神经网络并利用训练数据集进行训练，输出目标物体的位置；
步骤2)选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号；
步骤3)将肌电信号转化为手臂末端的刚度信息，同时将刚度信息与机械臂末端轨迹分别用DMP建模，确定阻抗DMP模型参数，构建全连接神经网络的训练数据集；
步骤4)构建全连接神经网络并进行训练，所述全连接神经网络的输入为目标物体的位置以及时钟信号，输出为末端轨迹和阻抗DMP模型参数；
步骤5)针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。
进一步的，所述采集目标物体图像，构建数据集具体为：在机械臂的工作空间内随机放置目标物品，利用摄像头捕获多组样本图片，并记录每张图片对应目标物品的基坐标系坐标，构建卷积神经网络的训练数据集。
进一步的，所述步骤2)包括以下步骤：
步骤2-1)将机械臂置于拖动示教模式，示教者佩戴肌电信号收集装置拖动机械臂末端完成对工作空间内目标物体的抓取任务，记录任务过程中机械臂末端位置轨迹以及人体肌电信号；
步骤2-2)将目标物品放置在工作空间内的不同位置，重复步骤2-1)，获取多组数据。
进一步的，所述步骤3)中，将肌电信号转化为手臂末端的刚度信息具体为：
其中，Ken∈R6×6,Kj∈R7×7分别表示人体上肢端点刚度和关节刚度； 表示人体手臂雅可比矩阵的伪逆，表示手臂姿态；qh∈R7表示手臂关节角；Fex∈R6表示施加在人体上肢端点的外力；Kj基于肌电信号确定。
进一步的，用p表示刚度，所述人体上肢关节刚度Kj表示为一个肌肉收缩指数α(p)和一个固有不变刚度的乘积：
其中，肌肉收缩指数为：
变量α(p)是基于肌电信号确定的肌肉激活指标，λ1、λ2为常数系数。
进一步的，所述步骤3)中，将刚度信息与机械臂末端轨迹分别用DMP建模的建模过程包括以下步骤：
步骤3-2-1)构建单模态DMP模型：
其中，是轨迹的初始位置，/>是轨迹的终止位置，/> 是一个对角矩阵，其中向量g-y0是对角线上的分量，/>是非线性强迫项，是按比例的运动速度，/>表示相位；
单模态DMP模型中的强迫项由径向基函数表示：
Ψk(s)＝exp(-hk(s-ck)2)
其中，ck为沿轨迹相位分布的高斯函数的中心，hk为高斯函数的宽度，hk和ck的值是固定的，且ck沿相位均匀分布，wk是未知参数，通过回归方法习得；
步骤3-2-2)为了保证基于同一任务参数的末端轨迹和阻抗同步，将单模态DMP模型修改为轨迹与阻抗同步的多模态DMP模型：
其中第一个式子为正则系统，后两个式子表示两个转换系统，一个用于编码位置轨迹，另一个用于刚度轮廓，p代表末端刚度；
步骤3-2-3)对于采集到的示教轨迹，用 形式表示，其中θk,n、/>分别为k时刻关节n对应的位置，速度和加速度；参考运动轨迹的建模过程，将输入的n替换为p，得到刚度轨迹DMP模型：
其中，是刚度轨迹的初始位置，/>是刚度轨迹的终止位置，是一个对角矩阵，其中向量gp-y0p是对角线上的分量，/>是非线性强迫项；由于正则系统一致，参数τ，x，z一致；
步骤3-2-4)根据示教轨迹，获得期望的强迫项：
Ftar(s)为示教轨迹对应期望强迫项函数值；
步骤3-2-5)利用线性回归算法，定义损失函数，计算径向基函数的参数ωk，得到基于特定任务的期望DMP模型的参数。
进一步的，所述损失函数为：
其中是示教轨迹对应期望强迫项函数值，/>是网络输出的强迫项函数值。
进一步的，所述全连接神经网络用于训练DMP模型的强迫项参数。
进一步的，所述全连接神经网络通过参数的偏差来判断网络是否学习到示教轨迹的特征，定义全连接神经网络的损失函数如下：
通过梯度下降算法来更新网络参数。
进一步的，所述步骤5)包括以下步骤：
步骤5-1)将步骤4)训练得到的强迫项参数应用到DMP模型中，通过动态运动原语获得基于特定任务参数的刚度和轨迹信息；
步骤5-2)定义机械臂关节空间阻抗控制模型：
其中，为机器人关节刚度矩阵，/>表示关节阻尼矩阵，θd和/>是用DMP算法生成的期望关节轨迹和角速度，θm和/>是被测关节轨迹和角速度，/>用于补偿重力、科氏力和其他动力，输出的u为个关节的转矩；
步骤5-3)利用刚度信息估计机械臂阻抗控制模型的参数：
Kr＝εKen
其中，Kr为笛卡尔刚度，与估计的人体上肢端点刚度Ken成正比，ε是预先设定的比例系数，Jr是机械臂的雅可比矩阵，η为选定的正常系数；
步骤5-4)根据运动轨迹和刚度轨迹，依照阻抗控制模型进行特定抓取任务的执行。
与现有技术相比，本发明具有以下有益效果：
(1)本发明基于卷积神经网络对任务参数进行提取，可以实现端到端的任务执行效果，省去了任务定义任务参数的步骤。
(2)本发明将估计的机器人末端刚度作为任务的控制器输出，在保持机器人的柔顺性和安全性的同时提高机器人的任务执行性能。
(3)本发明利用DMP模型同时对运动轨迹和刚度轮廓进行编码，实现了这两方面的技能特征从人到机器人的传递，实现机器人对人类示教的多模态学习。
附图说明
图1为本发明的方法流程图。
图2为一种实施例中的EMG信号获取示意图。
图3为一种实施例中的卷积神经网络和全连接神经网络的架构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，如图1所示，包括以下步骤：
步骤1)采集目标物体图像，构建训练数据集，构建卷积神经网络并利用训练数据集进行训练，输出目标物体的位置。
在机械臂的工作空间内随机放置目标物品，利用摄像头捕获多组样本图片，并记录每张图片对应目标物品的基坐标系坐标，构建卷积神经网络的训练数据集。其中，摄像头固定在机械臂底座上方，用于捕获机械臂工作空间内的图像，并保证在机械臂工作时无遮挡。
步骤2)选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号(EMG)。
步骤2-1)将机械臂置于拖动示教模式，示教者佩戴肌电信号收集装置拖动机械臂末端完成对工作空间内目标物体的抓取任务，记录任务过程中机械臂末端位置轨迹以及人体肌电信号。
本实施例中，如图2所示，在人手臂上臂肌肉处部署EMG信号获取装置，获得示教过程中人体肌肉的肌电信号。
步骤2-2)将目标物品放置在工作空间内的不同位置，重复步骤2-1)，获取多组数据，构建用于估计DMP模型参数的全连接神经网络训练数据集。
步骤3)将肌电信号转化为手臂末端的刚度信息，同时将刚度信息与机械臂末端轨迹分别用DMP建模，确定阻抗DMP模型参数，构建全连接神经网络的训练数据集。
步骤3-1)将肌电信号转化为手臂末端的刚度信息，具体为：
其中，Ken∈R6×6,Kj∈R7×7分别表示人体上肢端点刚度和关节刚度； 表示人体手臂雅可比矩阵的伪逆，表示手臂姿态；qh∈R7表示手臂关节角；Fex∈R6表示施加在人体上肢端点的外力；Kj基于肌电信号确定。
用p表示刚度，采用一种简化的方法来估计上肢刚度，具体的，将人体上肢关节刚度Kj表示为一个肌肉收缩指数α(p)和一个固有不变刚度的乘积：
其中，肌肉收缩指数为：
变量α(p)是基于肌电信号确定的肌肉激活指标，λ1、λ2为常数系数。
步骤3-2)利用DMP模型分别对机械臂末端位置轨迹以及手臂刚度信息进行建模。
步骤3-2-1)构建单模态DMP模型：
其中，是轨迹的初始位置，/>是轨迹的终止位置，/> 是一个对角矩阵，其中向量g-y0是对角线上的分量，/>是非线性强迫项，是按比例的运动速度，/>表示相位。
单模态DMP模型中的强迫项由径向基函数表示：
Ψk(s)＝exp(-hk(s-ck)2)
其中，ck为沿轨迹相位分布的高斯函数的中心，hk为高斯函数的宽度，hk和ck的值是固定的，且ck沿相位均匀分布，wk是未知参数，通过回归方法习得。
步骤3-2-2)为了保证基于同一任务参数的末端轨迹和阻抗同步，将单模态DMP模型修改为轨迹与阻抗同步的多模态DMP模型：
其中第一个式子为正则系统，后两个式子表示两个转换系统，一个用于编码位置轨迹，另一个用于刚度轮廓，p代表末端刚度。
步骤3-2-3)对于采集到的示教轨迹，用 形式表示，其中θk,n、/>分别为k时刻关节n对应的位置，速度和加速度；参考运动轨迹的建模过程，将输入的末端轨迹n替换为刚度轨迹p，并且使用同样的正则系统，从而保证建模得到的运动轨迹和刚度轨迹是同步的，最终得到刚度轨迹DMP模型：
其中，是刚度轨迹的初始位置，/>是刚度轨迹的终止位置，是一个对角矩阵，其中向量gp-y0p是对角线上的分量，/>是非线性强迫项；由于正则系统一致，参数τ，x，z一致。
步骤3-2-4)根据示教轨迹，获得期望的强迫项：
Ftar(s)为示教轨迹对应期望强迫项函数值。
步骤3-2-5)利用线性回归算法，定义损失函数：
其中是示教轨迹对应期望强迫项函数值，/>是网络输出的强迫项函数值。
基于损失函数计算径向基函数的参数ωk，得到基于特定任务的期望DMP模型的参数，依据此构建全连接神经网络的数据集。
步骤4)构建全连接神经网络并进行训练，所述全连接神经网络的输入为目标物体的位置以及时钟信号，输出为末端轨迹和阻抗DMP模型参数。
步骤4-1)构建全连接神经网络，将步骤2)得到的任务参数与时钟信号一同送入强迫项训练网络中，训练得到不同任务参数下的强迫项参数。
具体的，全连接神经网络的结构如图3所示，通过参数的偏差来判断网络是否学习到示教轨迹的特征，定义全连接神经网络的损失函数如下：
通过梯度下降算法来更新网络参数，从而训练网络能够输出合适的参数值，再带入DMP模型中，生成能够完成特定任务的轨迹。
步骤4-2)将步骤3-2)中获得的基于神经网络获得的强迫项参数应用到DMP算法中，通过动态运动原语获得基于特定任务参数的轨迹。
步骤5)针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。
步骤5-1)将步骤4)训练得到的强迫项参数应用到DMP模型中，通过动态运动原语获得基于特定任务参数的刚度和轨迹信息。
步骤5-2)定义机械臂关节空间阻抗控制模型：
其中，为机器人关节刚度矩阵，/>表示关节阻尼矩阵，θd和/>是用DMP算法生成的期望关节轨迹和角速度，θm和/>是被测关节轨迹和角速度，/>用于补偿重力、科氏力和其他动力，输出的u为个关节的转矩。
步骤5-3)利用刚度信息估计机械臂阻抗控制模型的参数：
Kr＝εKen
其中，Kr为笛卡尔刚度，与估计的人体上肢端点刚度Ken成正比；ε是预先设定的比例系数，可以保证机械臂的刚度在安全范围内；Jr是机械臂的雅可比矩阵；η为选定的正常系数。
步骤5-4)根据运动轨迹和刚度轨迹，依照阻抗控制模型进行特定抓取任务的执行。
在实施过程中，利用训练得到的网络作为特定任务下DMP网络参数的发生器，在给定目标物品的任意工作空间位置的夹取任务时，首先将相机捕获的图片传入卷积神经网络，获取目标物的坐标，再将获得的坐标连同时钟信号一起作为全连接神经网络的输入，得到DMP模型的参数，构建DMP模型，获得在特定任务参数情况下完成夹取任务末端轨迹和刚度轨迹，用刚度轨迹转化为机械臂阻抗控制的参数，利用机械臂阻抗控制，完成对目标物体的夹取任务。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。
Claims (10)
1.一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，包括以下步骤：
步骤1)采集目标物体图像，构建训练数据集，构建卷积神经网络并利用训练数据集进行训练，输出目标物体的位置；
步骤2)选取部分目标物体的位置对机械臂进行抓取示教任务，收集机械臂末端轨迹以及人手部肌电信号；
步骤3)将肌电信号转化为手臂末端的刚度信息，同时将刚度信息与机械臂末端轨迹分别用DMP建模，确定阻抗DMP模型参数，构建全连接神经网络的训练数据集；
步骤4)构建全连接神经网络并进行训练，所述全连接神经网络的输入为目标物体的位置以及时钟信号，输出为末端轨迹和阻抗DMP模型参数；
步骤5)针对特定任务，利用全连接神经网络输出的阻抗DMP模型参数对轨迹与刚度进行建模，基于阻抗控制的方法控制机械臂依照轨迹和刚度进行任务的执行。
2.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述采集目标物体图像，构建数据集具体为：在机械臂的工作空间内随机放置目标物品，利用摄像头捕获多组样本图片，并记录每张图片对应目标物品的基坐标系坐标，构建卷积神经网络的训练数据集。
3.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述步骤2)包括以下步骤：
步骤2-1)将机械臂置于拖动示教模式，示教者佩戴肌电信号收集装置拖动机械臂末端完成对工作空间内目标物体的抓取任务，记录任务过程中机械臂末端位置轨迹以及人体肌电信号；
步骤2-2)将目标物品放置在工作空间内的不同位置，重复步骤2-1)，获取多组数据。
4.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述步骤3)中，将肌电信号转化为手臂末端的刚度信息具体为：
其中，Ken∈R6×6，Kj∈R7×7分别表示人体上肢端点刚度和关节刚度； 表示人体手臂雅可比矩阵的伪逆，表示手臂姿态；qh∈R7表示手臂关节角；Fex∈R6表示施加在人体上肢端点的外力；Kj基于肌电信号确定。
5.根据权利要求4所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，用p表示刚度，所述人体上肢关节刚度Kj表示为一个肌肉收缩指数α(p)和一个固有不变刚度的乘积：
其中，肌肉收缩指数为：
变量α(p)是基于肌电信号确定的肌肉激活指标，λ1、λ2为常数系数。
6.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述步骤3)中，将刚度信息与机械臂末端轨迹分别用DMP建模的建模过程包括以下步骤：
步骤3-2-1)构建单模态DMP模型：
其中，是轨迹的初始位置，/>是轨迹的终止位置，/> 是一个对角矩阵，其中向量g-y0是对角线上的分量，/>是非线性强迫项，/>是按比例的运动速度，/>表示相位；
单模态DMP模型中的强迫项由径向基函数表示：
Ψk(s)＝exp(-hk(s-ck)2)
其中，ck为沿轨迹相位分布的高斯函数的中心，gk为高斯函数的宽度，hk和ck的值是固定的，且ck沿相位均匀分布，wk是未知参数，通过回归方法习得；
步骤3-2-2)为了保证基于同一任务参数的末端轨迹和阻抗同步，将单模态DMP模型修改为轨迹与阻抗同步的多模态DMP模型：
其中第一个式子为正则系统，后两个式子表示两个转换系统，一个用于编码位置轨迹，另一个用于刚度轮廓，p代表末端刚度；
步骤3-2-3)对于采集到的示教轨迹，用n＝1，2，…，Nd}形式表示，其中θk，n、/>分别为k时刻关节n对应的位置，速度和加速度；参考运动轨迹的建模过程，将输入的n替换为p，得到刚度轨迹DMP模型：
其中，是刚度轨迹的初始位置，/>是刚度轨迹的终止位置，是一个对角矩阵，其中向量gp-y0p是对角线上的分量，/>是非线性强迫项；由于正则系统一致，参数τ，x，z一致；
步骤3-2-4)根据示教轨迹，获得期望的强迫项：
Ftar(s)为示教轨迹对应期望强迫项函数值；
步骤3-2-5)利用线性回归算法，定义损失函数，计算径向基函数的参数ωk，得到基于特定任务的期望DMP模型的参数。
7.根据权利要求6所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述损失函数为：
其中是示教轨迹对应期望强迫项函数值，/>是网络输出的强迫项函数值。
8.根据权利要求6所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述全连接神经网络用于训练DMP模型的强迫项参数。
9.根据权利要求8所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述全连接神经网络通过参数的偏差来判断网络是否学习到示教轨迹的特征，定义全连接神经网络的损失函数如下：
通过梯度下降算法来更新网络参数。
10.根据权利要求1所述的一种基于DMP与卷积神经网络的机械臂多模态抓取任务实现方法，其特征在于，所述步骤5)包括以下步骤：
步骤5-1)将步骤4)训练得到的强迫项参数应用到DMP模型中，通过动态运动原语获得基于特定任务参数的刚度和轨迹信息；
步骤5-2)定义机械臂关节空间阻抗控制模型：
其中，为机器人关节刚度矩阵，/>表示关节阻尼矩阵，θd和/>是用DMP算法生成的期望关节轨迹和角速度，θm和/>是被测关节轨迹和角速度，/>用于补偿重力、科氏力和其他动力，输出的u为个关节的转矩；
步骤5-3)利用刚度信息估计机械臂阻抗控制模型的参数：
Kr＝εKen
其中，Kr为笛卡尔刚度，与估计的人体上肢端点刚度Ken成正比，ε是预先设定的比例系数，Jr是机械臂的雅可比矩阵，η为选定的正常系数；
步骤5-4)根据运动轨迹和刚度轨迹，依照阻抗控制模型进行特定抓取任务的执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310629052.4A CN116533247A (zh) | 2023-05-31 | 2023-05-31 | 基于dmp与卷积神经网络的机械臂多模态抓取任务实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310629052.4A CN116533247A (zh) | 2023-05-31 | 2023-05-31 | 基于dmp与卷积神经网络的机械臂多模态抓取任务实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116533247A true CN116533247A (zh) | 2023-08-04 |
Family
ID=87445338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310629052.4A Pending CN116533247A (zh) | 2023-05-31 | 2023-05-31 | 基于dmp与卷积神经网络的机械臂多模态抓取任务实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116533247A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117032262A (zh) * | 2023-09-12 | 2023-11-10 | 南栖仙策(南京)科技有限公司 | 机器控制方法、装置、电子设备及存储介质 |
-
2023
- 2023-05-31 CN CN202310629052.4A patent/CN116533247A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117032262A (zh) * | 2023-09-12 | 2023-11-10 | 南栖仙策(南京)科技有限公司 | 机器控制方法、装置、电子设备及存储介质 |
| CN117032262B (zh) * | 2023-09-12 | 2024-03-19 | 南栖仙策(南京)科技有限公司 | 机器控制方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schaal et al. | Computational approaches to motor learning by imitation | |
| Lakhal et al. | Hybrid approach for modeling and solving of kinematics of a compact bionic handling assistant manipulator | |
| CN108284436B (zh) | 具有模仿学习机制的远程机械双臂系统及方法 | |
| Fang et al. | Skill learning for human-robot interaction using wearable device | |
| Newton et al. | Neural network control of a space manipulator | |
| CN116533247A (zh) | 基于dmp与卷积神经网络的机械臂多模态抓取任务实现方法 | |
| JP2022061022A (ja) | 力及びトルク誘導ロボット組立のための技術 | |
| Ruppel et al. | Learning object manipulation with dexterous hand-arm systems from human demonstration | |
| Singh et al. | Learning bipedal walking on planned footsteps for humanoid robots | |
| Aghajanzadeh et al. | An offline geometric model for controlling the shape of elastic linear objects | |
| Wochner et al. | Learning with muscles: Benefits for data-efficiency and robustness in anthropomorphic tasks | |
| CN113515135A (zh) | 多足机器人的控制方法、装置、电子设备及存储介质 | |
| Khadivar et al. | Adaptive fingers coordination for robust grasp and in-hand manipulation under disturbances and unknown dynamics | |
| Traub et al. | Many-joint robot arm control with recurrent spiking neural networks | |
| Tong et al. | Cascade-LSTM-based visual-inertial navigation for magnetic levitation haptic interaction | |
| CN114417738B (zh) | 稀疏imu实时人体动作捕捉及关节受力预测方法及系统 | |
| Lin et al. | The arm planning with dynamic movement primitive for humanoid service robot | |
| CN105467841B (zh) | 一种类人机器人上肢运动的类神经控制方法 | |
| Ou et al. | Adaptive fuzzy tracking control of a human lower limb with an exoskeleton | |
| Bouteraa et al. | Distributed second order sliding mode control for networked robots synchronisation: theory and experimental results | |
| CN116265202A (zh) | 一种机器人的控制方法、装置及介质、一种机器人 | |
| Wei et al. | Robotic skills learning based on dynamical movement primitives using a wearable device | |
| Li et al. | Task generalization with stability guarantees via elastic dynamical system motion policies | |
| Fang et al. | Learning from wearable-based teleoperation demonstration | |
| Setapen et al. | Beyond teleoperation: Exploiting human motor skills with marionet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |