CN116423520A - 一种基于视觉和动态运动基元的机械臂轨迹规划方法 - Google Patents

一种基于视觉和动态运动基元的机械臂轨迹规划方法 Download PDF

Info

Publication number
CN116423520A
CN116423520A CN202310552158.9A CN202310552158A CN116423520A CN 116423520 A CN116423520 A CN 116423520A CN 202310552158 A CN202310552158 A CN 202310552158A CN 116423520 A CN116423520 A CN 116423520A
Authority
CN
China
Prior art keywords
track
motion
robot
mechanical arm
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310552158.9A
Other languages
English (en)
Inventor
黄金宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202310552158.9A priority Critical patent/CN116423520A/zh
Publication of CN116423520A publication Critical patent/CN116423520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于视觉和动态运动基元的机械臂轨迹规划方法，涉及机械臂轨迹规划技术领域。包括机器人，计算机，包括如下步骤：人体背部皮肤区域分割，利用视觉系统对环境进行视觉感知，并通过深度学习算法对人体皮肤区域进行分割；人体背部皮肤区域输入轨迹规划系统；基于动态运动基元算法学习示教轨迹，利用局部加权回归求取示教轨迹的权重参数；生成擦拭运动轨迹，结合视觉系统提供的人体背部皮肤区域环境信息，生成机器人在目标区域内的擦拭运动轨迹；机器人执行轨迹擦拭人体背部皮肤，机器人根据运动轨迹执行擦拭人体背部皮肤的多接触操作任务，实时分割目标区域，提高机器人在任务中的执行精度，融合多模态信息，适应个体差异。

Description

一种基于视觉和动态运动基元的机械臂轨迹规划方法
技术领域
本发明涉及机械臂轨迹规划技术领域，尤其涉及一种基于视觉和动态运动基元的机械臂轨迹规划方法。
背景技术
随着机器人技术的发展,机器人已被应用于各种各样的行业领域，如工业、医疗检查和空间勘探等。然而，在诸多作业领域中，机器人仅仅依靠位置定位难以完成各种复杂任务。这种机器人与环境不断接触，且要接收和处理复杂的环境信息并驱动机器人的任务，称为多接触(丰富接触)任务。这类任务涉及到对物体的抓取、搬运、操作等复杂操作，对机器人的感知、控制和规划能力提出了更高的要求。多接触任务在工业自动化、服务机器人、医疗康复等领域具有广泛的应用前景。
针对目前多关节机械臂复杂的非线性系统，其高自由度及连杆间的耦合等性质导致笛卡尔空间轨迹规划难度较大，如何基于动态运动基元的轨迹学习方法，结合深度学习语义分割网络，从而有效地对外界环境进行视觉感知，更好地适应机器人的多变环境是目前亟需解决的问题。
发明内容
本发明的目的在于提供一种基于视觉和动态运动基元的机械臂轨迹规划方法，解决了上述提到的技术问题。
为实现上述目的，本发明提供如下技术方案：一种基于视觉和动态运动基元的机械臂轨迹规划方法，包括机器人，计算机，包括如下步骤：
S1、人体背部皮肤区域分割，利用视觉系统对环境进行视觉感知，并通过深度学习算法对人体皮肤区域进行分割；
S2、人体背部皮肤区域输入轨迹规划系统，将S1中分割出的人体背部皮肤区域输入轨迹规划系统；
S3、基于动态运动基元算法学习示教轨迹，利用局部加权回归求取示教轨迹的权重参数；
S4、生成擦拭运动轨迹，结合视觉系统提供的人体背部皮肤区域环境信息，生成机器人在目标区域内的擦拭运动轨迹；
S5、机器人执行轨迹擦拭人体背部皮肤，机器人根据计算出的运动轨迹执行擦拭人体背部皮肤的多接触操作任务。
优选的，所述S3中具体还包括如下步骤：
S31、人工示教轨迹特征提取，在拖动示教过程中，收集机器人的机械臂末端的运动轨迹，所述运动轨迹由时间序列以及与各时刻相对应的末端三维笛卡尔坐标序列(位置坐标X,Y,Z)和机械臂姿态的欧拉角(roll、pitch、yaw)组成，通过使用机器人的ROS系统，记录拖动过程中每一时刻机械臂末端的位移及其对应姿态机器人通过采集自身数据并解算得到各时刻末端坐标，然后返回轨迹，坐标值均是相对于机械臂基座进行测量；
S32、示教轨迹学习与泛化，根据改进的动态运动基元算法，一维运动的DMP可以表示为
Figure BDA0004231802290000021
Figure BDA0004231802290000022
Figure BDA0004231802290000023
式中，α>0是预定义的常数，g是目标位置，y0是初始位置，x是相变量，z是辅助变量，τ＝tT是表征运动持续时间的缩放因子，可以用于轨迹加速度、速度和时间的缩放而不改变其形状，K是弹性常数，D是阻尼常数，当常数K与D选择恰当，4K＝D2，就可以得到临界阻尼系统，使上述方程描述的系统快速收敛于目标，其中，f(x)是不再关联起-终点状态差的强迫函数，由N个径向基函数线性组合得到
Figure BDA0004231802290000024
ψi(x)＝exp(-hi(x-ci)2) (5)
其中ψi(x)是第i个径向基函数，基函数服从以ci为中心，hi为方差的高斯分布。wi是与其对应的权值系数。函数f(x)并不直接取决于时间变量，而是相变量x，积分正则系统τ
Figure BDA0004231802290000031
可得
Figure BDA0004231802290000032
上式是一个指数型函数，在运动过程中从1向0递减，通过采集机器人的机械臂三维笛卡尔空间的空间位置变化和对应运动过程中3D姿态变化信息，将多维的运动解耦成多个独立的一维运动，然后分别在每个维度上进行学习，计算各自的转换系统，最后计算各个维度上的运动轨迹，为保证各独立的一维运动间的同步，整个过程由同一个正则系统驱动，相应的多维位置DMPs可以定义如下
Figure BDA0004231802290000033
Figure BDA0004231802290000034
Figure BDA0004231802290000035
上述方程中，相关参数与式一维运动的DMP中类似，其中gp、p、p0分别表示多维的目标位置、中间位置和初始位置向量，v是速度向量，K和D分别表示弹性系数矩阵和阻尼系数矩阵，相应的位置强迫函数fp(x)解耦了与起-终点位置差的关联，定义如下
Figure BDA0004231802290000036
其中
Figure BDA0004231802290000037
是位置权值系数向量。
优选的，所述S1中具体还包括基于编解码器神经网络的图像分割，所述编码器神经网络包括编码器、解码器和跳跃连接，编码器使用卷积神经网络将从视觉系统获取的环境图像计算为特征图，解码器通过上采样恢复特征图到原图像的分辨率，跳跃连接将解码器和编码器中对应的相同分辨率的特征图进行特征融合，从而帮助解码器更好地恢复目标细节。
优选的，所述视觉系统具体采用Kinect摄像机，所述机器人具体采用Baxter，所述计算机具体参数为Ubuntu16.04，Intel(R)Core(TM)i7-7700 CPU(3.60GHz)，NVIDIAGeForce RTX 3070GPU，16GB RAM，所述计算机搭载软件为PyCharm。
与相关技术相比较，本发明提供的一种基于视觉和动态运动基元的机械臂轨迹规划方法具有如下有益效果：
一、基于端到端神经网络，结合ConvLSTM和注意力模块，提取视频流中连续帧之间的相关性，分析图像并分割出人体皮肤。
二、基于动态运动基元算法，引人运动过程中的3D姿态变化，实现机械臂的6D轨迹规划，使轨迹规划更加准确、同时提高了运动精度和稳定性。
三、基于视觉和动态运动基元的机器人轨迹规划，将神经网络分割算法集成到动态运动基元算法中，实时分割目标区域，提高机器人在任务中的执行精度，融合多模态信息，适应个体差异。
附图说明
图1为本发明机械臂轨迹规划方法的框架图；
图2为本发明机器人轨迹规划方法的流程图；
图3为本发明一维轨迹数据的滤波示意图；
图4为本发明的Sigma的MSE折线图；
图5为本发明的示教轨迹学习与泛化示意图；
图6为本发明的深度学习模型结构示意图。
具体实施方式
请参阅图1-图6，本发明提供一种技术方案，包括机器人，计算机，包括如下步骤：
S1、人体背部皮肤区域分割，利用视觉系统对环境进行视觉感知，并通过深度学习算法对人体皮肤区域进行分割；
S2、人体背部皮肤区域输入轨迹规划系统，将S1中分割出的人体背部皮肤区域输入轨迹规划系统；
S3、基于动态运动基元算法学习示教轨迹，利用局部加权回归求取示教轨迹的权重参数；
S4、生成擦拭运动轨迹，结合视觉系统提供的人体背部皮肤区域环境信息，生成机器人在目标区域内的擦拭运动轨迹；
S5、机器人执行轨迹擦拭人体背部皮肤，机器人根据计算出的运动轨迹执行擦拭人体背部皮肤的多接触操作任务。
S3中具体还包括如下步骤：
S31、人工示教轨迹特征提取，在拖动示教过程中，收集机器人的机械臂末端的运动轨迹，运动轨迹由时间序列以及与各时刻相对应的末端三维笛卡尔坐标序列(位置坐标X,Y,Z)和机械臂姿态的欧拉角(roll、pitch、yaw)组成，通过使用机器人的ROS系统，记录拖动过程中每一时刻机械臂末端的位移及其对应姿态机器人通过采集自身数据并解算得到各时刻末端坐标，然后返回轨迹，坐标值均是相对于机械臂基座进行测量，然而，在人工拖动机械臂进行示教过程中，可能会产生微小的抖动，导致示教轨迹不够平滑，进而影响后续轨迹特征提取和轨迹学习过程，为解决这一问题，本发明使用Python编写代码，对采集到的原始示教轨迹进行高斯滤波处理，高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声具有良好的抑制作用，常用于去除图片或视频的噪声以及平滑图片，对于一维或多维的轨迹数据信息，本发明采用一维高斯滤波器进行平滑处理，一维高斯滤波的思想源于高斯分布，即概率值随着与均值距离的增加而减小，Sigma是高斯核的标准差，是生成高斯滤波器模板的关键参数，Sigma值越大，模板中各个系数的差异越小，平滑效果越显著，为了在众多平滑曲线中找到最优的sigma值，使用平滑后曲线与原始曲线之间的均方误差(MSE)作为评价指标，通过寻找具有最小MSE值的sigma，可以确定最佳平滑参数；
S32、示教轨迹学习与泛化，根据改进的动态运动基元算法，一维运动的DMP可以表示为
Figure BDA0004231802290000061
Figure BDA0004231802290000062
Figure BDA0004231802290000063
式中，α>0是预定义的常数，g是目标位置，y0是初始位置，x是相变量，z是辅助变量，τ＝tT是表征运动持续时间的缩放因子，可以用于轨迹加速度、速度和时间的缩放而不改变其形状，K是弹性常数，D是阻尼常数，当常数K与D选择恰当，4K＝D2，就可以得到临界阻尼系统，使上述方程描述的系统快速收敛于目标，其中，f(x)是不再关联起-终点状态差的强迫函数，由N个径向基函数线性组合得到
Figure BDA0004231802290000064
ψi(x)＝exp(-hi(x-ci)2) (5)
其中ψi(x)是第i个径向基函数，基函数服从以ci为中心，hi为方差的高斯分布。wi是与其对应的权值系数。函数f(x)并不直接取决于时间变量，而是相变量x，积分正则系统τ
Figure BDA0004231802290000065
可得
Figure BDA0004231802290000066
上式是一个指数型函数，在运动过程中从1向0递减，通过采集机器人的机械臂三维笛卡尔空间的空间位置变化和对应运动过程中3D姿态变化信息，将多维的运动解耦成多个独立的一维运动，然后分别在每个维度上进行学习，计算各自的转换系统，最后计算各个维度上的运动轨迹，为保证各独立的一维运动间的同步，整个过程由同一个正则系统驱动，相应的多维位置DMPs可以定义如下
Figure BDA0004231802290000067
Figure BDA0004231802290000068
Figure BDA0004231802290000069
上述方程中，相关参数与式一维运动的DMP中类似，其中gp、p、p0分别表示多维的目标位置、中间位置和初始位置向量，v是速度向量，K和D分别表示弹性系数矩阵和阻尼系数矩阵，相应的位置强迫函数fp(x)解耦了与起-终点位置差的关联，定义如下
Figure BDA0004231802290000071
其中
Figure BDA0004231802290000072
是位置权值系数向量。
在轨迹泛化过程中，首先依据任务需求的机器人起-终点状态(视觉算法估算或者人为设定)和机器人的当前状态，在转换系统中实时计算期望轨迹对应的相变量与径向基函数，然后结合权值系数可以获得期望轨迹对应的强迫函数，最后，可以依据动态运动基元算法积分计算期望的位置轨迹，然而，得到的期望轨迹是笛卡尔空间的6D轨迹，无法直接用于机械臂的控制，因此，需要使用正逆运动学求解方法和雅可比矩阵构建方式，将规划好的笛卡尔空间6D轨迹变量转换成关节空间变量，用于驱动机械臂关节运动，进而实现机械臂的实时控制。
S1中具体还包括基于编解码器神经网络的图像分割，编码器神经网络包括编码器、解码器和跳跃连接，编码器使用卷积神经网络将从视觉系统获取的环境图像计算为特征图，解码器通过上采样恢复特征图到原图像的分辨率，跳跃连接将解码器和编码器中对应的相同分辨率的特征图进行特征融合，从而帮助解码器更好地恢复目标细节，为了进一步提高皮肤分割的准确性，ConvLSTM是一种融合了卷积神经网络(CNN)和长短时记忆网络(LSTM)的深度学习模型，由于使用了卷积操作，ConvLSTM能够捕捉空间信息，这使得网络能够同时处理空间和时间信息，ConvLSTM是为了处理具有空间和时间依赖性的序列数据而设计的，特别适用于视频分析和时空序列预测任务，注意力门(Attention Gate)是一种常用于深度学习模型的结构，能够帮助模型更好地关注与任务相关的信息，它通过计算注意力权重，逐元素地乘以输入特征，从而放大重要特征并抑制不相关特征，这种机制使得模型能够更好地捕捉与任务相关的信息，从而提高模型的性能，通过这些改进，基于编解码器神经网络的图像分割算法在处理视频流中连续帧之间的相关性方面表现得更好，从而在环境视频流的皮肤分割任务中取得了更高的准确性。
视觉系统具体采用Kinect摄像机，机器人具体采用Baxter，计算机具体参数为Ubuntu16.04，Intel(R)Core(TM)i7-7700 CPU(3.60GHz)，NVIDIA GeForce RTX 3070GPU，16GB RAM，计算机搭载软件为PyCharm。
本实施例中：首先在人体背部皮肤区域分割阶段，视觉系统利用Kinect摄像机对环境进行视觉感知，并通过深度学习算法对人体背部皮肤区域进行分割，接着将分割出的人体背部皮肤区域输入轨迹规划系统中，在轨迹学习阶段，首先通过人工示教的方法获取机器人擦拭人体背部皮肤的运动轨迹，然后使用动态运动基元算法对示教轨迹进行学习，并利用局部加权回归求取示教轨迹的权重参数，结合视觉系统提供的背部皮肤区域环境信息，生成机械臂在目标区域内的擦拭运动轨迹，最后机械臂根据计算出的运动轨迹执行擦拭人体背部皮肤的多接触操作任务。

Claims (4)

1.一种基于视觉和动态运动基元的机械臂轨迹规划方法，包括机器人，计算机，其特征在于，包括如下步骤：
S1、人体背部皮肤区域分割，利用视觉系统对环境进行视觉感知，并通过深度学习算法对人体皮肤区域进行分割；
S2、人体背部皮肤区域输入轨迹规划系统，将S1中分割出的人体背部皮肤区域输入轨迹规划系统；
S3、基于动态运动基元算法学习示教轨迹，利用局部加权回归求取示教轨迹的权重参数；
S4、生成擦拭运动轨迹，结合视觉系统提供的人体背部皮肤区域环境信息，生成机器人在目标区域内的擦拭运动轨迹；
S5、机器人执行轨迹擦拭人体背部皮肤，机器人根据计算出的运动轨迹执行擦拭人体背部皮肤的多接触操作任务。
2.根据权利要求1所述的一种基于视觉和动态运动基元的机械臂轨迹规划方法，其特征在于，所述S3中具体还包括如下步骤：
S31、人工示教轨迹特征提取，在拖动示教过程中，收集机器人的机械臂末端的运动轨迹，所述运动轨迹由时间序列以及与各时刻相对应的末端三维笛卡尔坐标序列(位置坐标X,Y,Z)和机械臂姿态的欧拉角(roll、pitch、yaw)组成，通过使用机器人的ROS系统，记录拖动过程中每一时刻机械臂末端的位移及其对应姿态机器人通过采集自身数据并解算得到各时刻末端坐标，然后返回轨迹，坐标值均是相对于机械臂基座进行测量；
S32、示教轨迹学习与泛化，根据改进的动态运动基元算法，一维运动的DMP可以表示为
Figure FDA0004231802280000011
Figure FDA0004231802280000012
Figure FDA0004231802280000013
式中，α>0是预定义的常数，g是目标位置，y0是初始位置，x是相变量，z是辅助变量，τ＝tT是表征运动持续时间的缩放因子，可以用于轨迹加速度、速度和时间的缩放而不改变其形状，K是弹性常数，D是阻尼常数，当常数K与D选择恰当，4K＝D2，就可以得到临界阻尼系统，使上述方程描述的系统快速收敛于目标，其中，f(x)是不再关联起-终点状态差的强迫函数，由N个径向基函数线性组合得到
Figure FDA0004231802280000021
ψi(x)＝exp(-hi(x-ci)2) (5)
其中ψi(x)是第i个径向基函数，基函数服从以ci为中心，hi为方差的高斯分布。wi是与其对应的权值系数。函数f(x)并不直接取决于时间变量，而是相变量x，积分正则系统τ
Figure FDA0004231802280000022
可得
Figure FDA0004231802280000023
上式是一个指数型函数，在运动过程中从1向0递减，通过采集机器人的机械臂三维笛卡尔空间的空间位置变化和对应运动过程中3D姿态变化信息，将多维的运动解耦成多个独立的一维运动，然后分别在每个维度上进行学习，计算各自的转换系统，最后计算各个维度上的运动轨迹，为保证各独立的一维运动间的同步，整个过程由同一个正则系统驱动，相应的多维位置DMPs可以定义如下
Figure FDA0004231802280000024
Figure FDA0004231802280000025
Figure FDA0004231802280000026
上述方程中，相关参数与式一维运动的DMP中类似，其中gp、p、p0分别表示多维的目标位置、中间位置和初始位置向量，v是速度向量，K和D分别表示弹性系数矩阵和阻尼系数矩阵，相应的位置强迫函数fp(x)解耦了与起-终点位置差的关联，定义如下
Figure FDA0004231802280000027
其中
Figure FDA0004231802280000031
是位置权值系数向量。
3.根据权利要求2所述的一种基于视觉和动态运动基元的机械臂轨迹规划方法，其特征在于，所述S1中具体还包括基于编解码器神经网络的图像分割，所述编码器神经网络包括编码器、解码器和跳跃连接，编码器使用卷积神经网络将从视觉系统获取的环境图像计算为特征图，解码器通过上采样恢复特征图到原图像的分辨率，跳跃连接将解码器和编码器中对应的相同分辨率的特征图进行特征融合，从而帮助解码器更好地恢复目标细节。
4.根据权利要求3所述的一种基于视觉和动态运动基元的机械臂轨迹规划方法，其特征在于，所述视觉系统具体采用Kinect摄像机，所述机器人具体采用Baxter，所述计算机具体参数为Ubuntu16.04，Intel(R)Core(TM)i7-7700 CPU(3.60GHz)，NVIDIA GeForce RTX3070GPU，16GB RAM，所述计算机搭载软件为PyCharm。
CN202310552158.9A 2023-05-16 2023-05-16 一种基于视觉和动态运动基元的机械臂轨迹规划方法 Pending CN116423520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552158.9A CN116423520A (zh) 2023-05-16 2023-05-16 一种基于视觉和动态运动基元的机械臂轨迹规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552158.9A CN116423520A (zh) 2023-05-16 2023-05-16 一种基于视觉和动态运动基元的机械臂轨迹规划方法

Publications (1)

Publication Number Publication Date
CN116423520A true CN116423520A (zh) 2023-07-14

Family

ID=87094582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552158.9A Pending CN116423520A (zh) 2023-05-16 2023-05-16 一种基于视觉和动态运动基元的机械臂轨迹规划方法

Country Status (1)

Country Link
CN (1) CN116423520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118003325A (zh) * 2024-02-28 2024-05-10 北京中科慧灵机器人技术有限公司 目标轨迹数据信息确定方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118003325A (zh) * 2024-02-28 2024-05-10 北京中科慧灵机器人技术有限公司 目标轨迹数据信息确定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Li Human–robot interaction based on gesture and movement recognition
US11741701B2 (en) Autonomous task performance based on visual embeddings
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
Wu et al. Pixel-attentive policy gradient for multi-fingered grasping in cluttered scenes
CN112847355B (zh) 一种基于dmp的机器人螺栓旋拧方法及系统
Wang et al. Hierarchical policies for cluttered-scene grasping with latent plans
CN116423520A (zh) 一种基于视觉和动态运动基元的机械臂轨迹规划方法
Gulde et al. RoPose: CNN-based 2D pose estimation of industrial robots
Lu et al. Visual-tactile robot grasping based on human skill learning from demonstrations using a wearable parallel hand exoskeleton
Palm et al. Recognition of human grasps by time-clustering and fuzzy modeling
Duffhauss et al. PillarFlowNet: A real-time deep multitask network for LiDAR-based 3D object detection and scene flow estimation
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
Mavsar et al. Simulation-aided handover prediction from video using recurrent image-to-motion networks
Huang et al. A novel robotic grasping method for moving objects based on multi-agent deep reinforcement learning
Keleştemur et al. Learning bayes filter models for tactile localization
Mamedov et al. Finite element inspired networks: Learning physically-plausible deformable object dynamics from partial observations
Zheng et al. ViSE: Vision-Based 3D Online Shape Estimation of Continuously Deformable Robots
Cheng et al. Image following using the feature-based optical flow approach
Sepahvand et al. Image-to-Joint Inverse Kinematic of a Supportive Continuum Arm Using Deep Learning
Bauer et al. DoughNet: A Visual Predictive Model for Topological Manipulation of Deformable Objects
Zheng et al. Vision‐Based Online Key Point Estimation of Deformable Robots
Tokuda et al. CNN-based Visual Servoing for Pose Control of Soft Fabric Parts
Wang et al. Cross-domain fusion and embedded refinement-based 6D object pose tracking on textureless objects
Ho et al. A real-time fuzzy reasoning based control system for catching a moving goldfish
Taglione et al. Visuo-tactile pose tracking method for in-hand robot manipulation tasks of quotidian objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination