CN108044625B - 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法 - Google Patents

一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法 Download PDF

Info

Publication number
CN108044625B
CN108044625B CN201711364995.XA CN201711364995A CN108044625B CN 108044625 B CN108044625 B CN 108044625B CN 201711364995 A CN201711364995 A CN 201711364995A CN 108044625 B CN108044625 B CN 108044625B
Authority
CN
China
Prior art keywords
gesture
mechanical arm
leapmotion
learning machine
extreme learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711364995.XA
Other languages
English (en)
Other versions
CN108044625A (zh
Inventor
刘辉
段超
李燕飞
黄家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201711364995.XA priority Critical patent/CN108044625B/zh
Publication of CN108044625A publication Critical patent/CN108044625A/zh
Application granted granted Critical
Publication of CN108044625B publication Critical patent/CN108044625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：步骤1：设置手势采集装置；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；步骤4：获得机械臂运动方案；步骤5：选取最佳机械臂的操控方案。该方案使用多Leapmotion传感器采集手势序列图像，使用加权融合算法将手势图像进行融合，具有很强的容错性；使用多leapmotion手势识别装置，相比于现有机械臂示教器与体感设备，操控装置成本低，且操控性强、准确度高。

Description

一种基于多Leapmotion虚拟手势融合的机器人机械臂操控 方法
技术领域
本发明属于机械控制领域，特别涉及一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法。
背景技术
随着人工智能的发展，人机交互得到了越来越多人的关注。如何以简单快捷、低成本的方式实现人机交互是现在人工智能研究的重点之一。
近些年来，已经出现许多应用穿戴设备实现人机交互的方案。穿戴设备是利用传感器将人体的数据采集并传送至控制器，以对机器人的控制。以手部穿戴设备为例，人带上形似手套的穿戴设备，该设备具有多种传感器，如角度传感器、位移传感器及力传感器等，传感器采集手部的数据，并将数据传送至控制器以完成对机器人的控制。传统地通过穿戴设备对机器人进行控制的方式太过复杂和昂贵，已经无法满足人机交互的发展。
发明内容
本发明提供了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，其目的在于，克服现有技术中穿戴设备对机器人控制过程复杂的问题。
一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：
步骤1：设置手势采集装置；
将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；
步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；
所述基于核极限学习机的手势识别模型，是利用所述手势采集装置采集的各个手势的leapmotion序列图像依次作为输入数据，对应手势的类别编号作为输出数据，对核极限学习机进行机器学习训练获得，且采用RBF函数作为核极限学习机的核函数；
步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；
步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；
步骤5：从所有的机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。
进一步地，对基于手势采集装置采集控制机械臂的手势的leapmotion序列图像进行融合，得到融合后的手势数据；
输入基于核极限学习机的手势识别模型的数据和训练基于核极限学习机的手势识别模型的输入数据均为融合后手势数据；
融合过程如下：
步骤S1：对至少两台leapmotion传感器采集的同一手势的leapmotion序列图像进行预处理；
步骤S2：对经过步骤S1处理后的数据提取Gabor特征；
步骤S3：对经过Gabor特征提取后的图像数据按照以下公式进行加权数据融合，得到融合图像Pm：
Pm＝ωP1+(1-ω)P2
其中，ω为融合权值，由花授粉算法确定，初始赋值为0.5，P1和P2分别为两台leapmotion测得的序列图像数据，Pm为融合后的图像数据。
进一步地，所述基于核极限学习机的手势识别模型中核极限学习机权值、核参数及阈值采用花授粉算法进行优化获得，具体过程如下：
步骤A：以花粉位置作为核极限学习机的权值、核参数、阈值以及融合权值，设置花粉种群参数；
种群数为N，取值范围N∈[300,500]，变异因子为ε0，取值范围ε0∈[0.3,0.7]，转换概率为p，取值范围p∈[0.4,0.9]，最大迭代次数为t，t＝1000，融合权值的初始赋值为0.5；
步骤B：设置适应度函数，并随机初始化每个花粉的位置，计算每个花粉的适应度函数值，t＝1；
将每个花粉位置对应的核极限学习机的权值、核参数、阈值以及融合权值参数代入基于核极限学习机的手势识别模型中，利用花粉位置确定的基于核极限学习机的手势识别模型输出手势类别编号与实际对应的手势类别编号的差值的倒数作为适应度函数f(x)；
步骤C：生成随机数rand∈[0,1]，若转换概率p＞rand，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；
步骤D：计算每个花粉的适应度函数值，并找出当前最优解；
步骤E：判断是否达到最大迭代次数，若不满足，转步骤C，且令t＝t+1，若满足，转步骤F；
步骤F：输出最优位置花粉，并且得到最优位置花粉对应的基于核极限学习机的手势识别模型。
利用花授粉算法寻找最佳基于核极限学习机的手势识别模型，且该识别模型确定了两台leapmotion测得的序列图像数据之间的最佳融合权值。
进一步地，对手势的leapmotion序列图像进行预处理是指对图像进行灰度变换和对比度增强处理。
进一步地，所述机械臂控制手势包括以下7类：
1)右手向右平移手势对应机械臂末端向右平移；2)右手向左平移手势对应机械臂末端向左平移；
3)右手向前平移手势对应机械臂末端向前平移；4)右手向后平移手势对应机械臂末端向后平移；
5)右手握拳手势对应机械臂末端停止；6)左手五指伸开手势对应机械臂末端夹器松开；
7)左手握拳手势对应机械臂末端夹器抓取。
进一步地，在对经过步骤S1处理后的数据提取Gabor特征后，在进行归一化处理前，采用PCA算法对所述Gabor特征进行降维处理。
有益效果
本发明提供了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：步骤1：设置手势采集装置；将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；步骤5：从所有的机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。相对于现有技术而言，本方案具有以下优点：
1.使用多Leapmotion传感器采集手势序列图像，使用加权融合算法将手势图像进行融合，具有很强的容错性和较短的处理时间；
2.使用花授粉算法对极限学习机的权值、核参数及阈值进行优化，该极限学习机可快速准确的进行手势识别，具有较高的准确率；
3.使用多leapmotion手势识别装置，相比于现有机械臂示教器与体感设备，操控装置成本低，且操控性强、准确度高。
附图说明
图1为本发明所述方案中的采集装置结构示意图；
图2为本发明所述方案的流程示意图；
图3为本发明所述的机械臂D-H模型示意图。
具体实施方式
下面将结合附图和实施例对本发明做进一步的说明。
一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：
步骤1：设置手势采集装置；
将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；
步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；
所述基于核极限学习机的手势识别模型，是利用所述手势采集装置采集的各个手势的leapmotion序列图像依次作为输入数据，对应手势的类别编号作为输出数据，对核极限学习机进行机器学习训练获得，且采用RBF函数作为核极限学习机的核函数；
对基于手势采集装置采集控制机械臂的手势的leapmotion序列图像进行融合，得到融合后的手势数据；
输入基于核极限学习机的手势识别模型的数据和训练基于核极限学习机的手势识别模型的输入数据均为融合后手势数据；
所述融合过程如下：
步骤S1：对至少两台leapmotion传感器采集的同一手势的leapmotion序列图像进行预处理；
对手势的leapmotion序列图像进行预处理是指对图像进行灰度变换处理。
在本实例中，灰度变换采用对数变换公式：s＝c·log(1+r)；
其中，s为变换后的像素点灰度，r为变换前的像素点灰度，c为常数；运用该灰度变换能够对图像中低灰度细节进行增强；
步骤S2：对经过步骤S1处理后的数据提取Gabor特征；
在对经过步骤S1处理后的数据提取Gabor特征后，再进行归一化处理前，采用PCA算法对所述Gabor特征进行降维处理；
步骤S3：对经过Gabor特征提取后的图像数据按照以下公式进行加权数据融合，得到融合图像Pm：
Pm＝ωP1+(1-ω)P2
其中，ω为融合权值，由花授粉算法确定，初始赋值为0.5，P1和P2分别为两台leapmotion测得的序列图像数据，Pm为融合后的图像数据。
所述基于核极限学习机的手势识别模型中核极限学习机权值、核参数及阈值采用花授粉算法进行优化获得，具体过程如下：
步骤A：以花粉位置作为核极限学习机的权值、核参数、阈值以及融合权值，设置花粉种群参数；
种群数为N，取值范围N∈[300,500]，变异因子为ε0，取值范围ε0∈[0.3,0.7]，转换概率为p，取值范围p∈[0.4,0.9]，最大迭代次数为t，t＝1000，融合权值的初始赋值为0.5；
步骤B：设置适应度函数，并随机初始化每个花粉的位置，计算每个花粉的适应度函数值，t＝1；
将每个花粉位置对应的核极限学习机的权值、核参数、阈值以及融合权值参数代入基于核极限学习机的手势识别模型中，利用花粉位置确定的基于核极限学习机的手势识别模型输出手势类别编号与实际对应的手势类别编号的差值的倒数作为适应度函数f(x)；
步骤C：生成随机数rand∈[0,1]，若转换概率p＞rand，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；
步骤D：计算每个花粉的适应度函数值，并找出当前最优解；
步骤E：判断是否达到最大迭代次数，若不满足，转步骤C，且令t＝t+1，若满足，转步骤F；
步骤F：输出最优位置花粉，并且得到最优位置花粉对应的基于核极限学习机的手势识别模型。
利用花授粉算法寻找最佳基于核极限学习机的手势识别模型，且该识别模型确定了两台leapmotion测得的序列图像数据之间的最佳融合权值。
步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；
步骤4：手部移动与机械臂末端移动距离是线性关系，手部移动a mm，则机械臂末端移动k*a mm，其中k为比例因子，可根据需要自由调节。
所述机械臂控制手势包括以下7类：
1)右手向右平移手势对应机械臂末端向右平移；
2)右手向左平移手势对应机械臂末端向左平移；
3)右手向前平移手势对应机械臂末端向前平移；
4)右手向后平移手势对应机械臂末端向后平移；
5)右手握拳手势对应机械臂末端停止；
6)左手五指伸开手势对应机械臂末端夹器松开；
7)左手握拳手势对应机械臂末端夹器抓取。
步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；
对机械手的建模采用Denavit和Hartenberg提出的的D-H机器人标准建模方法，具体过程如下：
给机械臂的每个关节都指定一个参考坐标系，从第一个关节的参考坐标系开始变化到下一个关节的参考坐标系，直至变换到最后一个关节。
应用D-H建模法得到齐次变换矩阵：
这里，nx、ny、nz、ox、oy、oz和ax、ay、az代表终端坐标系坐标轴方向向量的分量，px、py和pz代表初始坐标系原点到最终坐标系原点位移向量的分量。0T6代表总变换矩阵，A0、A1、A2、A3、A4、A5代表六个关节的变换矩阵。
式中C和S为cos与sin的简写，α0为第一关节扭转角度，θ0为第一关节旋转角度，d0为第一关节中心点z轴坐标，Tran()表示关节坐标平移矩阵，Rot()表示关节坐标旋转矩阵。
与上述方法相同，可以列出A0、A1、A2、A3、A4、A5。通过计算可得nx、ny、nz、ox、oy、oz、ax、ay、az。机械臂的运动学正解可以对齐次变换矩阵进行解耦得到，步骤如下：
(1)的3,4元素对应相等，1,4元素和2,4元素对应相等。
(2)的1,4元素和2,4对应相等。
(3)的1,3元素和2,3元素相等。
(4)的1,3元素和2,3元素相等，第2,1元素和第2，2元素对应相等，得到该6自由度机械臂可能存在8种解。
步骤5：从所有的8个机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。
综上所述，利用本发明所述的操控方法，能够对手势进行快速且准确的识别，操控精度较高。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，其特征在于，包括以下步骤：
步骤1：设置手势采集装置；
将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；
步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；
所述基于核极限学习机的手势识别模型，是利用所述手势采集装置采集的各个手势的leapmotion序列图像依次作为输入数据，对应手势的类别编号作为输出数据，对核极限学习机进行机器学习训练获得，且采用RBF函数作为核极限学习机的核函数；
步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；
步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；
步骤5：从所有的机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。
2.根据权利要求1所述的方法，其特征在于，对基于手势采集装置采集控制机械臂的手势的leapmotion序列图像进行融合，得到融合后的手势数据；
输入基于核极限学习机的手势识别模型的数据和训练基于核极限学习机的手势识别模型的输入数据均为融合后手势数据；
融合过程如下：
步骤S1：对至少两台leapmotion传感器采集的同一手势的leapmotion序列图像进行预处理；
步骤S2：对经过步骤S1处理后的数据提取Gabor特征；
步骤S3：对经过Gabor特征提取后的图像数据按照以下公式进行加权数据融合，得到融合图像Pm：
Pm＝ωP1+(1-ω)P2
其中，ω为融合权值，由花授粉算法确定，初始赋值为0.5，P1和P2分别为两台leapmotion测得的序列图像数据，Pm为融合后的图像数据。
3.根据权利要求2所述的方法，其特征在于，所述基于核极限学习机的手势识别模型中核极限学习机权值、核参数及阈值采用花授粉算法进行优化获得，具体过程如下：
步骤A：以花粉位置作为核极限学习机的权值、核参数、阈值以及融合权值，设置花粉种群参数；
种群数为N，取值范围N∈[300,500]，变异因子为ε0，取值范围ε0∈[0.3,0.7]，转换概率为p，取值范围p∈[0.4,0.9]，最大迭代次数为t，t＝1000，融合权值的初始赋值为0.5；
步骤B：设置适应度函数，并随机初始化每个花粉的位置，计算每个花粉的适应度函数值，t＝1；
将每个花粉位置对应的核极限学习机的权值、核参数、阈值以及融合权值参数代入基于核极限学习机的手势识别模型中，利用花粉位置确定的基于核极限学习机的手势识别模型输出手势类别编号与实际对应的手势类别编号的差值的倒数作为适应度函数f(x)；
步骤C：生成随机数rand∈[0,1]，若转换概率p＞rand，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；
步骤D：计算每个花粉的适应度函数值，并找出当前最优解；
步骤E：判断是否达到最大迭代次数，若不满足，转步骤C，且令t＝t+1，若满足，转步骤F；
步骤F：输出最优位置花粉，并且得到最优位置花粉对应的基于核极限学习机的手势识别模型。
4.根据权利要求2或3所述的方法，其特征在于，对手势的leapmotion序列图像进行预处理是指对图像进行灰度变换和对比度增强处理。
5.根据权利要求2或3所述的方法，其特征在于，所述机械臂控制手势包括以下7类：
1)右手向右平移手势对应机械臂末端向右平移；2)右手向左平移手势对应机械臂末端向左平移；
3)右手向前平移手势对应机械臂末端向前平移；4)右手向后平移手势对应机械臂末端向后平移；
5)右手握拳手势对应机械臂末端停止；6)左手五指伸开手势对应机械臂末端夹器松开；
7)左手握拳手势对应机械臂末端夹器抓取。
6.根据权利要求2所述的方法，其特征在于，在对经过步骤S1处理后的数据提取Gabor特征后，在进行归一化处理前，采用PCA算法对所述Gabor特征进行降维处理。
CN201711364995.XA 2017-12-18 2017-12-18 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法 Active CN108044625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711364995.XA CN108044625B (zh) 2017-12-18 2017-12-18 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711364995.XA CN108044625B (zh) 2017-12-18 2017-12-18 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法

Publications (2)

Publication Number Publication Date
CN108044625A CN108044625A (zh) 2018-05-18
CN108044625B true CN108044625B (zh) 2019-08-30

Family

ID=62133566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711364995.XA Active CN108044625B (zh) 2017-12-18 2017-12-18 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法

Country Status (1)

Country Link
CN (1) CN108044625B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN109955254B (zh) * 2019-04-30 2020-10-09 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN110826426B (zh) * 2019-10-21 2022-07-29 中国汽车技术研究中心有限公司 一种车载手势识别测试系统及测试方法
CN112917470A (zh) * 2019-12-06 2021-06-08 鲁班嫡系机器人（深圳）有限公司 一种机械手的示教方法、装置、系统、存储介质及设备
CN111152218B (zh) * 2019-12-31 2021-10-08 浙江大学 一种异构仿人机械臂的动作映射方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530619B (zh) * 2013-10-29 2016-08-31 北京交通大学 基于rgb-d数据构成的少量训练样本的手势识别方法
TWI547355B (zh) * 2013-11-11 2016-09-01 財團法人工業技術研究院 人機共生安全監控系統及其方法
CN104007819B (zh) * 2014-05-06 2017-05-24 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法
CN106774942A (zh) * 2017-01-18 2017-05-31 华南理工大学 一种实时3d远程人机交互系统
CN106945059B (zh) * 2017-03-27 2019-11-22 中国地质大学（武汉） 一种基于种群随机乱序多目标遗传算法的手势跟踪方法

Also Published As

Publication number Publication date
CN108044625A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN108044625B (zh) 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法
Yang et al. A learning framework of adaptive manipulative skills from human to robot
CN109993073B (zh) 一种基于Leap Motion的复杂动态手势识别方法
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
CN109702741B (zh) 基于自监督学习神经网络的机械臂视觉抓取系统及方法
JP5209751B2 (ja) ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
Chao et al. A robot calligraphy system: From simple to complex writing by human gestures
Li et al. A mobile robot hand-arm teleoperation system by vision and imu
CN110914022B (zh) 直接教导机器人的系统和方法
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN105512621A (zh) 一种基于Kinect的羽毛球动作指导系统
Elforaici et al. Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches
CN109940626B (zh) 一种基于机器人视觉的画眉机器人系统的控制方法
CN109766782B (zh) 基于svm的实时肢体动作识别方法
CN107450376B (zh) 一种基于智能移动平台的服务机械臂抓取姿态角计算方法
CN110385694A (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
Zhang et al. A real-time upper-body robot imitation system
Inoue et al. Transfer learning from synthetic to real images using variational autoencoders for robotic applications
CN110555383A (zh) 一种基于卷积神经网络和3d估计的手势识别方法
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
US20220032468A1 (en) Robotic drawing
CN109214295B (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
Wang et al. Robot programming by demonstration with a monocular RGB camera
Peng et al. A single upper limb pose estimation method based on the improved stacked hourglass network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant