CN107351058A - 基于增强现实的机器人示教方法 - Google Patents

基于增强现实的机器人示教方法 Download PDF

Info

Publication number
CN107351058A
CN107351058A CN201710431671.7A CN201710431671A CN107351058A CN 107351058 A CN107351058 A CN 107351058A CN 201710431671 A CN201710431671 A CN 201710431671A CN 107351058 A CN107351058 A CN 107351058A
Authority
CN
China
Prior art keywords
mtd
msub
mrow
mtr
robot
Prior art date
Application number
CN201710431671.7A
Other languages
English (en)
Inventor
杜广龙
张平
陈明轩
Original Assignee
华南理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南理工大学 filed Critical 华南理工大学
Priority to CN201710431671.7A priority Critical patent/CN107351058A/zh
Publication of CN107351058A publication Critical patent/CN107351058A/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop

Abstract

本发明提供了基于增强现实的机器人示教方法,该方法基于增强现实技术和自然人机交互技术,它允许操作者在真实场景中对利用增强现实设备显示的虚拟机器人进行快速示教和实时验证。包括步骤:(1)显示虚拟机器人并建立坐标系;(2)虚拟机器人示教;(3)驱动真实机器人。本发明使用了非接触式的人机接口,它可以获取操作者手部的位置和姿态以及操作者的语音指令,实时在虚拟机器人验证机器人运动轨迹,最后驱动真实机器人。

Description

基于増强现实的机器人示教方法
技术领域
[0001] 本发明属于机器人运动领域,特别涉及一种基于增强现实的机器人示教方法。
背景技术
[0002] 针对在线示教过分依赖于实际环境和离线示教过分脱离实际环境,这篇发明提出 了一种基于增强现实技术(Augmented Reality,AR)的机器人示教方法。该方法是综合在线 示教和离线示教的一个折中的方法,其利用增强现实技术允许操作者在真实场景中对虚拟 机器人进行快速示教和实时验证,即达到“所见即所得”效果。增强现实设备将虚拟机器人 投影到真实机器人上,并与真实机器人重叠,操作者通过佩戴增强现实设备后只需要利用 自然交互方式(三维手势和自然语言)对虚拟机器人进行快速示教,待示教完毕后真实机器 人只需要重复虚拟机器人的动作即可完成对真实机器人的示教。该方法避免对真实机器人 的接触,既提高示教效率的同时避免示教失败时对机器人或工件产生损害,又保证了操作 者的安全。
发明内容
[0003] 这个发明提出了一种基于增强现实技术和自然人机交互技术的机器人在线示教 方法,它允许操作者在真实场景中对利用增强现实设备显示的虚拟机器人进行快速示教和 实时验证。本发明使用了非接触式的人机接口,它可以获取操作者手部的位置和姿态以及 操作者的语音指令,实时在虚拟机器人验证机器人运动轨迹,最后驱动真实机器人。
[0004] 本发明包括如下步骤:
[0005] Sl、显示虚拟机器人并建立坐标系;
[0006] S2、虚拟机器人示教;
[0007] S3、驱动真实机器人。
[0008] 所述步骤Sl包括以下步骤:
[0009] 增强现实设备将虚拟机器人投影到真实机器人上,并与真实机器人重叠。
[0010] 机器人基座、机器人关节、增强现实设备坐标系、人手坐标系均采用3个互相正交 的轴来表示。机器人基座坐标系XOy平面为水平方向;Z轴正方向为竖直向上。机器人关节i 坐标系中Zp1轴位于按右手规则旋转轴方向;Xp1轴沿Zi-^Zi公垂线方向。增强现实设备坐 标系中Zl轴为沿着操作者上方向;Xl轴为沿着操作者右方向;Yl轴正方向为操作者前方向。 人手坐标系中Zh轴负方向为四指方向;Xh轴方向垂直手背向上;Yh轴为拇指方向。
[0011] 所述步骤S2包括以下步骤:
[0012] 1)位置和姿态模型
[0013] 机器人采用Denavit-Hartenberg (D-H)模型,Ai表示从坐标系i-ι到坐标系i的齐 次坐标变换矩阵,则有:
Figure CN107351058AD00051
[0015] 其中Q1表示在坐标变换时绕Zh旋转的角度,使得Xh和X1相互平行;ri表示在坐标 变换时沿Zh平移的距离,使得Xh和X1共线;I1表示在坐标变换时Xh平移的距离,使得Xh 和Xi的原点重合;Cti表示在坐标变换时Zi-^Xi旋转的角度,使得ZidPZi原点重合,方向一 致。
[0016] 对于一个具有六关节的虚拟机器人,从基座坐标系到第六个关节的齐次变换矩阵 定义为:
[0017] Τθ = A1A2A3A4A5A6 (2)
[0018] 定义在t时刻虚拟机器人末端在关节空间的位置和姿态为:
[0019]
Figure CN107351058AD00052
[0020] 其中J1为机器人第i个关节角;
[0021] 利用式(1),(2)对T6进行逆运动学求解,得到初始时刻虚拟机器人各个关节角度 值Xo;
[0022] 从机器人末端坐标系到人手坐标系的齐次变换矩阵定义为:
Figure CN107351058AD00053
[0024] 其中向量1为人手与机器人末端的距离;
[0025] 定义Zt为t时刻人手的位置和姿态,有:
[0026] T6A7 = Zt (5)
[0027] 在示教过程中,虚拟机器人跟随操作者的手指运动,即在笛卡尔状态空间里虚拟 机器人末端和人手的位姿一致,通过(4),(5)对Zt进行逆运动学求解得到Xt,S卩t时刻虚拟机 器人各个关节角。
[0028] 2)语音指令输入
[0029] 操作者直接通过语音指令来对虚拟机器人进行微调操作,对语音进行识别,获取 指令语句中的方向,操作,特征值,单位等参数。对语音识别完毕后,进入意图理解部分。该 部分主要是将自然语言指令转化为对应的机器人控制指令。在对刚识别完的自然语言指令 进行理解转化之前,要有一个最大熵分类模型,从训练语料库中提取文本特征,然后利用 TF-IDF对文本特征进行特征向量加权,将文本表示为文本特征向量,有η个词就表示为η维 特征向量。然后利用最大熵算法,对文本特征向量与对应的意图输出标签的条件概率进行 建模,得到分布最均匀的模型,利用公式:
Figure CN107351058AD00054
(6)
[0031]得到最大熵概率分布,从而完成最大熵建模。其中,fi (x,y)为第i个特征函数,若 文本向量与对应的输出标签现在同一个样本中,贝1Jfi (X,y)等于1,否则为〇。\为fi (x,y)对 应的权值,Z(X)为归一化因子。最大熵分类模型建立之后,对文本特征向量进行分类,最后 得到机器人控制指令,并转化为位置和姿态微调矩阵τ':
Figure CN107351058AD00061
[0033]特别低,若操作者没有进行语音指令输入,有:
Figure CN107351058AD00062
[0035] 定义X/为t时刻虚拟机器人末端的根据语音指令微调后的理想位置和姿态,有:
[0036] T6A7T7=Zt7 (9)
[0037] 通过求解(7),(9),对Zt'进行逆运动学求解得到Xt'。
[0038] 根据Xt 7,虚拟机器人可到达示教指定位置。
[0039] 所述步骤S3包括以下步骤:
[0040] 虚拟机器人到达指定位置后,由操作者确认虚拟机器人运动轨迹是否所需示教轨 迹,若满足示教需求,则驱动真实机器人完成由虚拟机器人规划的运动路径;先对虚拟机器 人进行快速示教,避免对真实机器人的接触,既提高示教效率的同时避免示教失败时对机 器人或工件产生损害,又保证了操作者的安全。
[0041] 本发明相对于现有技术具有如下的优点及效果:
[0042] 本发明提出了一种使用增强现实设备对虚拟机器人示教完成后再驱动真实机器 人的方法。这种基于增强现实的接口允许操作者移动手势和语音控制机器人达到所需位 姿。且示教方法先驱动的是虚拟机器人,运动速度可超过真实机器人以加快示教过程,同时 示教失败时不会对机器人或工件产生损害,也不会与操作者发生物理接触。
附图说明
[0043] 图1是基于增强现实的机器人示教方法流程图;
[0044] 图2是机器人、增强现实设备、人手坐标系示意图;
[0045]图3是具体实施例子示意图。
具体实施方式
[0046] 下面结合实施例对本发明作进一步详细的描述,但本发明的实施方式不限于此实 施例。本发明包括如下步骤:
[0047] SI、显示虚拟机器人并建立坐标系;
[0048] S2、虚拟机器人示教;
[0049] S3、驱动真实机器人。
[0050] 所述步骤Sl包括以下步骤:
[0051] 增强现实设备HoloLens将虚拟机器人投影到真实机器人上,并与真实机器人重 叠。
[0052] 机器人基座、机器人关节、增强现实设备坐标系、人手坐标系均采用3个互相正交 的轴来表示。机器人基座坐标系x〇y平面为水平方向;z轴正方向为竖直向上。机器人关节i 坐标系中Zh轴位于按右手规则旋转轴方向;公垂线方向。增强现实设备坐 标系中Zl轴为沿着操作者上方向;Xl轴为沿着操作者右方向;Yl轴正方向为操作者前方向。 人手坐标系中Zh轴负方向为四指方向;Xh轴方向垂直手背向上;Yh轴为拇指方向,见图2。
[0053] 所述步骤S2包括以下步骤:
[0054] 1)位置和姿态模型
[0055] 机器人采用Denavit-Hartenberg (D-H)模型,Ai表示从坐标系i-ι到坐标系i的齐 次坐标变换矩阵,则有:
Figure CN107351058AD00071
[0057] 其中Q1表示在坐标变换时绕Z1^旋转的角度,使得X1^和X1相互平行;ri表示在坐标 变换时沿Zh平移的距离,使得Xh和X1共线;I1表示在坐标变换时Xh平移的距离,使得Xh 和Xi的原点重合;Cti表示在坐标变换时Zi-^Xi旋转的角度,使得ZidPZi原点重合,方向一 致。
[0058] 对于一个具有六关节的虚拟机器人,从基座坐标系到第六个关节的齐次变换矩阵 定义为:
[0059] T6 = AiA2. . .A6 (2)
[0060] 在本次实例中对于一个具有六关节的机器人,D-H参数选用如下:
Figure CN107351058AD00072
[0065] 定义在t时刻虚拟机器人末端在关节空间的位置和姿态为:
Figure CN107351058AD00073
[0067] 其中J1为机器人第i个关节角。
[0068] 在本次实例中,利用式(1),(2)对T6进行逆运动学求解,得到初始时刻虚拟机器人 各个关节角度值Xo:
Figure CN107351058AD00074
(8)
[0070]从机器人末端坐标系到人手坐标系的齐次变换矩阵定义为:
Figure CN107351058AD00075
[0072] 其中向量1为人手与虚拟机器人末端的距离,在本次实例中人手与虚拟机器人末 端在X轴距离为200毫米,y轴与z轴相对距离为0,手指与末端执行器方向一致,有;
Figure CN107351058AD00081
(10)
[0074] 定义Zt为t时刻人手的位置和姿态,有:
[0075] T6A7 = Zt (11)
[0076] 在示教过程中,虚拟机器人跟随操作者的手指运动,即在笛卡尔状态空间里虚拟 机器人末端和人手的位姿一致,通过(10),(11)对Zt进行逆运动学求解得到Xt,S卩t时刻虚拟 机器人各个关节角。
[0077] 2)语音指令输入
[0078] 操作者直接通过语音指令来对虚拟机器人进行微调操作,对语音进行识别,获取 指令语句中的方向,操作,特征值,单位等参数。对语音识别完毕后,进入意图理解部分。该 部分主要是将自然语言指令转化为对应的机器人控制指令。在对刚识别完的自然语言指令 进行理解转化之前,要有一个最大熵分类模型,从训练语料库中提取文本特征,然后利用 TF-IDF对文本特征进行特征向量加权,将文本表示为文本特征向量,有η个词就表示为η维 特征向量。然后利用最大熵算法,对文本特征向量与对应的意图输出标签的条件概率进行 建模,得到分布最均匀的模型,利用公式:
Figure CN107351058AD00082
(12)
[0080]得到最大熵概率分布,从而完成最大熵建模。其中,fi (X,y)为第i个特征函数,若 文本向量与对应的输出标签现在同一个样本中,贝1Jfi (X,y)等于1,否则为〇。\为fi (x,y)对 应的权值,Z(X)为归一化因子。最大熵分类模型建立之后,对文本特征向量进行分类,最后 得到机器人控制指令,并转化为位置和姿态微调矩阵在本实例中,语音指令为y方向平 移3毫米,有:
Figure CN107351058AD00083
(b)
[0082] 定义X/为t时刻虚拟机器人末端的根据语音指令微调后的理想位置和姿态,有:
[0083] T6A7T7=Zt7 (14)
[0084] 通过求解(13),(14),对Z/进行逆运动学求解得到X/。
[0085] 根据Xt 7,虚拟机器人可到达示教指定位置。
[0086] 所述步骤S3包括以下步骤:
[0087] 虚拟机器人到达指定位置后,由操作者确认虚拟机器人运动轨迹是否所需示教轨 迹,若满足示教需求,则驱动真实机器人完成由虚拟机器人规划的运动路径。
[0088] 本次实例中示意见图3,图中包括真实机器人1、虚拟机器人2、AR眼睛3、操作者4。
[0089] 上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的 限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化, 均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (4)

1. 基于增强现实的机器人示教方法,其特征在于,包括如下步骤: 51、 显示虚拟机器人并建立坐标系; 52、 虚拟机器人示教; 53、 驱动真实机器人。
2. 根据权利要求1所述的基于增强现实的机器人示教方法,其特征在于,所述步骤Sl具 体包括: 增强现实设备将虚拟机器人投影到真实机器人上,并与真实机器人重叠; 机器人基座、机器人关节、增强现实设备坐标系、人手坐标系均采用3个互相正交的轴 来表示;机器人基座坐标系x〇y平面为水平方向;z轴正方向为竖直向上;机器人关节i坐标 系中Zh轴位于按右手规则旋转轴方向;Xh轴沿2^与21公垂线方向;增强现实设备坐标系 中Zl轴为沿着操作者上方向;Xl轴为沿着操作者右方向;Yl轴正方向为操作者前方向;人手 坐标系中Zh轴负方向为四指方向;Xh轴方向垂直手背向上;Yh轴为拇指方向。
3. 根据权利要求1所述的基于增强现实的机器人示教方法,其特征在于,所述步骤S2包 括以下步骤: 1)位置和姿态模型 机器人采用Denavit-Hartenberg (D-H)模型,Ai表示从坐标系i-Ι到坐标系i的齐次坐标 变=拖钽陈,01丨有,
Figure CN107351058AC00021
其中Q1表示在坐标变换时绕Zh旋转的角度,使得Xh和X1相互平行;^表示在坐标变换 时沿Zh平移的距离,使得Xh和X1共线;I1表示在坐标变换时Xh平移的距离,使得Xh和X1 的原点重合;Cti表示在坐标变换时2^1绕乂1旋转的角度,使得Zi-JPZi原点重合,方向一致; 对于一个具有六关节的虚拟机器人,从基座坐标系到第六个关节的齐次变换矩阵定义 为-
Figure CN107351058AC00022
定义在t时刻虚拟机器人末端在关节空间的位置和姿态为:
Figure CN107351058AC00023
其中Ji,t为t时刻虚拟机器人第i个关节角; 利用式(1),⑵对T6进行逆运动学求解,得到初始时刻虚拟机器人各个关节角度值X0; 从机器人末端坐标系到人手坐标系的齐次变换矩阵定义为:
Figure CN107351058AC00024
其中向量1为人手与机器人末端的距离; 定义Zt为t时刻人手的位置和姿态,有:
Figure CN107351058AC00025
在示教过程中,虚拟机器人跟随操作者的手指运动,即在笛卡尔状态空间里虚拟机器 人末端和人手的位姿一致,通过式⑷、⑶对Zt进行逆运动学求解得到Xt,S卩t时刻虚拟机器 人各个关节角; 2)语音指令输入 操作者直接通过语音指令来对虚拟机器人进行微调操作,对语音进行识别,获取指令 语句中的方向、操作、特征值、单位参数;对语音识别完毕后,进入意图理解部分;意图理解 部分主要是将自然语言指令转化为对应的机器人控制指令;在对刚识别完的自然语言指令 进行理解转化之前,要有一个最大熵分类模型,从训练语料库中提取文本特征,然后利用 TF-IDF对文本特征进行特征向量加权,将文本表示为文本特征向量,有η个词就表示为η维 特征向量;然后利用最大熵算法,对文本特征向量与对应的意图输出标签的条件概率进行 建模,得到分布最均匀的模型,利用公式:
Figure CN107351058AC00031
得到最大熵概率分布,从而完成最大熵建模,其中为第i个特征函数,若文本向 量与对应的输出标签出现在同一个样本中,则fi (X,y)等于1,否则为0; AiSf i (X,y)对应的 权值,Z(X)为归一化因子;最大熵分类模型建立之后,对文本特征向量进行分类,最后得到 机器人控制指令,并转化为位置和姿态微调矩阵T':
Figure CN107351058AC00032
其_
Figure CN107351058AC00033
Z分别是运动坐标系Fn, o,a在参考坐标系Fx,y,Z 三轴方向上的分量,p\,p%,p、表示运动坐标系Fn,。,a原点相对于参考坐标系Fx,位置; 特别地,若操作者没有进行语音指令输入,有:
Figure CN107351058AC00034
定义X、为t时刻虚拟机器人末端的根据语音指令微调后的理想位置和姿态,有:
Figure CN107351058AC00035
其中时刻根据语音指令微调后人手的位置和姿态;通过求解(7),(9),对Z/进行 逆运动学求解得到X71; 根据X71,虚拟机器人可到达示教指定位置。
4.根据权利要求1所述的基于增强现实的机器人示教方法,其特征在于,所述步骤S3具 体包括: 虚拟机器人到达指定位置后,由操作者确认虚拟机器人运动轨迹是否所需示教轨迹, 若满足示教需求,则驱动真实机器人完成由虚拟机器人规划的运动路径;先对虚拟机器人 进行快速示教,避免对真实机器人的接触。
CN201710431671.7A 2017-06-08 2017-06-08 基于增强现实的机器人示教方法 CN107351058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710431671.7A CN107351058A (zh) 2017-06-08 2017-06-08 基于增强现实的机器人示教方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710431671.7A CN107351058A (zh) 2017-06-08 2017-06-08 基于增强现实的机器人示教方法

Publications (1)

Publication Number Publication Date
CN107351058A true CN107351058A (zh) 2017-11-17

Family

ID=60272716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710431671.7A CN107351058A (zh) 2017-06-08 2017-06-08 基于增强现实的机器人示教方法

Country Status (1)

Country Link
CN (1) CN107351058A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108161882A (zh) * 2017-12-08 2018-06-15 华南理工大学 一种基于增强现实的机器人示教再现方法及装置
CN108333941A (zh) * 2018-02-13 2018-07-27 华南理工大学 一种基于混合增强智能的云机器人协作学习方法
CN108356796A (zh) * 2018-01-12 2018-08-03 宁波易拓智谱机器人有限公司 一种可适配多种工业机器人的示教系统
CN108356817A (zh) * 2018-01-12 2018-08-03 宁波易拓智谱机器人有限公司 一种基于3d模型的示教方法
CN108447477A (zh) * 2018-01-30 2018-08-24 华南理工大学 一种基于自然语言理解的机器人控制方法
CN108481323A (zh) * 2018-03-14 2018-09-04 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104002296A (zh) * 2013-02-21 2014-08-27 株式会社安川电机 机器人模拟器、机器人示教装置以及机器人示教方法
CN104238418A (zh) * 2014-07-02 2014-12-24 北京理工大学 一种交互现实系统和方法
CN106020494A (zh) * 2016-06-20 2016-10-12 华南理工大学 基于移动跟踪的三维手势识别方法
CN106095109A (zh) * 2016-06-20 2016-11-09 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN106363637A (zh) * 2016-10-12 2017-02-01 华南理工大学 一种机器人快速示教方法及装置
US20170039859A1 (en) * 2015-08-03 2017-02-09 Amber Garage, Inc. Planning a flight path by identifying key frames

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104002296A (zh) * 2013-02-21 2014-08-27 株式会社安川电机 机器人模拟器、机器人示教装置以及机器人示教方法
CN104238418A (zh) * 2014-07-02 2014-12-24 北京理工大学 一种交互现实系统和方法
US20170039859A1 (en) * 2015-08-03 2017-02-09 Amber Garage, Inc. Planning a flight path by identifying key frames
CN106020494A (zh) * 2016-06-20 2016-10-12 华南理工大学 基于移动跟踪的三维手势识别方法
CN106095109A (zh) * 2016-06-20 2016-11-09 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN106363637A (zh) * 2016-10-12 2017-02-01 华南理工大学 一种机器人快速示教方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108161882A (zh) * 2017-12-08 2018-06-15 华南理工大学 一种基于增强现实的机器人示教再现方法及装置
CN108356796A (zh) * 2018-01-12 2018-08-03 宁波易拓智谱机器人有限公司 一种可适配多种工业机器人的示教系统
CN108356817A (zh) * 2018-01-12 2018-08-03 宁波易拓智谱机器人有限公司 一种基于3d模型的示教方法
CN108447477A (zh) * 2018-01-30 2018-08-24 华南理工大学 一种基于自然语言理解的机器人控制方法
CN108333941A (zh) * 2018-02-13 2018-07-27 华南理工大学 一种基于混合增强智能的云机器人协作学习方法
CN108481323A (zh) * 2018-03-14 2018-09-04 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Similar Documents

Publication Publication Date Title
Yang et al. Interface design of a physical human–robot interaction system for human impedance adaptive skill transfer
Wang et al. Visual servoing of soft robot manipulator in constrained environments with an adaptive controller
CN104965517B (zh) 一种机器人笛卡尔空间轨迹的规划方法
US9701015B2 (en) Vision-guided robots and methods of training them
Haddadin Towards safe robots: approaching Asimov’s 1st law
Ewerton et al. Learning multiple collaborative tasks with a mixture of interaction primitives
Reiser et al. Care-o-bot® 3-creating a product vision for service robot applications by integrating design and technology
CN102814814B (zh) 一种双臂机器人基于Kinect的人机交互方法
Qian et al. Developing a gesture based remote human-robot interaction system using kinect
CN106444861B (zh) 一种基于三维手势的空间机器人遥操作系统
Ott et al. Motion capture based human motion recognition and imitation by direct marker control
Dang et al. Semantic grasping: Planning robotic grasps functionally suitable for an object manipulation task
Onishi et al. Generation of human care behaviors by human-interactive robot RI-MAN
Schulman et al. A case study of trajectory transfer through non-rigid registration for a simplified suturing scenario
CN107932504B (zh) 基于PyQt的机械臂运行控制系统
EP1537959A2 (en) A method and a system for programming an industrial robot
Hersch et al. Dynamical system modulation for robot learning via kinesthetic demonstrations
Dariush et al. Online transfer of human motion to humanoids
Alonso-Mora et al. Gesture based human-multi-robot swarm interaction and its application to an interactive display
US20130096719A1 (en) Method for dynamic optimization of a robot control interface
Aleotti et al. Grasp recognition in virtual reality for robot pregrasp planning by demonstration
CN106625670B (zh) 一种多功能人机交互仿人教育机器人的控制系统和方法
Xu et al. An analysis of the inverse kinematics for a 5-DOF manipulator
Iba et al. An architecture for gesture-based control of mobile robots
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination