CN107351058A - 基于增强现实的机器人示教方法 - Google Patents
基于增强现实的机器人示教方法 Download PDFInfo
- Publication number
- CN107351058A CN107351058A CN201710431671.7A CN201710431671A CN107351058A CN 107351058 A CN107351058 A CN 107351058A CN 201710431671 A CN201710431671 A CN 201710431671A CN 107351058 A CN107351058 A CN 107351058A
- Authority
- CN
- China
- Prior art keywords
- mtd
- msub
- mrow
- mtr
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
Abstract
本发明提供了基于增强现实的机器人示教方法，该方法基于增强现实技术和自然人机交互技术，它允许操作者在真实场景中对利用增强现实设备显示的虚拟机器人进行快速示教和实时验证。包括步骤：(1)显示虚拟机器人并建立坐标系；(2)虚拟机器人示教；(3)驱动真实机器人。本发明使用了非接触式的人机接口，它可以获取操作者手部的位置和姿态以及操作者的语音指令，实时在虚拟机器人验证机器人运动轨迹，最后驱动真实机器人。
Description
技术领域
本发明属于机器人运动领域，特别涉及一种基于增强现实的机器人示教方法。
背景技术
针对在线示教过分依赖于实际环境和离线示教过分脱离实际环境，这篇发明提出了一种基于增强现实技术(Augmented Reality，AR)的机器人示教方法。该方法是综合在线示教和离线示教的一个折中的方法，其利用增强现实技术允许操作者在真实场景中对虚拟机器人进行快速示教和实时验证，即达到“所见即所得”效果。增强现实设备将虚拟机器人投影到真实机器人上，并与真实机器人重叠，操作者通过佩戴增强现实设备后只需要利用自然交互方式(三维手势和自然语言)对虚拟机器人进行快速示教，待示教完毕后真实机器人只需要重复虚拟机器人的动作即可完成对真实机器人的示教。该方法避免对真实机器人的接触，既提高示教效率的同时避免示教失败时对机器人或工件产生损害，又保证了操作者的安全。
发明内容
这个发明提出了一种基于增强现实技术和自然人机交互技术的机器人在线示教方法，它允许操作者在真实场景中对利用增强现实设备显示的虚拟机器人进行快速示教和实时验证。本发明使用了非接触式的人机接口，它可以获取操作者手部的位置和姿态以及操作者的语音指令，实时在虚拟机器人验证机器人运动轨迹，最后驱动真实机器人。
本发明包括如下步骤：
S1、显示虚拟机器人并建立坐标系；
S2、虚拟机器人示教；
S3、驱动真实机器人。
所述步骤S1包括以下步骤：
增强现实设备将虚拟机器人投影到真实机器人上，并与真实机器人重叠。
机器人基座、机器人关节、增强现实设备坐标系、人手坐标系均采用3个互相正交的轴来表示。机器人基座坐标系xOy平面为水平方向；z轴正方向为竖直向上。机器人关节i坐标系中Zi-1轴位于按右手规则旋转轴方向；Xi-1轴沿Zi-1与Zi公垂线方向。增强现实设备坐标系中ZL轴为沿着操作者上方向；XL轴为沿着操作者右方向；YL轴正方向为操作者前方向。人手坐标系中ZH轴负方向为四指方向；XH轴方向垂直手背向上；YH轴为拇指方向。
所述步骤S2包括以下步骤：
1)位置和姿态模型
机器人采用Denavit‐Hartenberg(D‐H)模型，Ai表示从坐标系i-1到坐标系i的齐次坐标变换矩阵，则有：
其中θi表示在坐标变换时绕Zi-1旋转的角度，使得Xi-1和Xi相互平行；ri表示在坐标变换时沿Zi-1平移的距离，使得Xi-1和Xi共线；li表示在坐标变换时Xi-1平移的距离，使得Xi-1和Xi的原点重合；αi表示在坐标变换时Zi-1绕Xi旋转的角度，使得Zi-1和Zi原点重合，方向一致。
对于一个具有六关节的虚拟机器人，从基座坐标系到第六个关节的齐次变换矩阵定义为：
T6＝A1A2A3A4A5A6 (2)
定义在t时刻虚拟机器人末端在关节空间的位置和姿态为：
Xt＝[J1,t J2,t J3,t J4,t J5,t J6,t]T (3)
其中Ji为机器人第i个关节角；
利用式(1)，(2)对T6进行逆运动学求解，得到初始时刻虚拟机器人各个关节角度值X0；
从机器人末端坐标系到人手坐标系的齐次变换矩阵定义为：
其中向量l为人手与机器人末端的距离；
定义Zt为t时刻人手的位置和姿态，有：
T6A7＝Zt (5)
在示教过程中，虚拟机器人跟随操作者的手指运动，即在笛卡尔状态空间里虚拟机器人末端和人手的位姿一致，通过(4)，(5)对Zt进行逆运动学求解得到Xt，即t时刻虚拟机器人各个关节角。
2)语音指令输入
操作者直接通过语音指令来对虚拟机器人进行微调操作，对语音进行识别，获取指令语句中的方向，操作，特征值，单位等参数。对语音识别完毕后，进入意图理解部分。该部分主要是将自然语言指令转化为对应的机器人控制指令。在对刚识别完的自然语言指令进行理解转化之前，要有一个最大熵分类模型，从训练语料库中提取文本特征，然后利用TF‐IDF对文本特征进行特征向量加权，将文本表示为文本特征向量，有n个词就表示为n维特征向量。然后利用最大熵算法，对文本特征向量与对应的意图输出标签的条件概率进行建模，得到分布最均匀的模型，利用公式：
得到最大熵概率分布，从而完成最大熵建模。其中，fi(x,y)为第i个特征函数，若文本向量与对应的输出标签现在同一个样本中，则fi(x,y)等于1，否则为0。λi为fi(x,y)对应的权值，Z(x)为归一化因子。最大熵分类模型建立之后，对文本特征向量进行分类,最后得到机器人控制指令，并转化为位置和姿态微调矩阵T′：
特别低，若操作者没有进行语音指令输入，有：
定义Xt′为t时刻虚拟机器人末端的根据语音指令微调后的理想位置和姿态，有：
T6A7T′＝Zt′ (9)
通过求解(7)，(9)，对Zt′进行逆运动学求解得到Xt′。
根据Xt′，虚拟机器人可到达示教指定位置。
所述步骤S3包括以下步骤：
虚拟机器人到达指定位置后，由操作者确认虚拟机器人运动轨迹是否所需示教轨迹，若满足示教需求，则驱动真实机器人完成由虚拟机器人规划的运动路径；先对虚拟机器人进行快速示教，避免对真实机器人的接触，既提高示教效率的同时避免示教失败时对机器人或工件产生损害，又保证了操作者的安全。
本发明相对于现有技术具有如下的优点及效果：
本发明提出了一种使用增强现实设备对虚拟机器人示教完成后再驱动真实机器人的方法。这种基于增强现实的接口允许操作者移动手势和语音控制机器人达到所需位姿。且示教方法先驱动的是虚拟机器人，运动速度可超过真实机器人以加快示教过程，同时示教失败时不会对机器人或工件产生损害，也不会与操作者发生物理接触。
附图说明
图1是基于增强现实的机器人示教方法流程图；
图2是机器人、增强现实设备、人手坐标系示意图；
图3是具体实施例子示意图。
具体实施方式
下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此实施例。本发明包括如下步骤：
S1、显示虚拟机器人并建立坐标系；
S2、虚拟机器人示教；
S3、驱动真实机器人。
所述步骤S1包括以下步骤：
增强现实设备HoloLens将虚拟机器人投影到真实机器人上，并与真实机器人重叠。
机器人基座、机器人关节、增强现实设备坐标系、人手坐标系均采用3个互相正交的轴来表示。机器人基座坐标系xOy平面为水平方向；z轴正方向为竖直向上。机器人关节i坐标系中Zi-1轴位于按右手规则旋转轴方向；Xi-1轴沿Zi-1与Zi公垂线方向。增强现实设备坐标系中ZL轴为沿着操作者上方向；XL轴为沿着操作者右方向；YL轴正方向为操作者前方向。人手坐标系中ZH轴负方向为四指方向；XH轴方向垂直手背向上；YH轴为拇指方向，见图2。
所述步骤S2包括以下步骤：
1)位置和姿态模型
机器人采用Denavit‐Hartenberg(D‐H)模型，Ai表示从坐标系i-1到坐标系i的齐次坐标变换矩阵，则有：
其中θi表示在坐标变换时绕Zi-1旋转的角度，使得Xi-1和Xi相互平行；ri表示在坐标变换时沿Zi-1平移的距离，使得Xi-1和Xi共线；li表示在坐标变换时Xi-1平移的距离，使得Xi-1和Xi的原点重合；αi表示在坐标变换时Zi-1绕Xi旋转的角度，使得Zi-1和Zi原点重合，方向一致。
对于一个具有六关节的虚拟机器人，从基座坐标系到第六个关节的齐次变换矩阵定义为：
T6＝A1A2...A6 (2)
在本次实例中对于一个具有六关节的机器人，D‐H参数选用如下：
θ＝[0 0 0 0 0 0]T (3)
r＝[250 0 0 650 0 -200]T (4)
l＝[150 570 150 0 0 0]T (5)
定义在t时刻虚拟机器人末端在关节空间的位置和姿态为：
Xt＝[J1,t J2,t J3,t J4,t J5,t J6,t]T (7)
其中Ji为机器人第i个关节角。
在本次实例中，利用式(1)，(2)对T6进行逆运动学求解，得到初始时刻虚拟机器人各个关节角度值X0：
从机器人末端坐标系到人手坐标系的齐次变换矩阵定义为：
其中向量l为人手与虚拟机器人末端的距离，在本次实例中人手与虚拟机器人末端在x轴距离为200毫米，y轴与z轴相对距离为0，手指与末端执行器方向一致，有；
定义Zt为t时刻人手的位置和姿态，有：
T6A7＝Zt (11)
在示教过程中，虚拟机器人跟随操作者的手指运动，即在笛卡尔状态空间里虚拟机器人末端和人手的位姿一致，通过(10)，(11)对Zt进行逆运动学求解得到Xt，即t时刻虚拟机器人各个关节角。
2)语音指令输入
操作者直接通过语音指令来对虚拟机器人进行微调操作，对语音进行识别，获取指令语句中的方向，操作，特征值，单位等参数。对语音识别完毕后，进入意图理解部分。该部分主要是将自然语言指令转化为对应的机器人控制指令。在对刚识别完的自然语言指令进行理解转化之前，要有一个最大熵分类模型，从训练语料库中提取文本特征，然后利用TF‐IDF对文本特征进行特征向量加权，将文本表示为文本特征向量，有n个词就表示为n维特征向量。然后利用最大熵算法，对文本特征向量与对应的意图输出标签的条件概率进行建模，得到分布最均匀的模型，利用公式：
得到最大熵概率分布，从而完成最大熵建模。其中，fi(x,y)为第i个特征函数，若文本向量与对应的输出标签现在同一个样本中，则fi(x,y)等于1，否则为0。λi为fi(x,y)对应的权值，Z(x)为归一化因子。最大熵分类模型建立之后，对文本特征向量进行分类,最后得到机器人控制指令，并转化为位置和姿态微调矩阵T′，在本实例中，语音指令为y方向平移3毫米，有：
定义Xt′为t时刻虚拟机器人末端的根据语音指令微调后的理想位置和姿态，有：
T6A7T′＝Zt′ (14)
通过求解(13)，(14)，对Zt′进行逆运动学求解得到Xt′。
根据Xt′，虚拟机器人可到达示教指定位置。
所述步骤S3包括以下步骤：
虚拟机器人到达指定位置后，由操作者确认虚拟机器人运动轨迹是否所需示教轨迹，若满足示教需求，则驱动真实机器人完成由虚拟机器人规划的运动路径。
本次实例中示意见图3，图中包括真实机器人1、虚拟机器人2、AR眼睛3、操作者4。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.基于增强现实的机器人示教方法，其特征在于，包括如下步骤：
S1、显示虚拟机器人并建立坐标系；
S2、虚拟机器人示教；
S3、驱动真实机器人。
2.根据权利要求1所述的基于增强现实的机器人示教方法，其特征在于，所述步骤S1具体包括：
增强现实设备将虚拟机器人投影到真实机器人上，并与真实机器人重叠；
机器人基座、机器人关节、增强现实设备坐标系、人手坐标系均采用3个互相正交的轴来表示；机器人基座坐标系xOy平面为水平方向；z轴正方向为竖直向上；机器人关节i坐标系中Zi-1轴位于按右手规则旋转轴方向；Xi-1轴沿Zi-1与Zi公垂线方向；增强现实设备坐标系中ZL轴为沿着操作者上方向；XL轴为沿着操作者右方向；YL轴正方向为操作者前方向；人手坐标系中ZH轴负方向为四指方向；XH轴方向垂直手背向上；YH轴为拇指方向。
3.根据权利要求1所述的基于增强现实的机器人示教方法，其特征在于，所述步骤S2包括以下步骤：
1)位置和姿态模型
机器人采用Denavit‐Hartenberg(D‐H)模型，Ai表示从坐标系i-1到坐标系i的齐次坐标变换矩阵，则有：
<mrow>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中θi表示在坐标变换时绕Zi-1旋转的角度，使得Xi-1和Xi相互平行；ri表示在坐标变换时沿Zi-1平移的距离，使得Xi-1和Xi共线；li表示在坐标变换时Xi-1平移的距离，使得Xi-1和Xi的原点重合；αi表示在坐标变换时Zi-1绕Xi旋转的角度，使得Zi-1和Zi原点重合，方向一致；
对于一个具有六关节的虚拟机器人，从基座坐标系到第六个关节的齐次变换矩阵定义为：
T6＝A1A2A3A4A5A6 (2)
定义在t时刻虚拟机器人末端在关节空间的位置和姿态为：
Xt＝[J1,t J2,t J3,t J4,t J5,t J6,t]T (3)
其中Ji,t为t时刻虚拟机器人第i个关节角；
利用式(1)，(2)对T6进行逆运动学求解，得到初始时刻虚拟机器人各个关节角度值X0；
从机器人末端坐标系到人手坐标系的齐次变换矩阵定义为：
<mrow>
<msub>
<mi>A</mi>
<mn>7</mn>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>l</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>sin&theta;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>cos&theta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>l</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&alpha;</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>l</mi>
<mi>z</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中向量l为人手与机器人末端的距离；
定义Zt为t时刻人手的位置和姿态，有：
T6A7＝Zt (5)
在示教过程中，虚拟机器人跟随操作者的手指运动，即在笛卡尔状态空间里虚拟机器人末端和人手的位姿一致，通过式(4)、(5)对Zt进行逆运动学求解得到Xt，即t时刻虚拟机器人各个关节角；
2)语音指令输入
操作者直接通过语音指令来对虚拟机器人进行微调操作，对语音进行识别，获取指令语句中的方向、操作、特征值、单位参数；对语音识别完毕后，进入意图理解部分；意图理解部分主要是将自然语言指令转化为对应的机器人控制指令；在对刚识别完的自然语言指令进行理解转化之前，要有一个最大熵分类模型，从训练语料库中提取文本特征，然后利用TF‐IDF对文本特征进行特征向量加权，将文本表示为文本特征向量，有n个词就表示为n维特征向量；然后利用最大熵算法，对文本特征向量与对应的意图输出标签的条件概率进行建模，得到分布最均匀的模型，利用公式：
<mrow>
<mi>p</mi>
<mo>*</mo>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>Z</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mi>exp</mi>
<mo>&lsqb;</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
得到最大熵概率分布，从而完成最大熵建模，其中，fi(x,y)为第i个特征函数，若文本向量与对应的输出标签出现在同一个样本中，则fi(x,y)等于1，否则为0；λi为fi(x,y)对应的权值，Z(x)为归一化因子；最大熵分类模型建立之后，对文本特征向量进行分类,最后得到机器人控制指令，并转化为位置和姿态微调矩阵T′：
<mrow>
<msup>
<mi>T</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>n</mi>
<mi>x</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>o</mi>
<mi>x</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>a</mi>
<mi>x</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>p</mi>
<mi>x</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>n</mi>
<mi>y</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>o</mi>
<mi>y</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>a</mi>
<mi>y</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>p</mi>
<mi>y</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>n</mi>
<mi>z</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>o</mi>
<mi>z</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>a</mi>
<mi>z</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>p</mi>
<mi>z</mi>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中n′x，n′y，n′z，o′x，o′y，o′z，a′x，a′y，a′z分别是运动坐标系Fn,o,a在参考坐标系Fx,y,z三轴方向上的分量，p′x，p′y，p′z表示运动坐标系Fn,o,a原点相对于参考坐标系Fx,y,z的位置；
特别地，若操作者没有进行语音指令输入，有：
<mrow>
<msup>
<mi>T</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
定义X′t为t时刻虚拟机器人末端的根据语音指令微调后的理想位置和姿态，有：
T6A7T′＝Z′t (9)
其中Z′t为t时刻根据语音指令微调后人手的位置和姿态；通过求解(7)，(9)，对Zt′进行逆运动学求解得到X′t；
根据X′t，虚拟机器人可到达示教指定位置。
4.根据权利要求1所述的基于增强现实的机器人示教方法，其特征在于，所述步骤S3具体包括：
虚拟机器人到达指定位置后，由操作者确认虚拟机器人运动轨迹是否所需示教轨迹，若满足示教需求，则驱动真实机器人完成由虚拟机器人规划的运动路径；先对虚拟机器人进行快速示教，避免对真实机器人的接触。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710431671.7A CN107351058A (zh) | 2017-06-08 | 2017-06-08 | 基于增强现实的机器人示教方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710431671.7A CN107351058A (zh) | 2017-06-08 | 2017-06-08 | 基于增强现实的机器人示教方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107351058A true CN107351058A (zh) | 2017-11-17 |
Family
ID=60272716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710431671.7A Pending CN107351058A (zh) | 2017-06-08 | 2017-06-08 | 基于增强现实的机器人示教方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107351058A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108161882A (zh) * | 2017-12-08 | 2018-06-15 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
| CN108333941A (zh) * | 2018-02-13 | 2018-07-27 | 华南理工大学 | 一种基于混合增强智能的云机器人协作学习方法 |
| CN108356817A (zh) * | 2018-01-12 | 2018-08-03 | 宁波易拓智谱机器人有限公司 | 一种基于3d模型的示教方法 |
| CN108356796A (zh) * | 2018-01-12 | 2018-08-03 | 宁波易拓智谱机器人有限公司 | 一种可适配多种工业机器人的示教系统 |
| CN108447477A (zh) * | 2018-01-30 | 2018-08-24 | 华南理工大学 | 一种基于自然语言理解的机器人控制方法 |
| CN108481323A (zh) * | 2018-03-14 | 2018-09-04 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程系统及方法 |
| CN109605363A (zh) * | 2017-10-05 | 2019-04-12 | 财团法人交大思源基金会 | 机器人语音操控系统及方法 |
| CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
| CN110815258A (zh) * | 2019-10-30 | 2020-02-21 | 华南理工大学 | 基于电磁力反馈和增强现实的机器人遥操作系统和方法 |
| CN111267073A (zh) * | 2020-03-24 | 2020-06-12 | 青岛理工大学 | 一种基于增强现实技术的工业机器人示教系统及方法 |
| CN111843986A (zh) * | 2019-04-26 | 2020-10-30 | 发那科株式会社 | 机器人示教装置 |
| CN112638594A (zh) * | 2018-09-10 | 2021-04-09 | 发纳科美国公司 | 机器人的连续路径的零示教 |
| CN112847301A (zh) * | 2020-12-21 | 2021-05-28 | 山东华数智能科技有限公司 | 基于便携终端的机器人增强现实示教编程方法 |
| CN113126568A (zh) * | 2021-03-10 | 2021-07-16 | 上海乾庾智能科技有限公司 | 一种基于增强现实技术的工业机器人操作和演示系统 |
| CN114799638A (zh) * | 2022-05-16 | 2022-07-29 | 广州东焊智能装备有限公司 | 一种基于虚拟现实的人机协作焊接系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104002296A (zh) * | 2013-02-21 | 2014-08-27 | 株式会社安川电机 | 机器人模拟器、机器人示教装置以及机器人示教方法 |
| CN104238418A (zh) * | 2014-07-02 | 2014-12-24 | 北京理工大学 | 一种交互现实系统和方法 |
| CN106020494A (zh) * | 2016-06-20 | 2016-10-12 | 华南理工大学 | 基于移动跟踪的三维手势识别方法 |
| CN106095109A (zh) * | 2016-06-20 | 2016-11-09 | 华南理工大学 | 基于手势和语音进行机器人在线示教的方法 |
| CN106363637A (zh) * | 2016-10-12 | 2017-02-01 | 华南理工大学 | 一种机器人快速示教方法及装置 |
| US20170039859A1 (en) * | 2015-08-03 | 2017-02-09 | Amber Garage, Inc. | Planning a flight path by identifying key frames |
-
2017
- 2017-06-08 CN CN201710431671.7A patent/CN107351058A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104002296A (zh) * | 2013-02-21 | 2014-08-27 | 株式会社安川电机 | 机器人模拟器、机器人示教装置以及机器人示教方法 |
| CN104238418A (zh) * | 2014-07-02 | 2014-12-24 | 北京理工大学 | 一种交互现实系统和方法 |
| US20170039859A1 (en) * | 2015-08-03 | 2017-02-09 | Amber Garage, Inc. | Planning a flight path by identifying key frames |
| CN106020494A (zh) * | 2016-06-20 | 2016-10-12 | 华南理工大学 | 基于移动跟踪的三维手势识别方法 |
| CN106095109A (zh) * | 2016-06-20 | 2016-11-09 | 华南理工大学 | 基于手势和语音进行机器人在线示教的方法 |
| CN106363637A (zh) * | 2016-10-12 | 2017-02-01 | 华南理工大学 | 一种机器人快速示教方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| H.C. FANG等: "Robot Programming using Augmented Reality", 《2009 INTERNATIONAL CONFERENCE ON CYBERWORLDS》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109605363B (zh) * | 2017-10-05 | 2021-10-26 | 财团法人交大思源基金会 | 机器人语音操控系统及方法 |
| CN109605363A (zh) * | 2017-10-05 | 2019-04-12 | 财团法人交大思源基金会 | 机器人语音操控系统及方法 |
| CN108161882A (zh) * | 2017-12-08 | 2018-06-15 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
| CN108161882B (zh) * | 2017-12-08 | 2021-06-08 | 华南理工大学 | 一种基于增强现实的机器人示教再现方法及装置 |
| CN108356817A (zh) * | 2018-01-12 | 2018-08-03 | 宁波易拓智谱机器人有限公司 | 一种基于3d模型的示教方法 |
| CN108356796A (zh) * | 2018-01-12 | 2018-08-03 | 宁波易拓智谱机器人有限公司 | 一种可适配多种工业机器人的示教系统 |
| CN108447477A (zh) * | 2018-01-30 | 2018-08-24 | 华南理工大学 | 一种基于自然语言理解的机器人控制方法 |
| CN108333941A (zh) * | 2018-02-13 | 2018-07-27 | 华南理工大学 | 一种基于混合增强智能的云机器人协作学习方法 |
| CN108481323B (zh) * | 2018-03-14 | 2021-04-27 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程系统及方法 |
| CN108481323A (zh) * | 2018-03-14 | 2018-09-04 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程系统及方法 |
| CN112638594A (zh) * | 2018-09-10 | 2021-04-09 | 发纳科美国公司 | 机器人的连续路径的零示教 |
| CN111843986A (zh) * | 2019-04-26 | 2020-10-30 | 发那科株式会社 | 机器人示教装置 |
| CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
| CN110815258A (zh) * | 2019-10-30 | 2020-02-21 | 华南理工大学 | 基于电磁力反馈和增强现实的机器人遥操作系统和方法 |
| CN111267073A (zh) * | 2020-03-24 | 2020-06-12 | 青岛理工大学 | 一种基于增强现实技术的工业机器人示教系统及方法 |
| CN111267073B (zh) * | 2020-03-24 | 2022-11-15 | 青岛理工大学 | 一种基于增强现实技术的工业机器人示教系统及方法 |
| CN112847301A (zh) * | 2020-12-21 | 2021-05-28 | 山东华数智能科技有限公司 | 基于便携终端的机器人增强现实示教编程方法 |
| CN113126568A (zh) * | 2021-03-10 | 2021-07-16 | 上海乾庾智能科技有限公司 | 一种基于增强现实技术的工业机器人操作和演示系统 |
| CN114799638A (zh) * | 2022-05-16 | 2022-07-29 | 广州东焊智能装备有限公司 | 一种基于虚拟现实的人机协作焊接系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107351058A (zh) | 基于增强现实的机器人示教方法 | |
| Yang et al. | Human action learning via hidden Markov model | |
| CN108241339B (zh) | 仿人机械臂的运动求解和构型控制方法 | |
| Dallej et al. | Towards vision-based control of cable-driven parallel robots | |
| CN106055522A (zh) | 冗余空间机械臂最小基座姿态扰动的轨迹规划方法 | |
| Wang et al. | Design and rapid construction of a cost-effective virtual haptic device | |
| Nozaki et al. | Motion expression by elemental separation of haptic information | |
| Salem et al. | Towards an integrated model of speech and gesture production for multi-modal robot behavior | |
| CN106020494A (zh) | 基于移动跟踪的三维手势识别方法 | |
| Chang et al. | A kinect-based gesture command control method for human action imitations of humanoid robots | |
| Xu et al. | Non-holonomic path planning of a free-floating space robotic system using genetic algorithms | |
| Xu et al. | Target berthing and base reorientation of free-floating space robotic system after capturing | |
| Luo et al. | A vision-based virtual fixture with robot learning for teleoperation | |
| Hagenow et al. | Informing real-time corrections in corrective shared autonomy through expert demonstrations | |
| Fagg et al. | Extracting user intent in mixed initiative teleoperator control | |
| Jin et al. | Minimal grasper: A practical robotic grasper with robust performance for pick-and-place tasks | |
| Safavi et al. | Model-based haptic guidance in surgical skill improvement | |
| CN106214320A (zh) | 一种眼内手术机器人的约束运动控制方法 | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程系统 | |
| Silva et al. | Towards human-like bimanual movements in anthropomorphic robots: a nonlinear optimization approach | |
| Jia et al. | Perceptive feedback for natural language control of robotic operations | |
| Papageorgiou et al. | Task geometry aware assistance for kinesthetic teaching of redundant robots | |
| Weng et al. | Applications of light-weight wearable devices to online programming of industrial dual-arm robots | |
| Lin et al. | Humanoid robot motion imitation using kinect | |
| Zhong et al. | Intuitive teleoperation of nonholonomic mobile robot with a manipulator based on virtual reality and WiFi |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171117 |
|
| RJ01 | Rejection of invention patent application after publication |