CN104936748A - 徒手机器人路径教导 - Google Patents

Abstract

一种用于生成用于操作机器人以对工件执行工作的指令的系统具有机器人场景的一个或多个3D模型，其提供机器人场景数据。该系统还具有利用单手或双手所作出的手势中的单手或双手的数据以及具有程序代码的计算设备，该程序代码被配置为对该机器人场景数据和手势数据进行处理而生成用以操作该机器人的指令。

Description

徒手机器人路径教导

技术领域

本发明涉及教导工业机器人以遵循路径而使得该机器人能够执行工作。

背景技术

工业机器人是一种自动控制的、可重复编程的、多目的操控设施，其能够在三条或更多的轴线中进行编程。工业机器人的示例是位于固定位置的机器人，其能够自行移动或者由于该机器人被安装在诸如机动车的本身能够移动的设备上或者是被安装在轨道或起重机架等上而能够进行移动。

诸如示教器之类的硬件设备目前被操作人员用来对工业机器人进行点动(jog)。点动向机器人教导当该机器人对工件执行工作时所要遵循的路径上的点，上述工件在下文中有时也被称作物体或部件。工作意味着机器人所执行的对工件造成物理改变的那些动作，诸如涂装、研磨、抛光、修边、焊接等，以及机器人与工件所进行并不对工件造成物理改变的那些交互，诸如从一个位置拾取工件并且将其移动至另一个位置或者将工件插入到具体位置。

发明内容

一种用于生成针对机器人的以便在工件中执行工作的指令的系统，具有：

提供机器人场景数据的机器人场景的一个或多个3D模型；

利用单手或双手所作出的手势中的单手或双手的数据；和

具有程序代码的计算设备，该程序代码被配置为对该机器人场景数据和手势数据进行处理而生成用以操作该机器人在该工件上执行工作的指令。

附图说明

图1示出了机器人系统的框图，其具有被用来在工件上执行工作的工业机器人。

图2a示出了使用手势指向机器人工件中的位置的操作人员。

图2b示出了相机所看到的图像以及操作人员的手与感兴趣工件的关系的一个示例。

图2c至2j示出了手势的示例。

图2k示出了执行使用徒手所教导的机器人目标的机器人。

图3示出了使用手势对工业机器人在对物体执行工作时将要遵循的路径进行编程的方法的流程图。

图4示出了使用手势对工业机器人在对物体执行工作时将要遵循的路径进行编程的另一种方法的流程图。

图5示出了获取并存储操作人员的手势的方法的一个实施例的流程图。

图6示出了具有所增加的指令的图5所示实施例的流程图。

图7a和7b示出了用于获取一个或多个手势的方法的两个实施例的流程图。

图8示出了从操作人员的手势创建用于机器人操作的指令集合的方法的流程图，其中包括识别操作人员已经作出了开始以及作为停止手势的结束。

具体实施方式

现在参考图1，示出了机器人系统10的框图，该机器人系统10具有被用来对工件14执行工作的工业机器人12。机器人12是具有“n”个数量的自由度的自动机器。

系统10还包括视觉传感器11、计算设备13和机器人控制器15。如果传感器11是智能传感器，则视觉传感器11和计算设备13能够处于相同外壳之中。用来操作工业机器人的程序处于机器人控制器15中。

以下描述了使用手势来教导机器人12在对工件14执行工作时所要遵循的路径。如图2a中所示，操作人员16使用手势指向机器人工件中的一个位置。作为3D视觉传感器11的相机被附接至机器人并且拍摄该手势的图像以及操作人员的手16a与工件14的关系。应当意识到的是，虽然在图2a中被示出，但是工件14可能并不处于相机所看到的视野之中。工件图像可以在不同时间进行拍摄，并且如以下所描述的，没有工件的手部的图像以及没有手部的工件的图像需要参照共同的坐标系统。

图2b示出了该图像以及操作人员的手部16a与工件14的关系的一个示例。该图像被计算设备13用来计算感兴趣部件/场景上的相对应位置和方位(机器人目标)。该机器人目标被发送至机器人控制器15或计算设备13。重复该过程直至不再有点需要向机器人12进行教导。

用于机器人12的指令存储在计算设备13中，其将从来自于相机所看到的单手或双手的手势以及如这里所描述的被指向的物体进行汇集，这是用于创建机器人12在其对工件14执行工作时所要遵循的路径和指令的场景数据。例如，一只手被用来教导机器人目标而另一只手则被用来生成抓取或放下指令。将特定手势与特定指令相关联取决于机器人操作人员。并没有对此的设定规则。

例如，如图2c所示，右手操作人员可能喜欢在右手拇指处于竖起位置的情况下用这只手的食指指向工件上的位置，作为开始指令的手势，而左手操作人员则可以利用左手的相同手势作为用于开始指令的手势。当然，在其中一个操作人员针对其它操作人员将要使用的机器人关联手势的情况下，这两个操作人员的雇主可以实施其自己的规则以避免混淆。被用于开始指令的相同手势也可以被用于停止指令。

应当意识到的是，这是相同手势被用于两个彼此相反的指令的情境。对于开始和停止指令，首先生成开始指令。因此，该相同手势首次被用于开始和停止指令时，其将被解释为表示开始指令，而其第二次使用则将被解释为表示停止指令。

在该情境中，沿着开始和停止点之间的路径将有机器人将在那里执行工作的其它点，上述工作诸如遵循路径、拾取物体、放下物体，并且唯一手势将与这些中间点中的每一个相关联。在该方法的一些实施例中，手指所指向的物体可能取决于所识别的手势并且因此能够生成具体的机器人指令。该方法在其最为简单的实施例中在物体上生成机器人目标。

图2d至2j中示出了其它手势的示例，其中作为示例而非限制，图2d中所示的手势可以使得机器人12拾取物体，而图2e中所示的手势可以使得机器人放下物体。图2f示出了触发手势，其中该手的食指指向物体并且拇指收回和打开，这是生成机器人目标指令的信号。

图2g和2h所示的手势例如可以表示诸如0度和180度的角度，因为它们并不必表示具体指令。这些手势也可以表示相机11的运动，例如将相机从左向右移动，因为在教导中，机器人手势能够被用来对相机11重新定位。

图2i示出了坐标系统手势。图2j示出了双手“T”字手势，其表示机器人12所使用的工具要进行更换。该手势将后跟有并未示出的指示工具编号的手势。

图2k示出了机器人12执行已经使用徒手进行过教导的机器人目标。

另外，机器人的用户可以在计算设备的指令集合中编码指令，该指令并未处于该设备中但是专用于机器人将要执行的应用。如以上所描述的，将唯一手势与特殊指令相关联取决于操作人员。

在手势和机器人指令之间存在映射。用户能够将一个手势与一个或多个指令相关联以及将一个或多个手势与一个指令相关联。该选择取决于用户。在该映射后可能存在来自手势、场景及其情境的信息如何被使用的特定实施方式。应当意识到的是，并非所有手势都必须使用一种情境，而是一系列手势中的至少一个手势必须要使用一种情境。

现在参考图3，示出了使用手势对工业机器人在对物体执行工作时将要遵循的路径进行编程的方法300的流程图。在步骤302，操作人员将附接至机器人的相机定位在感兴趣区域的上方。在步骤304，由操作人员作出手势以指向该机器人场景中的一个位置。例如，如果该位置是起始位置，在图2c中所示的手势之前已经与开始手势相关联以教导该机器人目标的情况下，则操作人员可以使用该手势。如应当意识到的，如果机器人必须在抓取处于该位置的物体，则诸如图2d所示的另一个手势能够被用来教导该功能。

在步骤306，步骤304的位置指向手势的图像以及相关联的物体上的位置被相机11所捕捉并且被发送至计算设备13以便进行处理。在步骤308，计算设备13从该图像计算机器人工具在该机器人场景中相对应的位置和方位。

虽然在流程图300中并未示出，但是在执行定位相机的步骤302之后可以有获取没有操作人员的手部的机器人场景的图像的可选步骤。该可选步骤分别在图5和6的流程图500和600中以虚线示出，并且在下文中进行描述。如果没有操作人员手部的机器人场景的图像在流程300中已经存在，则在步骤308，能够通过从在步骤306中所获取的具有手部的图像中减去没有手部的场景图像而消除手部来计算机器人工具在该机器人场景中的相对应位置和方位。

图3中并未示出但是在图5和6的流程图中以虚线示出的另一个选项是在步骤308使用操作人员的手部的3D模型。该模型被用来识别手势并且计算手势信息(几何形状以及诸如距标定位置的偏差之类的其它属性等)。

以上两个可选步骤可能并非是必需的，因为可能在不使用示出手部的图像或者手部的3D模型的情况下对步骤306中所获取的具有手部的图像进行处理以去除手部。

在步骤308，手部和手指的位置和方位能够被用来计算机器人工具在该机器人场景中的相对应位置和方位。一种计算机器人目标的方式是将手指方向与场景数据相交。这能够通过拥有场景的图像或该场景的CAD来实现。所要理解的是，手势图像和场景图像(或CAD)二者参照相同的坐标系统，并且如果不是这样，它们能够被转换至共用坐标系统。

在步骤310，所计算的机器人工具的位置和方位被发送至计算设备。查询312询问是否需要更多的位置点来完成机器人路径。查询312可以是另一个手势。如果回答为是，则方法300在查询314询问是否需要重新定位相机。如果针对查询314的回答为否，则方法300返回步骤304，在那里操作人员作出与下一个位置点相关联的手势。虽然在图3中并未示出，但是如果针对查询314的回答为是，则方法300返回至步骤302，在那里对相机进行重新定位。如果针对查询312的回答为否，则方法300由于不必获取更多的机器人路径点而结束。

虽然并未在图3中示出，但是步骤310所执行的功能能够被位置和方位信息之一的存储所替代。如果针对查询312的回答是没有更多点需要教导，则所教导的点能够被发送至机器人。

现在参考图4，这是同样使用手势对工业机器人在对物体执行工作时将要遵循的路径进行编码的另一种方法400的流程图。方法400的流程图与方法300的上述流程图的比较显示，两种方法中的一些步骤是相同的。因此，针对方法400中的那些步骤的描述与针对方法400中的那些步骤的描述相同，并且因此那些步骤无需在下文中进行描述。

用于机器人指令的手势的步骤406可选地与步骤404相关联并且因此在图4中以虚线示出。机器人指令例如可以是令机器人12抓取处于机器人场景中的特定位置的物体或者将机器人12所拿着的物体放在机器人场景中的特定位置。应当意识到的是，如以上所描述的，手部并不必拿着该物体。一只手的手势能够被用来表示物体的放下而另一只手的手势能够示出要放下该物体的位置。

随着手通过所期望路径的移动而连续获取图像的流(streaming)步骤410可选地与用于获取图像的步骤408相关联并且因此在图4中以虚线示出。如能够意识到的，在没有可选步骤410的情况下获取图像可能要求用于获取图像的触发器(trigger)。而步骤410的连续流则避免了对触发器的需求。

用于机器人指令的手势的步骤414可选地与计算步骤412相关联并且因此在图4中以虚线示出。使用可选步骤414的一个示例是在步骤412使用来自一只手的手势计算位置和方位，而来自另一只手的手势在步骤414可以是抓取或放下指令。

存储位置和方位以及机器人指令的步骤418可选地与步骤416相关联并且因此在图4中以虚线示出。当使用步骤418时，所存储的位置和指令能够被用于仿真。在可替换实施例中，步骤418替代步骤416，并且在这种情况下，所有机器人指令都被一次发送至机器人12。

现在参考图5，示出了获取并存储操作人员的手势的方法500的一个实施例的流程图。定位相机的第一步骤502是可选的并且因此在图5中以虚线示出，这是因为相机可能已经处于获取图像所需的位置。如果不是，则步骤502并不是可选的，因为必须将相机移动至该位置。

如虚线所示出的同样可选的是获取没有示出任何操作人员手部的要由机器人对其进行工作的物体的图像的步骤504。针对该图像的需求取决于用来识别并计算手势的技术。例如，一种技术可以要求没有手的附加图像，而另一种技术则可以使用具有手的图像。

在步骤506，操作人员作出能够来自于一只手或两只手的手势。在步骤508，获取手势的图像，并且在步骤510，利用用于机器人的特定指令识别该手势并且计算并确定手势信息。

在步骤512的操作人员的手部的3D模型和/或该手中的关节的模型在该模型将被用来识别操作人员的(多个)手势的情况下可以是针对步骤510的可选输入。

在步骤514，所识别的手势被存储在计算设备13的存储器中，或者在没有这样的设备的情况下存储在机器人控制器15的存储器中。

现在参考图6，示出了基本上与以上所描述的方法500相同的方法600的流程图，因为其具有方法500中的所有步骤加上所增加的存储手势步骤614之后的查询步骤616，以及在针对查询616的回答为是的情况下存储手势动作的步骤618。方法500和600之间的主要差异在于，方法500用于获取单个手势，而方法600则用于获取用于一个手势动作的一系列手势。因此，如这里所使用的，一系列手势意味着一个手势动作。例如，触发图像意味着向下和向上移动拇指，这是与作为图像的触发的一个手势动作相关联的两个手势(拇指向上和向下移动)。所有这些手势动作都有助于计算一个机器人目标。所获取的图像可能是连续流。

现在参考图7a和7b，示出了方法700的两个实施例的流程图，该方法700如图7a所示用于获取一个或多个手势(步骤702，使用之前所描述的图5和6中所示的手势过程)，通过使用针对来自相同图像的场景数据的手势情境而从手势创建机器人指令，或者作为用于计算/生成机器人指令的附加数据或额外处理(步骤704和可选步骤706)，存储所创建的指令(步骤708)，询问是否需要创建更多指令(步骤710)，并且如果不需要创建更多指令，在步骤712中将所创建的指令发送至机器人，并且在图7b中执行图7a所示的除了将所创建的指令发送至机器人之外的所有步骤。这些流程图中提供场景3D模型以将手势转换为机器人指令(步骤704)的可选步骤706仅在该场景将从手势图像中被减去的情况下才是需要的。

现在参考图8，示出了从操作人员的手势创建用于机器人操作的指令集合的方法800的流程图，其包括识别操作人员已经做出了开始手势以及作为停止手势的结束。这些手势如以上所描述的可以是相同手势或者它们可以是不同手势。该选择留给操作人员。如果它们是相同手势，则如以上所描述的，手势信息的情境被用来获知第二次作出相同手势由于其跟在开始之后而因此作为停止。

在之前所描述的图5和6中所示出的步骤802的手势获取过程与确定操作人员是否已经作出了开始手势的查询804形成环。如果否，则该方法返回手势获取过程802，直至针对查询804的回答为是的时候，也就是说，操作人员所作出的手势是开始手势。

如果针对查询804的回答为是，则该方法继续进行至在之前所描述的图5和6中所示出的手势获取过程806，并且查询808询问过程806所获取的手势是否为结束手势。如果针对查询808的回答为是，则该方法进行至步骤810，在那里将指令集合发送至机器人控制器。

如果针对查询808的回答为否，则所获取的并非结束手势的手势被转换为机器人指令。场景3D模型的使用如以上所描述的对于该转换而言是可选的。方法800随后进行至步骤816，其中该指令被存储并且随后进行至手势获取过程806以获取下一个操作人员手势。

通常，机器人移动指令具有与机器人工具以及用于机器人目标的坐标系统相关的信息。还存在诸如速度和区域的其它参数。优选地，针对机器人指令选择机器人工具或坐标系统能够使用诸如图6的方法600中所示的过程的过程来完成。其示例分别在图2i和2j中所示出的用于选择机器人坐标系统或机器人工具的手势是复杂手势。如以上所描述的，工具编号与机器人工具相关联。因此，任何机器人指令的任何参数都能够进行教导。能够针对需要利用手势进行设置的任意参数构建手势库。

应当意识到的是：

虽然这里仅描述了一个相机，但是可能存在多于一个的相机并且相机在存在相机网络的情况下并不必重新定位；

位置和/或方位(其中之一或二者)能够被机器人所使用，并且同时其通常所使用的是机器人目标位置和方位，但是操作人员可以仅使用二者之一；

位置、方位和相关联的动作能够在教导过程结束时被单独或者一次全部发送至机器人；

针对触发图像的其它变化形式可能包括如平板PC或开关的辅助设备以提供用于图像获取的外部触发器；

利用场景的图像，能够辨识出部件并且随后手势的处理必须与该部件具有关系；

机器人目标能够相对于部件坐标系统进行定义，而使得如果该部件在运行时间被重新定位，则不必重新训练机器人的点，这是因为坐标系统得以被识别并且机器人的点参照该部件；

机器人目标点能够在它们在离线环境中诸如通过使用离线仿真器被生成之后进行细化，而使得所期望的路径准确性得以被满足，这是因为指尖可能并不是那么准确；

人类语音可以被用来结合手势动作以便生成机器人指令语音，例如说出开始或停止作为外部触发器；

手势能够利用投影仪或激光示线指示器进行增强以生成机器人指令。例如，一只手能够指向诸如拾取或放下的动作，而另一只手则能够使用激光指示器而不是那只手上的手指以使用与使用该手指相同的方式来计算机器人目标；

机器人点的准确性能够通过在手指上佩戴尖端或者使用小棍或类似物体而得以提升；

能够使用2D相机来获得3D模型，但是必须使用两个或更多的2D相机来获得该模型；

一个手势能够为未来手势提供情境，并且手势和情境或者手势以外的其它要素能够被用来生成一个或多个机器人指令；并且

这里所描述的用于教导机器人点和机器人路径的方法总体上是安全的方法，因为机器人在人处于机器人附近时并不必进行移动，但是人能够依据其选择移动机器人。

所要理解的是，以上(多个)示例性实施例的描述仅意在作为本发明的说明而并不是其穷举。本领域技术人员将能够对所公开主题的(多个)实施例作出某些添加、删除和/或修改，而并不背离如所附权利要求所限定的本发明的精神或其范围。

Claims (13)

1.一种用于生成针对机器人以便在工件上执行工作的指令的系统，包括：

提供机器人场景数据的机器人场景的3D模型；

利用单手或双手所作出的手势的单手或双手的数据；和

具有程序代码的计算设备，所述程序代码被配置为对所述机器人场景数据和所述手势数据进行处理以生成用以操作所述机器人在所述工件上执行工作的指令。

2.根据权利要求1所述的系统，其中所述利用单手或双手所作出的手势是一系列手势。

3.根据权利要求2所述的系统，其中所述一系列手势中的一些所述手势对所述计算设备进行准备以使用下一个所接收到的单手或双手的手势的数据来生成所述指令。

4.根据权利要求1所述的系统，进一步包括一个或多个相机，其中所述机器人场景和利用所述单手或双手所作出的所述手势被所述计算设备接收在来自所述一个或多个相机的图像中，并且所述计算设备具有被配置为处理所述图像以获得所述场景数据和所述手势数据的程序代码。

5.根据权利要求1所述的系统，进一步包括一个或多个相机，其中所述机器人场景和利用所述单手或双手所作出的所述手势被所述计算设备接收在来自所述一个或多个相机的单独图像中，所述手势参照所述机器人场景，并且所述计算设备具有被配置为处理所述图像以获得所述场景数据和所述手势数据的程序代码。

6.根据权利要求1所述的系统，其中一旦所述指令被所述计算设备生成，所述指令就被用来操作所述机器人。

7.根据权利要求1所述的系统，其中所述机器人场景数据能够来自于视觉系统或计算机增加的设计数据。

8.根据权利要求1所述的系统，其中利用单手或双手所作出的两个或更多手势提供所述手势数据。

9.根据权利要求1所述的系统，其中利用单手或双手所作出的单个手势提供被所述计算设备用来与所述机器人场景数据生成两个或更多指令的数据。

10.根据权利要求1所述的系统，其中利用单手或双手所作出的手势能够被指定至用于操作所述机器人的特定指令。

11.根据权利要求1所述的系统，其中利用单手或双手所作出的所述手势是一系列手势，并且至少一个用于操作所述机器人的指令从所述机器人场景数据以及来自所述一系列手势之一的数据而生成。

12.根据权利要求1所述的系统，其中所述手之一在作出所述手势时拿着物体。

13.根据权利要求9所述的系统，其中一旦两个或更多指令之一被所述计算设备所生成，所述两个或更多指令之一就被用来操作所述机器人。