CN116113521A - 用于机器人编程的方法和系统 - Google Patents

Abstract

提供了一种方法和系统，用于由在专门的机器人编程语言方面不具有专业知识的操作者对机器人进行编程。在该方法中，从操作者接收一般地描述期望的机器人运动的输入。系统然后使用该操作者输入将期望的机器人运动转换为软件命令，软件命令指令机器人执行期望的机器人运动。然后可以利用软件命令对机器人进行编程并且操作机器人以执行期望的机器人运动。

Description

用于机器人编程的方法和系统

背景技术

本发明总体涉及机器人，并且更特别地，涉及对机器人进行编程。

为了配置用于特定任务的机器人，通常需要机器人工程师专家利用专用语言和操作系统对其编程。例如，机器人当前使用专用语言(例如ABB的RAPID语言)来编程，这需要对机器人的技术能力(关节数量、自由度、范围、坐标系等)的深入了解。工程师还必须具有用于编程机器人的专用语言的足够的知识。为了构建机器人应用，工程师必须理解特定目标机器人的能力和限制。这继而需要深入了解机器人的硬件实现和机械特性。此外，当机器人不能执行给定的任务(例如由于运动学限制)时，产生仅可由专家用户理解的编号错误代码。理解这样的消息以便能够解决潜在的问题对于非专家来说可能是困难的。传统的机器人通常不提供用于直观的用户指令的界面，该直观的用户指令在错误或不可行的指令的情况下允许来自机器人的清晰反馈。这使得人类难以理解机器人可以到达多远以及其在可行的运动方面的限制。因此，机器人编程被认为是需要软件开发和机械工程技能以及专门训练的具有挑战性的任务。

对于需要定期(例如在车间、医学实验室、餐馆等处每几分钟或几小时，在上述场合中协作机器人被用于具有小批量的任务)重新配置机器人的多品种、小批量的企业，雇用专门的工程师是昂贵的。在机器人需要频繁地重新编程的情况下，与常规机器人编程相关的成本和延迟可能很快变得不允许，这对于例如协作机器人来说是典型的。这种机器人可用于小型工作空间、医学实验室、个人礼品工业、餐馆厨房等，其中机器人的重新配置可能每天要进行多次。随着机器人(尤其是协作机器人)在许多应用领域中得到快速应用，重要的是确保用于执行各种任务的编程机器人对于广泛的用户是直观的和可访问的，而不仅仅是对于机器人专家。因此，减少成本和简化机器人的重新配置将提供未来的自动化应用，例如在小车间中利用协作机器人。

发明内容

描述了用于对机器人进行编程的方法和系统。为了对机器人进行编程，需要专门的软件命令。然而，操作者可能不具备用于对机器人进行编程的专用软件命令的专业知识。因此，该系统使得操作者能够提供描述期望的机器人运动的通用输入，而不需要指定实际的软件命令。该系统将操作者输入转换为指令机器人执行期望的机器人运动的软件命令。然后可以使用所转换的软件命令对机器人进行编程和操作以执行期望的机器人运动。本发明还可以包括以下书面描述或附图中描述的任何其它方面及其任意组合。

该系统可以被配置用于由操作者使用本文描述的任何方法对机器人进行编程。该系统可以包括：操作者通信模块，被配置用于接收操作者输入；环境传感器模块，被配置用于捕获标识和/或位置信息；致动模块，被配置用于将所述操作者输入转换为所述软件命令；以及可能的控制器模块，被配置用于协调。此外，提供了使用本文所述的任意方法对机器人进行编程的系统的用途。

附图说明

通过结合附图阅读以下描述可以更全面地理解本发明，在附图中：

图1是用于操作者对机器人进行编程的系统的示意图；

图2是示出了使用该系统对机器人进行编程的示例的示意图；以及

图3是操作者对机器人进行编程的方法的流程图。

具体实施方式

本文提供了一种用于实现机器人的直观编程的新方法和系统。该方法和系统使得非专家能够基于直观编程方法通过经由多个通道的自然交互来与机器人共同创建自动化任务。语音输入/输出、对象和手势的识别以及图形用户界面通过机器人任务的共同创建来引导用户并帮助他们处理潜在的错误。可以使用的附加的通信通道包括在执行前叠加计划轨迹的增强/混合现实、提供触觉反馈和/或提供运动极限的直接感觉的触觉手套，以及用于(缩放的)温度反馈的热传感器。多个通信通道的融合使得交互直观且自然，例如操作者可以通过语音输入或点击触摸屏上的按钮来指示机器人。这样，机器人编程变得可由普通操作者访问，并且机器人功能的初始设置和重新配置可以在短时间内完成。因此，可以提高生产率并且可以降低机器人的调试成本。继而，这可以为需要频繁的机器人重新配置的应用领域中的协作机器人打开新的细分市场。

所描述的方法和系统使得非专家用户能够通过若干输入模态(例如语音、视觉、传感器、触摸、由引领(lead-through)示出运动等)来教导机器人任务，并且以用户友好的且可理解的方式(例如语音、显示、声学信号等)提供即时反馈。这里应当理解，对机器人的操作者的引用是指使用专用机器人编程语言的软件命令的、具有最小编程技能或不具有编程技能的非专家用户。通过使用模块化设计，系统的优点在于其与具有若干通信通道以及宽范围的机器人的附加封装形式的兼容性。

交互的第一步骤涉及操作者通过提供高级概念(例如拾取、运动、放置)和人已知的对象名称(例如块、铅笔、螺钉、这里的这个对象)来指示机器人执行一系列操作。可以利用属性(例如红笔、大螺钉、顺时针旋转等)来增强指示(instruction)。在第二步骤中，如果不理解指示，则提示操作者澄清(例如哪个对象？)并且可以提供若干选择(例如通过示出对机器人的相机可见的对象)。然后，操作者能够使用若干输入模态(例如语音输入、触摸屏、手势)中的一种模态向机器人提供反馈，使得能够完成预期任务。

改进的机器人编程方法和系统提供了操作者和机器人系统之间的自然交互，这是由所述模块的相互作用引起的。所得到的非专家用户和机器人之间的交互类似于人相互教导新技术的方式。交互利用多种输入和输出模态，例如语音识别和合成、视觉、姿势识别、触摸、引领模式(物理地引导机器人臂)和显示器上的可视化，用于直观地教导而不是使用软件代码对机器人进行编程。

图1示出了交互式编程框架的一般架构。该系统可以包括四种类型的必要模块：(1)操作者通信通道10，即示例性架构中的语音处理10A和/或图形用户界面(GUI)10B；(2)提供对机器人18周围环境的感知的环境传感器12，例如视觉系统12；(3)与特定机器人18控制通道(例如ABB的机器人器具或ABB的EGM或其它类似产品)接口的致动14；以及(4)控制器16，其协调前述的模块以提供直观和自然的交互，用于操作者教导机器人18并与机器人18交互。在该示例中，模块10、12、14、16可以被组织为微服务，并且经由诸如发布-订阅服务的通信中间件上的消息进行通信。微服务式架构允许几个不同的模块容易地集成在一起，但是其它架构，例如单片集成，也是可能的。

应当理解，操作者通信通道(即，到操作者模块10的输入)的列表不限于图1中的示例，而是取决于操作者输入和反馈的优选手段，可以包括用于音频的麦克风和扬声器、用于姿势识别或空间中(没有机器人在场，也没有被编程)机器人任务的叠加(superposition)的相机(独立的，或被集成到增强/虚拟现实眼镜中)、用于机器人任务的操纵的触觉反馈的触觉手套、用于实现用户界面(UI)的监视器、用于触摸选择的触摸屏或平板等。同样地，环境传感器模块12可以利用不同的传感器，包括用于对象识别的相机，用于接触、抓握或碰撞检测的机器人皮肤或力传感器，用于距离估计的激光雷达/雷达，识别可能的操作危险或过程步骤的热传感器等。每个通道和传感器可以由特定的模块10、12处理。

致动模块14提供朝向机器人18的接口。一方面，致动模块14将任务请求转换为机器人18可理解的软件命令。机器人18表示现有的机器人编程接口，例如RobotWare或RAPID，其使用专用机器人编程软件命令来指令机器人运动。另一方面，致动模块14提供来自机器人18的关于由于先前请求的任务的错误而导致的成功或失败的反馈。通过改变朝向机器人18控制器的接口，致动模块14可以与不同构造和类型的机器人18集成。

控制器16充当不同模块10、12、14之间的协调器。控制器16可以是集中式模块16或者可以跨多个模块10、12、14分布。控制器模块16负责将操作者输入、环境传感器和机器人反馈融合在一起。这种通过操作者模块10从操作者获得输入、从环境传感器模块12获得传感器、以及从致动模块14获得反馈的融合过程允许机器人18像人类领域专家教导学徒一样被教导技能。由控制器模块16识别的操作者命令集可以被称为技能集，并且可以随着机器人的寿命动态地扩展。

在该方法和系统的示例中，操作者可能期望机器人“拾取管”。操作者还可以描述机器人运动的序列和/或要执行的该机器人运动的条件。例如操作者可能期望机器人“拾取管并将其放置在红色箱中”或“在管在蓝色箱中可用后，拾取它并摇动它”。操作者可以选择通过语音识别10A或通过使用图形用户界面10B来利用操作者输入命令该系统。如果控制器模块16知道技能(即，拾取)和对象(即，管)，则控制器模块16可以继续向致动模块14请求任务(或任务集)执行，致动模块14将任务转换为用于机器人18控制器的低级别的机器人软件命令。如果命令是不充足的，例如动作不被理解或缺失任何信息，例如该对象对于系统是未知的，则控制器模块16可以提示一个或多个附加的操作者输入以提供补充的输入。图2中示出了模块之间的示例交互。

反馈请求和操作者输入可由最适合于自然和直观信息流的操作者通信和感测模块10、12中的任一个模块来提供。例如，如果机器人18不知道某个运动，则可以通过例如使用引领模式来教导机器人18，在该引领模式中操作者移动机器人18并且机器人18记录该运动。在另一示例中，操作者可以通过在触摸屏10B上的图像上选择对象来向系统登记该对象。该示例还突出显示了将多个交互模态与操作者及环境融合的重要性。即，如果能够在触摸屏10B上容易地标识对象，则通过引领来标识对象将是不自然的。同样，通常需要伪迹(artifacts)来使用平面二维屏幕教导三维运动。

控制器模块16以适当的形式登记附加的操作者输入以供将来使用。例如可以将运动登记为路径点，将对象登记为视觉指纹。重要的是，该格式允许所学习的技能在机器人18之间迁移。因此，如果利用诸如医学实验室的应用领域的技能来训练机器人18，则将所有所需的信息编码到图1的架构的模块中。然后，具有该技能所需能力的相同或不同型号的其它机器人18可以使用相同的技能，例如有效负载极限优选地匹配对象的重量、双臂任务优选地不由单个单臂机器人执行等等。在需要的情况下与机器人18协作的致动模块14负责将技能转换为特定的软件命令，并检查和提供关于不匹配能力的反馈。

参考图3，总结了如上所述的由操作者对机器人18进行编程的方法。在该方法中，例如从操作者通信模块10，接收(20)表示期望的机器人运动的操作者输入。如上所述，操作者输入可以作为被转录为文本的语音输入10A而接收，或者可以从诸如触摸屏的显示器屏幕10B或任何其它可能的用户界面中接收。关于机器人18的工作空间中的一个或多个对象的信息(例如标识和/或位置信息)也可以从一个或多个环境传感器12(例如机器人视觉系统12(22))接收，或者由环境传感器模块12捕获。该方法然后可以确定操作者输入是否充足以将操作者输入转换为将指令机器人10执行期望的机器人运动的软件命令(24)。如果确定该操作者输入是不足的，则可提示操作者提供附加的操作者输入(24、20)。

操作者输入(和附加的操作者输入)然后被转换为软件命令，该软件命令将指令机器人18例如通过致动模块10执行期望的机器人运动(26)。因此，应当理解，操作者输入不是实际的软件命令，而是普通文本输入、指针、或一般地描述期望的机器人运动的其它操作者输入的形式。相反，经转换的软件命令是工程师和机器人18理解的专用软件代码的形式，但并不容易由普通操作者使用或理解。可能期望将操作者输入、附加的操作者输入、和/或转换的软件命令存储在其间具有数据链路的库存储器中，使得未来的操作者输入能够自主地链接到这样的附加的操作者输入和/或软件命令(28)。库存储器可以作为致动模块14的一部分而被包括，并且可以是识别操作者输入的技能集合库。

一旦操作者输入已经被转换为机器人18可理解的软件命令，机器人18就可以利用这种软件指令编程(30)。在这样的编程之后，可以使用软件命令来操作机器人18，以便执行期望的机器人运动(32)。在使用软件命令操作机器人18之后，可能期望确定机器人18是否成功地执行了期望的机器人运动(34)。如果确定机器人18是不成功的，则可以提示操作者进行附加的操作者输入(20)，并且可以使用原始操作者输入和附加的操作者输入来重复该方法(34)。控制器模块16可以在操作者通信模块10、环境传感器模块12和/或致动模块14之间协调。此外，控制器模块16可以执行对操作者输入是否是充足的以用于转换、和/或操作的机器人运动是否成功地执行期望的机器人运动的确定，并且可以在需要时提示操作者输入附加的输入。可能期望操作者通信模块10、环境传感器模块12、致动模块14和/或控制器模块16是彼此独立操作的独立软件或硬件模块。例如模块10、12、14、16可以是经由消息彼此通信的微服务。因此，模块10、12、14、16可以以分散的方式来实现。

虽然已经描述了本发明的优选实施例，但是应当理解，本发明不限于此，并且在不脱离本发明的情况下可以进行修改。虽然本文描述的每个实施例可以仅涉及某些特征并且可以不具体地涉及相对于其它实施例描述的每个特征，但是应当认识到，除非另外描述，即使在没有提及具体特征的情况下，本文描述的特征是可互换的。还应当理解，上述优点不一定是本发明的唯一优点，并且不必然地预期本发明的每个实施例均实现描述的所有优点。本发明的范围由所附权利要求限定，并且落入权利要求的含义内的所有装置和方法，无论是字面还是等同，均被包括在其中。

Claims (15)

1.一种由操作者对机器人(18)进行编程的方法，包括：

接收表示期望的机器人运动的操作者输入(20)；

将所述操作者输入转换为软件命令，所述软件命令指令所述机器人(18)以执行所述期望的机器人运动(26)；

利用所述软件命令对所述机器人(18)进行编程(30)；以及

使用所述软件命令来操作所述机器人(18)以执行所述期望的机器人运动(32)。

2.根据前述权利要求中任一项所述的方法，还包括从一个或多个环境传感器(12)接收在所述机器人(18)的工作空间内的一个或多个对象的标识和/或位置信息(22)。

3.根据前述权利要求中任一项所述的方法，其中所述一个或多个环境传感器(12)包括机器人视觉系统(12)。

4.根据前述权利要求中任一项所述的方法，其中所述操作者输入从语音输入(10A)被转录。

5.根据前述权利要求中任一项所述的方法，其中所述操作者输入从显示器屏幕(10B)被接收。

6.根据前述权利要求中任一项所述的方法，其中所述操作者输入从一个或多个环境传感器(12)被接收。

7.根据前述权利要求中任一项所述的方法，还包括：确定所述操作者输入是否足以将所述操作者输入转换为所述软件命令，并且如果确定所述操作者输入不足以将所述操作者输入转换为所述软件命令，则提示所述操作者提供附加的操作者输入(24)。

8.根据前述权利要求中任一项所述的方法，还包括：在使用所述软件命令操作所述机器人(18)后，确定所述软件命令是否成功地指令所述机器人(18)执行所述期望的机器人运动(34)，如果所述软件命令不成功，则接收附加的操作者输入(20)，将所述附加的操作者输入转换为指令所述机器人(18)执行所述期望的机器人运动的更新的软件命令(26)，利用所述更新的软件命令对所述机器人(18)进行编程(30)，以及使用所述更新的软件命令来操作所述机器人(18)以执行所述期望的机器人运动(32)。

9.根据前述权利要求中任一项所述的方法，存储所述操作者输入、所述附加的操作者输入、以及所述操作者输入与所述附加的操作者输入之间的数据链路，其中对应于所述操作者输入的未来操作者输入使用所述数据链路来自主地引用所述附加的操作者输入(28)。

10.一种用于由操作者使用根据前述权利要求中任一项所述的方法对机器人(18)进行编程的系统，包括：

操作者通信模块(10)，接收所述操作者输入；

环境传感器模块(12)，捕获在所述机器人(18)的工作空间内的一个或多个对象的标识和/或位置信息；以及

致动模块(14)，将所述操作者输入转换为指令所述机器人(18)执行所述期望的机器人运动的所述软件命令。

11.根据权利要求10所述的系统，其中所述操作者通信模块(10)、所述环境传感器模块(12)和所述致动模块(14)作为彼此通信的独立模块来操作。

12.根据权利要求10-11所述的系统，还包括：控制器模块(16)，所述控制器模块(16)在所述操作者通信模块(10)、所述环境传感器模块(12)、和所述致动模块(14)之间进行协调，所述控制器模块(16)确定所述操作者输入是否充足(24)和/或所述软件命令是否成功(34)，并且如果所述操作者输入是不足的和/或所述软件命令是不成功的，则提示所述操作者输入附加的操作者输入(20)。

13.根据权利要求10-12所述的系统，其中所述控制器模块(16)作为与所述操作者通信模块(10)、所述环境传感器模块(12)、和所述致动模块(14)通信的独立模块来操作。

14.根据权利要求10-13所述的系统，其中所述操作者通信模块(10)、所述环境传感器模块(12)、所述致动模块(14)、和所述控制器模块(16)是经由消息来彼此通信的微服务，和/或

其中所述操作者通信模块(10)、所述环境传感器模块(12)、所述致动模块(14)和所述控制器模块(16)彼此分散。

15.根据权利要求10-14所述的系统，其中所述致动模块(14)包括(a)操作者输入和链接到所述操作者输入的附加的操作者输入的库(28)，和/或(b)识别的操作者输入的技能集合库(28)。

Images