CN107257946B

CN107257946B - 用于虚拟调试的系统

Info

Publication number: CN107257946B
Application number: CN201480083660.9A
Authority: CN
Inventors: D.维拉科巴; P.韦伯
Original assignee: ABB Schweiz AG
Current assignee: ABB Schweiz AG
Priority date: 2014-11-25
Filing date: 2014-11-25
Publication date: 2020-02-21
Anticipated expiration: 2034-11-25
Also published as: ES2750698T3; EP3224681A1; WO2016082847A1; EP3224681B1; CN107257946A

Abstract

本发明涉及一种用于调试生产设备(例如，机器人)的系统(10,40)和方法，系统(10,40)包括：带有在其上运行的3D仿真软件应用的计算单元(20)；移动视觉装置(22,28)，其包括两个独立屏幕(24)和至少一个运动传感器(26)；交互装置(30,32)，其中仿真软件应用设置成提供虚拟工作空间(18,50)、提供放置在虚拟工作空间(18,50)内的生产设备的至少一个动画原型的可配置模型、提供动画人(16)的模型、将人(16)的模型放置在虚拟工作空间(18,50)中且根据至少运动传感器(26)的数据将其制成动画以及持续计算对应于动画人(16)双目视野的视角的图像数据且将它们传送至移动视觉装置(22,26)使得它们在两个独立屏幕(24)上持续显示。动画原型的模型通过与动画人的模型，相应地与交互装置的交互而可配置。本发明的目的是还促进关于人体工程学方面的调试。

Description

用于虚拟调试的系统

技术领域

本发明涉及一种用于调试生产设备的系统，其包括：带有在其上运行的3D仿真软件应用的计算单元；移动视觉装置，其包括两个独立屏幕和至少一个运动传感器；交互装置，其中两个装置连接到计算单元上且设置为用户和仿真软件应用之间的接口，其中设置仿真软件应用以提供虚拟工作空间、提供放置在该虚拟工作空间内的生产设备的至少一个动画原型的可配置模型、提供动画人的模型、将人的模型放置在虚拟工作空间中且根据至少运动传感器的数据将其制成动画以及持续计算对应于动画人双目视野的视角的图像数据且将它们传送至移动视觉装置使得它们作为立体视图在两个独立屏幕上对穿戴移动视觉装置的用户显示。本发明还涉及一种用于利用根据本发明的系统调试生产设备的方法。

背景技术

已知工业生产厂典型地包括大量生产设备，诸如机器人或其他机器，其在许多情况下根据相应生产流程的需要彼此交互。为了使生产线准备用于生产，要求所谓的生产设备的调试。这里，相应生产设备的参数适于期望的生产过程的需求。这例如可为机器人程序的产生(相应地优化)或机器人工作空间的适应，例如在人类-机器人协作情况下涉及人体工程学框架条件。但在某一序列中也必须安排和协调任何过程参数的设置以及不同生产设备之间的交互且之后对其测试。

真实生产装置的调试耗时且增加新生产线的物理安装和以不利方式使其起动之间的时间，另一方面要求调试以用于确保生产过程的安全起动。虚拟调试的方法是已知的，以便加速调试过程。这里，在虚拟环境中基于例如3D仿真软件应用来对单独生产设备仿真，且调试参数适应仿真模型。之后，由于已经确定合适的调试参数，调试参数从仿真模型传输至相应的对应真实生产设备使得对真实构件的最终调试的努力减少到尽可能少。

对于这样的已知虚拟调试的示例是3D仿真程序(诸如“RobCad”)的使用，其中待制造的物体以及生产设备(诸如机器人)以动画方式仿真。仿真还可包括机器人的控制器，使得动画机器人的动态移动行为以完美的方式对应于真实机器人的动态移动行为。虚拟机器人控制器能够根据可在虚拟以及真实机器人上运行的机器人程序来控制机器人的移动。因此可能的是，离线对虚拟机器人生成移动程序且之后将它传输至相对等的真实机器人。

在目前的技术水平内不利地是，这样的仿真的准确性主要针对技术功能性，而在确定调试参数时尤其未能考虑生产线的操作者的人体工程学方面。

发明内容

基于目前的技术水平，本发明的目标是提供一种用于调试生产设备的系统，其易于使用且还促进关于人体工程学方面的调试。

该问题由一种用于调试前面提到的类型的生产设备的系统来解决。其特征在于，动画原型的模型通过与动画人的模型，相应地与交互装置的交互而可配置，由此更改动画原型的模型的相应调试参数，使得随之启用调试，且其中设置3D仿真软件应用以向计算单元的接口提供经更改的调试参数，使得它们可传输至相对等的真实生产设备。

本发明的基本思想在于在3D仿真软件应用内设置动画人的模型，其可放置在虚拟工作空间内且可与生产设备的动画原型交互。通过提供带有独立屏幕的移动视觉装置和交互装置，可能将穿戴移动视觉装置的“真实”用户结合到虚拟环境中。移动视觉装置可类似于一副眼镜使用。由于两个屏幕向用户呈现对应于双目立体视野的视觉数据，他在虚拟工作空间内的视觉印象较接近真实。用户的实际位置通过运动传感器确定且传送至3D仿真软件应用。因此，用户在真实环境中的位置的移动也通过虚拟工作空间内人的动画模型而执行。

通过使用交互装置，用户可与生产设备的至少相应动画原型交互。交互装置可包括例如很靠近用户的摄像机，其识别他的手势(相应地移动)。因此可能的是，将真实用户的身体的移动和手势传输至动画人的模型且真实用户以所有详细移动和手势成像到虚拟工作空间中。取决于动画人的模型的准确性，甚至可能的是，用户观看他自己的虚拟手。因此可能的是，用户例如利用他的手指执行移动且该移动可自动解释为对应于虚拟工作空间内按压虚拟按钮的移动。由于用户能够看见，所以他自己的手也能够随之以虚拟按钮为目标。虚拟按钮可例如在虚拟工作空间内开始或停止生产过程的相应仿真。但用户手中的真实按钮对于用户影响3D仿真软件应用的仿真也是合适的交互装置。

虚拟工作空间内的动画人的模型的移动和手势至少大部分对应于穿戴移动视觉装置且通过使用交互装置而交互的用户的移动和手势。另一方面，用户的移动直观上受到来自虚拟工作空间的视觉数据的强烈影响，用户从移动视觉装置的立体视图接收该视觉数据。因此，用户在与计算单元(诸如个人计算机、工作站或云计算机系统)上运行的3D仿真软件应用交互期间还感测虚拟工作空间内工作环境的人体工程学方面。如果用户例如在调试用于在虚拟环境内的后续测试期间的人类交互的机器人程序之后认识到用于人类协作者的人体工程学框架条件不充分，他可直接在虚拟环境中修改相应机器人程序且再次进行测试。

因此可能的是，找到用于生产设备的动画模型的相应合适的调试参数，该调试参数对应于真实生产设备的合适参数。设置3D仿真软件应用以向接口提供那些调试参数，使得它们可作为调试参数传输到相对等的真实生产系统中，其中用于调试真实生产系统的时间以有利方式减少。

根据本发明的另外的实施例，该系统包括另外的移动视觉和交互装置且设置仿真软件应用以提供动画人的另外的模型且将其放置在虚拟工作空间中。因此可能的是，若干个人在相同虚拟工作空间内交互且例如也可评估更复杂的与多于一个人类协作者的人类机器人合作任务。

根据本发明的系统的另外的实施例，至少一个视觉和交互装置远离计算单元，使得多个用户可在不同位点处。这以有利方式允许在同一个虚拟工作空间中的虚拟调试，甚至用户例如在不同国家。

根据本发明的另外的实施例，设置仿真软件应用以持续计算对应于来自虚拟工作空间内的预定视点的视角的图像数据且将它们传送至另外的屏幕。因此，调试的整个仿真可从独立观察点观察。当然，图像数据也可为3D数据，使得对于观察人的视觉印象尽可能真实。

根据本发明的另外的实施例，交互装置包括至少一个传感器装置，以用于检测和跟踪传感器的操作范围中的用户的身体的专门部位的移动或手势，且设置系统以对检测到的移动或手势分配某一交互。因此，诸如按压按钮等的交互不要求交互装置的真实按钮，此外可能的是，在虚拟工作空间内创建虚拟按钮或其他交互区域且对规定交互分配用户的移动(相应地手势)。

根据本发明的另外的实施例，生产设备的至少一个动画原型的可配置模型代表工业机器人。工业机器人是要求很大努力以用于调试的构件，因此在虚拟地调试它们时的时间节省较高。

机器人典型地包括机器人控制器，其设置成在生产期间运行限定它的移动的机器人程序。此外，机器人程序还可限定工具装置(诸如焊接装置、上漆装置或夹持器)的动作。安全方面也尤其重要，由于必须排除机器人伤害或危及机器人附近存在的人。关于人类-机器人协作也必须确保(除了要求的安全方面)如此的协作过程是可行的且对应于人体工程学要求。这可例如是协作工人在将工件交给协作机器人时所要求的姿势。在调试机器人时必须考虑所有那些方面且在若干情况下(尤其关于人体工程学框架条件)要求若干试验来找到正确的调试参数。除人体工程学方面外，安全方面也与机器人相关。安全问题典型地由机器人控制器自身处理，因此可能的是，利用虚拟机器人控制器(例如用于受保护的机器人区域等的联锁机构)也来评估那些方面。

根据本发明的另一个实施例，仿真软件应用提供用于虚拟工作空间内的至少一个虚拟传感器的模型，使得随之可至少检测人的动画模型在传感器的位置的工作范围中的存在。这允许例如安全机构的调试，因为人在机器人附近的存在是人由机器人危及的不可避免的先决条件。对于安全机构存在若干不同可能性(在一种情况下，机器人在操作者进入机器人周围的保护区域的情况下执行紧急停止)。但也能想到较柔和的机构，诸如随着人越来越接近机器人的任何移动部位，机器人使它的移动减慢。

根据本发明的优选实施例，机器人的可配置模型包括带有其控制逻辑行为的机器人控制器的模型。因此可能的是，在虚拟环境中运行与在真实装置中相同的机器人程序而没有任何修正。人类机器人协作和安全方面典型地也由机器人控制器处理。因此，根据本发明的另外的实施例，还设置机器人控制器的模型以运行真实机器人程序。

根据本发明的优选实施例，机器人的模型是可配置的，使得它的行为通过在其上应用相应调试参数而可改变(相应地可更改)。这优选地通过人的动画模型与虚拟工作空间中机器人的模型的交互来进行。因此，调试尽可能真实。但当然也可能的是，例如通过将相应机器人程序传输在计算单元的存储器上且在其上激活它来从虚拟工作空间外改变一些调试参数(诸如机器人程序)。

本发明的问题还通过用于利用根据本发明的系统调试生产设备的方法来解决，该系统包括

● 移动视觉装置，其包括用于提供双目立体视图的两个独立屏幕和至少一个运动传感器，

● 交互装置，

● 其中两个装置连接到计算单元上且设置为用户和仿真软件应用之间的接口，

其中设置仿真软件应用，以便

● 提供虚拟工作空间，

● 提供放置在虚拟工作空间内的生产设备的至少一个动画原型的可配置模型，

● 提供动画人的模型，

● 将人的模型放置在虚拟工作空间中且根据至少运动传感器的数据将其制成动画，

● 持续计算对应于动画人双目视野的视角的图像数据且将它们传送至移动视觉装置，使得它们在其上持续显示，

且其中

● 动画原型的模型通过与动画人的模型，相应地与交互装置的交互而可配置，由此动画原型的模型的相应调试参数可更改，使得随之启用调试且

● 设置3D仿真软件应用向计算单元的接口提供经更改的调试参数，使得它们可传输至相对等的真实生产设备。

该方法的特征在于以下步骤：

● 通过使用用于调试生产设备的系统来配置动画原型，

● 将随之获得的调试参数传输至对应于动画原型的真实装置。

该方法的主要优点对应于相应系统的优点且之前已经提到。该方法的最重要步骤在于优选地在虚拟工作空间内配置生产设备的动画原型，尤其还关于人体工程学方面，这可由用户在使用根据本发明的用于调试的系统时以良好方式感测到，且这在离线仿真中是不可能的。还可评估安全方面，诸如检测人类与机器人的碰撞。当然，根据本发明可确定另外的构件或生产设备的调试参数。通过将调试数据从3D仿真应用环境传输至相应真实装置，调试真实装置所要求的时间以显著方式减少。

本发明的另外的有利实施例在从属权利要求中提到。

附图说明

现在将借助于示范性实施例且参照附图进一步解释本发明，在附图中：

图1示出用于调试生产设备的示范性第一系统，且

图2示出用于调试生产设备的示范性第二系统。

具体实施方式

图1示出用于调试生产设备的示范性第一系统10。3D仿真软件应用在计算单元20(例如个人计算机)上运行。3D仿真软件应用提供带有机器人12的动画模型、机器人控制器14的动画模型以及人16的动画模型的虚拟工作空间18。

计算单元20经由电缆或无线连接而与第一22和第二28移动装置连接，这些移动装置与相应的一副眼镜类似。两个移动装置22、28包括独立屏幕24，在其上持续显示对应于动画人16双目视野的视角的图像数据。因此，穿戴移动装置22、28的真实用户34具有与虚拟工作空间16内的动画人16的模型相同的视图。

移动装置22、28还包括相应的运动传感器26，此处运动传感器是活动的，使得动画人16的模型被放置在虚拟工作空间18中且在虚拟工作空间18中根据活动运动传感器的数据被制成动画。因此动画人16的移动原则上对应于用户34的移动。设置第一交互装置30(在该示例中是操纵杆)以对用户34提供与3D仿真软件应用交互的可能性，例如通过按压真实按钮以触发仿真内的效果或更改自身在虚拟工作空间内的位置。这样的交互装置当然也可为带有三个或甚至六个移动自由度的输入装置。

设置第二交互装置32(在该情况下是摄像机)以用于捕捉在摄像机的视觉范围中的工人的任何手势，例如臂或手指的末梢的移动。设置另外的评估单元以用于解释那些手势，使得检测到的手势可分配给仿真程序内的专用效果，例如按压虚拟按钮。当然可想到带有不同视点的若干摄像机，其从不同视角观察相同的工作空间。

图2示出用于调试生产设备的示范性第二系统40。该系统包括四个示范性模块42、44、46、48，其各自包括计算单元、移动视觉装置和另外的交互装置。因此，模块42、44、46、48中的每一个原则上可为用于虚拟调试的独立系统。在该示例中，所有模块42、44、46、48在云52内链接，因此它们可分布在不同位点上且可通过云52交换数据和信息。所有模块42、44、46、48与相同虚拟工作空间50相关且在其中存在生产设备和人的所有动画模型。因此，可能的是，在不同位点处的若干用户在相同虚拟工作空间中同时存在且在那里利用一个或多个工件进行协作工作。

参照标号列表

10 用于调试生产设备的示范性第一系统

12 机器人的动画模型

14 机器人控制器的动画模型

16 人的动画模型

18 虚拟工作空间

20 计算单元

22 第一移动视觉装置

24 独立屏幕

26 运动传感器

28 第二移动视觉装置

30 第一交互装置

32 第二交互装置

34 用户

40 用于调试生产设备的示范性第二系统

42 第二系统的第一模块

44 第二系统的第二模块

46 第二系统的第三模块

48 第二系统的第四模块

50 虚拟工作空间

52 云。

Claims

1.一种用于调试生产设备的系统(10,40)，包括：

计算单元(20)，其带有在其上运行的3D仿真软件应用，

移动视觉装置(22,28)，其包括两个独立屏幕(24)和至少一个运动传感器(26)，

交互装置(30,32)，

其中所述移动视觉装置(22,28)和所述交互装置(30,32)连接到所述计算单元(20)上且设置为用户(34)和所述3D仿真软件应用之间的接口，

其中设置所述3D仿真软件应用，以便

提供虚拟工作空间(18,50)，

提供放置在所述虚拟工作空间(18,50)内的生产设备的至少一个动画原型的可配置模型，

提供动画人(16)的模型，

将所述动画人(16)的模型放置在所述虚拟工作空间(18,50)中且根据至少所述运动传感器(26)的数据将其制成动画，

持续计算对应于所述动画人(16)双目视野的视角的图像数据且将它们传送至所述移动视觉装置(22,28)使得它们在所述两个独立屏幕(24)上持续显示，

其特征在于

所述动画原型的模型通过与所述动画人(16)的模型，相应地与交互装置(30,32)的交互而可配置，由此所述动画原型的模型的相应调试参数可更改，使得随之启用调试且

设置所述3D仿真软件应用以向所述计算单元(20)的接口提供经更改的调试参数，使得它们可传输至相对等的真实生产设备。

2.根据权利要求1所述的系统，其特征在于，所述系统包括另外的移动视觉装置和交互装置，且其中设置所述仿真软件应用以提供动画人(16)的另外的模型且将所述动画人(16)的另外的模型放置在所述虚拟工作空间(18,50)中。

3.根据权利要求2所述的系统，其特征在于，至少一个视觉装置(22,28)和交互装置(30,32)远离所述计算单元(20)，使得多个用户(34)可在不同位点处。

4.根据权利要求1-3中任一项所述的系统，其特征在于，设置所述仿真软件应用以持续计算对应于来自所述虚拟工作空间(18,50)内的预定视点的视角的图像数据且将它们传送至另外的屏幕。

5.根据权利要求1-3中任一项所述的系统，其特征在于，所述交互装置(30,32)包括至少一个传感器装置以用于检测和跟踪所述传感器的操作范围中的用户(34)的身体的专门部位的移动或手势，且其中设置所述系统以对检测到的移动或手势分配某一交互。

6.根据权利要求1-3中任一项所述的系统，其特征在于，生产设备的至少一个动画原型的可配置模型代表工业机器人(12)。

7.根据权利要求6所述的系统，其特征在于，所述仿真软件应用提供用于所述虚拟工作空间(18,50)内的至少一个虚拟传感器的模型，使得随之可至少检测动画人(16)的动画模型在所述传感器的位置的工作范围中的存在。

8.根据权利要求6所述的系统，其特征在于，所述机器人(12)的可配置模型包括带有其控制逻辑行为的机器人控制器(14)的模型。

9.根据权利要求8所述的系统，其特征在于，设置所述机器人控制器(14)的模型以运行真实机器人程序。

10.根据权利要求6所述的系统，其特征在于，所述机器人(12)的模型是可配置的。

11.一种用于利用系统(10,40)调试生产设备的方法，所述系统(10,40)包括：

计算单元(20)，其带有在其上运行的3D仿真软件应用，

交互装置(30,32)，

其中设置所述3D仿真软件应用，以便

提供虚拟工作空间(18,50)，

提供动画人(16)的模型，

持续计算对应于所述动画人(16)双目视野的视角的图像数据且将它们传送至所述移动视觉装置(22,28)使得它们在其上持续显示，

且其中

设置所述3D仿真软件应用以向所述计算单元(20)的接口提供经更改的调试参数，使得它们可传输至相对等的真实生产设备，

其特征在于以下步骤

通过使用用于调试生产设备的系统来配置所述动画原型，

将随之获得的调试参数传输至对应于所述动画原型的真实装置。