CN105637435A - 用于验证针对可移动的机械单元的一个或多个安全容积的方法和装置 - Google Patents

Abstract

本发明涉及用于验证针对被定位在环境中的可移动的机械单元(1)的一个或多个安全容积的方法和装置，其中世界坐标系与机械单元有关地并且与机械单元的环境有关地限定出。方法包括存储与世界坐标系有关地限定的一个或多个安全容积的描述，并且重复地与世界坐标系有关地确定出便携式显示单元(5)的位置和定向、基于安全容积的描述和便携式显示单元的位置和定向确定出安全容积(6)的图形表示、使安全容积的图形表示叠加在真实机械单元及其环境的视图上以提供合成的增强现实图像，并且将增强现实图像显示在便携式显示单元上。

Description

用于验证针对可移动的机械单元的一个或多个安全容积的方法和装置

技术领域

本发明涉及用于验证针对可移动的机械单元的相对于机械单元的环境的一个或多个安全容积以便避免机械单元与环境中的障碍物之间的碰撞的方法。本发明还涉及用于安全容积的验证的装置。

背景技术

可移动的机械单元是例如工业机器人、定位器或其他类型的操纵器。工业机器人和其他类型的操纵器往往被编程为在包括多个障碍物、例如墙壁、围栏、机器、定位器、不同类型的工作站及诸如机器人、操纵器和外部轴等的其他可移动的机械单元的环境中移动。为确保机器人不与其环境中的障碍物碰撞，已知确定出针对机器人的一个或多个安全容积。安全容积是参照与机器人及其环境有关地限定出的世界坐标系来限定的。一个类型的安全容积具有与机器人的环境有关的固定尺寸和固定位置。在下文中，该类型的安全容积被命名为固定安全容积。这样的固定安全容积也称作安全区。固定安全容积是预先限定的。固定安全容积可以或者被限定为使得机器人不被允许移动到安全容积的外侧，或者使得机器人不被允许移动到安全容积的内侧。机器人可以具有几个固定安全容积。固定安全容积事先、例如在机器人的编程期间被确定或编程。固定安全容积往往被用数字表示地确定出并且被以2D视觉化在PC屏幕上。如果机器人是在编程和仿真工具中被离线编程，则固定安全容积可以在编程和仿真工具中被编程和视觉化。在机器人的操作期间，安全系统监督机器人的移动。如果安全系统检测到机器人移动到这样的移动不被允许的固定安全容积的外侧，则机器人被立即停止。

另一类型的已知安全容积具有与机器人的环境有关的可变的尺寸和可变的位置并且是与机器人的关键部分有关地限定出的。关键部分是例如机器人的工具中心点(TCP)或机器人的肘部。在下文中，该类型的安全容积被命名为移动安全容积。机器人可以具有针对机器人的不同部分所限定出的几个移动安全容积。移动安全容积也称作移动区。移动安全容积被限定为在如果机器人被紧急停止时的某一时刻由关键部分可到达的最大容积。移动安全容积取决于机器人的移动路径并且考虑到制动路径和针对该移动路径由机器人可达到的最大位置。移动安全容积的尺寸取决于关键部分的速度和负载及机器人的制动特性。关键部分的速度越高，移动安全容积的尺寸越大。移动安全容积的位置取决于关键部分的位置。移动安全容积可以被用来检查机器人的执行期间在机器人的关键部分与机器人的环境中的移动障碍物之间的碰撞。

US8326590B2公开了用于设计和检查机器人的固定安全容积的方法和系统。固定安全容积是在对机器人的移动进行仿真所在的离线仿真的帮助下建立的。离线仿真由离线编程和仿真工具(PC上的RobotStudio)执行。在固定安全容积的设计的第一步骤期间，固定安全容积被视觉化在离线编程和仿真工具上的屏幕上，并且编程者能够基于视觉化来修改固定安全容积。在第二步骤中，固定安全容积的设计考虑到当机器人被停止时的机器人的制动路径。这通过基于机器人的移动路径的离线仿真计算出针对机器人的虚拟移动安全容积并且检查固定安全容积与虚拟移动安全容积之间的碰撞来完成。如果检测到碰撞，则修改固定安全容积和/或机器人路径。此后将关于固定安全容积的数据传输至机器人控制器。

当已经确定了固定安全容积时，将固定安全容积的描述部署至机器人的安全系统。描述可以包含在世界坐标系中所限定出的固定安全容积的坐标。固定安全容积的坐标往往被手动地、例如由机器人编程者给送至安全系统。这意味着固定安全容积的坐标被手动地给送至机器人的安全系统。

由于人很难想象出在2D布局中限定的安全容积将如何在机器人环境中结束，所以有必要验证容积是与机器人及其环境有关地正确地限定出的。因此，当安全容积已经被部署至安全系统时，和机器人及其环境相关地验证安全容积的位置。这通过使机器人在不同方向上重复地移动直到机器人到达安全容积的边界线并且机器人由安全系统停止而手动地完成。安全容积可能归因于几个原因而不正确。一个原因在于给送至安全系统的坐标中的一些是不正确的。另一原因在于预先限定的固定安全容积的位置和形状没有与机器人的环境中的障碍物正确地相配。问题在于安全容积的手动验证易于出错并且耗时。这对于包括几个机器人、各机器人具有待验证的一个或多个安全容积的线路而言特别是问题。安全容积的证实过程可能需要几天，并且如果在证实期间发现了错误，则安全容积需要被重新部署并且整个证实过程需要重新开始。这意味着对于编程者/消费者而言大量时间被潜在地浪费掉。使事情更糟的是，限定安全容积的人员不总是执行证实的同一人员。

发明内容

本发明的目的是提供一种用于有助于针对可移动的机械单元的相对于机械单元的环境的安全容积的验证的方法。

根据发明的一个方面，该目的通过如权利要求1所限定的方法来实现。

方法的特征在于，它包括：

-获得一个或多个安全容积的描述，所述描述是与世界坐标系有关地限定的，并且重复地：

-与世界坐标系有关地确定出便携式显示单元的位置和定向，

-基于安全容积的描述和便携式显示单元的位置和定向确定出安全容积的图形表示，

-使安全容积的图形表示叠加在机械单元的环境的真实视图上以提供合成的增强现实图像，和

-将增强现实图像显示在便携式显示单元上。

关于安全容积是指与机械单元或者与机械单元的环境相关地限定出的容积以便避免在机械单元的移动期间在机械单元与环境中的障碍物之间的碰撞。

根据发明，安全容积被呈现在显示单元上的机械单元的真实环境上面的图形视图中。根据发明的方法使得用户能够在机械单元的环境中来回走动并且查看叠加在真实机械单元及其环境上的安全容积的图形表示。通过使显示单元在机械单元的环境中来回移动，用户将能够从不同角度观看环境和安全容积，这增加了安全容积和它们如何与环境中的障碍物相关的理解。发明给予用户关于容积在环境中如何并在哪里被限定的有价值的反馈。发明使得能够检测安全容积的形状和位置是否需要被修改以便避免与机械单元的环境中的障碍物的碰撞。在检测到不正确的安全容积和不正确地反馈的坐标时，不正确的安全容积可以被修改并且不正确地反馈的坐标可以被修正。发明使得能够检测在已编程好的路径上的机械单元的速度和/或位置是否需要被修改以便避免与机械单元的环境中的障碍物的碰撞。

根据发明的实施例，所述安全容积中的至少一个是固定安全容积。关于固定安全容积是指具有在世界坐标系中的固定位置和定向的容积。固定安全容积被呈现在真实环境上面的图形视图中并且使得用户能够在环境中来回走动并且从不同角度查看与真实环境有关的固定安全容积的图形表示，这增加了关于固定安全容积在环境中如何并且在哪里被限定的理解。归因于数值参数的误解的任何错误都是容易检测的，例如容积延伸的错误方向。因此，对于用户来说检测到固定安全容积中的任何一个是否是不正确的并且需要被修改是容易的。例如，能够检测到固定安全容积的坐标中的任何一个是否已经不正确地给送至安全系统。固定安全模块的编程和验证将更加直观且更快，因为固定安全容积的理解被急剧提高，并且因为可以容易地检测到主要的编程错误。因此，发明的该实施例有助于固定安全容积的验证，并由此减少了用于执行固定安全容积的验证所需要的时间。根据发明的方法可以用于在安全容积的设计和编程期间以及在现场的最后验证步骤期间的安全容积的验证。此外，根据发明的方法使得能够现场限定和编程固定安全容积。

根据发明的实施例，方法包括第一验证步骤，其包括基于所显示出的增强现实图像来验证安全容积并且在检测到不正确的安全容积时修改安全容积。

根据发明的进一步的实施例，方法包括第二验证步骤，其包括重复地使机械单元在不同方向上移动直到机械单元达到固定安全容积的边界线并且在检测到不正确的安全容积时修改固定安全容积。由于安全的原因，根据发明的方法不能完全替换包括了重复地使机械单元在不同方向上移动直到机械单元达到安全容积的边界线的用于固定安全容积的验证的上述方法。然而，通过使用根据发明的方法作为预先验证步骤，能够显著地减少在最终的验证步骤期间检测到的错误，并相应地能够显著地降低用于固定安全容积的验证的总时间。

根据发明的实施例，所述安全容积中的至少一个是具有取决于机械单元的关键部分的速度和位置的尺寸和位置的移动安全容积，并且方法包括重复地获得机械单元的关键部分的位置和速度、基于关键部分的位置和速度确定出针对机械单元的关键部分的移动安全容积、存储与世界坐标系有关地限定出的移动安全容积的描述、基于所存储的安全容积的描述和便携式显示单元的位置和定向确定出移动安全容积的图形表示、将移动安全容积的图形表示叠加在机械单元的真实环境的视图上以提供合成的增强现实图像，和将增强现实图像显示在便携式显示单元上。优选地，移动安全容积基于关键部分的位置、速度和负载来确定。该实施例使得能够使移动安全容积的尺寸和位置在机械单元沿着已编程好的路径移动的情况下如何相对于机械单元的真实环境改变视觉化。该实施例使用户能够检测到在移动安全容积与机械单元的真实环境中的障碍物之间是否有碰撞。该实施例有助于关于与机械单元的环境中的固定障碍物的碰撞的已编程好的移动路径的验证。

移动安全容积代表与关键部分相距的在各方向上的最小安全距离，该安全距离应该被维持以便避免与机械单元的环境中的障碍物的碰撞。移动安全容积的尺寸和位置取决于针对机械单元的已编程好的路径。根据发明的该实施例，沿着已编程好的路径的移动安全容积的尺寸和位置被呈现在真实环境上面的图形视图上。机器人程序可以例如在真实机器人上执行，而针对机器人的关键部分的移动安全容积基于真实机器人的位置、速度和可能的负载来确定。围住真实机械单元的关键部分的移动安全容积的图形呈现被与机械单元的真实环境有关地呈现出。发明的该实施例使用户能够视觉上确定在移动安全容积与机械单元的环境中的诸如围栏或工作站等的障碍物之间是否有任何重叠。如果在移动安全区与障碍物之间有重叠，则存在着机械单元与障碍物之间的碰撞的风险。于是机械单元的路径必须被重新编程。因此，发明的该实施例使得能够关于在机械单元的真实环境中的碰撞验证已编程好的移动路径。

在发明的一个实施例中，呈现出仅当前移动安全容积。这意味着移动安全容积沿着已编程好的的路径在依赖于机械单元的位置和速度的真实环境中来回移动。在发明的可替代的实施例中，当前移动安全容积与沿着路径的先前确定出的移动安全容积一起被呈现出，并且还可能与待稍后在路径上执行的将来的移动安全容积一起被呈现出。因此，沿着路径的所有移动安全容积同时被呈现。该实施例对于编程者来说有助于关于机械单元的真实环境中的碰撞验证已编程好的移动路径。

根据发明的实施例，方法包括对针对机械单元的已编程好的移动路径进行仿真、基于仿真确定出沿着移动路径的关键部分的位置和速度，和基于确定出的关键部分的位置和速度确定出移动安全容积。优选地，还考虑关键部分的负载。取代在真实机械单元上执行移动程序，可以例如在机械单元的安全系统中对移动路径进行仿真，以便确定沿着移动路径的关键部分的位置、速度和负载。移动安全容积的尺寸和位置于是基于从仿真获得的关键部分的位置和速度来确定。该实施例使得能够在不使机械单元移动的情况下关于机械单元的真实环境中的碰撞验证已编程好的移动路径。移动安全容积的图形呈现在真实环境中沿着已编程好的路径移动，而机械单元不必移动。归因于机械单元不必移动的事实，对于用户来说在机械单元的环境中来回走动是安全的，并相应地对于用户来说易于检测移动安全容积与环境中的障碍物之间的重叠。因此，进一步有助于已编程好的路径的验证。

根据发明的实施例，方法包括基于关键部分的速度和负载计算出针对所述关键部分的安全距离，和基于计算出的安全距离确定出所述移动安全容积。安全距离是机械单元如果在已编程好的路径上的某一点处紧急停止时可以达到的在某一方向上的最大距离。

根据发明的实施例，所述容积中的至少一个是固定安全容积并且至少一个是移动安全容积，并且方法包括重复地基于安全容积的描述和便携式显示单元的位置和定向确定出固定安全容积和移动安全容积的图形表示、将固定安全容积和移动安全容积的图形表示叠加在环境的所述视图上以提供合成的增强现实图像，和将增强现实图像显示在便携式显示单元上。通过在与移动安全容积相同的视图中显示出固定安全容积，能够视觉上验证与移动路径有关的固定安全容积的位置。取决于固定与可移动安全容积之间的位置关系，对于用户来说能够检测固定安全容积的提高并且做出固定安全容积的必要的修改。因此，该实施例有助于与已编程好的移动路径有关的固定安全容积的位置的验证。

根据发明的实施例，方法包括检测与固定安全容积的图形表示的用户交互，并且基于所述检测到的用户交互修改已存储的固定安全容积的描述。交互可以例如在显示单元的屏幕上直接进行，或者在一副交互式眼镜前面的空气中通过手势进行。该实施例使得对于用户来说能够在安全容积的在线验证期间现场修改固定安全容积并相应地减少用于固定安全容积的验证和修改所需的时间。

根据发明的实施例，显示单元可以是透明的并允许用户透过显示单元看到真实世界。在该实施例中，显示单元优选地可以被集成到一副眼镜内。

根据发明的另一实施例，方法包括捕获真实机械单元及其环境的图像，并且将安全容积的图形表示登记在真实机械单元及其环的图像上以提供合成的增强现实图像。该实施例使得能够使用包括显示单元的诸如手持计算机或蜂窝电话等的便携式手持单元。然而，也可以将显示单元集成到一副眼镜内。

根据发明的另一实施例，基于安全容积的3D描述和便携式显示单元的位置和定向来确定出安全容积的2D图形表示，并且将安全容积的2D图形表示登记在真实机械单元及其环境的图像上以提供合成的增强现实图像。该实施例使得能够在显示单元上查看2D增强现实图像。

根据发明的一个方面，目的通过如权利要求10限定的装置来实现。

装置的特征在于它包括：被配置成存储安全容积的描述的储存单元、便携式显示单元、被配置成连续地确定出与世界坐标系有关的便携式显示单元的位置和定向的位置检测器、被配置成基于存储的安全容积的描述和便携式显示单元的位置和定向确定出安全容积的图形表示的图形单元，和被配置成将安全容积的图形表示叠加在真实世界的视图上以提供合成的增强现实图像并且将增强现实图像显示在便携式显示单元上的增强现实单元。

根据发明的实施例，装置包括被配置成获得机械单元的关键部分的位置和速度、基于关键部分的位置和速度确定出针对机械单元的关键部分的移动安全容积并且将与世界坐标系有关地限定出的移动安全容积的描述存储在所述存储单元中的描述发生器。关键部分的位置和速度例如可以从机械单元的控制单元或者从仿真器单元接收或获取。

根据发明的实施例，装置包括被配置成对针对机械单元的已编程好的移动路径进行仿真并且基于仿真确定出在移动路径的执行期间的关键部分的位置和速度的仿真单元，并且所述描述发生器被配置成从仿真单元获得关键部分的位置和速度并且基于获得的位置和速度确定出所述移动安全容积。

根据发明的实施例，所述存储单元被配置成存储具有与世界坐标系有关的固定位置的固定安全容积的描述，所述图形单元被配置成基于安全容积的描述和便携式显示单元的位置和定向确定出固定安全容积和移动安全容积的图形表示，并且增强现实单元被配置成使固定和移动安全容积的图形表示叠加在真实机械单元及其环境的视图上以提供合成的增强现实图像。

根据发明的实施例，装置包括被配置成检测与固定安全容积的图形表示的用户交互的交互单元，和被配置成基于检测到的与安全容积的图形表示的用户交互修改存储的固定安全容积的描述的修改单元。例如，显示单元可以包括被配置成检测与安全容积的图形表示的用户交互的触摸屏幕。

根据发明的实施例，装置包括被配置成捕获真实机械单元及其环境的图像的照相机，并且增强现实单元被配置成将安全容积的图形表示登记在真实机械单元及其环境的图像上以提供合成的增强现实图像。

根据发明的实施例，图形单元被配置成基于安全容积的3D描述和便携式显示单元的位置和定向确定出安全容积的2D图形表示，并且增强现实单元被配置成将安全容积的2D图形表示登记在真实机械单元及其环境的图像上以提供合成的增强现实图像。

根据发明的装置有利地用于针对工业机器人的安全容积的验证。

附图说明

现在将通过发明的不同实施例的描述并参照附图更加密切地说明发明。

图1示出包括机器人的机器人单元的示例。

图2示出显示了包括在图1所示机器人单元上面呈现出的固定安全容积的图形表示的增强现实图像的显示单元的示例。

图3示出根据发明的第一实施例的用于验证安全容积的装置的方框图。

图4示出根据发明的第一实施例的用于验证安全容积的方法的框图。

图5示出移动安全容积的沿着移动路径的图形呈现的示例。

图6示出根据发明的第二实施例的用于验证安全容积的装置的方框图。

图7示出根据发明的第二实施例的用于验证移动安全容积的方法的框图。

图8示出根据发明的第三实施例的用于验证安全容积的方法的框图。

图9示出包括了在真实机器人单元上面呈现出的固定安全容积和移动安全容积的图形表示的增强现实图像的示例。

具体实施方式

在以下示例中，机械单元是机器人。然而，发明不限于机器人。机械单元可以是诸如机器人、操纵器、定位器和外部轴等的其移动是可编程的任何类型的机械单元。

图1示出机器人单元的示例，其包括呈机器人1的形式的机械单元、由机器人照管的机器2和包围机器人单元的围栏3。世界坐标系(x,y,z)是与机器人的环境、在该示例中是与机器人单元有关地限定出的。机器人和机器的位置是与世界坐标系有关地限定出的。机器人1被连接至机器人控制器4，其包括联接至存储器的处理器。一个或多个固定安全容积参照世界坐标系限定出。固定安全容积具有与世界坐标系有关的固定尺寸和固定位置。固定安全容积可以或者被限定为使得机器人不被允许移动到安全容积的外侧，或者使得机器人不被允许移动到安全容积的内侧。机器人可以具有几个固定安全容积。固定安全容积事先、例如在机器人的编程期间被确定或编程。

机器人包括适于监督机器人的运动并检测机器人是否移动到固定安全容积的外侧或内侧的安全系统。在该示例中，安全系统在机器人控制器上运行。也可以使安全系统在被连接至机器人控制器的单独的安全计算机上运行。当一个或多个固定安全容积已经针对机器人被限定出并且被进行了验证时，固定安全容积的描述被存储在机器人的安全系统中的数据库中。描述可以包含在世界坐标系中限定出的固定安全容积的坐标。安全系统可以从离线编程工具或者从将描述给送至安全系统的用户获得固定安全容积的描述。安全系统检测机器人或者机器人的一个或多个关键部分是否移动到安全容积的外侧/内侧。如果机器人的关键部分在固定安全容积的外侧/内侧，则安全系统使机器人运动立即停止。关键部分是例如机器人的工具中心点(TCP)，如果机器人是7轴机器人时的肘部，或者机器人的整个容积。

图2示出显示了包括在图1所示机器人单元上面呈现出的固定安全容积6的图形表示的增强现实图像的便携式显示单元5的示例。便携式显示单元5包括用于显示增强现实图像的屏幕8。便携式显示单元5还可以包括诸如CPU或FPGA等的数据处理部件和用于存储数据和程序的诸如RAM、ROM、PROM等等的存储部件。便携式显示单元5是例如示教器单元(TPU)、便携式计算机单元、平板计算机、蜂窝电话、可佩戴的眼镜或头戴式显示器、包括透明屏幕的透视式眼镜或者包括不透明屏幕的眼镜。位置矢量7被正交于显示单元5的屏幕8的表面限定出。位置矢量7取决于显示单元的屏幕8的参照世界坐标系的位置和定向。

图3示出用于与验证针对可移动的机械单元的固定安全容积相关地使用的根据发明的装置的示例。装置包括便携式显示单元5，其包括用于显示增强现实图像的屏幕。屏幕是例如触摸屏幕或者透明屏幕。装置进一步包括被配置成存储固定安全容积的描述的诸如RAM、ROM、PROM、EEPROM等的存储单元10。描述是与世界坐标系有关地限定出的。例如，描述包括在世界坐标系中的安全容积的坐标。装置可以从机器人的安全系统、从离线编程工具或者从用户将描述给送所至的用户接口获得固定安全容积的描述。

装置进一步包括被配置成连续地确定出显示单元5的位置和定向的位置检测器14。例如，位置检测器14确定出针对便携式显示单元的与世界坐标系有关的位置矢量。装置进一步包括图形单元16，其被配置成基于所存储的固定安全容积的描述和便携式显示单元5的位置矢量来确定出固定安全容积的图形表示。装置进一步包括增强现实单元18，其被配置成将固定容积的图形表示叠加在真实世界的视图上以提供合成的增强现实图像，并且将增强现实图像显示在便携式显示单元5上。优选地，存储单元10、位置检测器14、图形单元16和增强现实单元18被实施为便携式显示单元5的一部分。图形单元16和增强现实单元18是软件模块，其优选地在显示单元5的处理器上运行。

在该实施例中，显示单元5的屏幕是不透明的、即不是透视型的，并且装置进一步包括被配置成捕获真实机器人及其环境的图像的照相机20，并且增强现实单元18被配置成将安全容积的图形表示登记在真实机器人及其环境的图像上以提供合成的增强现实图像。显示单元5使组合有计算机所生成的安全容积的图形的照相机20的视图视觉化。照相机20优选地被安装在显示单元5上或者被集成在其中。所有类型的照相机都可以使用，但是针对位置和定向的精度的需求确定了照相机的类型。例如，可以使用网络照相机、摄像机或者CCD照相机。然而，照相机是可选的。如果使用透视眼镜并且显示单元的位置和定向使用任何类型的传感器来确定，则照相机不是必要的。

位置检测器14被配置成与世界坐标系有关地确定出显示单元5的位置和定向。显示单元的位置和定向可以以许多不同的方式来跟踪。在发明的该实施例中，位置检测器14被配置成基于从照相机20接收到的图像来确定显示单元的位置矢量。显示单元的位置和定向例如通过图像识别来确定。在另一实施例中，显示单元可以设置有用于确定位置和定向的传感器。用于确定位置和定向的传感器和技术的示例是计算机视觉、惯性感测、超声波感测和磁性感测、加速度计、陀螺仪、激光技术和全球定位系统(GPS)。

在发明的一个实施例中，图形单元16被配置成基于安全容积的3D描述和便携式显示单元的位置矢量来确定安全容积的2D图形表示，并且增强现实单元被配置成将安全容积的2D图形表示登记在真实机器人及其环境的图像上以提供合成的增强现实图像。在发明的另一实施例中，安全容积的3D图形表示被呈现在显示单元上。

可选地，装置可以包括被配置成检测与固定安全容积的图形表示的用户交互的交互单元22，和被配置成基于检测到的用户交互来修改所存储的固定安全容积的描述的修改单元24。显示单元可以包括触摸屏幕并且交互单元检测与触摸屏幕上的图形表示的用户交互。交互可以例如在显示单元的屏幕上直接进行，或者在一副交互式眼镜前面的空气中通过手势进行。例如，用户被允许通过拖放使安全容积上的点移动，并且通过使一个或多个手指跨越屏幕移动而放大或减小安全容积的尺寸。该实施例使得对于用户来说能够在安全容积的在线验证期间现场修改固定安全容积，并相应地能够减少用于固定安全容积的验证和修改所需要的时间。

在下文中，将描述用以实施位置检测的可能的方式的一些示例。当谈到如今的移动增强现实(AR)和一般的AR实施时，最广泛适用的技术是标记点跟踪。该技术通过使照相机检测与跟踪环境中的物理标记点并且与标记点对齐地将虚拟对象显示在屏幕上而工作。利用该方法的优点在于容易计算出照相机的相对于标记点的角度并且使虚拟对象相应地对齐，并且实施简单。可以使用的另一技术是无标记点AR。无标记点技术建立在自然特征跟踪的原则上，这意味着装置创建了不具有先前知识的环境的视觉理解。这允许了其中数字图像被放置并被直线对齐到真实环境内而不需要物理标记点的AR应用的新形式。虽然基于标记点和无标记点的AR技术两者将重点放在作为最重要的传感器的照相机周围，但基于地理位置的AR将重点放在装置的诸如GPS、加速度计、罗盘和陀螺仪等的定位传感器上。通过找到显示单元的相对于真实世界的位置，安全容积的数字信息可以被叠加在真实世界上以提供安全容积相对于机器人及周围环境的信息位置。

图4示出用于验证固定安全容积(FSV)的根据发明的第一实施例的方法的框图。固定安全容积具有与机械单元的环境有关的固定尺寸和固定位置。所描述的方法基于被布置成提供机器人及其环境的图像的照相机的使用。然而，可以使用其他方法。世界坐标系是与机械单元有关并且与机械单元的环境有关地限定的。验证在两个步骤中进行。第二步骤是可选的。

一个或多个固定安全容积针对可移动的机械单元被限定出。第一步骤包括获得固定安全容积中的每一个的描述，方框30。描述优选是3D描述。描述是与世界坐标系有关地限定出的。描述例如从机器人的安全系统获得。描述被存储在存储单元10中，方框32。在第一验证步骤期间，重复地执行以下子步骤：

-捕获真实机器人及其环境的图像，方框34。图像由照相机20捕获。该步骤是可选的。

-与世界坐标系有关地确定出显示单元5的位置和定向。基于显示单元的位置和定向适当地确定出显示单元的屏幕的位置矢量，方框36。在该实施例中，显示单元5的位置和定向是例如借助于标记点跟踪或无标记点AR基于所捕获到的真实机器人及其环境的图像确定出的。

-基于所存储的固定安全容积的描述和便携式显示单元的位置矢量确定出固定安全容积的图形表示，方框38。这意味着从显示单元的目前的位置和角度看到的固定安全容积的图形呈现被确定出。固定安全容积的2D或3D图形表示是基于固定安全容积的描述和便携式显示单元的位置矢量确定出的。

-将固定安全容积的图形表示登记在真实机器人及其环境的图像上以提供合成的增强现实图像，方框40。该步骤是可选的，并且如果使用透视式眼镜的话则不是必要的。

-将增强现实图像显示在便携式显示单元5上，方框42。

第一验证步骤进一步包括基于显示出的增强现实图像来验证固定安全容积，方框44。在第一验证步骤期间，用户使显示单元在机器人单元中来回移动并且从不同角度观看环境和安全容积。显示出的增强现实图像为用户提供了关于固定安全容积在机器人环境中如何并且在哪里被限定的反馈。因此，对于用户来说检测固定安全容积中的任何一个是否不正确并需要被修改是容易的。如果检测到错误，则修改不正确的安全容积，方框46。可选地，该步骤包括检测与固定安全容积的图形表示的用户交互，并且基于所述检测到的用户交互来修改固定安全容积的描述。交互可以例如在显示单元的屏幕上直接进行，或者在一副交互式眼镜前面的空气中通过手势进行。有利的是，在固定安全容积已经被修改之后再次运行第一步骤、方框34至44，以确保经过修改的安全容积是正确的。重复步骤34至46直到用户确定验证完成。

为了最终验证固定安全容积，可以执行第二验证步骤。在第二验证步骤期间，机器人在不同方向上重复地移动直到机器人达到固定安全容积的边界线，方框48。例如，机器人可以依照验证程序自动地移动。在检测到不正确的安全容积时修改固定安全容积，方框50。经过修改的安全模块必须进行验证。优选地，通过再次运行第一和第二验证步骤对经过修改的安全模块进行验证。

移动安全容积是与机器人的关键部分有关地限定出的并且具有与机器人的环境有关的可变的尺寸和位置。一个或多个移动安全容积可以针对一个机械单元被限定出。关键部分是例如机器人的工具中心点(TCP)或机器人的肘部。移动安全容积的位置取决于关键部分的位置，并且移动安全容积的尺寸取决于关键部分的当前速度和负载。移动安全容积取决于机器人的移动路径。移动安全容积沿着移动路径跟随关键部分的移动。当关键部分静止不动时移动安全容积的尺寸是零。

图5示出沿着由多个目标点64限定出的移动路径62的移动安全容积60的图形呈现的示例。位置和速度沿着移动路径62是已知的。取决于沿着路径的速度、负载等等，存在有制动距离、即安全距离。取决于制动距离和方向的不确定性，制动距离可以被表示为例如呈锥体形式的容积。该容积表示移动安全容积。可以确定出沿着移动路径62的移动安全容积60。如图中看到的，锥体将“消失”并且而是可以被看作“管”。该管接着可以通过增强现实被视觉化。

用于建立操作者接近固定机器时的制动距离的指导被给出在ISO13855中。然而在那里未把机器人的运动考虑在内。出于操作的速率和分离监测类型，用来确定最小分离距离S的主方程因此是ISO13855中找到的方程的概括：

S＝KHx(TR+TB)+KRxTR+B+C+Zs+Zr

第一项描述了从检测的时刻开始直到机器人系统被暂停时由操作者行进的距离，第二项表示从检测的时刻开始直到停止部件的接合时由机器人行进的距离，第三项是在暂停期间由机器人行进的制动距离。关于入侵距离C的进一步信息可以在ISO13855中找到。

图6示出根据发明的第二实施例的用于验证安全容积的装置的方框图。图3和图6中相同或相应的部分用相同的编号指示出。存储单元10适于存储移动安全容积的描述。图6中示出的该装置与图3中示出的装置的不同之处在于它包括描述发生器66，其被配置成获得机械单元的关键部分的位置和速度、基于关键部分的位置和速度确定出针对机械单元的关键部分的移动安全容积，并且将与世界坐标系有关地限定出的制动移动容积的描述存储在存储单元10中。图形单元16被配置成基于移动安全容积的描述和便携式显示单元的位置与定向确定出移动安全容积的图形表示。增强现实单元18被配置成将可移动的安全容积的图形表示叠加在机械单元的真实环境的视图上以提供合成的增强现实图像。因此，移动安全容积的图形呈现与机器人的真实环境有关地呈现出。该实施例使得用户能够视觉上确定在移动安全容积与机械单元的环境中的障碍物之间是否有任何重叠。如果在移动安全容积与障碍物之间有重叠，则存在着机械单元与障碍物之间的碰撞的风险并且移动路径必须被重新编程。

可以显示出沿着机器人路径移动的仅一个移动安全容积。然而，有利的是，同时呈现出沿着路径的几个或所有移动安全容积、例如作为长形管，以便对于用户来说有助于关于在机械单元的真实环境中的碰撞验证已编程好的移动路径。

关键部分的位置和速度例如从机器人控制器4获得。接着在真实机器人上执行机器人程序同时基于真实机器人的位置、速度和可选的负载确定出针对关键部件的移动安全容积。接着基于真实机器人的当前位置和速度确定出移动安全容积的尺寸和位置。

可替代地，关键部分的位置和速度从被配置成对针对机械单元的已编程好的移动路径进行仿真的仿真单元68获得。接着基于从仿真获得的关键部分的位置和速度确定出移动安全容积的尺寸和位置。适宜的是使仿真单元位于便携式显示单元中。然而，仿真单元也可以位于远程计算机上、机器人控制器上或者安全系统中。该实施例使得能够在不必使机械单元移动的情况下关于在机械单元的真实环境中的碰撞验证已编程好的移动路径。移动安全容积的图形呈现在真实环境中被沿着已编程好的路径移动，而机械单元静止不动。归因于机械单元不必移动的事实，对于用户来说在机械单元的环境中来回走动并检测移动安全容积与环境中的障碍物之间的重叠是安全的。

图6中所公开的装置进一步包括仿真单元68，其被配置成对针对机械单元的已编程好的移动路径进行仿真，并且基于仿真确定出在移动路径的执行期间关键部分的位置和速度。描述发生器66被配置成从仿真单元68获得沿着移动路径的关键部分的位置和速度并且基于所获得的位置和速度确定出移动安全容积。描述发生器66例如基于机器人的速度、机器人的反应时间和机器人的质量及机器人所携带的负载来确定出沿着路径的制动距离。

在发明的另一实施例中，存储单元10适于存储移动安全容积以及固定安全容积的描述，并且图形单元16被配置成确定出移动安全容积以及固定安全容积的图形表示。

图7示出根据发明的第二实施例的用于验证移动安全容积(MSV)的方法的框图。应该理解的是，流程图中的各方框可以通过计算机程序指令来实施。方法包括重复地：

获得机械单元的关键部分的位置和速度，方框52。位置和速度可以是机械单元的实际位置和速度，或者是仿真值。基于所获得的关键部分的位置和速度确定出针对机械单元的关键部分的移动安全容积，方框54。该步骤包括基于机械单元的速度确定出在路径上的制动距离。存储与世界坐标系有关地限定出的移动安全容积的描述，方框56。该描述例如是世界坐标系中的安全容积的坐标。与世界坐标系有关地确定出便携式显示单元的位置和定向，方框58。基于所存储的移动安全容积的描述和便携式显示单元的位置和定向确定出移动安全容积的图形表示，方框60。这意味着从显示单元的目前位置和角度看到的可移动的安全容积的图形呈现被确定出。

使移动安全容积的图形表示叠加在机械单元的真实环境的视图上以提供合成的增强现实图像，方框62。将增强显示图像显示在便携式显示单元上，方框64。重复方法直到移动安全容积已经被沿着整个路径显示出，方框66。可以继续显示出沿着路径的所有移动安全容积，只要用户选择。

图8示出根据发明的第三实施例的用于验证固定安全容积的方法的框图。应该理解的是，流程图中的各方框可以通过计算机程序指令来实施。与世界坐标系有关地针对可移动的机械单元限定出一个或多个固定安全容积。存储世界坐标系中所限定出的固定安全容积(FSV)的描述，方框70。获得机械单元的关键部分的位置和速度，方框72。基于所获得的关键部分4的位置和速度沿着整个路径确定出针对关键部分的移动安全容积(MSV)。存储世界坐标系中所限定出的移动安全容积的描述，方框74。

在第一验证步骤期间，重复地执行以下子步骤。与世界坐标系有关地确定出便携式显示单元的目前的位置和定向，方框76。基于所存储的固定和移动安全容积的描述及便携式显示单元的位置和定向确定出固定和移动安全容积的图形表示，方框78。这意味着从显示单元的目前位置和角度看到的固定和移动安全容积的图形表示被确定出。使固定和移动安全容积的图形表示与机械单元的环境的视图叠加以提供合成的增强现实图像，方框80。

将增强显示图像显示在便携式显示单元上，方框82。固定和移动安全容积由此被视觉化在机器人的真实环境中。通过使一个或多个固定安全容积同时地并且以与一个或多个移动安全容积相同的视图显示出，能够视觉上验证与移动路径有关的固定安全容积的位置。取决于被视觉化的固定和可移动的安全容积之间的位置关系，对于用户来说能够检测固定安全容积的提高并且能够做出固定安全容积的必要的修改。例如，如果机器人仅被允许在固定安全容积内侧移动并且固定安全容积与移动容积之间的距离沿着整个路径是大的，则固定安全容积的尺寸可以被减小并且由此可以实现工厂的空间的较高利用。如果安全容积和固定安全容积而是终止在机器人路径的一部分上彼此叠加，则有必要改变固定安全容积的尺寸或者改变已编程好的移动路径以防止机械单元在已编程好的路径的执行期间达到固定安全容积的边界和由其引起的紧急停止。可选地，方法可以包括检测与固定安全容积的图形表示的用户交互的步骤，方框84，和基于所述检测到的用户交互修改固定安全容积的描述的步骤，86。因此。对于用户来说能够例如通过与显示单元上的触摸屏幕交互来修改安全容积的验证期间的固定安全容积的形状和位置。重复方框76至86中的步骤直到用户完成了验证，方框88。为了最终验证固定安全容积，可以执行先前描述的第二验证步骤。

图9示出包括了在图1中公开的真实机器人单元上面所呈现出的固定安全容积6和移动安全容积9的图形表示的增强现实图像的示例。在该示例中，固定安全容积6被形成形状为长方体并且移动安全容积9是管状的。移动安全容积9围住已编程好的移动路径11。

本发明不限于所公开的实施例而是可以在以下权利要求的范围内变化并进行修改。例如，图形单元和/或增强现实单元可以位于便携式显示单元的外面，例如在外部服务器上或者作为云服务。仿真器单元也可以位于便携式显示单元的外侧，例如在机器人控制器或外部服务器上。

Claims (15)

1.一种用于验证针对可移动的机械单元(1)的相对于所述机械单元的环境的一个或多个安全容积的方法，其中世界坐标系(x,y,z)与所述机械单元有关地并且与所述机械单元的所述环境有关被地限定出，其特征在于，所述方法包括：

-存储与所述世界坐标系有关地限定出的一个或多个安全容积的描述，并且重复地：

-与所述世界坐标系有关地确定出便携式显示单元(5)的位置和定向，

-基于所述安全容积的所述描述和所述便携式显示单元的所述位置和定向确定出所述安全容积的图形表示(6；60；9)，

-将所述安全容积的所述图形表示叠加在所述机械单元的真实环境的视图上以提供合成的增强现实图像，和

-将所述增强现实图像显示在所述便携式显示单元上。

2.根据权利要求1所述的方法，其中所述安全容积中的至少一个是具有与所述世界坐标系有关的固定位置的固定安全容积(6)。

3.根据权利要求1或2所述的方法，其中所述方法包括基于所显示出的增强现实图像来验证所述固定安全容积(6)并且在检测到不正确的安全容积时修改所述固定安全容积。

4.根据权利要求2或3所述的方法，其中所述方法包括检测与所述固定安全容积的所述图形表示的用户交互，并且基于所述检测到的用户交互修改所述固定安全容积的所述描述。

5.根据前述权利要求中的任一个所述的方法，其中所述安全容积(60；9)中的至少一个是具有取决于所述机械单元的关键部分(TCP)的速度和位置的尺寸和位置的移动安全容积；并且所述方法包括重复地：

-获得所述机械单元的所述关键部分的位置和速度；

-基于所述关键部分的所述位置和速度确定出针对所述机械单元的所述关键部分的所述移动安全容积，和

-存储与所述世界坐标系有关地限定出的所述移动安全容积的描述。

6.根据权利要求5所述的方法，其中所述方法包括：

-对针对所述机械单元的已编程好的移动路径进行仿真，

-基于所述仿真确定出沿着所述移动路径的所述关键部分的位置和速度，和

-基于所确定出的所述关键部分的位置和速度确定出所述移动安全容积。

7.根据权利要求5或6所述的方法，其中所述方法包括：

-基于所述关键部分的所述速度和负载计算出针对所述关键部分的安全距离，和

-基于所计算出的安全距离确定出所述移动安全容积。

8.根据前述权利要求中的任一个所述的方法，其中所述安全容积中的至少一个是固定安全容积并且所述安全容积中的至少一个是移动安全容积，并且所述方法包括重复地：

-基于所述安全容积的所述描述和所述便携式显示单元的所述位置和定向确定出所述固定安全容积(6)和所述移动安全容积(60；9)中的每一个的图形表示，

-将所述固定安全容积的图形表示和所述移动安全容积的图形表示叠加在所述环境的真实视图上以提供合成的增强现实图像，和

-将所述增强现实图像显示在所述便携式显示单元上。

9.一种用于验证针对被定位在环境中的至少一个可移动的机械单元(1)的一个或多个安全容积的装置，其中世界坐标系(x,y,z)与所述机械单元有关地并且与所述机械单元的所述环境有关被地限定出，其特征在于，所述装置包括：

-存储单元(10)，用于存储所述安全容积的描述，

-便携式显示单元(5)，

-位置检测器(14)，被配置成与所述世界坐标系有关地连续地确定出所述便携式显示单元的位置和定向，

-图形单元(16)，被配置成基于所存储的所述安全容积的描述和所述便携式显示单元的所述位置和定向确定出所述安全容积的图形表示，和

-增强现实单元(18)，被配置成将所述安全容积的所述图形表示叠加在机械单元的真实环境的视图上以提供合成的增强现实图像，并且将所述增强现实图像显示在所述便携式显示单元上。

10.根据权利要求9所述的装置，其中所述装置包括描述发生器(66)，所述描述发生器被配置成获得所述机械单元的关键部分的位置和速度、基于所述关键部分的所述位置和速度确定出所述机械单元的所述关键部分的移动安全容积并且将与所述世界坐标系有关地限定出的所述移动安全容积的描述存储在所述存储单元中。

11.根据权利要求10所述的装置，其中所述装置包括仿真单元(68)，所述仿真单元被配置成对针对所述机械单元的已编程好的移动路径进行仿真并且基于所述仿真确定出在所述移动路径的执行期间的所述关键部分的所述位置和速度，并且所述描述发生器(66)被配置成从所述仿真单元获得所述关键部分的所述位置和速度并且基于所获得的位置和速度确定出所述移动安全容积。

12.根据权利要求10或11所述的装置，其中所述存储单元(10)被配置成存储具有与所述世界坐标系有关的固定位置的固定安全容积的描述，所述图形单元(16)被配置成基于所述安全容积的所述描述和所述便携式显示单元的所述位置和定向确定出所述固定安全容积的图形表示和所述移动安全容积的图形表示，并且所述增强现实单元(18)被配置成使所述固定和移动安全容积的所述图形表示叠加在真实机械单元及其环境的所述视图上以提供合成的增强现实图像。

13.根据权利要求9至12中的任一个所述的装置，其中所述存储单元(10)被配置成存储具有与所述世界坐标系有关的固定位置的固定安全容积的描述，并且所述装置包括被配置成检测与所述固定安全容积的所述图形表示的用户交互的交互单元(22)，和被配置成基于所检测到的用户交互修改所存储的所述固定安全容积的描述的修改单元(24)。

14.根据权利要求9至13中的任一个所述的装置，其中所述装置包括被配置成捕获所述机械单元及其环境的图像的照相机(20)，并且所述增强现实单元(18)被配置成将所述安全容积的所述图形表示登记在真实机械单元及其环境的所述图像上以提供合成的增强现实图像。

15.一种根据权利要求9至14中的任一个所述的装置的用于工业机器人的安全容积的验证的使用。