CN113211494A - 用于检查机器人的安全区域的方法 - Google Patents

用于检查机器人的安全区域的方法 Download PDF

Info

Publication number
CN113211494A
CN113211494A CN202110116272.8A CN202110116272A CN113211494A CN 113211494 A CN113211494 A CN 113211494A CN 202110116272 A CN202110116272 A CN 202110116272A CN 113211494 A CN113211494 A CN 113211494A
Authority
CN
China
Prior art keywords
robot
hmi
virtual
safety
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110116272.8A
Other languages
English (en)
Inventor
A.休伯
T.库科维克
C.蒙沙因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Steyr Fahrzeugtechnik GmbH and Co KG
Original Assignee
Steyr Daimler Puch Fahrzeugtechnik AG and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Steyr Daimler Puch Fahrzeugtechnik AG and Co KG filed Critical Steyr Daimler Puch Fahrzeugtechnik AG and Co KG
Publication of CN113211494A publication Critical patent/CN113211494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095—Means or methods for testing manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于由增强现实人机界面的用户检查机器人的安全区域的方法，其中，AR‑HMI包括显示器和摄像机，包括以下步骤：在AR‑HMI处获取机器人的机器人类型，在AR‑HMI的显示器中显示该类型的机器人的至少一部分的虚拟机器人图像，虚拟机器人图像的显示在AR‑HMI的显示器中覆盖了AR‑HMI的摄像机的真实图像，真实图像包括该类型的机器人的真实机器人图像，通过对AR‑HMI进行空间移动来使虚拟机器人图像与真实机器人图像位置对准，用户向AR‑HMI确认虚拟机器人图像和真实机器人图像之间的位置对准，在AR‑HMI显示器中，在虚拟机器人图像周围在确认位置显示虚拟第一安全单元区域作为真实图像的覆盖。

Description

用于检查机器人的安全区域的方法
技术领域
本发明涉及一种用于检查机器人的安全区域的方法。
背景技术
计算机的输入和/或输出界面以“人机界面”(HMI)的名称为人所知。除了诸如屏幕、键盘和鼠标之类的经典设备外，近来还已知可以将类似于眼镜的移动设备和输出设备放置在头部上，特别是用于显示和/或与虚拟世界或虚拟现实(VR)或与扩展现实、增强现实(AR)的交互。
现代工业机器人可以包括计划的安全配置，该安全配置涉及相应的机器人并且可以存储在该机器人处。安全配置可以包括部分对象，这些部分对象通过不同的三维几何形式来描述机器人周围或机器人特定点周围的安全相关空间或单元。对于专员，机器人编程人员，工厂或操作人员，肉眼看不到用于限制机器人最大工作空间的规定安全计划。
在此，可以区分以下类型的具有安全配置或几何形状的部分对象：
首先是这样的几何对象，其用于进一步的成形和定位的参考点位于机器人基座中，即安全单元空间或安全单元区域，在此基础上，是工作空间和受保护空间；其次是这样的几何对象，其用于进一步成形和定位的参考点位于机器人的凸缘中心点，即位于安装有工具的机器人的端点处，即安全工具空间或“安全工具”。
目前，工业机器人的相应安全计划既可以在机器人的操作手持机上以图形方式显示，也可以通过适当的仿真软件在计算机上以图形方式显示。第二种选择的优点是，不仅机器人本身，而且整个机器人单元都可以馈入到图解说明中。
用于显示在机器人处计划的安全配置的当前存在的两种可能性的缺点是，它们不支持真实机器人单元的任何直接环境。
结果，对工业机器人的安全计划的评估目前是一个非常耗时的过程，因为具有影响的所有相关值(例如机器人及其安全计划)、分离保护性装备(例如安全栅栏和安全门)以及机器人单元的其他对象必须转移到虚拟安装模型中。甚至虚拟安装模型不能确切地对应于物理上存在的机器人单元这一事实，也会在验证和确认所计划的安全配置方面留下残留的模糊性和不确定性。
发明内容
本发明的目的是提出一种用于检查机器人的安全区域的方法，该方法优化了检查和/或接受工业机器人的安全计划的工作流程。
该目的通过一种用于由增强现实人机界面(AR-HMI)的用户检查具有AR-HMI的机器人的安全区域的方法来实现，其中，AR-HMI包括显示器和摄像机，其中该方法包括以下步骤：
-在AR-HMI处获取机器人的机器人类型，
-在AR-HMI的显示器中显示该机器人类型的机器人的至少一部分的虚拟机器人图像，优选地直到机器人轴2的机器人基座的区域，
-其中，虚拟机器人图像的显示在AR-HMI的显示器中覆盖了AR-HMI的摄像机的真实图像，
-其中，真实图像包括该机器人类型的机器人的真实机器人图像，
-其中，通过AR-HMI、特别是AR-HMI的摄像机在空间中的移动，用户将虚拟机器人图像与真实机器人图像进行位置对准，
-其中用户向AR-HMI确认虚拟机器人图像和真实机器人图像之间的位置对准，和/或AR-HMI识别/确认位置对准，
-在AR-HMI显示器中，在虚拟机器人图像周围在确认位置中显示虚拟第一安全单元区域，作为真实图像的覆盖。
根据本发明，使用增强现实设备或混合现实设备和软件。通过使用AR-HMI，优选地包括数据眼镜，特别优选地来自Microsoft的HoloLens系统，将工业机器人的软件中存在的虚拟安全单元区域(特别是安全计划或计划的安全配置)投影到物理存在的机器人单元中或覆盖在其上，在该物理存在的机器人单元中安装有对应的机器人。为了获得最佳的覆盖效果并因此正确显示安全单元区域，AR-HMI的用户可以通过更改真实的摄像机图像和因此真实的机器人图像来对准或比较显示给他的虚拟机器人图像，直到两个图像之间存在位置对准，然后向AR-HMI确认该对准。通道地，AR-HMI还可以自主地识别或确认位置对准。因此可以实现对象的对准的自动的、尤其是基于图片的和/或基于轮廓的识别和/或确认。在此，将与机器人及其安全区域有关的虚拟数据与机器人的物理安装进行比较，以便可以显示安全单元区域的确切真实位置。在AR-HMI的显示器中，在虚拟机器人图像周围在确认位置中向用户显示虚拟第一安全单元区域，作为真实图像的覆盖。然后，用户可以使用AR-HMI在机器人周围在空间中移动，优选以任何所需的方式移动，并可以参考显示的虚拟安全单元区域评估真实存在的对象。这样，使用者可以确定存在的实际间隙或由于与安全区域的间隙(这些间隙不存在或过低)而导致的实际问题。
通过机器人控制器方面的软件措施，这种方法还有助于建立对工业机器人最大可能工作空间的安全限制，而不是像现在那样通过机器人的轴上的固定机械挡块来限制最大可能工作空间。
因此，通过根据本发明的解决方案，可以可视化借助于AR-HMI，例如借助于来自Microsoft的HoloLens的工业机器人的安全空间，特别是安全计划。可以通过AR-GUI，特别是通过Microsoft HoloLens，将在工业机器人上生成并通常仅存储在其中的安全配置计划的三维几何对象与实际机器人单元结合起来。
通过将在机器人处通过软件计划的安全配置与安装于有其的物理存在的机器人单元相结合，可以克服前述在安全单元的作用力和模糊性方面的缺点。
术语“机器人”和“机器人图像”在此可以专门涉及整个机器人的位置固定的部分，尤其是机器人的底座。
在从属权利要求，说明书和附图中给出了本发明的进一步发展。
为了能够显示安全单元区域的确切真实位置，如前所述，将有关机器人及其安全区域的虚拟数据与机器人的物理安装进行了比较。这种比较(位置匹配)足以显示安全单元区域/空间(尤其是第一和第二安全单元区域)，工作空间和/或受保护空间。
可选地，特别是在读取机器人的轴位置、优选是机器人的轴1的轴位置之后，在虚拟第一和/或第二安全单元区域和/或工作空间和/或受保护空间的图示中可以考虑真实机器人的至少一个当前轴位置。
虚拟第一安全单元区域优选地基本上具有立方体或长方体或棱柱的形状。安全单元区域的平面图可以有四个以上的角点。
在AR-HMI处对机器人的机器人类型的获取优选是通过用AR-HMI的摄像机捕获机器人类型的物理标识符，或者用户在AR-HMI处选择机器人类型来进行的。机器人类型的物理标识符可以是机器人类型的字母数字标签或例如QR码。
除了虚拟第一安全单元区域之外，虚拟第二安全单元区域优选地在AR-HMI的显示器中在虚拟机器人图像周围在确认位置中显示，作为真实图像的覆盖，其中第二安全单元区域具有距第一安全单元区域的可由用户自由配置的限定距离。虚拟第二安全单元区域优选地具有与虚拟第一安全单元区域相同的形状。虚拟第二安全单元区域可以涉及安全性进一步提高的区，例如以便能够考虑系统的关闭延迟或惯性。优选地，第一和第二安全单元区域都可以随意显示或隐藏。
优选地，计划的安全配置由AR-HMI从数据存储器中读取或被发送到AR-HMI，从而可以基于计划的安全配置来创建虚拟第一安全单元区域。
优选地，AR-HMI包括至少一个固定计算机和至少一个移动计算机，其中，该移动计算机包括显示器和摄像机，并且优选地被设计为AR眼镜，特别优选地被设计为来自Microsoft的HoloLens。优选地，在固定计算机上执行更全面的计算。
优选地，在AR-HMI处获取机器人的当前轴位置，优选地，通过将当前轴位置从机器人传输至AR-HMI，或者通过AR-HMI的摄像机获取当前轴位置的显示。
机器人的凸缘中心点优选地由当前轴位置来确定，优选地通过正向变换，尤其是根据迪纳维特-哈滕贝格(Denavit-Hartenberg)的正向变换。
优选地，在AR-HMI的显示器中，在凸缘中心点周围显示至少一个虚拟安全工具空间，作为真实图像的覆盖，其中安全工具空间优选地基本上形成球体。
附图说明
下面参考附图通过示例的方式描述本发明。
图1示出了根据本发明的方法的步骤的示意性流程图。
图2是具有根据本发明的方法确定的虚拟安全单元区域的机器人及其周围环境、即机器人单元的三维示意图。
图3是根据本发明的方法中的位置匹配的示意图。
具体实施方式
在图1中示出了根据本发明的用于由增强现实人机界面(AR-HMI)的用户使用AR-HMI检查机器人1的安全区域的方法。
在图2中示出了机器人1及其周围环境，特别是机器人单元和虚拟第一安全单元区域2以及虚拟第二安全单元区域4。
最后，图3示意性地示出了在根据本发明的方法中如何进行光学匹配、位置确定。在图3左侧示出的虚拟机器人底座(优选是直到轴2的机器人基座的区域)通过HoloLens覆盖，并且物理安装在单元中的机器人底座如图3右侧所示。
该方法——见图1——大致包括以下步骤：其中通过下载或扫描机器人显示器，将机器人的安全配置传输到AR-HMI，尤其是HoloLens，A，B，C。虚拟机器人基座/底座与真正位于/定位在处理/机器人单元中的机器人的后续匹配，特别是光学匹配，E。随后，在HoloLens上显示安全单元空间/区域，或对真实的机器人周围的肉眼可见，F。
详细地，该方法包括图1所示的步骤：
I开始
A机器人的选择
A1 AR-HMI的数据采集
S扫描/读取
L加载/传输
B1在AR-HMI处获取(读取)机器人的机器人类型，
B2在AR-HMI处获取(读取)机器人的当前轴位置
B3获取(读取)安全配置
C1加载机器人档案
C2加载安全配置
E将虚拟机器人图像与真实机器人图像进行位置对准
F显示安全区域，特别是虚拟第一安全单元区域和/或虚拟安全工具空间
II结束
该方法因此包括：
-在AR-HMI处获取机器人1的机器人类型，A，B，C，其中，机器人类型的获取可以包括在AR-HMI处获取(尤其是读取)机器人的机器人类型，B1，或从机器人档案中加载机器人类型，C1，
-在AR-HMI的显示器中显示该机器人类型的机器人的至少一部分的虚拟机器人图像，
-其中，虚拟机器人图像的显示在AR-HMI的显示器中覆盖了AR-HMI的摄像机的真实图像，
-其中，真实图像包括该机器人类型的机器人1的真实机器人图像，
-其中，用户通过对AR-HMI进行空间移动来使虚拟机器人图像与真实机器人图像进行位置对准，E，即执行“位置匹配”，
-其中，用户向AR-HMI确认虚拟机器人图像和真实机器人图像之间的位置对准，和/或AR-HMI识别/确认位置对准，
-在AR-HMI显示器中，在虚拟机器人图像周围在确认位置中显示虚拟第一安全单元区域2，F，作为真实图像的覆盖。
计划的安全配置可由AR-HMI从数据存储器中读取或被发送到AR-HMI，B3，C2，从而可以基于计划的安全配置来创建虚拟第一安全单元区域1。
此外，在AR-HMI处获取机器人1的当前轴位置，B2，优选地，通过将当前轴位置从机器人1传输至AR-HMI，或者通过AR-HMI的摄像机获取当前轴位置的显示。
当前轴位置可以另外用于机器人的位置确定和位置匹配。为了显示虚拟第一安全单元区域2和/或第二安全单元区域4和/或工作空间和/或受保护空间5，特别是用于在机器人基座中定位参考坐标系和/或确定机器人基座，可以考虑当前的轴位置，优选至少机器人的轴1的轴位置。可以为该参考点存储计划的安全配置的几何对象，例如第一安全单元区域2和第二安全室区域4或相应机器人的工作空间。
匹配过程本身无需从机器人读取当前轴位置。但是，在考虑轴几何形状(例如角度，长度，旋转等)时，可以用当前轴位置对通过匹配确定的机器人位置进行补充，以便针对参考坐标系——针对机器人基座或末端执行器指定位置。凸缘中心点尤其可以根据当前轴位置来确定。
在AR-HMI的显示器中，在凸缘中心点周围显示至少一个虚拟安全工具空间3，作为真实图像的覆盖，F，其中安全工具空间3优选地基本上形成球体。
例如，以下虚拟安全区域一起可以在AR-HMI的显示器中显示为真实图像的覆盖：安全单元空间(即安全单元区域)，安全工作空间，安全受保护空间，安全工具空间，安全TCP测量。“工作空间”例如可以是安全工具空间3或安全工具3的空间周围的通过眼镜/HoloLens可见的空间，例如在单元空间中显示的四个球体3上方的长方体，以便定义机器人不会移动出的空间。例如，这是必需的，以便操作人员可以在机器人凸缘处更换工具，并同时获得有关他可以接近机器人或机器人凸缘的程度的知识。另一方面，“受保护空间”是操作人员始终安全的空间，因为该受保护空间定义了在单元区域中机器人无法根据其计划的安全配置进入的空间。例如，参见长方体，该长方体在图2中示出为在靠近机器人右侧的单元区域中，它代表受保护的空间5。
例如，可以使用Microsoft的HoloLens作为AR-HMI。AR-HMI在下面也称为“眼镜”。
下面描述根据本发明的方法的一种可能的实施方式。
显示完整的安全配置可能需要三项信息：
-机器人类型
-机器人的当前轴位置
-机器人安全配置
关于机器人类型：
可以在编程阶段期间创建包含虚拟机器人类型的数据库。例如，这可以包括不同机器人制造商的CAD模型，例如KUKA、ABB或FANUC制造的模型。
为了能够将眼镜校准到物理存在的机器人，需要与要覆盖的特定机器人几何形状的虚拟等效物。有关要代表的机器人的信息可以通过读取机器人备份信息传输到眼镜，也可以通过直接读取物理存在的机器人本身上的铭牌或QR码来确定。通过眼镜的操作者通过选择菜单对在眼镜中可用的机器人模型进行选择，虚拟机器人模型与真实机器人之间的匹配过程开始。这是通过将虚拟机器人底座(优选是从机器人基座到轴2的区域)投影/覆盖到其真实对象上来完成的。以此，眼镜试图在真实环境中找到机器人底座的虚拟几何形状。为此，眼镜操作员必须将通过眼镜投射的机器人底座尽可能紧密地叠放在真实底座上。一旦建立了虚拟和真实底座几何形状之间的必要对应关系，就可以肯定地完成匹配过程。匹配过程的结论必须由眼镜操作员来确认，例如通过手势，手的移动等。
关于机器人的当前轴位置：
为了定位机器人原点(参考坐标系)和其末端执行器的位置以及其工具中心点或机器人的凸缘中心点，需要相应机器人的各个轴的当前位置(旋转和线性)。这些可以从机器人备份中自动提取，也可以通过眼镜从真实机器人的操作手持机的显示器上读取。
在通过前面的匹配过程确定了实际机器人的实际位置之后，将根据实际机器人的当前轴位置定位参考坐标系，用于进一步可视化显示机器人基座中的安全配置中计划的几何对象。通过根据Denavit-Hartenberg对机器人基座的坐标系进行正向变换，随后可以确定末端执行器的参考坐标系的位置。由此，指定参考位置，优选为凸缘中心点，以进一步定位在机器人的安全计划中定义的几何对象，以表示“安全末端执行器”或安全工具。
因此，光学匹配过程本身就足以确定机器人位置。例如，匹配可能与机器人的可移动部分无关，而与机器人的固定部分有关，例如与机器人基座有关，从而使机器人基座的参考坐标系或机器人基座的实际位置已经通过匹配指定，或者不再需要正向或反向变换来定位机器人。随后可以显示虚拟第一和第二安全单元区域，以及工作空间和受保护空间。为此，可以对轴位置(尤其是所有轴位置)进行正向变换和读取，以确定末端执行器的参考坐标系。
除了光学匹配之外，还可以规定，参考坐标系位于机器人基座中，如前所述，其中，将机器人的轴1的当前位置的读取B2，C1另外用于位置确定。特别是当在匹配过程中匹配机器人的可移动部分时，尚不能显示安全单元区域，这是因为当匹配机器人的在机器人操作时可移动的部分时，例如从机器人基座直到轴2的区域，机器人的该可移动部分的实际位置确实已经确定，但机器人原点或机器人基座中参考点的实际位置或坐标却尚未确定。机器人可以例如绕轴1旋转。因此，为了现在定义机器人原点或基座，或者为了定位机器人基座的参考坐标系以显示存储在安全计划中的几何对象，例如第一和第二安全单元区域、工作空间、受保护空间，位于匹配的机器人部分与机器人基座中的机器人原点或参考点之间的那些轴位置，例如，从机器人基座到轴2的区域，必须被读取——优选在旋转以及线性方向上读取。
为了从机器人的实际位置推断出末端执行器的参考坐标系，该实际位置是通过光学匹配“识别出”，优选地，轴的、优选地所有轴的位置(特别优选地几何形状)因此被读取，或者到凸缘中心点的几何链被确定。
末端执行器的参考坐标系的位置对于显示安全工具是必需的。为了确定该参考位置，必须读取机器人的一个或多个(优选所有)轴的位置B2，C1。然后可以显示安全工具或安全工具(球体)的空间。
关于机器人安全配置：
在指定并确定了用于定位和对准安全计划中所定义的几何对象的参考位置之后，必须从机器人的安全配置中读取用于确定所需几何对象的相关值。
这包含用于通过眼镜图形显示和投影虚拟3D对象的所有必要参数和数值。
用于确定机器人基座的机器人基座的参考坐标系用于投影安全单元区域，安全空间和工作空间。
用于定义末端执行器的工具中心点或凸缘中心点的参考坐标系是额外必需的，或者用于显示“安全工具”。
通过眼镜进行验证和确认：
匹配、定位和投影过程之后，将对真实机器人单元中当前的安全状况进行验证和确认。为此，机器人的安全单元区域以绿色显示，并投影到实际单元中。为了更好且明确地显示机器人的虚拟单元空间与实际存在的物理外壳之间的最小必要安全距离，该边界区域还以红色显示。这两个单元区域之间的距离可以自由配置。通过同时显示两个虚拟单元空间，简化了安全验证并使其更加容易。投影的单元区域可以随时在眼镜的选择菜单中显示和隐藏。还可以在眼镜的选择菜单中找到通过眼镜显示安全工具的选择可能性。选择适当的安全工具后，该安全工具会以机器人安全计划中指定的几何形式覆盖在物理存在的工具上。用于显示安全工具的几何对象以白色透明显示。眼镜操作者由此可以检查几何对象是否满足所有预定的和相关的安全规范。另一个菜单用于选择计划的工作空间和安全空间(例如，安全单元区域，受保护空间)。然后以预定义的三维几何形式相对应地显示或隐藏这些内容。眼镜佩戴者/眼镜操作者可以优选地自由选择他是否想在任何给定时刻显示虚拟安全单元区域2、4，安全工具3的虚拟空间，虚拟工作空间和/或虚拟受保护空间5。
用于显示不同几何元素的所有颜色都是可以自由配置的。
其他选项：
此外，还可以选择通过眼镜同时投影多个机器人的安全配置并将其覆盖在相应的实际环境中。
将眼镜直接连接到机器人的可能性是另一种选择。然后循环读取其轴位置的当前实际值，并将其传输到眼镜。作为进一步的结果，这使得能够通过眼镜动态显示在机器人处计划的安全末端执行器或安全工具所需的空间体积。此外，可以根据在机器人处计划的安全单元空间以及实际机器人单元来检查包括由此产生的机器人的安全末端执行器的虚拟空间体积。最终提供了在虚拟和/或真实对象之间执行和可视化测量的可能性。
附图标记
1 机器人
2 虚拟第一安全单元区域
3 虚拟安全工具空间
4 虚拟第二安全单元区域
5 受保护空间
I 开始
A 机器人的选择
A1 AR-HMI的数据采集
S 扫描/读取
L 加载/传输
B1 在AR-HMI处获取(读取)机器人的机器人类型，
B2 在AR-HMI处获取(读取)机器人的当前轴位置
B3 获取(读取)安全配置
C1 加载机器人档案
C2 加载安全配置
E 将虚拟机器人图像与真实机器人图像进行位置对准
F 显示安全区域，特别是虚拟第一安全单元区域和/或虚拟安全工具空间
II 结束

Claims (12)

1.一种用于由增强现实人机界面(AR-HMI)的用户检查具有AR-HMI的机器人(1)的安全区域的方法，其中，AR-HMI包括显示器和摄像机，其中所述方法包括以下步骤：
-在AR-HMI处获取机器人(1)的机器人类型(B1，D)，
-在AR-HMI的显示器中显示该机器人类型的机器人的至少一部分的虚拟机器人图像，
-其中，虚拟机器人图像的显示在AR-HMI的显示器中覆盖了AR-HMI的摄像机的真实图像，
-其中，真实图像包括该机器人类型的机器人(1)的真实机器人图像，
-其中，通过对AR-HMI进行空间移动来使虚拟机器人图像与真实机器人图像进行位置对准(E)，
-其中用户向AR-HMI确认虚拟机器人图像和真实机器人图像之间的位置对准，和/或AR-HMI识别/确认位置对准，
-在AR-HMI显示器中，在虚拟机器人图像周围在确认位置中显示虚拟第一安全单元区域(2)(F)，作为真实图像的覆盖。
2.根据权利要求1所述的方法，
其特征在于，为了显示虚拟第一安全单元区域(2)和/或第二安全单元区域和/或工作空间和/或受保护空间，特别是用于在机器人基座中定位参考坐标系，考虑实际机器人的至少一个当前轴位置，优选机器人的轴1的轴位置。
3.根据权利要求1所述的方法，
其特征在于，虚拟第一安全单元区域(2)基本上具有立方体或长方体或棱柱的形状。
4.根据权利要求1所述的方法，
其特征在于，在AR-HMI处对机器人(1)的机器人类型的获取(B1)是通过用AR-HMI的摄像机捕获机器人类型的物理标识符，或者用户在AR-HMI处选择机器人类型来进行的。
5.根据权利要求1所述的方法，
其特征在于，除了虚拟第一安全单元区域(1)之外，虚拟第二安全单元区域在AR-HMI的显示器中在虚拟机器人图像周围在确认位置中显示，作为真实图像的覆盖，其中第二安全单元区域具有距第一安全单元区域(1)的限定距离。
6.根据权利要求1所述的方法，
其特征在于，计划的安全配置由AR-HMI从数据存储器中读取或被发送(A)到AR-HMI，从而能够基于计划的安全配置来创建虚拟第一和/或第二安全单元区域(1)。
7.根据权利要求1所述的方法，
其特征在于，AR-HMI包括至少一个固定计算机和至少一个移动计算机，其中，移动计算机包括显示器和摄像机，并且优选地被设计为AR眼镜。
8.根据权利要求1所述的方法，
其特征在于，在AR-HMI处获取机器人(1)的当前轴位置(B2)，优选地，通过将当前轴位置从机器人(1)传输至AR-HMI，或者通过AR-HMI的摄像机获取当前轴位置的显示。
9.根据权利要求1所述的方法，
其特征在于，从当前轴位置确定凸缘中心点，优选通过正向变换确定。
10.根据权利要求1所述的方法，
其特征在于，在AR-HMI的显示器中，在凸缘中心点周围显示(F)至少一个虚拟安全工具空间(3)，作为真实图像的覆盖，其中安全工具空间(3)优选地基本上形成球体。
11.根据权利要求1所述的方法，
其特征在于，在AR-HMI的显示器上显示(F)至少一个工作空间。
12.根据权利要求1所述的方法，
其特征在于，在AR-HMI的显示器上显示(F)至少一个受保护空间。
CN202110116272.8A 2020-02-05 2021-01-28 用于检查机器人的安全区域的方法 Pending CN113211494A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020201375.6A DE102020201375B3 (de) 2020-02-05 2020-02-05 Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters
DE102020201375.6 2020-02-05

Publications (1)

Publication Number Publication Date
CN113211494A true CN113211494A (zh) 2021-08-06

Family

ID=76206088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116272.8A Pending CN113211494A (zh) 2020-02-05 2021-01-28 用于检查机器人的安全区域的方法

Country Status (3)

Country Link
US (1) US11731283B2 (zh)
CN (1) CN113211494A (zh)
DE (1) DE102020201375B3 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023131385A1 (en) 2022-01-10 2023-07-13 Universal Robots A/S Augmented reality supported safety plane adjustment
DE102022202571B3 (de) 2022-03-15 2023-07-06 Kuka Deutschland Gmbh Prüfen einer vorgegebenen Bahn eines Roboters
DE102022202563B3 (de) 2022-03-15 2023-07-06 Kuka Deutschland Gmbh Planen einer Bahn eines Roboters
DE102022202562A1 (de) 2022-03-15 2023-09-21 Kuka Deutschland Gmbh Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters
DE102022202564A1 (de) 2022-03-15 2023-09-21 Kuka Deutschland Gmbh Prüfen einer Sicherheitskonfiguration eines Roboters
DE102022202569B3 (de) 2022-03-15 2023-06-29 Kuka Deutschland Gmbh Prüfen einer vorgegebenen Bahn eines Roboters

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103097907A (zh) * 2010-08-27 2013-05-08 贝内迪克特·希罗尼米 用于检测高频收发器的系统及其用途
US20160016315A1 (en) * 2014-07-16 2016-01-21 Google Inc. Virtual safety cages for robotic devices
CN105666505A (zh) * 2014-12-08 2016-06-15 发那科株式会社 具备扩展现实对应显示器的机器人系统
US20160257000A1 (en) * 2015-03-04 2016-09-08 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
EP3128446A1 (de) * 2015-08-07 2017-02-08 Ralf Scheid Verfahren zum erzeugen des eindrucks von erweiterter realität
US20170210017A1 (en) * 2015-11-25 2017-07-27 Denso Wave Incorporated Robot safety system
US20170372139A1 (en) * 2016-06-27 2017-12-28 Autodesk, Inc. Augmented reality robotic system visualization
WO2018206652A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zum anpassen eines virtuellen objekts
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110047148A (zh) * 2019-04-10 2019-07-23 珠海梅西互动技术有限公司 一种虚拟机器人工作站的仿真互动可视化系统及实现方法
CN110389656A (zh) * 2018-04-19 2019-10-29 远大机器人有限公司 由用户借助移动显示装置使用多节式致动运动机构的方法
US20190389066A1 (en) * 2018-06-26 2019-12-26 Fanuc America Corporation Visualization and modification of operational bounding zones using augmented reality

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10127396A1 (de) * 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
DE102004016331B4 (de) * 2004-04-02 2007-07-05 Siemens Ag Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
DE102004046144A1 (de) * 2004-09-23 2006-03-30 Volkswagen Ag Verfahren und System zum Planen einer Produktionsumgebung
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
DE102005011126A1 (de) * 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
DE502006009264D1 (de) * 2006-09-30 2011-05-19 Abb Technology Ag Verfahren und System zur Auslegung und Überprüfung von Sicherheitsbereichen eines Roboters
JP6476662B2 (ja) * 2013-09-20 2019-03-06 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
JP5927310B1 (ja) * 2015-01-14 2016-06-01 ファナック株式会社 ロボットシステムのシミュレーション装置
JP6576255B2 (ja) * 2016-01-25 2019-09-18 キヤノン株式会社 ロボット軌道生成方法、ロボット軌道生成装置、および製造方法
DE102017207894A1 (de) * 2017-05-10 2018-11-15 Krones Aktiengesellschaft Verfahren und Computersystem zur Planung einer Anlage im Bereich der Getränkeverarbeitungsindustrie
JP7071070B2 (ja) * 2017-08-02 2022-05-18 川崎重工業株式会社 ロボットシステム及びその運転方法
US10378889B2 (en) * 2017-08-22 2019-08-13 Faro Technologies, Inc. Measurement system having a cooperative robot and three-dimensional imager
JP7066357B2 (ja) * 2017-08-31 2022-05-13 川崎重工業株式会社 ロボットシステム及びその運転方法
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
JP6810093B2 (ja) * 2018-04-25 2021-01-06 ファナック株式会社 ロボットのシミュレーション装置
JP7262847B2 (ja) * 2018-08-30 2023-04-24 ヴェオ ロボティクス， インコーポレイテッド 安全重視用途に関する産業ロボット動力学のシステム識別
JP7396872B2 (ja) * 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
CN113001535B (zh) * 2019-12-18 2022-11-15 财团法人工业技术研究院 机器人工件坐标系自动校正系统与方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103097907A (zh) * 2010-08-27 2013-05-08 贝内迪克特·希罗尼米 用于检测高频收发器的系统及其用途
US20160016315A1 (en) * 2014-07-16 2016-01-21 Google Inc. Virtual safety cages for robotic devices
CN105666505A (zh) * 2014-12-08 2016-06-15 发那科株式会社 具备扩展现实对应显示器的机器人系统
US20160257000A1 (en) * 2015-03-04 2016-09-08 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
EP3128446A1 (de) * 2015-08-07 2017-02-08 Ralf Scheid Verfahren zum erzeugen des eindrucks von erweiterter realität
US20170210017A1 (en) * 2015-11-25 2017-07-27 Denso Wave Incorporated Robot safety system
US20170372139A1 (en) * 2016-06-27 2017-12-28 Autodesk, Inc. Augmented reality robotic system visualization
WO2018206652A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zum anpassen eines virtuellen objekts
CN110389656A (zh) * 2018-04-19 2019-10-29 远大机器人有限公司 由用户借助移动显示装置使用多节式致动运动机构的方法
US20190389066A1 (en) * 2018-06-26 2019-12-26 Fanuc America Corporation Visualization and modification of operational bounding zones using augmented reality
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110047148A (zh) * 2019-04-10 2019-07-23 珠海梅西互动技术有限公司 一种虚拟机器人工作站的仿真互动可视化系统及实现方法

Also Published As

Publication number Publication date
US11731283B2 (en) 2023-08-22
US20210237278A1 (en) 2021-08-05
DE102020201375B3 (de) 2021-06-24

Similar Documents

Publication Publication Date Title
CN113211494A (zh) 用于检查机器人的安全区域的方法
US11850755B2 (en) Visualization and modification of operational bounding zones using augmented reality
US10888998B2 (en) Method and device for verifying one or more safety volumes for a movable mechanical unit
EP1709519B1 (en) A virtual control panel
US10664996B2 (en) Method and apparatus for the start-up operation of a multi-axis system
US10052765B2 (en) Robot system having augmented reality-compatible display
US20200101599A1 (en) Robot controller and display device using augmented reality and mixed reality
JP2001105359A (ja) ロボットシステム用グラフィック表示装置
US7403835B2 (en) Device and method for programming an industrial robot
KR101471852B1 (ko) 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법
JP2021121461A (ja) 画像処理装置
US10482589B2 (en) Method and apparatus for the start-up operation of a multi-axis system
WO2019046559A1 (en) UTILIZING INCREASED REALITY TO CONTROL INTELLIGENT DEVICES
KR102400416B1 (ko) 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택
WO2019120481A1 (en) System and method for determining a transformation representation
Ragni et al. ARTool Zero: Programming trajectory of touching probes using augmented reality
US20220168902A1 (en) Method And Control Arrangement For Determining A Relation Between A Robot Coordinate System And A Movable Apparatus Coordinate System
WO2017007492A1 (en) Machine display and machine control systems
Filaretov et al. Human machine interface based on virtual reality for programming industrial robots
KR20210075722A (ko) 제조 공정 현장에서 ar 공정 플랫폼 제공방법 및 시스템
US20230356401A1 (en) Method of Controlling a Construction Robot and Construction Robot
US20230409149A1 (en) Virtual buttons for augmented reality light guided assembly system and calibration method
WO2023131385A1 (en) Augmented reality supported safety plane adjustment
TWI720640B (zh) 以擴增實境方式於加工件上顯示其加工程式原點及加工路徑的方法與裝置
JP2023017437A (ja) 画像処理装置、及びロボット配置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Graz

Applicant after: Magna Steyr Automotive Technologies

Address before: Graz

Applicant before: MAGNA STEYR FAHRZEUGTECHNIK AG & CO KG