CN108081267B - 用于启动多轴系统的方法和装置 - Google Patents

用于启动多轴系统的方法和装置 Download PDF

Info

Publication number
CN108081267B
CN108081267B CN201711163401.9A CN201711163401A CN108081267B CN 108081267 B CN108081267 B CN 108081267B CN 201711163401 A CN201711163401 A CN 201711163401A CN 108081267 B CN108081267 B CN 108081267B
Authority
CN
China
Prior art keywords
envelope
camera
optical
multiaxial
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711163401.9A
Other languages
English (en)
Other versions
CN108081267A (zh
Inventor
迈赫迪·哈马杜
扬·里希特
马克西米利安·沃尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN108081267A publication Critical patent/CN108081267A/zh
Application granted granted Critical
Publication of CN108081267B publication Critical patent/CN108081267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/13—Plc programming
    • G05B2219/13098—Nc function to control axis, written in C or not
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37009—Calibration of vision system, camera, adapt light level
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39094—Interference checking between robot and fixture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40479—Use graphic display, layout of robot path, obstacles to indicate interference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于启动多轴系统的方法，其中，多轴系统包括作为组件的多个区段和工具，区段能通过控制装置在一个或多个轴中移动，工具与一个区段连接并且能够通过控制装置被移动和驱动到预设的位置。该方法包括：为多轴系统分配工作空间和保护空间；在周围环境中布置多个光学标记；使AR系统能确定摄像机系统的位置和取向，摄像机系统从周围环境检测多轴系统；为每个组件限定包络体且使得包络体包围组件；当多轴系统移动时计算包络体的位置；将包络体与通过摄像机系统采集的图像一起可视化；并且检查包络体与保护空间是否交叉。

Description

用于启动多轴系统的方法和装置
技术领域
本发明涉及一种用于启动多轴系统的方法和装置。多轴系统包括作为组件的多个区段和工具，区段经由相应的铰链连接并且可以在一个或多个轴中移动，并且工具与其中一个区段连接并且可驱控且可移动到预设的位置。为多轴系统分配工作空间和至少一个保护空间，在该工作空间中允许组件停留和/或移动，并且不允许组件侵入到保护空间中。
背景技术
多轴系统是通用的、可编程的机器，其用于处理、安装或者加工工件。它们也被称为(工业)机器人。它们是为工业领域中的使用所设计的。一旦完成编程，这种多轴系统就能够自主地执行工作流程，或者在一定界限内依据传感器信息改变任务的执行方式。
这种多轴系统带来的危险在于对人类来说经常完全无法预见的、复杂的移动模式和在有巨大力的同时产生的高速度。在不安全的多轴系统旁边工作因此可能很快导致在这个多轴系统附近的人员严重受伤。
为了避免这种事故，需要对多轴系统的自移动组件的位置进行可靠的监控、对自移动组件的速度、加速度和取向进行与位置相关的监控。在多轴系统要和人协作的工作场合下尤其如此。
这种多轴系统的准确且安全的工作方式的前提是为自移动组件限定包络体以及准确地限定保护及工作空间。包络体可以具有不同的几何尺寸和外形。通常使用的包络体例如有球体、方体或者由多个方体组成的形体。对包络体的限定以及对保护及工作空间的确定使得多轴系统与人类的协作成为可能，只要确保多轴系统的组件的包络体不侵入保护空间中。如果在限定包络体时出错，就导致在运行期间例如无法识别包络体侵入到保护区域，从而让安全功能错误地无法被触发。
公知的是，将多轴系统的组件的包络体的坐标、尺寸和取向手动地输入程序或数据库。除了大量的人工耗费以外，这种做法还有以下缺点，即，对由输入所形成的包络体进行检查很容易受到思维及输入错误的影响。另一种公知的可能性是通过将多轴系统的工具移动到所有自身不动的主体的角落处、在同时获取并存储了相应的坐标的情况下来限定保护空间，也就是说限定保护空间和工作空间。然而这种变化方案仅适用于自身不动的空间的包络体，却不适用于多轴系统的自移动组件的包络体。
这两种所提及的方法“以点为导向地”工作。对包络体进行限定的使用者因此必须在头脑中用三维空间内的多个点组成包络体。这需要很强的构思能力，因此很容易出错。此外，不容易识别出多轴系统的一个区段的包络体是否真的完全包含这个区段。另一个问题在于，不能简单直接地确定限定出的包络体是否对应于多轴系统的动力学的正确的区段。如果不是，那么这个包络体虽然在静态下位于正确的区段上，但是在移动时不跟随与其实际对应的区段，而是跟随例如另一个区段。
发明内容
本发明的目的在于，提供一种方法和一种装置，它们能够在计算机辅助的情况下以可靠的方式实现多轴系统的启动。
根据第一个方面，提出了一种用于启动多轴系统的方法。多轴系统包括工具和多个区段作为组件。多个区段经由相应的铰链成对地连接，并且可以通过控制装置在一个或者多个轴上移动。工具与区段中的一个连接，并且可以通过控制装置被驱控且被移动到预设的位置。为多轴系统分配一个工作空间，在该工作空间内，多轴系统的组件的停留和/或移动是被允许的。此外还为多轴系统分配至少一个保护空间，组件不允许侵入这个保护空间中。
为了启动多轴系统执行以下步骤：在多轴系统的周围环境中布置多个光学标记，以便使得增强现实(AR)系统能够确定包括至少一个摄像机的摄像机系统的位置和取向，摄像机系统从周围环境中检测多轴系统。为每个组件限定包络体并且包络体与该组件相对应，其中对应于组件的包络体特别是完全地包围所对应的组件。最后，通过当多轴系统在空间中移动时，在全局的第一坐标系(世界坐标系)中计算包络体的位置并将该位置转换到按照摄像机系统的位置和取向确定的第二坐标系(摄像机坐标系)中的方式，借助AR系统相关于工作空间和保护空间执行对所限定的包络体的检查，其中转换到第二坐标系中的包络体与由摄像机系统拍摄的图像一起在AR系统中可视化。
通过提出的方法实现了借助AR系统对包络体以及保护及工作区域的功能安全的限定和检查。通过在AR系统中进行视觉检查的可行性能够以简单并且快速的方式确定在限定包络体时或者在将包络体对应于多轴系统的相应组件时可能出现的错误。此外，所提出的方法较少地受到思维错误的影响。
根据适宜的设计方案，光学标记的位置坐标在全局的第一坐标系中测定并存储在控制装置中。对位置坐标的测定可以以不同的方式完成。
在一种变体中，为了测定光学标记的位置坐标将多轴系统的工具的TCP(ToolCenter Point工具中心点)移动到一个相应的光学标记上。然后测定并存储对于控制装置已知的、TCP的位置坐标作为这个光学标记的位置坐标。这意味着，根据该设计方案，工具、尤其是利用其TCP移动到光学标记的地点处。这种移动可以手动地在所谓的精密操作(Tipp-Betrieb)中完成或者自动地完成。因为在手动或自动执行的工具移动中多轴系统的控制装置识别到工具的位置坐标或其TCP的位置坐标，光学标记的位置或其位置坐标可以被测定。
在另一种变体中，为了测定相应的光学标记的位置坐标，通过AR系统检测安置在工具上、尤其是TCP上的记号和正在被处理的光学标记。测定在该记号与光学标记之间的距离。迭代地(iterativ)改变工具的位置，直到距离最小。在最小间距的情况下，对于控制装置已知的、工具的位置坐标、尤其是TCP的位置坐标被测定并存储作为光学标记的位置坐标。
TCP是一个在多轴系统的情景下构想的并且对于本领域技术人员公知的参考点，它位于工具上的合适位置上。为了描述多轴系统的工具所处的位置，只要限定出TCP在空间中、也就是在全局的坐标系中的位置和取向就足够了。
第二种用于测定位置坐标的变体使得能够自动地测定相应的光学标记的位置坐标。在此使用迭代的搜索法，其中，工具或TCP一直被移动，直到在工具或TCP与正在被观察的光学标记之间的间距最小。对于所有的光学标记都重复这种做法。
安装在工具或TCP上的记号可以是光学记号，其通过AR系统能视觉地采集到。替代地，记号也可以是距离测量单元。其可以例如是激光测量设备，该激光测量设备测量到其前方的一个点的距离。例如，其可以包括无线电接口，以便将在记号与所观察的光学标记之间的测量到的距离传输到AR系统。根据所传输的距离，控制装置然后可以执行多轴系统的有针对性的移动，以便以迭代步骤将到相应的所观察的光学标记的距离最小化。再次由在所观察的光学标记与工具或TCP之间的距离最小时的TCP的位置坐标的知识，确定相应的光学标记的位置坐标。
根据另一适宜设计方案，距离通过距离测量单元来测定并且被传输到AR系统或控制装置，以便进行评估。
另一设计方案提出，将光学标记的位置坐标传输到AR系统，其中，AR系统根据检测到的光学标记和所对应的位置坐标测定摄像机系统在全局的第一坐标系中的位置和取向。
为了限定相应的包络体可以提出，临时布置在多轴系统的周围环境中的辅助标记的多个位置坐标通过摄像机系统来检测，并且辅助标记的位置坐标通过AR系统来测定。借助辅助标记，例如可以限定包络体的支撑点(例如在方体的情况下的拐角点或球体的表面上的若干点)。为此，使用者将辅助标记保持到支撑点的期望位置。例如，在操作输入设备以用于确认特定支撑点之后，由AR系统测定和保存位置坐标。如果输入了所有支撑点，则可以计算和存储包络体。以同样的方式可以限定保护及工作空间。
在替换方案中，为了限定相应的包络体，可以根据组件的类型和尺寸来生成包络体，并且在AR系统中借助布置在多轴系统的周围环境中的辅助标记迭代地相关于位置和取向改变包络体，直到包络体包围所对应的组件为止。在该设计方案中，为每个部件预定义并生成合适的包络体。然后，借助已经提到的辅助标记由AR系统可以确定包络体的准确位置或大小。
另一设计方案提出，在AR系统中将工作空间或至少一个保护空间可视化。然后借助AR系统，能够检查之前限定且存储的包络体、保护及工作空间是否与实际情况一致。例如当包络体太小并且多轴系统的一部分没有被包裹时，就可能是错误的。这种检查可以手动地完成，也就是说通过观察增强的摄像机图像。作为替选，这种检查也可以自动地完成。例如当多轴系统漆成橙色而重合的包络体在可视化中是蓝色时，在增强的图像中就不能有蓝色的像素出现。这种检查可以通过图像识别软件完成。
为了使得AR系统能够确定摄像机系统的位置和取向，在由摄像机系统拍摄的图像数据中必须能识别出一个或多个标记。此外，可能在由摄像机系统拍摄的数据中没有包含光学标记或包含过少的光学标记。在这种情况下适宜的是，在多轴系统的周围环境中布置多个另外的临时标记，其中多个临时标记的位置坐标通过对图像进行图像处理来确定，在该图像中包含多个临时标记和多个光学标记。因此为了能够确定临时标记的位置坐标，需要事先使摄像机系统如下地定位和取向，即多个临时标记以及充足的多个光学标记包含在图像数据中。
在本说明书中提及的光学标记例如能够是贴标，特殊物品或类似物。同样可行的是，将周围环境的明确棱边和/或拐角限定作为光学标记。
本发明此外还提出了一种计算机程序产品，它可以被直接加载到数字计算机的内存储器中并且包含软件代码段，软件代码段用于当在计算机上运行该产品时执行在本说明书中描述的方法的步骤。在这个意义上，计算机可以是由所描述的控制装置和AR系统构成的整体。
根据第二个方面提出了一种用于启动多轴系统的装置。多轴系统包括多个区段和工具作为组件。多个区段经由相应的铰链连接，并且可以在一个或者多个轴上移动。工具与区段中的一个连接，并且可以被驱控且被移动到预设的位置上。
为多轴系统分配工作空间和至少一个保护空间，在工作空间中允许组件的停留和/或移动，并且不允许组件侵入到保护空间中。
装置包括用于驱控多轴系统的组件的控制装置。装置包括具有至少一个摄像机的摄像机系统，摄像机系统从周围环境检测多轴系统。装置包括增强现实(AR)系统，增强现实系统采集并处理由摄像机系统采集到的图像。AR系统设置用于为每个组件限定包络体并将包络体与组件对应，其中对应于组件的包络体尤其是完全地包围所对应的组件。装置包括在多轴系统的周围环境中的多个光学标记，以使得AR系统能够确定对多轴系统的周围环境进行检测的摄像机系统的位置和取向。最后，该装置包括AR系统的输出装置，该输出装置设置成，通过当多轴系统在空间中移动时，在全局的第一坐标系中计算包络体的位置并将该位置转换到按照摄像机系统的位置和取向确定的第二坐标系中的方式，输出装置相关于工作空间和保护空间执行对限定的包络体的检查。转换到第二坐标系中的包络体与由摄像机系统拍摄的图像一起在AR系统的输出装置中可视化。
根据本发明的装置具有与上面结合根据本发明的方法所描述的相同优点。此外，装置还可以包括其他的部件，以用于执行该方法。
附图说明
下面借助附图中的实施例更详尽地阐述本发明。
图1用示意图示出了根据本发明的、用于启动多轴系统10的装置1。
具体实施方式
图1用示意图示出了根据本发明的、用于启动多轴系统10的装置1。多轴系统10例如可以是工业机器人、生产用机床或包装机床、CNC铣床、装运起重机或者诸如此类。然而多轴系统也可以理解为具有许多这类机器的生产单元。
在图1的示意图中，多轴系统10包括多个区段11，它们成对地经由铰链12相互连接。在最后的区段11的自由端处例如布置了带有TCP(Tool Center Point工具中心点)14的工具13。借助TCP描述多轴系统10的工具位置。TCP是一个位于工具13上的合适位置上的参考点。
多轴系统10的运动被控制装置20驱控。控制装置、例如可编程逻辑控制器(SPS)，可以由计算单元提供。此外，多轴系统10还包括功能安全的传感器(未示出)，传感器用于检测运动体系的轴位置、也就是各个区段11和铰链12的轴位置。功能安全的传感器的值通过其上运行着功能安全的程序的、功能安全的控制装置(所谓的F-SPS)来读入。通过功能安全的控制装置21可以计算多轴系统10的运动体系的TCP的位置。功能安全的控制装置21也计算运动体系包络体在所谓的世界坐标系中的实时位置。功能安全的控制装置检查在随后描述的包络体与保护空间之间是否有交叉，或者包络体是否离开了工作空间。此外，功能安全的控制装置21的任务还在于，监控在手动运行多轴系统期间的最大速度的保持情况，这种手动运行在启动多轴系统期间为了执行方法步骤而是必要的。如果其中一种情况出现，就实施安全功能，例如使得运动停止。
尽管在所示实施例中，控制装置20和功能安全的控制装置21作为分离的组件示出，但是控制装置20和功能安全的控制装置21也可以通过唯一的控制装置来实现。
装置包括连接到控制装置和/或功能安全的控制装置21上的编程器22，以用于将程序或参数加载到控制装置20或功能安全的控制装置21中以及从中读取计算出的值。
装置1此外还包括摄像机系统26。摄像机系统26包括第一摄像机27，它检测多轴系统10的周围环境的信息。由第一摄像机27采集到的图像被用于测定摄像机系统26的位置和摄像机系统26的取向。此外，摄像机系统26还包括光学的第二摄像机28。光学的第二摄像机28用于拍摄特定的部段(在本说明书中也被称为场景)。只要摄像机系统除了第一摄像机27以外还包括光学的第二摄像机28，那么它们就借助刚性的连接部29相互连接。由此得知第一和第二摄像机27、28相互之间的位置和取向。在本实施例中所示的、两个摄像机27、28的使用使得能够从不同的角度观察场景。在本实施例中，第一摄像机27的检测区域用27E标识并且第二摄像机28的检测区域用28E标识。可以简单直接地看出，检测区域27E在整体上检测到多轴系统10，而第二摄像机28的检测区域28E按以下方式选择，即，尤其是检测到工具13和保持住工具的区段11的一部分。此外，使用第二摄像机还减少了多轴系统10的多个部分的遮盖风险。
装置1此外还包括AR系统23，它读入由第一摄像机27采集的图像并且通过评估图像信息测定第一摄像机27的位置或这对摄像机的位置。第二摄像机28的图像和来自功能安全的控制装置21的信息同样也通过AR系统读入、相互组合并且传输给输出装置25进行可视化。
AR系统23可以是以软件实现的，并且在编程器22上运行。作为替选，如图所示，AR系统23也可以作为独立的组件实现。在这种情况下存在与编程器22的通信连接。
输出装置25连接到AR系统23上，输出装置在本实施例中显示由第二摄像机28采集到的图像。额外地，后续会详尽描述的、所限定的包络体由AR系统23与在所示图像部段中可见的组件(在这里是区段11和工具12)重合。输出装置25可以是计算机，例如PC、笔记本电脑、平板电脑、智能手机，但是也可以是AR眼镜和任何其他的、用于显示二维的或三维图像的设备。为了识别输出装置25中的错误，也可以使用多样化的输出装置，例如在限定后续会详尽描述的包络体期间使用一种输出装置，并且在检查期间使用另一种输出装置。
在一种作为替选的构造方案中，第一和第二摄像机27、28、输出装置25连同AR系统23都可以统一到一个共同的设备中。
在多轴系统10的周围环境分布着多个标记15。在图1中仅示例性地示出了其中三个这种标记15。这种标记15可以是光学标记，例如贴标，但是也可以是具有特定形状和/或颜色的物体。但是一般而言，作为光学标记15也可以使用多轴系统10的所选择的棱边和/或拐角或其他的明确的组成部分和/或多轴系统的周围环境的所选择的棱边和/或拐角或其他的明确的组成部分。适宜的是，标记15均匀地布置在空间中。借助标记15使得AR系统23能够准确地确定位置以及测定摄像机系统26的位置和取向。如果AR系统因为使用了其他组件和/或技术单元来确定位置而不需要标记来确定位置，那么这些标记15不需要能够在光学上被摄像机系统26采集到。
通过下面详尽描述的方法来实现对包络体以及保护和工作空间的功能安全的限定和检查。
在第一步骤中，在合适的位置上布置多个标记15，它们使得AR系统23能够准确地定位摄像机系统26。标记15放置的位置按如下方式选择，即，对于摄像机系统26而言能够从尽可能多的视角检测到标记15。
在下一个步骤中，测定这些标记15在多轴系统10的运动体系的全局坐标系中的位置。这例如通过以下方式完成，即，将工具13的TCP14移动到相应的标记15上，并且通过输入设备24确定该位置。通过对功能安全的控制装置21功能安全地实施和执行向前转换
Figure BDA0001475060090000101
能够可靠地测定相关的标记15的卡迪尔坐标。这些标记15然后在多轴系统10的全局坐标系中测定。
将TCP移动到相应的标记15上例如可以手动地、在所谓的精密操作中完成。同样地，将TCP移动到相关的标记上也可以自动地完成。为此在工具13的TCP14上做上记号，从而使得AR系统23能够计算出TCP14与相应的标记15的距离。对于给定的标记15，多轴系统的区段11在搜索方法的框架内一直移动，直到这个间距变得最小。对于所有的标记15都重复这种做法。
在另一种作为替选的、自动运行的做法中，安装具有在TCP14处的无线电端口(未示出)的激光测距仪。AR系统23在摄像图中识别激光点，例如通过接通/关闭测距仪的激光并且观察摄像机图像中的像素。同样地，AR系统23识别标识15并且计算在激光点与相关标记15之间的间距。在这里，AR系统23通过无线电从测距仪中读取测得距离并且将该距离与来自多轴系统10的控制装置20的TCP的坐标相组合。控制装置20紧接着按照计算出的间距移动多轴系统10的运动体系，直到激光点与标记15重合。
一直执行该过程，直到在多轴系统10的坐标系中所有的标记15被测量到。
在下一个步骤中，实现标记15的位置坐标从功能安全的控制装置21到AR系统23的传输。AR系统23由此能够从摄像机系统26的、包含标记15的移动的图像中推导出摄像机系统在全局的坐标系中的位置和方向。
如果之前检测到的标记15不足以测定摄像机系统26的位置和方向，因为例如从所有必要的视角并不能看到所有的标记或者没有看到充足的标记15，那么就可以将更多的临时标记布置在多轴系统10的周围环境中。临时标记(未示出)的位置可以由AR系统23在借助至此已有的标记15的情况下来测定。对临时标记的校准是不需要的。作为临时标记的代替，也可以使用已经存在的参考点，例如不可移动的物体的拐角点或者类似点作为临时标记。
在下一个步骤中对用于多轴系统10的组件(区段11、铰链12、工具13)的包络体进行限定。
借助(例如由使用者引导的)辅助标记和输入设备限定出包络体11H、13H的支撑点。包络体11H、13H例如可以具有方形的造型，它由多个拐角点限定。如果包络体是球体，那么球体可以通过球体表面上的至少三个点来限定。使用者将辅助标记保持到支撑点的理想位置上，并且激活输入设备。这促使AR系统23计算辅助标记的位置。这种计算根据图像数据和包含在图像数据中的、其在全局的第一坐标系中的位置已知的标记15来实现。如果输入了用于包络体11H、13H的所有支撑点，那么计算出包络体11H、13H并且将包络体存储在功能安全的控制装置21中。为多轴系统10的所有组件重复这一过程。在限定包络体11H、13H时要注意，相应的、对应于一个组件11、13的包络体11H、13H彻底地包围该组件。
作为替选还可以限定包络体的类型和尺寸，例如方体、球体或类似形状。紧接着，包络体互动地经由输入设备和控制器通过输出装置定位，这通过将辅助标记移动到相应的位置和取向上的方式来实现。借助输入设备24确定准确的位置和取向。紧接着可以以类似的方式调整定位后的包络体的尺寸、位置和取向，直至达到理想的精度为止。
在限定了所有的包络体以后，包络体被划分成保护空间、工作空间和包络体。包络体对应于多轴系统10的运动体系的各个组件(区段11、工具13、铰链12)。不言而喻，这个或者这些保护及工作空间可以在限定包络体的过程中来建立或者事先建立。
对所限定的包络体11H、13H的检查通过以下方式实现，即，功能安全的控制装置21计算包络体的位置，必要时依据多轴系统10的区段11、13的实时位置。AR系统23从功能安全的控制装置21中读入包络体11H、13H的实时位置和取向以及保护空间19的实时位置和取向。紧接着，AR系统23根据摄像机系统26的位置和取向转换包络体11H、13H或保护空间19。包络体11H、13H和这个或这些工作空间18以及这个或这些保护空间19与摄像机系统26的实际图像重合，并且在输出装置25上示出。工作空间仅仅示意性地用附图标记18标识。在图1中，用于区段11的包络体11H和用于工具13的13H分别作为方体示出。仅仅示例性地，一个保护空间19示例性地以方体的造型可视化。在多轴系统10的运动体系移动期间，在准确地限定了包络体的前提下，包络体跟随多轴系统10的相应组件。此时，借助AR系统可以检查，之前限定和存储的包络体、保护及工作空间是否与真实情况一致。例如当包络体太小并且多轴系统的一部分没有被包裹时，就可能是错误的。这种检查可以手动地完成，也就是说通过观察增强的摄像机图像。作为替选，这种检查也可以自动地完成。例如当多轴系统漆成橙色而重合的包络体在可视化中是蓝色时，在增强的图像中就不能有蓝色的像素出现。这种检查可以通过图像识别软件完成。
如果有必要，还可以移动摄像机系统26，以便从不同的视角观察包络体11H、13H和这个或这些工作和/或保护空间18、19。
如果AR系统23在没有标记15的情况下也能够准确地定位摄像机26的位置和取向，那么就可以省去标记15的布置及其校准并且可以不用将位置坐标传输到AR系统23。这例如在以下情况时是可行的，即仅仅通过分析摄像机系统26的图像或者借助例如安装在摄像机26上或中的特殊传感器就可以定位摄像机系统的位置和取向。
对于给定的多轴系统、例如六轴机器人，可以确定逐步流程，该逐步流程引导经历对包络体的限定。以这种方式就不会有多轴系统的任何组件被忘记。
附图标记列表
1 用于启动多轴系统的装置
10 多轴系统
11 区段
11H 区段11的包络体
12 铰链
13 工具
13H 工具13的包络体
14 TCP(Tool Center Point)
15 标记
18 工作空间
19 保护空间
20 控制装置(SPS)
21 功能安全的控制装置(F-SPS)
22 编程器
23 AR系统
24 输入设备
25 输出装置
26 摄像机系统
27 第一摄像机
27E 第一摄像机27的检测区域
28 第二摄像机
28E 第二摄像机28的检测区域
29 刚性的连接部。

Claims (15)

1.一种用于启动多轴系统(10)的方法，其中，所述多轴系统(10)包括作为组件的多个区段(11)和工具(13)，所述区段经由相应的铰链(12)连接并且能够通过控制装置(20、21)在一个或者多个轴中移动，并且所述工具与所述区段(11)中的一个区段连接并且能够通过所述控制装置(20、21)被驱控且移动到预设的位置，其中为所述多轴系统(10)分配工作空间(18)和至少一个保护空间(19)，在所述工作空间中允许所述组件的停留和/或移动，并且不允许组件侵入到所述保护空间中，其中
-在所述多轴系统(10)的周围环境中布置多个光学标记(15)，以便使得增强现实AR系统(23)能够确定具有至少一个摄像机(27、28)的摄像机系统(26)的位置和取向，所述摄像机系统从周围环境中检测所述多轴系统(10)；
-为每个所述组件限定包络体(11H、13H)并且所述包络体与该组件相对应，其中对应于组件的包络体(11H、13H)包围所对应的组件；
-通过当所述多轴系统(10)在空间中移动时，在全局的第一坐标系中计算所述包络体(11H、13H)的位置并将该位置转换到按照所述摄像机系统(26)的位置和取向确定的第二坐标系中的方式，借助AR系统(23)相关于所述工作空间(18)和所述保护空间(19)执行对所限定的所述包络体(11H、13H)的检查，其中转换到所述第二坐标系中的所述包络体(11H、13H)与由所述摄像机系统(26)拍摄的图像一起在所述AR系统(23)中可视化。
2.根据权利要求1所述的方法，其中，所述光学标记(15)的位置坐标在全局的所述第一坐标系中被测定并存储在所述控制装置(20、21)中。
3.根据权利要求2所述的方法，其中，为了测定所述光学标记(15)的所述位置坐标，将所述多轴系统(10)的所述工具(13)的工具中心点TCP移动到相应的所述光学标记(15)上，并且对于所述控制装置(20、21)已知的、TCP的位置坐标被测定且存储作为所述光学标记(15)的位置坐标。
4.根据权利要求2所述的方法，其中，为了测定相应的所述光学标记(15)的位置坐标，通过所述AR系统(23)检测安置在所述工具(13)上的记号和正在被处理的光学标记(15)，并且测定在所述记号与该光学标记(15)之间的距离，其中迭代地改变所述工具(13)的位置，直到所述距离最小为止，其中对于所述控制装置(20、21)已知的、所述工具(13)的位置坐标被测定且存储作为所述光学标记(15)的位置坐标。
5.根据权利要求4所述的方法，其中，安置在所述工具上的记号是在TCP上的记号，并且对于所述控制装置(20、21)已知的、TCP的位置坐标被测定且存储作为所述光学标记(15)的位置坐标。
6.根据权利要求4所述的方法，其中，所述记号是光学记号或距离测量单元。
7.根据权利要求6所述的方法，其中，所述距离通过所述距离测量单元来测定并且被传输到所述AR系统(23)/所述控制装置(20、21)以便进行评估。
8.根据权利要求1至7中任一项所述的方法，其中，所述光学标记(15)的位置坐标被传输到所述AR系统(23)，其中，所述AR系统(23)根据检测到的所述光学标记(15)和所对应的位置坐标测定所述摄像机系统(26)在全局的所述第一坐标系中的位置和取向。
9.根据权利要求1至7中任一项所述的方法，其中，为了限定相应的包络体(11H、13H)，通过所述摄像机系统来检测临时布置在所述多轴系统(10)的周围环境中的辅助标记的多个位置坐标，并且所述辅助标记的位置坐标通过所述AR系统来测定。
10.根据权利要求1至7中任一项所述的方法，其中，为了限定相应的包络体(11H、13H)，根据所述组件的类型和尺寸来生成所述包络体，并且在所述AR系统(23)中借助布置在所述多轴系统(10)的周围环境中的辅助标记迭代地相关于位置和取向改变所述包络体，直到所述包络体包围所对应的组件为止。
11.根据权利要求1至7中任一项所述的方法，其中，所述工作空间(18)和至少一个所述保护空间(19)在所述AR系统(23)中可视化。
12.根据权利要求1至7中任一项所述的方法，其中，检查的步骤包括所限定的所述包络体和/或所述保护空间是否与实际情况一致。
13.根据权利要求1至7中任一项所述的方法，其中，在所述多轴系统(10)的移动中的一次移动期间，执行检查的步骤。
14.根据权利要求1至7中任一项所述的方法，其中，在所述多轴系统(10)的周围环境中布置多个另外的临时标记，其中通过对图像进行图像处理，确定多个所述临时标记的位置坐标，在所述图像中包含多个所述临时标记和多个所述光学标记(15)。
15.一种用于启动多轴系统(10)的装置，其中，所述多轴系统(10)包括作为组件的多个区段(11)和工具(13)，所述区段经由相应的铰链(12)连接并且能够在一个或者多个轴中移动，并且所述工具与所述区段(11)中的一个区段连接并且能够被驱控且移动到预设的位置，其中为所述多轴系统(10)分配工作空间(18)和至少一个保护空间(19)，在所述工作空间中允许所述组件的停留和/或移动，并且不允许组件侵入到所述保护空间中，所述装置包括
-用于驱控所述多轴系统(10)的所述组件的控制装置(20、21)；
-具有至少一个摄像机(27、28)的摄像机系统(26)，所述摄像机系统从周围环境检测所述多轴系统(10)；
-增强现实AR系统(23)，所述AR系统采集并处理由所述摄像机系统(26)采集到的图像，并且所述AR系统设置用于为每个所述组件限定包络体(11H、13H)并将所述包络体与所述组件对应，其中对应于组件的包络体(11H、13H)包围所对应的组件；
-在所述多轴系统(10)的周围环境中的多个光学标记(15)，以使得AR系统能够确定对所述多轴系统(10)的周围环境进行检测的所述摄像机系统(26)的位置和取向；
-所述AR系统(23)的输出装置(25)，所述输出装置设置成通过当所述多轴系统(10)在空间中移动时，在全局的第一坐标系中计算所述包络体(11H、13H)的位置并将该位置转换到按照所述摄像机系统(26)的位置和取向确定的第二坐标系中的方式，所述输出装置相关于所述工作空间(18)和所述保护空间(19)执行对限定的所述包络体(11H、13H)的检查，其中转换到所述第二坐标系中的所述包络体(11H、13H)与由所述摄像机系统(26)拍摄的图像一起在所述AR系统(23)的所述输出装置中可视化。
CN201711163401.9A 2016-11-21 2017-11-20 用于启动多轴系统的方法和装置 Active CN108081267B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16199731.7 2016-11-21
EP16199731.7A EP3323565B1 (de) 2016-11-21 2016-11-21 Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems

Publications (2)

Publication Number Publication Date
CN108081267A CN108081267A (zh) 2018-05-29
CN108081267B true CN108081267B (zh) 2021-03-09

Family

ID=57396275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711163401.9A Active CN108081267B (zh) 2016-11-21 2017-11-20 用于启动多轴系统的方法和装置

Country Status (3)

Country Link
US (1) US10482589B2 (zh)
EP (1) EP3323565B1 (zh)
CN (1) CN108081267B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6434476B2 (ja) 2016-12-06 2018-12-05 ファナック株式会社 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
DE112019003204T5 (de) * 2018-06-26 2021-03-11 Fanuc America Corporation Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität
EP3946825A1 (en) * 2019-03-25 2022-02-09 ABB Schweiz AG Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
EP3808511A1 (de) 2019-10-15 2021-04-21 Siemens Aktiengesellschaft Verfahren zum überwachen einer arbeitsumgebung und überwachungseinrichtung

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10226140A1 (de) * 2002-06-13 2004-01-08 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Vermeiden von Kollisionen zwischen Industrierobotern und anderen Objekten
DE10323217A1 (de) * 2003-05-22 2004-12-16 Siemens Ag Optisches Kohärenztomographiesystem zur Untersuchung des menschlichen oder tierischen Gewebes oder von Organen
JP5365524B2 (ja) * 2007-12-07 2013-12-11 株式会社安川電機 ロボット動作規制方法およびロボットシステム
WO2010110560A2 (ko) * 2009-03-24 2010-09-30 주식회사 래보 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
JP5523386B2 (ja) * 2011-04-15 2014-06-18 三菱電機株式会社 衝突回避装置
WO2014036034A1 (en) * 2012-08-27 2014-03-06 University Of Houston Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
JP5872077B2 (ja) * 2013-02-06 2016-03-01 三菱電機株式会社 干渉チェック装置
JP5742862B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
EP3104276A1 (de) 2015-06-09 2016-12-14 Siemens Aktiengesellschaft Verfahren in einem computersystem, computerprogramm und datenverarbeitungsanlage
CN104942809B (zh) * 2015-06-23 2018-04-17 广东工业大学 基于视觉伺服系统的机械臂动态模糊逼近器

Also Published As

Publication number Publication date
CN108081267A (zh) 2018-05-29
US20180144459A1 (en) 2018-05-24
EP3323565A1 (de) 2018-05-23
EP3323565B1 (de) 2021-06-30
US10482589B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
CN108089553B (zh) 用于启动多轴系统的方法和装置
CN108081267B (zh) 用于启动多轴系统的方法和装置
US11396100B2 (en) Robot calibration for AR and digital twin
US11850755B2 (en) Visualization and modification of operational bounding zones using augmented reality
US9199379B2 (en) Robot system display device
US11565427B2 (en) Robot system
US10888998B2 (en) Method and device for verifying one or more safety volumes for a movable mechanical unit
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US10189161B2 (en) Calibration system and calibration method calibrating mechanical parameters of wrist part of robot
US10885340B2 (en) Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program
JP4950348B2 (ja) 情報提供装置、情報提供方法、及びプログラム
US20050159842A1 (en) Measuring system
CN103728917A (zh) 数控加工与测量设备的防碰撞方法
US11538201B2 (en) Display device and display program
KR102228835B1 (ko) 산업용 로봇의 측정 시스템 및 방법
CN113557108A (zh) 控制系统、控制方法以及控制单元
US20230364812A1 (en) Robot system
KR101716805B1 (ko) 로봇 제어 시각화 장치
CN115916476A (zh) 利用由多关节系统承载的工具对物体自动执行操作的方法
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
DE102017221305A1 (de) Verfahren zum Betreiben eines kollaborativen Roboters
US20210281741A1 (en) Optical Measuring Device
CN117464662A (zh) 为机器工作单元中的操作者提供动态安全区的系统和方法
JP2006150427A (ja) 鍛造作業のガイダンス装置及びこの装置を用いた鍛造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant