CN108089553A - 用于启动多轴系统的方法和装置 - Google Patents

用于启动多轴系统的方法和装置 Download PDF

Info

Publication number
CN108089553A
CN108089553A CN201711161865.6A CN201711161865A CN108089553A CN 108089553 A CN108089553 A CN 108089553A CN 201711161865 A CN201711161865 A CN 201711161865A CN 108089553 A CN108089553 A CN 108089553A
Authority
CN
China
Prior art keywords
image data
optical markings
multiple axes
virtual tag
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711161865.6A
Other languages
English (en)
Other versions
CN108089553B (zh
Inventor
迈赫迪·哈马杜
扬·里希特
马克西米利安·沃尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN108089553A publication Critical patent/CN108089553A/zh
Application granted granted Critical
Publication of CN108089553B publication Critical patent/CN108089553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4147—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by using a programmable interface controller [PIC]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34013—Servocontroller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37009—Calibration of vision system, camera, adapt light level
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于启动多轴系统的方法，其中，多轴系统包括作为组件的多个区段和工具，多个区段经由相应铰链连接并可在一个或多个轴上移动，工具与一个区段连接并可移动到预设位置。多个光学标记布置在周围环境中。测定光学标记在全局的第一坐标系中的位置坐标并存储在控制装置中。通过摄像机系统以图像数据形式检测周围环境。图像数据传输给AR系统并在输出装置中可视化，图像数据的可视化中示出光学标记和虚拟标记，一个相应的虚拟标记刚好对应一个光学标记。检查光学标记和虚拟标记在可视化的图像数据中是否重合。

Description

用于启动多轴系统的方法和装置
技术领域
本发明涉及一种用于启动多轴系统的方法和装置。多轴系统包括作为组件的多个区段和工具，区段经由相应的铰链连接并且可以在一个或多个轴中移动，并且工具与其中一个区段连接并且可驱控且可移动到预设的位置。
背景技术
多轴系统是通用的、可编程的机器，其用于处理、安装或者加工工件。它们也被称为(工业)机器人。它们是为工业领域中的使用所设计的。一旦完成编程，这种多轴系统就能够自主地执行工作流程，或者在一定界限内依据传感器信息改变任务的执行方式。
这种多轴系统带来的危险在于对人类来说经常完全无法预见的、复杂的移动模式和在有巨大力的同时产生的高速度。因此，在不安全的多轴系统旁边工作可能很快导致在这个多轴系统附近的人员严重受伤。
为了避免这种事故，需要对多轴系统的自移动组件的位置进行可靠的监控、对自移动组件的速度、加速度和取向进行与位置相关的监控。在多轴系统要和人协作的工作场合下尤其如此。
这种多轴系统的准确且安全的工作方式的前提是为自移动组件限定包络体以及准确地限定保护及工作空间。包络体可以具有不同的几何尺寸和外形。通常使用的包络体例如有球体、方体或者由多个方体组成的形体。对包络体的限定以及对保护及工作空间的确定使得多轴系统与人类的协作成为可能，只要确保多轴系统的组件的包络体不侵入保护空间中。如果在限定包络体时出错，就导致在运行期间例如无法识别包络体侵入到保护区域，从而让安全功能错误地无法被触发。
公知的是，将多轴系统的组件的包络体的坐标、尺寸和取向手动地输入程序或数据库。除了大量的人工耗费以外，这种做法还有以下缺点，即，对由输入所形成的包络体进行检查很容易受到思维及输入错误的影响。另一种公知的可能性是通过将多轴系统的工具移动到所有自身不动的主体的角落处、在同时获取并存储了相应的坐标的情况下来限定保护空间，也就是说限定保护空间和工作空间。然而这种变化方案仅适用于自身不动的空间的包络体，却不适用于多轴系统的自移动组件的包络体。
这两种所提及的方法“以点为导向地”工作。对包络体进行限定的使用者因此必须在头脑中用三维空间内的多个点组成包络体。这需要很强的构思能力，因此很容易出错。此外，不容易识别出多轴系统的一个区段的包络体是否真的完全包含这个区段。另一个问题在于，不能简单直接地确定限定出的包络体是否对应于多轴系统的动力学的正确的区段。如果不是，那么这个包络体虽然在静态下位于正确的区段上，但是在移动时不跟随与其实际对应的区段，而是跟随例如另一个区段。
发明内容
本发明的目的在于，提供一种方法和一种装置，它们能够以简单的方式实现多轴系统的启动。
根据第一个方面，提出了一种用于启动多轴系统的方法。多轴系统包括多个区段和工具作为组件。多个区段经由相应的铰链成对地连接，并且可以通过控制装置在一个或者多个轴上移动。工具与区段中的一个连接，并且可以通过控制装置被驱控且被移动到预设的位置。通常为多轴系统分配一个工作空间，在该工作空间内，多轴系统的组件的停留和/或移动是被允许的。此外还为多轴系统分配至少一个保护空间，组件不允许侵入这个保护空间中。
为了启动多轴系统执行以下步骤：将多个光学标记布置在多轴系统的周围环境中。测定光学标记在全局的第一坐标系中的位置坐标并且存储到控制装置中。通过包括至少一个摄像机的摄像机系统利用多个光学标记以图像数据的形式获取多轴系统的的周围环境。摄像机系统的图像数据传输给增强现实(AR)系统并且在输出装置中可视化，其中，在图像数据的可视化中除了包含在图像数据中的光学标记以外还示出虚拟标记。一个相应的虚拟标记刚好对应光学标记中的一个。相应的虚拟标记在可视化的图像数据中的位置通过将对应的光学标记的位置坐标从全局的第一坐标系转换到按照摄像机系统的位置和取向确定的第二坐标系中来得出。第二坐标系因此是摄像机系统的坐标系，其中，它的轴按照摄像机系统的位置和取向来定向。最终，检查光学标记和对应的虚拟标记在可视化的图像数据中是否重合。
通过提出的方法能够检查AR系统是否正确工作。借此可以将AR系统用于实现对包络体以及保护及工作区域的功能安全的限定和检查。由此能够通过在AR系统中进行视觉检查的可行性以简单并且快速的方式确定在限定包络体时或者在将包络体对应于多轴系统的相应组件时可能出现的错误。由此使得多轴系统的启动较少地受到思维错误的影响。
对多个光学标记的位置坐标的测定可以以不同的方式完成。在一种变体中，为了测定光学标记的位置坐标将多轴系统的工具的TCP(Tool Center Point工具中心点)移动到一个相应的光学标记上。然后测定并存储对于控制装置已知的、TCP的位置坐标作为这个光学标记的位置坐标。这个移动可以手动地在所谓的精密操作(Tipp-Betrieb)中完成或者自动地完成。在一种作为替选的变体中，为了测定相应的光学标记的位置坐标，通过AR系统检测安置到工具上、尤其是TCP上的记号和正在被处理的光学标记。测定在该记号与光学标记之间的距离。然后迭代地(iterativ)改变工具的位置，直到距离最小。对于控制装置已知的、工具的位置坐标、尤其是TCP的位置坐标被测定并存储作为光学标记的位置坐标。
TCP是一个在多轴系统的情景下构想的、公知的参考点，它位于工具上的合适位置上。为了描述多轴系统的工具所处的位置，只要限定出TCP在空间中、也就是在全局的第一坐标系中的位置和取向就足够了。
第二种用于测定位置坐标的变体使得能够自动地测定相应的光学标记的位置坐标。在此使用迭代的搜索法，其中，工具或TCP一直被移动，直到在工具或TCP与正在被观察的光学标记之间的间距最小。对于所有的光学标记都重复这种做法。
根据一种适宜的设计方案，在检查的步骤中，当光学标记和对应的虚拟标记在可视化的图像数据中重合时，判定AR系统已准确校准。尤其是当光学标记和对应的虚拟标记与摄像机系统在多轴系统的周围所处的角度无关地重合时，存在AR系统的准确校准。不言而喻，在这里，不仅个别的或者所选择的光学标记和对应的虚拟标记准确重合，而且所有的光学标记及其对应的虚拟标记都准确重合。
在另一种设计方案中，在检查的步骤中，当光学标记和对应的虚拟标记在可视化的图像数据中不重合或仅部分重合时，判定AR系统的校准有误。特别地，从在可视化的图像数据中测定的、在光学标记与对应的虚拟标记之间的偏差中测定出，在光学标记与对应的虚拟标记之间的实际间距的大小。
在光学标记与对应的虚拟标记不重合时，根据另一种设计方案，可以调整用于将位置坐标从全局的第一坐标系转换到第二坐标系的转换规则。这个过程尤其是可以一直迭代地重复，直到光学标记和对应的虚拟标记重合为止。
检查的步骤可以在有计算机辅助的情况下通过图像处理程序执行。同样也可以以简单的方式通过启动多轴系统的使用者借助输出装置来识别，虚拟标记和对应的光学标记是否重合。在这两种情况下都可以由此以简单的方式检查AR系统是否准确校准，这就在准确限定包络体、保护及工作空间方面高度简化了启动运行。
另一种设计方案提出，多轴系统的工具的TCP的位置坐标从全局的第一坐标系换算到第二坐标系，并且在可视化的图像数据中除了TCP以外还示出虚拟的TCP，用于检查TCP和虚拟的TCP在可视化的图像数据中是否重合。这种做法使得能够检查AR系统在随后的、对包络体的可视化中是否具有相对于多轴系统的TCP的准确参考。
另一种设计方案提出，在每个组件上都布置记号，该记号能够通过图像处理在可视化的图像数据中被探测到。对于每个组件都限定了一个包络体，并且包络体与组件对应，其中，对应一个组件的包络体尤其是完全包围该对应的组件。当多轴系统在空间中移动时，包络体的位置在全局的第一坐标系中计算并且转换到按照摄像机系统的位置和取向确定的第二坐标系，其中，转换到第二坐标系的包络体与摄像机系统拍摄的、包含相应的组件的记号的图像一起在AR系统中被可视化。
通过评估组件的相应记号的移动和对应的包络体的移动，检查包络体在移动期间是否跟随与其对应的组件。换而言之，通过这种设计方案可以检查即使在多轴系统运动学移动时对应于相应组件的包络体是否也继续(持续地)包裹该组件。通过将记号标识到各个运动学组件上，可以在计算机辅助的情况下并且自动地通过图像处理执行这个步骤。
本发明此外还提出了一种计算机程序产品，它可以被直接加载到数字计算机的内存储器中并且包含软件代码段，软件代码段用于当在计算机上运行该产品时执行在本说明书中描述的方法的步骤。在这个意义上，计算机可以是由所描述的控制装置和/或AR系统构成的整体。
根据第二个方面提出了一种用于启动多轴系统的装置。多轴系统包括多个区段和工具作为组件。多个区段经由相应的铰链连接，并且可以在一个或者多个轴上移动。工具与区段中的一个连接，并且可以被驱控且被移动到预设的位置上。
装置包括用于驱控多轴系统的组件的控制装置。装置此外还包括具有至少一个摄像机的摄像机系统，摄像机系统从周围环境检测多轴系统并且提供周围环境的图像数据。装置此外还包括在多轴系统的周围环境中的多个光学标记，光学标记在全局的第一坐标系中的位置坐标存储在控制装置中。最后，装置还包括AR系统，它处理由摄像机系统采集到的图像数据并且将其在输出装置中可视化，并且AR系统设置用于在图像数据的可视化中除了包含在图像数据中的光学标记以外还示出虚拟标记，其中，一个相应的虚拟标记刚好对应光学标记中的一个，并且一个相应的虚拟标记在可视化的图像数据中的位置由所对应的光学标记的位置坐标从全局的第一坐标系到按照摄像机系统的位置和取向确定的第二坐标系的转换来得出。此外，AR系统还设置用于检查光学标记和对应的虚拟标记在可视化的图像数据中是否重合。
根据本发明的装置具有与上面结合根据本发明的方法所描述的相同优点。
此外，装置还可以包括其他的部件，这些部件使得该装置能够执行在本文中所描述的方法。
附图说明
下面借助附图中的实施例更详尽地阐述本发明。
图1用示意图示出了根据本发明的、用于启动多轴系统10的装置1。
具体实施方式
图1用示意图示出了根据本发明的、用于启动多轴系统10的装置1。多轴系统10例如可以是工业机器人、生产用机床或包装机床、CNC铣床、装运起重机或者诸如此类。然而多轴系统也可以理解为具有许多这类机器的生产单元。
在图1的示意图中，多轴系统10包括多个区段11，它们成对地经由铰链12相互连接。在最后的区段11的自由端处例如布置了带有TCP(Tool Center Point工具中心点)14的工具13。借助TCP描述多轴系统10的工具位置。TCP是一个位于工具13上的合适位置上的参考点。
多轴系统10的运动被控制装置20驱控。控制装置、例如可编程逻辑控制器(SPS)，可以由计算单元提供。此外，多轴系统10还包括功能安全的传感器(未示出)，传感器用于检测运动体系的轴位置、也就是各个区段11和铰链12的轴位置。功能安全的传感器的值通过其上运行着功能安全的程序的、功能安全的控制装置(所谓的F-SPS)来读入。通过功能安全的控制装置21可以计算多轴系统10的运动体系的TCP的位置。功能安全的控制装置21也计算运动体系包络体在所谓的世界坐标系中的实时位置。功能安全的控制装置检查在随后描述的包络体与保护空间之间是否有交叉，或者包络体是否离开了工作空间。此外，功能安全的控制装置21的任务还在于，监控在手动运行多轴系统期间的最大速度的保持情况，这种手动运行在启动多轴系统期间为了执行方法步骤而是必要的。如果其中一种情况出现，就实施安全功能，例如使得运动停止。
尽管在所示实施例中，控制装置20和功能安全的控制装置21作为分离的组件示出，但是控制装置20和功能安全的控制装置21也可以通过唯一的控制装置来实现。
装置包括连接到控制装置和/或功能安全的控制装置21上的编程器22，以用于将程序或参数加载到控制装置20或功能安全的控制装置21中以及从中读取计算出的值。
装置1此外还包括摄像机系统26。摄像机系统26包括第一摄像机27，它检测多轴系统10的周围环境的信息。由第一摄像机27采集到的图像被用于测定摄像机系统26的位置和摄像机系统26的取向。此外，摄像机系统26还包括光学的第二摄像机28。光学的第二摄像机28用于拍摄特定的部段(在本说明书中也被称为场景)。只要摄像机系统除了第一摄像机27以外还包括光学的第二摄像机28，那么它们就借助刚性的连接部29相互连接。由此得知第一和第二摄像机27、28相互之间的位置和取向。在本实施例中所示的、两个摄像机27、28的使用使得能够从不同的角度观察场景。在本实施例中，第一摄像机27的检测区域用27E标识并且第二摄像机28的检测区域用28E标识。可以简单直接地看出，检测区域27E在整体上检测到多轴系统10，而第二摄像机28的检测区域28E按以下方式选择，即，尤其是检测到工具13和保持住工具的区段11的一部分。此外，使用第二摄像机还减少了多轴系统10的多个部分的遮盖风险。
装置1此外还包括AR系统23，它读入由第一摄像机27采集的图像并且通过评估图像信息测定第一摄像机27的位置或这对摄像机的位置。第二摄像机28的图像和来自功能安全的控制装置21的信息同样也通过AR系统读入、相互组合并且传输给输出装置25进行可视化。
AR系统23可以是以软件实现的，并且在编程器22上运行。作为替选，如图所示，AR系统23也可以作为独立的组件实现。在这种情况下存在与编程器22的通信连接。
输出装置25连接到AR系统23上，输出装置在本实施例中显示由第二摄像机28采集到的图像。额外地，后续会详尽描述的、所限定的包络体由AR系统23与在所示图像部段中可见的组件(在这里是区段11和工具12)重合。输出装置25可以是计算机，例如PC、笔记本电脑、平板电脑、智能手机，但是也可以是AR眼镜和任何其他的、用于显示二维的或三维图像的设备。为了识别输出装置25中的错误，也可以使用多样化的输出装置，例如在限定后续会详尽描述的包络体期间使用一种输出装置，并且在检查期间使用另一种输出装置。
在一种作为替选的构造方案中，第一和第二摄像机27、28、输出装置25连同AR系统23都可以统一到一个共同的设备中。
在多轴系统10的周围环境分布着多个标记15。在图1中仅示例性地示出了其中三个这种标记15。这种标记15可以是光学标记，例如贴标，但是也可以是具有特定形状和/或颜色的物体。但是一般而言，作为光学标记15也可以使用多轴系统10的所选择的棱边和/或拐角或其他的明确的组成部分和/或多轴系统的周围环境的所选择的棱边和/或拐角或其他的明确的组成部分。适宜的是，标记15均匀地布置在空间中。借助标记15使得AR系统23能够准确地确定位置以及测定摄像机系统26的位置和取向。如果AR系统因为使用了其他组件和/或技术单元来确定位置而不需要标记来确定位置，那么这些标记15不需要能够在光学上被摄像机系统26采集到。
通过下面详尽描述的方法来实现对包络体以及保护和工作空间的功能安全的限定和检查。
在第一步骤中，在合适的位置上布置多个标记15，它们使得AR系统23能够准确地定位摄像机系统26。标记15放置的位置按如下方式选择，即，对于摄像机系统26而言能够从尽可能多的视角检测到标记15。
在下一个步骤中，测定这些标记15在多轴系统10的运动体系的全局坐标系中的位置。这例如通过以下方式完成，即，将工具13的TCP14移动到相应的标记15上，并且通过输入设备24确定该位置。通过对功能安全的控制装置21功能安全地实施和执行向前转换能够可靠地测定相关的标记15的卡迪尔坐标。这些标记15然后在多轴系统10的全局坐标系中测定。
将TCP移动到相应的标记15上例如可以手动地、在所谓的精密操作中完成。同样地，将TCP移动到相关的标记上也可以自动地完成。为此在工具13的TCP14上做上记号，从而使得AR系统23能够计算出TCP14与相应的标记15的距离。对于给定的标记15，多轴系统的区段11在搜索方法的框架内一直移动，直到这个间距变得最小。对于所有的标记15都重复这种做法。
在另一种作为替选的、自动运行的做法中，安装具有在TCP14处的无线电端口(未示出)的激光测距仪。AR系统23在摄像图中识别激光点，例如通过接通/关闭测距仪的激光并且观察摄像机图像中的像素。同样地，AR系统23识别标识15并且计算在激光点与相关标记15之间的间距。在这里，AR系统23通过无线电从测距仪中读取测得距离并且将该距离与来自多轴系统10的控制装置20的TCP的坐标相组合。控制装置20紧接着按照计算出的间距移动多轴系统10的运动体系，直到激光点与标记15重合。
一直执行该过程，直到在多轴系统10的坐标系中所有的标记15被测量到。
在下一个步骤中，实现标记15的位置坐标从功能安全的控制装置21到AR系统23的传输。AR系统23由此能够从摄像机系统26的、包含标记15的移动的图像中推导出摄像机系统在全局的坐标系中的位置和方向。
紧接着检查AR系统23是否正确工作，也就是说输出装置25中输出的信息是否正确示出。该检查通过以下方式完成，即，AR系统23将输出装置25的图像中的标记15与分别对应的虚拟标记16重合。这个或这些虚拟标记16以及这个或这些与其对应的实际的标记15在输出装置25上连同摄像机系统26采集到的图像一起被显示。在AR系统23正确运行时，真实的标记15必须与对应的虚拟标记16覆盖一致。在这里，无论摄像机系统26从哪个角度拍摄标记15，都必须如此。
此外，AR系统23读取由功能安全的控制装置21计算的、TCP的位置，并且在输出装置25中示出虚拟的TCP17。虚拟的TCP必须与实际的TCP14覆盖一致，而且与摄像机系统26和TCP24所处的位置无关。
检查可以在计算机辅助的情况下借助图像处理程序自动地进行。例如如果虚拟标记16由黄色圆圈构成，并且真实的标记15是蓝色的，那么在输出装置25的图像上所有的蓝色像素都必须被黄色的边沿包围。反之也成立的是，在黄色的圆圈内只能有蓝色的像素。
检查在输出装置25的二维图像中的像素层面上实现。
此外，只要一个标记15和一个对应的虚拟标记16不完全重合，可以在计算机辅助的情况下测定，哪个真实的间距与像素偏差相对应。当这个误差可以忽略不计时(这例如可以通过由使用者进行视觉检查或者在计算机辅助下通过图像处理来实现)，就可以接受这次检查。这可以通过输入设备借助专用的输入命令来实现。否则必须手动地或者在计算机辅助下决定，是否需要再校准，也就是说是否需要用于将位置坐标从全局的第一坐标系转换到第二坐标系的转换规则。
如果之前检测到的标记15不足以测定摄像机系统26的位置和方向，因为例如从所有必要的视角并不能看到所有的标记或者没有看到充足的标记15，那么就可以将更多的临时标记布置在多轴系统10的周围环境中。临时标记(未示出)的位置可以由AR系统23在借助至此已有的标记15的情况下来测定。对临时标记的校准可以通过预设相应的视觉标记来实现，如上所述，视觉标记在AR系统中与临时标记重合。作为临时标记的代替，也可以使用已经存在的参考点，例如不可移动的物体的拐角点或者类似点作为临时标记。
在下一个步骤中对用于多轴系统10的组件(区段11、铰链12、工具13)的包络体进行限定。
借助(例如由使用者引导的)辅助标记和输入设备限定出包络体11H、13H的支撑点。包络体11H、13H例如可以具有方形的造型，它由多个拐角点限定。如果包络体是球体，那么球体可以通过球体表面上的至少三个点来限定。使用者将辅助标记保持到支撑点的理想位置上，并且激活输入设备。这促使AR系统23计算辅助标记的位置。这种计算根据图像数据和包含在图像数据中的、其在全局的第一坐标系中的位置已知的标记15来实现。如果输入了用于包络体11H、13H的所有支撑点，那么计算出包络体11H、13H并且将包络体存储在功能安全的控制装置21中。为多轴系统10的所有组件重复这一过程。在限定包络体11H、13H时要注意，相应的、对应于一个组件11、13的包络体11H、13H彻底地包围该组件。
作为替选还可以限定包络体的类型和尺寸，例如方体、球体或类似形状。紧接着，包络体互动地经由输入设备和控制器通过输出装置定位，这通过将辅助标记移动到相应的位置和取向上的方式来实现。借助输入设备24确定准确的位置和取向。紧接着可以以类似的方式调整定位后的包络体的尺寸、位置和取向，直至达到理想的精度为止。
在限定了所有的包络体以后，包络体被划分成保护空间、工作空间和包络体。包络体对应于多轴系统10的运动体系的各个组件(区段11、工具13、铰链12)。不言而喻，这个或者这些保护及工作空间可以在限定包络体的过程中来建立或者事先建立。
对所限定的包络体11H、13H的检查通过以下方式实现，即，功能安全的控制装置21计算包络体的位置，必要时依据多轴系统10的区段11、13的实时位置。AR系统23从功能安全的控制装置21中读入包络体11H、13H的实时位置和取向以及保护空间19的实时位置和取向。紧接着，AR系统23根据摄像机系统26的位置和取向转换包络体11H、13H或保护空间19。包络体11H、13H和这个或这些工作空间18以及这个或这些保护空间19与摄像机系统26的实际图像重合，并且在输出装置25上示出。工作空间仅仅示意性地用附图标记18标识。在图1中，用于区段11的包络体11H和用于工具13的13H分别作为方体示出。仅仅示例性地，一个保护空间19示例性地以方体的造型可视化。在多轴系统10的运动体系移动期间，在准确地限定了包络体的前提下，包络体跟随多轴系统10的相应组件。此时，借助AR系统可以检查，之前限定和存储的包络体、保护及工作空间是否与真实情况一致。例如当包络体太小并且多轴系统的一部分没有被包裹时，就可能是错误的。这种检查可以手动地完成，也就是说通过观察增强的摄像机图像。作为替选，这种检查也可以自动地完成。例如当多轴系统漆成橙色而重合的包络体在可视化中是蓝色时，在增强的图像中就不能有蓝色的像素出现。这种检查可以通过图像识别软件完成。
对于与组件对应的包络体11H、13H在移动时是否跟随运动体系的被对应的组件的检查可以被自动化。这可以通过将特殊的记号(未示出)标到多轴系统10的运动体系的各个组件或部件上来实现。由此使得AR系统23能够直接地检测运动体系的各个部件的移动，并且与包络体的移动进行比较。
如果有必要，还可以移动摄像机系统26，以便从不同的视角观察包络体11H、13H和这个或这些工作和/或保护空间18、19。
如果AR系统23在没有标记15的情况下也能够准确地定位摄像机26的位置和取向，那么就可以省去标记15的布置及其校准并且可以不用将位置坐标传输到AR系统23。这例如在以下情况时是可行的，即仅仅通过分析摄像机系统26的图像或者借助例如安装在摄像机26上或中的特殊传感器就可以定位摄像机系统的位置和取向。
对于给定的多轴系统、例如六轴机器人，可以确定逐步流程，该逐步流程引导经历对包络体的限定。以这种方式就不会有多轴系统的任何组件被忘记。
附图标记列表
1 用于启动多轴系统的装置
10 多轴系统
11 区段
11H 区段11的包络体
12 铰链
13 工具
13H 工具13的包络体
14TCP (Tool Center Point)
15 标记
16 虚拟标记
17 虚拟的TCP
18 工作空间
19 保护空间
20 控制装置(SPS)
21 功能安全的控制装置(F-SPS)
22 编程器
23 AR系统
24 输入设备
25 输出装置
26 摄像机系统
27 第一摄像机
27E 第一摄像机27的检测区域
28 第二摄像机
28E 第二摄像机28的检测区域
29 刚性的连接部。

Claims (11)

1.一种用于启动多轴系统(10)的方法，其中，所述多轴系统(10)包括作为组件的多个区段(11)和工具(13)，所述区段经由相应的铰链(12)连接并且能够通过控制装置(20、21)在一个或者多个轴中移动，并且所述工具与所述区段(11)中的一个区段连接并且能够通过控制装置(20、21)被驱控且移动到预设的位置，其中
-将多个光学标记(15)布置在所述多轴系统(10)的周围环境中；
-测定所述光学标记(15)在全局的第一坐标系中的位置坐标并且将该位置坐标存储在所述控制装置(20、21)中；
-通过包括至少一个摄像机(27、28)的摄像机系统(26)利用多个所述光学标记(15)以图像数据的形式检测所述多轴系统(10)的周围环境；
-所述摄像机系统(26)的所述图像数据传输给增强现实AR系统(23)并且在输出装置(25)中可视化，其中，在所述图像数据的可视化中除了包含在所述图像数据中的所述光学标记(15)以外还示出虚拟标记(16)，其中一个相应的虚拟标记(16)刚好对应所述光学标记(15)中的一个光学标记，并且一个相应的虚拟标记(16)在可视化的所述图像数据中的位置通过将对应的光学标记(15)的位置坐标从全局的所述第一坐标系转换到按照所述摄像机系统(26)的位置和取向确定的第二坐标系来得出；
-检查，一个所述光学标记(15)和对应的所述虚拟标记(16)在可视化的所述图像数据中是否重合。
2.根据权利要求1所述的方法，其中，在检查的步骤中，当所述光学标记(15)和对应的所述虚拟标记(16)在可视化的所述图像数据中重合时，判定AR系统(23)已准确校准。
3.根据权利要求1或2所述的方法，其中，在检查的步骤中，当所述光学标记(15)和对应的所述虚拟标记(16)在可视化的所述图像数据中不重合或仅部分重合时，判定AR系统(23)的校准有误。
4.根据权利要求3所述的方法，其中，从在可视化的所述图像数据中测定的、在所述光学标记(15)与对应的所述虚拟标记(16)之间的偏差中测定出，在所述光学标记(15)与对应的所述虚拟标记(16)之间的实际间距的大小。
5.根据前述权利要求中任一项所述的方法，其中，在所述光学标记(15)与对应的所述虚拟标记(16)不重合时，调整用于将所述位置坐标从全局的所述第一坐标系转换到所述第二坐标系的转换规则。
6.根据权利要求5所述的方法，其中，以迭代的步骤调整用于将所述位置坐标从全局的所述第一坐标系转换到所述第二坐标系的转换规则。
7.根据前述权利要求中任一项所述的方法，其中，在计算机辅助下通过图像处理程序执行检查的步骤。
8.根据前述权利要求中任一项所述的方法，其中，所述多轴系统(10)的所述工具(13)的工具中心点TCP(14)的位置坐标从全局的所述第一坐标系换算到所述第二坐标系，并且在可视化的所述图像数据中除了TCP(14)以外还示出虚拟TCP，以用于检查TCP(14)和虚拟TCP在可视化的所述图像数据中是否重合。
9.根据前述权利要求中任一项所述的方法，其中，
-在每个所述组件上布置一个记号，所述记号通过图像处理在可视化的所述图像数据中能够被探测到；
-对于每个所述组件都限定了包络体(11H、13H)并且与该组件对应，其中，对应于一个所述组件的包络体(11H、13H)包围所对应的组件；
-在所述多轴系统(10)在空间中移动时，所述包络体(11H、13H)的位置以全局的所述第一坐标系来计算并且转换到按照所述摄像机系统(26)的位置和取向确定的所述第二坐标系中，其中，转换到所述第二坐标系的所述包络体(11H、13H)与由所述摄像机系统(26)拍摄的、包含相应的所述组件的所述记号的图像一起在AR系统(23)中被可视化；
-通过评估所述组件的相应的所述记号的移动，在移动期间跟随所述记号相对应的组件。
10.一种计算机程序产品，所述计算机程序产品能够被直接加载到数字计算机的内存储器中并且包含软件代码段，所述软件代码段用于当在计算机上运行所述产品时执行根据前述权利要求中任一项所述的步骤。
11.一种用于启动多轴系统(10)的装置，其中，所述多轴系统(10)包括作为组件的多个区段(11)和工具(13)，所述区段经由相应的铰链(12)连接并且能够在一个或者多个轴中移动，并且所述工具与所述区段(11)中的一个区段连接并且能够被驱控且被移动到预设的位置，所述装置包括
-用于驱控所述多轴系统(10)的所述组件的控制装置(20、21)；
-具有至少一个摄像机(27、28)的摄像机系统(26)，所述摄像机从周围环境检测所述多轴系统(10)并且提供周围环境的图像数据；
-在所述多轴系统(10)的周围环境中的多个光学标记(15)，所述光学标记在全局的第一坐标系中的位置坐标存储在所述控制装置(20、21)中；
-增强现实AR系统(23)，所述AR系统处理由所述摄像机系统(26)采集到的图像数据并且在输出装置(25)中将所述图像数据可视化，并且所述AR系统设置用于，
-在使所述图像数据可视化时除了包含在所述图像数据中的所述光学标记(15)以外还示出虚拟标记(16)，其中，一个相应的虚拟标记(16)刚好对应所述光学标记(15)中的一个光学标记，并且相应的所述虚拟标记(16)在可视化的所述图像数据中的位置通过将对应的所述光学标记(15)的所述位置坐标从全局的所述第一坐标系转换到按照所述摄像机系统(26)的位置和取向确定的第二坐标系中来得出；并且
-检查，所述光学标记(15)和对应的所述虚拟标记(16)在可视化的所述图像数据中是否重合。
CN201711161865.6A 2016-11-21 2017-11-20 用于启动多轴系统的方法和装置 Active CN108089553B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16199732.5 2016-11-21
EP16199732.5A EP3324362B1 (de) 2016-11-21 2016-11-21 Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems

Publications (2)

Publication Number Publication Date
CN108089553A true CN108089553A (zh) 2018-05-29
CN108089553B CN108089553B (zh) 2021-01-15

Family

ID=57517679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711161865.6A Active CN108089553B (zh) 2016-11-21 2017-11-20 用于启动多轴系统的方法和装置

Country Status (3)

Country Link
US (1) US10664996B2 (zh)
EP (1) EP3324362B1 (zh)
CN (1) CN108089553B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6464213B2 (ja) * 2017-02-09 2019-02-06 ファナック株式会社 レーザ加工ヘッドおよび撮影装置を備えるレーザ加工システム
US12036663B2 (en) * 2019-03-25 2024-07-16 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
US11752632B2 (en) 2019-05-03 2023-09-12 Fanuc America Corporation Actuated mechanical machine calibration to stationary marker
US20210387350A1 (en) * 2019-06-12 2021-12-16 Mark Oleynik Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential enviornments with artificial intelligence and machine learning
EP3808511B1 (de) 2019-10-15 2024-07-31 Siemens Aktiengesellschaft Verfahren zum überwachen einer arbeitsumgebung und überwachungseinrichtung
US11389877B2 (en) 2019-12-04 2022-07-19 General Electric Company Scanfield alignment of multiple optical systems
CN111573220B (zh) * 2020-05-25 2022-03-11 莆田学院 一种基于物联网的快递包裹分拣调整方法
EP3974936B1 (de) * 2020-09-25 2023-06-07 Sick Ag Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich
CN115014252B (zh) * 2022-08-05 2022-11-29 西安德普赛科计量设备有限责任公司 一种实现多工位测量元素计算的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005005242A1 (de) * 2005-02-01 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
CN101297756A (zh) * 2008-06-19 2008-11-05 大连理工大学 磁场与视觉相结合的医疗微型机器人体内姿态定位方法
CN101582161A (zh) * 2009-06-15 2009-11-18 北京航空航天大学 一种基于透视成像模型标定的c型臂图像校正方法
US20100161125A1 (en) * 2008-12-24 2010-06-24 Canon Kabushiki Kaisha Work apparatus and calibration method for the same
DE102009040848A1 (de) * 2009-10-05 2011-04-07 Volkswagen Ag Verfahren zum Betrieb eines Augmented-Reality-Systems
CN102301310A (zh) * 2009-01-30 2011-12-28 西门子公司 带有制造装置的比例正确的模型的制造车间的模型结构以及将制造装置的空间结构输入到计算机支持的规划程序内的方法
CN103376080A (zh) * 2012-04-27 2013-10-30 上海西门子燃气轮机部件有限公司 一种用于校准机器人工作单元的方法
US20140200863A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
EP3104276A1 (de) 2015-06-09 2016-12-14 Siemens Aktiengesellschaft Verfahren in einem computersystem, computerprogramm und datenverarbeitungsanlage
US9898833B1 (en) * 2016-07-15 2018-02-20 Northrop Grumman Systems Corporation Apparatus and method for determining the dimensions of a package while in motion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005005242A1 (de) * 2005-02-01 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
CN101297756A (zh) * 2008-06-19 2008-11-05 大连理工大学 磁场与视觉相结合的医疗微型机器人体内姿态定位方法
US20100161125A1 (en) * 2008-12-24 2010-06-24 Canon Kabushiki Kaisha Work apparatus and calibration method for the same
CN102301310A (zh) * 2009-01-30 2011-12-28 西门子公司 带有制造装置的比例正确的模型的制造车间的模型结构以及将制造装置的空间结构输入到计算机支持的规划程序内的方法
CN101582161A (zh) * 2009-06-15 2009-11-18 北京航空航天大学 一种基于透视成像模型标定的c型臂图像校正方法
DE102009040848A1 (de) * 2009-10-05 2011-04-07 Volkswagen Ag Verfahren zum Betrieb eines Augmented-Reality-Systems
CN103376080A (zh) * 2012-04-27 2013-10-30 上海西门子燃气轮机部件有限公司 一种用于校准机器人工作单元的方法
US20140200863A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time

Also Published As

Publication number Publication date
CN108089553B (zh) 2021-01-15
US20180144503A1 (en) 2018-05-24
US10664996B2 (en) 2020-05-26
EP3324362A1 (de) 2018-05-23
EP3324362B1 (de) 2019-07-03

Similar Documents

Publication Publication Date Title
CN108089553A (zh) 用于启动多轴系统的方法和装置
CN108081267A (zh) 用于启动多轴系统的方法和装置
EP2048557B1 (de) Optoelektronischer Sensor und mobile Vorrichtung sowie Verfahren zur Konfiguration
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US10189161B2 (en) Calibration system and calibration method calibrating mechanical parameters of wrist part of robot
CN112276936B (zh) 三维数据生成装置以及机器人控制系统
EP1555508A1 (en) Measuring system
Aschenbrenner et al. Artab-using virtual and augmented reality methods for an improved situation awareness for telemaintenance
CN113211494A (zh) 用于检查机器人的安全区域的方法
Tellaeche et al. Human robot interaction in industrial robotics. Examples from research centers to industry
CN114310865B (zh) 为机器区域配置可视化设备
CN115066313B (zh) 用于加工装置的工件的安装方法、工件安装支援系统及存储介质
DE102020129823B4 (de) Visualisieren eines Schutzfeldes
US20200246974A1 (en) Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program
KR102430282B1 (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
CN114407012B (zh) 机器人运动校准方法、装置、计算机设备和存储介质
KR20240056516A (ko) 카메라 교정을 위한 카메라 모델을 생성하는 방법 및 시스템
US11691237B2 (en) Machine control device
US11698434B2 (en) Machine control device
DE112021005353T5 (de) Bildverarbeitungssystem und Bildverarbeitungsverfahren
JP7509535B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
EP3563273B1 (en) Augmented reality-based ply layups on a composite part layup tool
CN116362657A (zh) 库位管理方法、装置、电子设备及存储介质
Correia Collaborative Robot in Solder Paste Dispenser Application
US20210352252A1 (en) Method, module and system for projecting onto a workpiece and image calculated on the basis of a digital mockupr

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant