CN110914021A - 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序 - Google Patents

带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序 Download PDF

Info

Publication number
CN110914021A
CN110914021A CN201880051216.7A CN201880051216A CN110914021A CN 110914021 A CN110914021 A CN 110914021A CN 201880051216 A CN201880051216 A CN 201880051216A CN 110914021 A CN110914021 A CN 110914021A
Authority
CN
China
Prior art keywords
workstation
module
handling device
data
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880051216.7A
Other languages
English (en)
Inventor
P.施莱克
D.孔兹
J.霍费勒
C.法伊弗-希尔
C.诺尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110914021A publication Critical patent/CN110914021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39441Voice command, camera detects object, grasp, move
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40097Select stations with mouse to create process steps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40099Graphical user interface for robotics, visual robot user interface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40323Modeling robot environment for sensor based robot system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40392Programming, visual robot programming language
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40607Fixed camera to observe workspace, object, workpiece, global

Abstract

一种操纵装置(1),带有:操纵设备(2),用于在操纵设备(2)的工作区域(3)中用工件(6)和/或在工件处执行至少一个工作步骤,其中,在工作区域(3)中布置着工作站(5、5a‑5f);至少一个监控传感器(7),用于光学地监控工作区域(3)和用于提供监控数据;定位模块(9),其中,定位模块(9)构造用于,识别工作站(5、5a‑5f)并且分别为工作站(5、5a‑5f)确定工作站位置(11)。

Description

带有用于执行至少一个工作步骤的操纵设备的操纵装置以及 方法和计算机程序
技术领域和背景技术
提出了一种操纵装置,其带有:操纵设备,用于在操纵设备的工作区域中用工件和/或在工件上执行至少一个工作步骤,其中,在工作区域中布置着工作站;至少一个监控传感器,用于光学地监控所述工作区域和用于提供监控数据。此外还提出了一种方法以及一种相应的计算机程序。
操纵设备、例如工业机器人,经常使用在工业制造中。工业机器人的一个程序确定了空间点的空间方位和方向,机器人按时间顺序和/或逻辑顺序历遍所述空间点。通过切换信号的与位置相关的联结来操控工具,例如操控夹具、焊炬或分装机,其中,这样就能用机器人进行不同的应用。
目前已知的用于操纵设备的教学方法可以尤其粗略地分类成在线编程和离线编程:
- 在线编程的特征在于,操纵设备通过手工操作仪器手动地运动到目标位置并且在达到后将这些目标位置存储在控制机构中。一些机器人运动学备选提供了这样的可能性,即,无需力地切换臂并且通过直接导引臂来对空间点进行教学。尤其通过源代码编程确定流程顺序。
- 离线编程的特征在于,存储了操纵设备的和整个制造环境的结构模型、例如CAD模型。在模拟环境中与在线编程类似地虚拟地执行在线编程的机制或者直接从CAD模型推导出运动点。
可能构成最为接近的现有技术的文献DE 10 2016 002 781 A1涉及一种用于执行至少一个工作过程的工作站,该工作站带有至少一个机器人,该机器人具有多个彼此铰接地连接的并且能相对彼此运动的机器人轴,其中,具有带地面接触元件的滑座和至少一个工作板,滑座能通过该地面接触元件沿着地面运动,至少一个工作板具有多个固定元件,机器人借助所述固定元件能在工作板上固定在不同的位置中。
发明内容
在本发明的范畴内,提出了一种具有权利要求1的特征的操纵装置,该操纵装置带有用于执行至少一个工作步骤的操纵设备。此外还提出了一种具有权利要求14的特征的用于执行工作步骤的方法和一种具有权利要求15的特征的用于执行所述方法的计算机程序。本发明的优选的和/或有利的实施方式由从属权利要求、接下来的说明以及附图得出。
按照本发明提出了一种操纵装置,该操纵装置带有操纵设备,用于在操纵设备的工作区域中用工件和/或在工件上执行至少一个工作步骤。操纵装置在此包括至少一个、备选多个操纵设备。尤其规定,操纵设备静态地布置在工作区域中,操纵设备备选移动地能在工作区域中运动。操纵设备尤其是机器人。操纵设备尤其是多臂机器人,例如双臂机器人或三臂机器人。尤其优选的是,操纵设备是多轴机器人,其中,多轴机器人优选具有至少三个轴和/或能围绕这些轴转动和/或运动。操纵设备可选例如是合作式和/或协作式机器人。操纵设备例如构造用于,与其它的、尤其是同样的用于执行工作步骤的操纵设备配合工作和/或与用于执行工作步骤的人员配合工作。
操纵设备尤其构造用于,在工作区域中执行工作步骤。工作区域例如是制造区或生产段。工作区域优选是三维的空间区域。尤其优选的是,操纵设备布置在工作区域中。
工件例如是构件和/或有待加工的部分。操纵设备例如构造用于,尤其是用操纵设备的加工元件和/或工作站来抓取和/或加工工件。操纵设备例如构造用于抓取、加工工件,例如对工件钻孔、磨削工件、焊接工件和/或存放工件。操纵设备备选和/或补充地构造用于,加工、接合和/或运输多个工件。
在操纵设备的工作区域中布置着至少一个工作站。该工作站静态地布置在工作区域中,该工作站备选移动地布置在工作区域中。工作站尤其是操纵设备的工作区域的平面的和/或空间的区段。工作站尤其是过程工作站,例如是下述工作站,在该工作站上能加工工件。工作站备选和/或补充地是下述地点,在该地点上提供工件,例如是带有坯件的托盘,和/或工作站是下述工作站,在该工作站上可以存放已经加工好的工件,例如托盘。工作站例如区分为工件源和工件槽。
操纵装置包括至少一个监控传感器。监控传感器优选静态地布置,监控传感器备选手持地、经机器人引导地或另外能运动地布置在工作区域中。监控传感器构造用于光学地监控工作区域,其中,提供光学的监控作为监控数据。监控传感器优选是3D传感器,例如立体相机。监控传感器优选是监控相机,例如视频相机或单图像相机。监控相机例如是黑白相机或彩色相机,其中,这种监控相机尤其是CCD相机或CMOS相机。监控数据尤其包括对工作区域的光学监控的图像。所述图像尤其也称为监控图像。此外还可能的是,操纵设备具有多个监控传感器,其中,监控传感器被这样布置和/或构造,使得这些相同的区段伴随部分重叠地成像,因而不同的监控传感器的光学的监控可以组成对工作区域的整体的监控。
操纵装置包括定位模块。定位模块例如是处理器模块、微型控制器或计算器单元。定位模块尤其在数据技术上与监控传感器连接,其中,为定位模块提供监控数据。定位模块构造用于在数据技术上评估和/或评价监控数据。
定位模块构造用于识别工作站、尤其是基于监控数据和/或在监控数据中识别工作站。定位模块尤其识别在监控数据中的、例如在监控区域的监控图像中的工作站和/或可以分配工作站处在工作区域中哪里。定位模块还构造用于,基于监控数据针对所识别到的工作站确定工作站的位置作为工作站位置。此外还可以规定,定位模块构造用于,也确定工件在工作站中的存在和/或位置。例如通过定位模块检验工件在工作站中、尤其是在托盘中或在成套模具(Nest)中的位置,其中,定位模块操纵优选在那时才完全填满操纵设备的工件。定位模块备选和/或补充地可以构造用于,确定工件在工作站中的绝对位置和/或绝对方位。确定工作站位置尤其是以比毫米更佳的精度进行的确定。定位模块尤其构造用于永久地和/或循环地识别工作站和/或永久地和/或循环地确定工作站位置。定位模块例如构造用于,在工作步骤期间至少五次确定工作站位置。
本发明考虑的是,提供一种带有操纵设备的操纵装置,该操纵装置节省时间地对操纵设备、尤其是多臂机器人进行教学和/或初始化,其中,尤其可以省去专家。本发明考虑的尤其是,提供一种操纵装置,该操纵装置使得能快速初始化带有多于三个轴的多轴机器人。这尤其以如下方式实现,即,借助3D传感器能尽可能自动地识别在工作区域中的工作站并且操纵设备可以实施这一点。
在本发明的一种可能的设计方案中,定位模块包括带有训练数据的教学模块。训练数据尤其能提供给教学模块和/或能存储在这个教学模块中。训练数据优选是图像数据。训练数据例如是图像,在图像上可以看到具有常规几何结构、形状和/或尺寸的工作站。教学模块构造用于,基于训练数据确定用于探测工作站的识别特征。识别特征例如是工作站的几何结构、尺寸、形状、结构、对比度和/或其它特性。工作站识别数据包括识别特征。工作站识别数据尤其包括信息,即,如何能在工作区域的监控数据中和/或光学监控中发现和/或探测到工作站。定位模块构造用于,基于工作站识别数据识别工作站。识别特征尤其能用于,在监控数据、工作区域的图像和/或工作区域的模块中对元件进行分类。
教学模块优选构造用于,基于机器学习确定识别特征。教学模块例如构造成神经元网络。教学模块备选和/或补充地构造用于,借助所监控的学习、借助部分监控的学习、借助未被监控的学习和/或借助强化学习从训练数据中提取出识别特征。这个设计方案基于下述考虑,即,提供一种能广泛使用的操纵装置,该操纵装置在不同的工作区域中识别工作站。
可选可以规定,操纵装置包括模型生成模块。所述模型生成模块构造用于,产生工作区域的模型。工作区域的模型尤其是3D模型。工作区域的模型优选是CAD模型。所述模型尤其是通过传感器生成的模型和/或基于监控数据的模型。工作区域的模型尤其包括工作站的位置和/或操纵设备在工作区域中的位置。
操纵装置包括用于显示模型的显示单元。显示单元例如是监视器并且尤其是触摸屏监视器,用户可以借助该监视器输入数据和/或选择事物。显示单元构造用于图形显示模型和/或图像显示模型、二维显示模型或三维显示模型。
可选规定,通过用户在所显示的模型中能选择区段作为附加识别特征。在此,用户可以例如在模型中选择若干区域和/或区段,用户识别和/或鉴定这些区域和/或区段为工作站。所选择的附加特征由过程识别数据包括在内。当例如没有完全检测到和/或识别到工作站时,用户尤其也可以拓展识别到的工作站。这个设计方案基于下述考虑,即,借助用户告知和/或教学附加信息和/或操纵装置的未被识别的工作站。
本发明的一个设计方案规定,操纵装置包括控制模块。控制模块尤其是计算器单元、处理器或微型控制器。控制模块构造用于,基于所述一个和/或所述多个工作站位置来操控用于执行工作步骤的操纵设备。控制模块尤其构造用于,基于工作站位置操控用于执行正好一个工作步骤和/或多个工作步骤的操纵设备。控制模块例如构造用于,操控操纵设备、使工件从第一工作站位置运动到和/或运输到第二工作站位置。工作步骤尤其是下述过程,它们在有第一工作站位置的第一工作站中开始并且在有第二工作站位置的第二工作站中结束。此外还可能的是,在第一工作站和第二工作站之间起动和/或集成有其它工作站位置的其它工作站。这个设计方案基于下述考虑,即,提供一种操纵装置,该操纵装置可以独立地规划过程,其中,这种规划基于工作站位置,工作站位置则由定位模块确定。
操纵装置优选包括任务定义模块。所述任务定义模块是计算器单元、处理器或微型控制器。任务定义模块尤其可以是控制模块的一部分。任务定义模块构造用于,可以通过用户来选择和/或定义工作步骤,尤其是可以按语义来定义和/或选择工作步骤。备选和/或补充地借助在显示单元和/或在所述显示单元上的光学图示实现对工作步骤的选择和/或定义。尤其通过对起始状态和目标状态的描述和/或确定完成对工作步骤的定义和/或选择,例如第一工作站的定义和第二工作站的定义和/或确定。工作步骤的这个定义例如通过选择工件源和工间槽达到,其中,将一个工作站配设给工件源并且将另一个工作站配设给工件槽。通过用户的选择和/或定义可以尤其纯粹按文本进行,例如“将所有工件从托盘A放到托盘B”。优选可以光学地在显示单元上选择第一工作站,其中,尤其也能在显示单元上选择第二工作站。这种设计方案基于下述考虑,即,提供一种操纵装置,在该操纵装置中,不需要软件专家来确定过程和/或工作步骤。
尤其优选的是,工作步骤具有至少两个有待定义的参数。工作步骤尤其具有正好两个有待定义的参数,工作步骤备选具有多个有待定义的参数。所述两个有待定义的参数包括开始位置和最终位置。尤其通过用户在所显示的模型中能选择其中一个工作站作为开始位置,其中,在所显示的模型中能选择另一个工作站和/或相同的工作站作为最终位置。在此尤其规定,工作步骤以两个有待定义的参数在开始位置开始并且在最终位置结束。
可选规定,在结束工作步骤后,工件处在最终方位中。最终方位尤其定义为是三维空间中的点,其中,例如借助欧拉角能为工件在这个点中尤其分配一个角方位。最终方位尤其能通过用户借助任务规划模块选择。用户例如可以在任务规划模块中设定和/或选择、尤其是光学地选择形式为坐标和角方位的方位。任务规划模块优选构造用于,基于监控数据、例如基于匹配算法确定工件的存放。尤其规定,针对匹配算法求出了多种存放可能性的情形,用户可以选择优选方位。
尤其优选的是,操纵装置包括安全模块。安全模块优选是计算器单元、处理器或微型芯片。安全模块为了接收监控数据而在工作步骤期间在数据技术上与监控传感器连接。安全模块尤其周期性地、例如每一秒或每十秒,提供监控传感器的监控数据。安全模块构造用于,基于在监控区域中的改变来操控操纵设备。安全模块例如构造用于,当工作站在操纵设备的工作区域中的布置改变时,对此作出反应,其中,安全模块例如为此操控定位模块以重新确定工作站位置。
安全模块备选和/或补充地构造用于识别,何时在操纵设备的工作区域中有人,其中,安全模块尤其识别,是否针对所述人员存在致伤风险,并且在探测人员时和/或在人员有致伤风险时构造用于停止操纵设备。此外,安全模块还可以构造用于,在人员离开操纵设备的工作区域时,操控操纵设备以重新开始和/或继续工作步骤。这种设计方案基于下述考虑,即,提供一种尤为安全的操纵装置。
在本发明的一种设计方案中规定,操纵装置包括路径规划模块。所述路径规划模块是计算器单元、处理器或微型芯片。所述路径规划模块构造用于,确定操纵设备的和/或工件的轨迹,其中,轨迹是执行工作步骤时工件的空间-时间的行程。路径规划模块尤其构造用于,无碰撞地确定操纵设备的和/或工件的轨迹,其中,无碰撞尤其涉及避免工件与操纵设备和/或与在操纵设备的工作区域中的物体的碰撞。备选和/或补充地通过路径规划模块构造,排除在操纵设备的第一臂和第二臂之间的碰撞。尤其通过路径规划模块基于工作站位置和/或监控传感器的监控数据来确定操纵设备的轨迹。
尤其优选的是,操纵装置包括检验模块。所述检验模块尤其包括若干规定。所述规定尤其能通过用户规定和/或能存储在检验模块中。所述规定例如包括工件的和/或工作站的特性。一个规定例如是:“请勿将工件倾斜到这个位置或那个位置中”。规定的其它示例例如为“如果工件没有处于水平,请勿将其放下”或“仅在取下工件的盖时才加工工件”。检验模块构造用于,基于对规定的符合才操控操纵设备以执行和/或中断工作步骤。检验模块例如构造用于,当不符合规定时,停止工作步骤和/或操纵设备。
本发明的一个尤其优选的设计方案规定,操纵装置包括用于精密解析工作区域的区段和/或整个工作区域的附加传感器。所述附加传感器例如是按键、相机或激光扫描仪。附加传感器可以在空间上固定地布置在工作区域中,附加传感器备选是操纵设备携带的附加传感器。附加传感器尤其构造用于提供精密解析数据,其中,精密解析数据包括通过附加传感器对区段的精密解析。操纵装置包括精密定位模块以基于工作站位置、精密解析数据、工作站识别数据和/或传感器数据较为准确地确定工作站的方位。附加传感器例如是操纵设备携带的附加传感器,其中,附加传感器为了精密解析而通过操纵设备移动进入相应的区域,附加传感器拍摄和/或测量这个区域,其中,通过精密定位模块更为准确地解析这个区域。这种设计方案基于下述考虑,即,提供数据减少的可行方案,在操纵装置中更为精确地定义区段。
一种用于用操纵设备执行至少一个工作步骤的方法形成了本发明的另一个主题。借助监控传感器光学地监控操纵设备的工作区域。监控传感器提供光学的监控作为监控数据。基于监控数据并且基于所存储的工作站识别数据,探测和/或识别在工作区域中的工作站,其中,针对所识别的工作站确定一个位置作为工作站位置。
本发明的另一个主题是一种带有程序代码器件的计算机程序,以便当所述程序在计算机上和/或在操纵装置上运行时执行所述方法的所有步骤。
附图说明
本发明的其它的特征、优点和效果由接下来对本发明的优选实施例的说明得出。在此示出:
图1是操纵装置的一种实施例的示意性视图;
图2a和2b是图1的操纵装置的显示单元的示意性视图;
图3是用于用操纵设备执行工作步骤的方法的一种实施例的流程图。
具体实施方式
图1是操纵装置1的示意性视图。操纵装置1包括操纵设备2。操纵设备2布置在工作区域3中。操纵设备2构造成多轴机器人并且尤其能围绕至少三个轴运动和/或枢转。操纵设备2具有夹具4。夹具4能借助操纵设备2在工作区域3中运动。夹具4尤其能沿三个维度在工作区域3中运动。工作区域3例如是制造工厂、生产区段和/或工厂车间区段。
在工作区域3中布置着工作站5。工作站5例如是用于工件6的存放空间。在此,一个工作站5例如可以理解为是工件源,其中,另一个工作站5可以理解为工件槽。工作站5在此例如是托盘,工件布置在和/或能布置在所述托盘上。工作站5优选布置在工作区域3中的固定地点上,工作站5备选在操纵设备2的工作区域3中能移动和/或能运动。
操纵设备2构造用于执行工作步骤。所述工作步骤例如可以是“用夹具4在第一工作站5中抓取工件6并将工件6运输到另一个工作站5并将其放置在那里”。此外,操纵设备2实施多个工作步骤,例如用夹具4抓取工件6并且例如用钻孔机加工工件6。
操纵装置1包括两个监控传感器7。所述监控传感器7构造成监控相机。监控传感器7构造用于光学地监控工作区域3。为此,监控传感器7以监控图像的形式拍摄监控区域3。监控传感器7构造用于提供监控数据,其中,监控数据尤其包括监控图像,监控传感器7尤其被这样布置,使得监控图像具有叠合区域,其中,叠合区域显示了工作区域3的共同的区域。尤其优选的是,监控传感器7是立体相机,其中,所述立体相机创建了工作区域3的三维的成像。监控数据被提供给中央评估单元8。
中央评估单元8例如构造成计算器单元。在此可以规定,中央评估单元8非中心地例如布置在服务器空间中,评估单元8备选是中央评估单元8,其例如集成到操纵设备2中。
所述中央评估单元8包括定位模块9。监控数据被提供给所述定位模块9。定位模块9包括工作站识别数据10。工作站识别数据10尤其包括信息和/或特征,所述信息和/或特征可以推断出在监控数据中和/或在监控图像中的工作站。工作站识别数据10例如具有关于在监控数据中和/或监控图像中的工作站5的几何结构、轮廓、对比度和/或结构的信息。定位模块9在此构造用于,基于监控数据并且基于工作站识别数据10识别工作站并且基于此针对所识别的工作站确定工作站位置11。工作站位置11尤其是在三维空间中的坐标并且反映了工作站5在工作区域3中和/或监控图像中的位置。此外,工作站位置11也可以具有关于方位、例如角方位的信息。
中央评估单元8包括模型生成模块12。模型生成模块12获得工作站位置11并且提供监控数据。模型生成模块12构造用于,基于监控数据和工作站位置11生成了带有工作站5和操纵设备2的工作区域3的模型13。该模型13在此是三维的模型。模型13优选是工作区域3的CAD模型,包括工作站5和操纵设备2。为了说明工作站5的和/或操纵设备2在模型13中的方位和/或位置,模型生成模块12包括辅助坐标系统14。
中央评估单元8具有任务定义模块15。所述任务定义模块15构造用于,定义和/或选择由操纵设备2在工作区域3内在工件6处执行的工作步骤。所述任务定义模块15尤其被这样安放,使得用户可以基于语义更为详细地定义和/或选择任务和/或工作步骤。任务定义模块15为此例如包括语义短语16,如“抓取”、“提升”或“运输”。用户可以通过确定和/或输入工作站位置11来定义和/或联结这些语义短语16。此外,用户也可以通过确定最终方位17来完成任务和/或语义短语16。最终方位17在此除了用于确定安放位置的坐标外也包括关于空间中的方位的信息,例如三个欧拉角。备选可以规定,借助任务定义模块15,用户可以借助光学的选择和/或光学的标记来定义和/或选择任务和/或工作步骤。
中央评估单元8包括路径规划模块18。路径规划模块18构造用于,基于任务、工作步骤和/或工作站位置11规划轨迹X(t),其中,这个轨迹X(t)描述了工件6在工作步骤期间的行程-时间走向变化。轨迹规划模块18还构造用于,这样来确定轨迹X(t),使得所述轨迹X(t)是无碰撞的,即,不会发生工件6与操纵设备2和/或与在工作区域3中的对象的碰撞。
此外还规定,中央评估单元8包括控制模块,其中,控制模块构造用于,操控操纵设备2以执行工作步骤。控制模块例如这样操控操纵设备2,使得操纵设备2用夹具4抓取工件6并且沿着所述轨迹X(t)运输工件。
图2a示出了显示单元的视图,其中,显示了工作区域3的模型13。模型13包括四个工作站6a、6ab、6c和6d。工作站6a、6c和6d在此形成了工件槽,其中,工作站6b形成了工件源。借助这个模型定义和/或选择的工作步骤是基于工件的工作步骤。工作步骤在此包括三个过程19a、19b和19c。过程19a、19b和19c是这样的过程,它们能借助操纵设备2的各个臂执行。过程19a例如定义为“从工作站5b抓取工件6并将工件安放在工作站5a中”。过程19b例如定义为“在工作站5b中抓取对象6,将其运输给工作站5b并安放在那里”。过程19c例如定义为“抓取工件6并将其安放在工作站5c中”。例如以如下方式定义工作步骤,即,用户将一个工作站5的工件6转移到另一个工作站5中,其中,这个工作步骤对应工件从第一工作站到第二工作站的转送。
图2b同样示出了工作区域3的模型13,其中,这个模型包括工作站5a、5b和5e作为工件源。模型13包括工作站5c、5d和5f作为工件槽。借助这个模型定义和/或选择的工作步骤,是基于托盘的工作步骤。这尤其意味着,这个工作步骤没有运输和/或加工各个工件6,而是运输和/或加工整个工件托盘。用于执行工作步骤的过程19a、19b和19c尤其是这样的过程,它们能借助操纵设备2的两个臂执行。过程19a例如构造用于,将工件6的托盘从工作站6a运输给工作站5c。过程19b例如定义为,将托盘从工作站5b运输给工作站5f。过程19c在此构造用于,将工件6的托盘从工作站5d运输给工作站5e。模型13尤其也阐明了,工作站可以具有不同的形状和/或尺寸大小,其中,工作站5d是正方形的并且比矩形的工作站5a小得多。
图3示出了用于用操纵设备2执行工作步骤的方法的流程示意图。在学习步骤100中向操纵装置1和/或定位模块9提供多个训练数据。训练数据例如包括显示了带有工作站5的工作区域3的图像。定位模块9在此包括教学模块,其中,在学习步骤100中通过教学模块从训练数据中提取出用于在监控数据中探测工作站的识别特征。这些识别特征被提供给工作站识别数据10。尤其在这个步骤中获取了用于识别工作站的分类和/或结构。这个步骤可以例如通过神经元网络实施。紧随学习步骤100的是定位步骤200。在定位步骤200中,基于监控数据定义一个和/或多个工作站5的工作站位置11。在此,例如就提示工作站5的结构和/或特征来检查监控数据和/或监控图像。基于所发现的工作站5确定了工作站5的位置和/或方位作为工作站位置11。
在任务定义步骤300中,由人来定义任务。尤其由人根据语义的和/或光学的选择来定义和/或选择任务。用户为此例如可以从预备的任务集合中例如选择“运输工件6并对其钻孔”。这些所选择的任务可以尤其借助工作站位置11更为详细地定义,例如“在工作站位置11处从工作站5抓取工件并且对这个工件6钻孔”。
在规划步骤400中基于定义的任务和工作站位置来规划工作步骤并且确定轨迹X(T),其中,这个轨迹是工件与在工作区域3中的物体无碰撞的轨迹。基于这个轨迹X(T)来操控操纵设备2以执行工作步骤。

Claims (15)

1.操纵装置(1),带有:
操纵设备(2),用于在所述操纵设备(2)的工作区域(3)中用工件(6)和/或在工件处执行至少一个工作步骤,其中,在所述工作区域(3)中布置着工作站(5、5a-5f);
至少一个监控传感器(7),用于光学地监控所述工作区域(3)和用于提供监控数据,
其特征在于定位模块(9),
其中,所述定位模块(9)构造用于,识别所述工作站(5、5a-5f)并且分别为所述工作站(5、5a-5f)确定工作站位置(11)。
2.按照权利要求1所述的操纵装置(1),其特征在于,所述定位模块包括带有训练数据的教学模块,其中,该教学模块构造用于,基于训练数据来确定识别特征作为用于探测所述工作站(5、5a-5f)的工作站识别数据(10),其中,所述定位模块(9)构造用于,基于工作站识别数据(10)识别所述工作站(5、5a-5f)。
3.按照权利要求1或2所述的操纵装置(1),其特征在于模型生成模块(12),用于产生所述工作区域(3)的模型(13)。
4.按照权利要求3所述的操纵装置(1),其特征在于用于显示所述模型(13)的显示单元,其中,通过用户在所显示的模型(13)中能选择区段作为附加识别特征,其中,所述工作站识别数据(10)包括附加识别特征。
5.按照前述权利要求中任一项所述的操纵装置(1),其特征在于控制模块,其中,该控制模块构造用于,基于所述工作站位置(11)操控所述操纵设备(2)以执行工作步骤。
6.按照前述权利要求中任一项所述的操纵装置(1),其特征在于任务定义模块(15),用于尤其是按照语义选择和/或定义工作步骤。
7.按照权利要求6所述的操纵装置(1),其特征在于,所述工作步骤具有至少两个有待定义的参数,其中,这两个参数包括开始位置和最终位置,其中,能为用户在所显示的模型(13)中选择所述工作站(5、5a-5f)中的其中一个工作站作为开始位置并且在所显示的模型中能选择和/或能设定所述工作站(5、5a-5f)中的其中一个工作站作为最终位置。
8.按照权利要求6或7所述的操纵装置(1),其特征在于,在结束工作步骤后,所述工件(6)处在最终方位中,其中,所述最终方位能由用户借助所述任务定义模块(15)来选择和/或基于监控数据而确定。
9.按照前述权利要求中任一项所述的操纵装置(1),其特征在于路径规划模块(18),用于在执行工作步骤时确定所述操纵设备(2)的和/或所述工件(6)的轨迹(X(t))。
10.按照前述权利要求中任一项所述的操纵装置(1),其特征在于安全模块,其中,该安全模块为了在工作步骤期间接收监控数据而在数据技术上与所述监控传感器(7)连接,并且构造用于,基于在所述工作区域(3)中的改变来操控所述操纵设备。
11.按照前述权利要求中任一项所述的操纵装置(1),其特征在于检验模块,其中,该检验模块包括规定,并且构造用于,基于对所述规定的符合来操控所述操纵设备(2)以执行和/或中断工作步骤。
12.按照前述权利要求中任一项所述的操纵装置(1),其特征在于附加传感器,用于精密解析所述工作区域的区段和提供精密解析数据;并且其特征在于精密定位模块,用于基于工作站位置(11)、精密解析数据、工作站识别数据(10)和/或传感器数据较为精确地确定所述工作站(5、5a-5f)的方位。
13.按照权利要求12所述的操纵装置(1),其特征在于,所述附加传感器在所述操纵设备(2)处被携带。
14.用于运行操纵设备(2)的方法,尤其是利用按照前述权利要求中任一项所述的操纵装置,其特征在于,借助监控传感器(7)光学地监控所述操纵设备(2)的工作区域(3),其中,所述监控传感器(7)提供所述工作区域(3)的监控数据,其中,基于所述监控数据探测和/或识别在所述工作区域(3)中的工作站(5、5a-5f),其中,针对所识别到的工作站(5、5a-5f)确定工作站位置(11)。
15.计算机程序,带有程序代码器件,其特征在于,当程序在计算机上和/或在按照权利要求1至13中任一项所述的操纵装置(1)上运行时,执行按照权利要求14所述的方法的所有步骤。
CN201880051216.7A 2017-08-07 2018-06-18 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序 Pending CN110914021A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017213658.8 2017-08-07
DE102017213658.8A DE102017213658A1 (de) 2017-08-07 2017-08-07 Handhabungsanordnung mit einer Handhabungseinrichtung zur Durchführung mindestens eines Arbeitsschritts sowie Verfahren und Computerprogramm
PCT/EP2018/066083 WO2019029878A1 (de) 2017-08-07 2018-06-18 Handhabungsanordnung mit einer handhabungseinrichtung zur durchführung mindestens eines arbeitsschritts sowie verfahren und computerprogramm

Publications (1)

Publication Number Publication Date
CN110914021A true CN110914021A (zh) 2020-03-24

Family

ID=62683217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051216.7A Pending CN110914021A (zh) 2017-08-07 2018-06-18 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序

Country Status (6)

Country Link
US (1) US11478932B2 (zh)
EP (1) EP3664973A1 (zh)
JP (1) JP2020529932A (zh)
CN (1) CN110914021A (zh)
DE (1) DE102017213658A1 (zh)
WO (1) WO2019029878A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6810087B2 (ja) 2018-03-29 2021-01-06 ファナック株式会社 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
CN113453850A (zh) * 2019-02-27 2021-09-28 Abb瑞士股份有限公司 用于机器人组装的系统和方法
IT202100024368A1 (it) * 2021-09-22 2023-03-22 Bond Factory S R L Procedimento automatizzato per realizzare un manufatto complesso.

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043873A1 (en) * 2004-10-20 2006-04-27 Abb Research Ltd A system and a method for programming an in¬ dustrial robot
JP2012030320A (ja) * 2010-07-30 2012-02-16 Dainippon Screen Mfg Co Ltd 作業システム、作業ロボット制御装置および作業プログラム
CN102939188A (zh) * 2010-06-08 2013-02-20 Keba股份公司 用于对工业机械手的运动或流程进行编程或预设的方法
CN103260834A (zh) * 2010-12-16 2013-08-21 罗伯特·博世有限公司 用于操纵机构尤其工业机器人的安全装置和运行安全装置的方法
CN104057449A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及被加工物制造方法
CN104057453A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人装置以及被加工物的制造方法
CN104428107A (zh) * 2012-07-10 2015-03-18 西门子公司 机器人布置和用于控制机器人的方法
CN106256512A (zh) * 2015-06-22 2016-12-28 通用汽车环球科技运作有限责任公司 包括机器视觉的机器人装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63306894A (ja) 1987-06-02 1988-12-14 トヨタ自動車株式会社 安全監視方法
JPH11226889A (ja) 1998-02-16 1999-08-24 Shinko Electric Co Ltd 作業装置
DE10152543A1 (de) 2001-10-24 2003-05-08 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
JP2004243427A (ja) 2003-02-12 2004-09-02 Yaskawa Electric Corp ロボット制御装置およびロボット制御方法
JP2004351533A (ja) 2003-05-27 2004-12-16 Fanuc Ltd ロボットシステム
DE102004032996A1 (de) * 2004-07-08 2006-02-16 Abb Research Ltd. Einfache Roboterprogrammierung
SE0402891D0 (sv) 2004-11-26 2004-11-26 Abb Ab A system and a method for controlling movements of an industrial robot
JP5343641B2 (ja) 2009-03-12 2013-11-13 株式会社Ihi ロボット装置の制御装置及びロボット装置の制御方法
JP5370127B2 (ja) * 2009-12-18 2013-12-18 株式会社デンソーウェーブ ロボットの干渉回避装置
US20120290130A1 (en) * 2011-05-10 2012-11-15 Agile Planet, Inc. Method to Model and Program a Robotic Workcell
JP2014188645A (ja) * 2013-03-28 2014-10-06 Seiko Epson Corp ロボット群システム
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
US11192251B2 (en) * 2015-11-26 2021-12-07 Institut De Recherche Technologique Jules Verne Method and device for controlling a robot during co-activity
JP6604832B2 (ja) * 2015-12-02 2019-11-13 池上通信機株式会社 機械学習支援装置
US11072077B2 (en) 2015-12-07 2021-07-27 Kawasaki Jukogyo Kabushiki Kaisha Robot system and operation method thereof
DE102016002781A1 (de) 2016-03-08 2016-08-18 Daimler Ag Arbeitsstation zum Durchführen wenigstens eines Arbeitsvorgangs
US10296602B1 (en) * 2017-04-18 2019-05-21 X Development Llc Determining real-time timestamps for robotic sensor data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043873A1 (en) * 2004-10-20 2006-04-27 Abb Research Ltd A system and a method for programming an in¬ dustrial robot
CN102939188A (zh) * 2010-06-08 2013-02-20 Keba股份公司 用于对工业机械手的运动或流程进行编程或预设的方法
JP2012030320A (ja) * 2010-07-30 2012-02-16 Dainippon Screen Mfg Co Ltd 作業システム、作業ロボット制御装置および作業プログラム
CN103260834A (zh) * 2010-12-16 2013-08-21 罗伯特·博世有限公司 用于操纵机构尤其工业机器人的安全装置和运行安全装置的方法
CN104428107A (zh) * 2012-07-10 2015-03-18 西门子公司 机器人布置和用于控制机器人的方法
CN104057453A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人装置以及被加工物的制造方法
CN104057449A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及被加工物制造方法
CN106256512A (zh) * 2015-06-22 2016-12-28 通用汽车环球科技运作有限责任公司 包括机器视觉的机器人装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中国机械工业教育协会: "《机电控制技术》", 30 June 2001 *
郭洪红: "《工业机器人技术》", 30 June 2016 *
黎文航: "《焊接机器人技术与系统》", 31 December 2015 *

Also Published As

Publication number Publication date
JP2020529932A (ja) 2020-10-15
WO2019029878A1 (de) 2019-02-14
DE102017213658A1 (de) 2019-02-07
US11478932B2 (en) 2022-10-25
EP3664973A1 (de) 2020-06-17
US20200246974A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US11059076B2 (en) Sorting support methods, sorting systems, and flatbed machine tools
EP3383593B1 (en) Teaching an industrial robot to pick parts
Krüger et al. Cooperation of human and machines in assembly lines
CN105598987B (zh) 借助机器人确定关于对象的抓取空间
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
US10759051B2 (en) Architecture and methods for robotic mobile manipulation system
Yang et al. Collaborative mobile industrial manipulator: a review of system architecture and applications
CN102317044A (zh) 产业用机器人系统
Miller Industrial robot handbook
US11833697B2 (en) Method of programming an industrial robot
CN110914021A (zh) 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序
WO2020231319A1 (en) Robot cell setup system and process
Pavlichenko et al. Kittingbot: A mobile manipulation robot for collaborative kitting in automotive logistics
Weiss et al. Identification of industrial robot arm work cell use cases and a test bed to promote monitoring, diagnostic, and prognostic technologies
Aliev et al. Analysis of cooperative industrial task execution by mobile and manipulator robots
KR20160140401A (ko) 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택
Rückert et al. Calibration of a modular assembly system for personalized and adaptive human robot collaboration
Marvel et al. Tools for robotics in sme workcells: challenges and approaches for calibration and registration
Cserteg et al. Assisted assembly process by gesture controlled robots
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
Chandan et al. Intelligent Robotic Arm for Industry Applications
Wu et al. Application of visual servoing for grasping and placing operation in slaughterhouse
WO2022191148A1 (ja) 教示工具または作業者の手を用いて教示点を設定する教示装置
Selvaraj et al. Towards Safe and Efficient Human-Robot Collaboration: Motion Planning Design in Handling Dynamic Obstacles
EP3960395A1 (en) Method and system for training a robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324