CN114026508A - 用于确定工件的位置、尤其是用于驱控工业机器人的方法 - Google Patents

用于确定工件的位置、尤其是用于驱控工业机器人的方法 Download PDF

Info

Publication number
CN114026508A
CN114026508A CN202080038865.0A CN202080038865A CN114026508A CN 114026508 A CN114026508 A CN 114026508A CN 202080038865 A CN202080038865 A CN 202080038865A CN 114026508 A CN114026508 A CN 114026508A
Authority
CN
China
Prior art keywords
workpiece
reference structure
camera
tool
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080038865.0A
Other languages
English (en)
Inventor
S·埃卡德特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Esser Robot Co ltd
Original Assignee
Esser Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Esser Robot Co ltd filed Critical Esser Robot Co ltd
Publication of CN114026508A publication Critical patent/CN114026508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4065—Monitoring tool breakage, life or condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B25J11/007—Riveting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4086—Coordinate conversions; Other special calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36404—Adapt teached position as function of deviation 3-D, 2-D position workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37616—Use same monitoring tools to monitor tool and workpiece

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Numerical Control (AREA)
  • Control Of Position Or Direction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于确定工件(1)的位置，尤其是用于驱控工业机器人的方法，并且根据第一方面，所述方法包括以下步骤：借助于第一摄像机(2)获取工件(1)的至少一个图像的图像数据，第一摄像机的光轴(oa)平行于工具(3)的冲击方向在z方向上延伸。根据所获取的图像数据查找工件(1)的参考结构(4)，并且获得参考结构(4)的至少一个参考点(+)在x/y方向上相对于第一摄像机(2)的光轴(oa)的当前实际位置。根据本发明，将参考结构(4)的当前实际位置与参考结构(4)的理论位置进行比较，并且产生比较数据。借助于比较数据，推断出工件(1)相对于基础坐标系的位置。根据本发明的另一方面，在比较参考结构(4)的当前实际位于与参考结构(4)的理论位置之后，产生用于使工具(3)接近工件(1)的至少一个待加工的区域或部位的控制命令。根据本发明，通过获得参考结构(4)在获取的图像中的当前x/y图像参数并且通过与参考结构(4)的已知的实际x/y参数的比较获得参考结构(4)与摄像机(2)的距离，附加地获得参考结构(4)在光轴(oa)的z方向上的当前实际位置，并且在产生控制命令时考虑。

Description

用于确定工件的位置、尤其是用于驱控工业机器人的方法
技术领域
本发明涉及一种根据独立权利要求1的前序部分所述的用于驱控加工机床和/或工业机器人的方法。
背景技术
工业机器人，例如焊接设备形式的加工机床，用于切削加工的以及力锁合地和/或形锁合地接合工件的机床用于保证加工过程的重复精度和有效造型。通常，根据已知的坐标实现待进行的例如工具相对于待加工的工件的进给运动。为此，工件处于预确定的位置和定向中。
此外，从现有技术中已知，可借助于摄像机获取工件的位置、定向以及必要时尺寸。随后，根据相应获得的相对位置、定向和/或尺寸以受控的方式进行随后的加工步骤，这例如从专利文献DE 10 2007 018 416 A1和WO 03/027783 A1中已知。
不仅在具有已知的定位的工件中，而且在未知定位的工件中，都可能出现其尺寸和位置的偏差。这种偏差例如在工件的加工过程中由于热膨胀、机械负载或由于进给运动的微小公差出现。
因此，例如在应用螺柱焊接或凸焊接时，将工件和构件连接在固定地预设的坐标上。在制造过程中，例如可能出现以上所述的偏差，该偏差使得不能保证允许的公差。也可行的是，工业机器人和进给设备的其它技术组件不在共同的底座上。此时，可能时而出现工业机器人的例如工具和工件的实际的实际位置的显著偏差。然而，超过允许的公差将导致报废或者需要高成本的返工。
发明内容
因此本发明的目的是，提出一种解决方案，通过该解决方案可识别工件的位置并且可补偿出现的偏差。附加地，应将不允许的状态识别成干扰情况/故障状态并且检查进行的加工步骤的结果。
根据本发明的第一方面，该目的通过一种用于驱控加工机床、尤其是工业机器人的方法实现。在此，该方法包括步骤，借助于第一摄像机获取工件的至少一个图像的图像数据，第一摄像机的光轴平行于工具的冲击方向(z方向)定向。第一摄像机可布置在工具或工具架上和/或构造成所谓的迷你摄像机。工具相对于待加工的工件的主要的进给方向为冲击方向。例如，尽管钻头绕钻头的纵轴线旋转地进行自身的切割运动，可使钻头沿着冲击方向接近工件。
相同地适用于用于攻螺纹或铣削的设备。此外，焊接设备也以这种方式沿着冲击方向接近工件。例如，为了螺柱焊的目的，使待焊接的螺柱沿冲击方向接近应焊上螺柱的工件。在凸焊中也相应地进行。待借助于凸焊与另一工件相连接的工件与所述工件接触。为此，使工件沿着冲击方向向彼此运动。
根据获取的图像数据，在方法的另一步骤中查找工件的参考结构。为此，可使用来自图像处理领域中的图案识别的算法。
如果识别了参考结构，获得参考结构的至少一个参考点优选地在垂直于z方向延伸的x/y平面中相对于第一摄像机的光轴的当前实际位置。获得的实际位置可附加地与已知的基础坐标系关联。
将获得的参考结构的当前实际位置与参考结构的理论位置进行比较。根据比较的结果产生用于使工具接近工件的至少一个待加工的区域或部位的控制命令。
根据本发明，在方法的一个步骤中，通过以下方式获得参考结构在光轴的z方向上的当前实际位置，即，在所获取的图像中获得参考结构的当前x/y图像参数并且通过与参考结构的已知的实际的x/y参数比较，获得参考结构与第一摄像机的距离，并且在产生控制命令时考虑。使在图像平面中的x/y图像参数与在优选地相对于图像平面平行的对象平面中的参考结构的实际参数相关，并且在考虑用于图像拍摄的光学系统的特性的情况下，获得在对象平面和图像平面之间的当前距离。例如，考虑光学系统的成像比例。从该数据中，可获得与第一摄像机和对象平面的当前距离。由于已知第一摄像机与工具的相对位置关系，也可获得工具与对象平面并且由此获得与工件的当前距离。
在方法的一种设计方案中，参考结构是工件的开口、主体边棱或凸起部。在此，已知参考结构的至少一个长度尺寸、周向尺寸和/或直径。已知的尺寸用作参考结构在对象平面中实际的x/y参数，并且是用于获得参考结构与第一摄像机的距离的基础。
也可行的是，在实施该方法时，在另一设计方案中，形成工件的至少两个结构的虚拟交点，并且将该交点作为参考点用于随后在工件和工具之间的相对运动。因此，例如可虚拟地延长两个向着彼此延伸的主体边棱，并且形成共同的交点。紧接着，将该共同的交点用作参考点。
为了控制加工过程(例如焊接多个螺柱或者安装多个螺柱)的完成，可借助于第二摄像机在相对于z方向倾斜的拍摄方向上获取工件的图像数据。根据所获取的图像数据，至少在工件的区域中进行图案识别。这种图案识别又可借助于将获取的实际图样与理论图样比较用于对一个或多个加工步骤进行完成控制。如果实际图样和理论图样充分对应，可推断出在保证允许的容差的情况下加工了工件。因此，借助于图案识别可获取工件的当前加工状态并且与理论加工状态比较。
借助于根据本发明的方法，作为工具，尤其是可使用用于螺柱焊的焊接设备，用于凸焊的焊接设备，用于攻丝的设备或者用于铆接的设备。
可根据参考结构进行工件的加工，而参考结构不包括在加工之内。在方法的其它设计方案中，例如将螺钉或铆钉引入参考结构中，例如引入参考孔中。
为了实施根据本发明的方法，可将工具和/或第一摄像机引入获取位置(也称为“准备位置”)中，借助于第一摄像机从该获取位置中获取工件的图像数据。通过将参考结构的口部的外形虚拟地与圆形和/或椭圆的形状相匹配并且获得以这种方式找到的圆或以这种方式找到的椭圆的中心，根据图像数据获得例如构造成参考开口的参考结构的至少一个当前中心。在此，虚拟地查找尽可能好地接近参考结构的口部的当前识别的外形的圆或椭圆。将获得的参考结构的每个当前中心与光轴的当前位置相比较。
根据光轴与至少一个当前中心的位置偏差，产生并提供控制命令。控制命令用于驱控进给装置，借助于进给装置使工具接近工件的待加工的部位或区域。
在方法的一种可能的设计方案中，分别进行参考结构的外形与圆形和椭圆的形状的虚拟匹配，并且获得相应当前的中心。在当前获得的中心的坐标之间做差。将获得的差与预设的阈值比较。如果满足阈值，产生用于将第一摄像机的实际位置与理论位置匹配的控制命令。在此，可选择当前的中心中的一个或者将当前中心的坐标求平均值并且使用获得的中心的坐标。如果超过阈值，那么当前中心彼此的偏差过大，并且触发警报信号。例如，当相关的参考结构严重变形时，是这种情况。当参考结构部分地或者完全被覆盖时，也触发警报信号。
在方法的另一设计方案中，当参考结构未被识别或者仅仅不完全地被识别时，停止方法进程并且可选地输出视觉的和/或声学的警报信号。
可实时地进行图像数据的评估和控制命令的产生，以减少调节时间。可选地，可通过远程对到评估单元进行存取，以便在故障情况中能够快速地获得其原因。
根据本发明的另一方面，提出一种方法，通过该方法可确定工件的位置，尤其是用于驱控工业机器人，并且该方法包括步骤，借助于第一摄像机获取工件的至少一个图像的图像数据。第一摄像机尤其是位置固定地例如布置在加工流水线之内并且优选地可小型化。
根据获取的图像数据，在方法的另一步骤中查找工件的参考结构。为此，使用来自图像处理领域中的图案识别的算法，在评估单元上运行该算法。
如果获得了参考结构，获得参考结构的至少一个参考点优选地在垂直于第一摄像机的光轴延伸的x/y平面中相对于第一摄像机的光轴的当前实际位置。获得的实际位置可附加地与已知的基础坐标系关联，优选地第一摄像机可定位在该基础坐标系的原点中。
借助于评估单元将获得的参考结构的当前实际位置与参考结构的理论位置进行比较，并且产生比较数据，比较数据允许推出工件相对于摄像机或者已知的基础坐标系的位置。
参考结构可为施加在工件上的标记，该标记具有预设定向并且具有已知的尺寸的结构。备选地，参考结构可为工件的开口、间隙、主体边棱或凸起部，其中，必须已知参考结构的至少一个长度尺寸、周向尺寸和/或直径。
在方法的一种设计方案中，存在至少另一摄像机，借助于所述另一摄像机获取工件的另外的图像数据。
第一摄像机和所述另外一个/多个摄像机优选地位置固定地布置在共同的(3D)基础坐标系之内。
根据所获取的另外的图像数据，借助于评估单元获得工件的至少另一参考结构以及所述另一参考结构的至少一个参考点在x/y方向上相对于所述另外一个或多个摄像机的光轴的至少一个参考点的当前实际位置。
在另一方法步骤中，将所述另一参考结构的当前实际位置与所述另一参考结构的理论位置进行比较，产生另外的比较数据。
随后，在推断工件位置的步骤中，附加地由评估单元考虑所述另外的比较数据。
优选地，第一和所述另外的摄像机中的至少一个的光轴布置成不平行。由此，可从不同的视角获取工件或工件的部分，由此，可以更高的精度获得工件在基础坐标系之内的空间位置。
附加地可规定，通过获得(多个)参考结构在由相应的摄像机获取的图像中的当前x/y图像参数并且通过与(多个)参考结构的已知的实际x/y参数的比较确定(多个)参考结构与摄像机的距离，获得(多个)参考结构在所述多个或一个摄像机的光轴(oa)的z方向上的当前实际位置。
最终，在推断工件的位置时，同样可由评估单元考虑所获得的一个或多个结构在z方向上的实际位置，由此，可进一步提高位置获取的精度。
此外有利地可规定，(从所获得的工件的位置出发)借助于控制单元产生控制命令，并且借助控制命令或者使工具接近工件的至少一个待加工的区域或部位，或者中断或停止当前用于加工工件的加工过程，尤其是因为获得的工件的位置与工件的预设的理论位置有显著偏差。例如，偏差的显著性可定义成在控制单元中储存的阈值。
有利地，在评估单元中，储存所谓的工件的数字备份，并且评估单元可借助于数字图像处理和用于图案识别的算法从获取的图像数据中识别偏差，将其示出并且针对工件的随后的处理步骤/加工步骤相应地进行考虑。
不仅位置识别而且根据图样的图像数据评估可借助于机器智能实现。在训练阶段中，智能的评估软件例如根据工件的CAD模型并且借助于标注的训练数据学习自动识别位置偏差或图样偏差，并且进行分类，并且紧接着例如尤其是当没有为其固定地预设预确定的参考结构时，也能够例如非常可靠地进行正确的位置确定。
为了保护尤其是第一摄像机，可存在具有斜切的开口的套。摄像机布置在套的拉长的部分中并且由此从一侧被保护不受火花等损害。
有利地，本发明实现了补偿例如由于温度出现的公差波动。附加地或备选地，可有利地识别偏差并且在随后的加工步骤中进行考虑，该偏差例如由于工件、工件支架和/或进给方向和驱动部的机械公差而出现。
此外，根据本发明的方法可用于查找和确定用于加工方法(例如保护气体焊接和粘接)的初始或起始位置。也可行的是，借助于该方法可在整个长度上或局部地检查之前完成的焊缝或粘接缝。
附图说明
接下来根据实施例和附图详细解释本发明。其中：
图1示出了根据本发明的方法的第一设计方案的流程图；
图2示出了用于进行方法的合适的设备的实施例的示意图；
图3示出了虚拟参考点的设置的示意图；
图4示出了根据本发明的方法的另一设计方案的流程图；
图5a以前部视图示出了具有保护套的第一摄像机的示意图；以及
图5b以侧视图示出了具有保护套的第一摄像机的示意图。
具体实施方式
在图1中示意性地示出了根据本发明的方法的第一设计方案的主要方法步骤。随后，图2示出了用于实施该方法的方法步骤以及技术单元。
因此，可借助于第一摄像机2进行步骤，获取工件1的图像数据。第一摄像机2在此可为迷你摄像机。第一摄像机利用其光轴oa平行于工件3的冲击方向，其中，冲击方向指向具有x、y和z轴的笛卡尔坐标系的z轴的方向。
可借助于安装在计算单元5中的图像处理软件查找参考结构3。计算单元5例如是单板计算机。以这种方式，例如实现了分散的图像处理，由此，可模块化地构造用于实施根据本发明的方法的相应的组件。此外，通过更换或重新配置分散的计算单元5，可成本适宜地实现该组件的改装。在本发明的另一设计方案中，计算单元5也可配置成用于第二摄像机6的图像处理并且与第二摄像机数据技术地相连接。
可借助于评估单元7根据获取的图像数据获得参考结构4的至少一个参考点+并且将获得的参考结构4和参考点+的实际位置与理论位置进行比较。在此，评估单元7可为计算单元5的物理的或虚拟的子单元或者为独立的单元。
计算单元5的图像处理算法可用于获得第一摄像机2与工件1在z方向(冲击方向)上的距离a。为此，在获取的图像中在其x/y图像参数方面评估参考结构4的已知的且预确定的区域或区段，或者整个参考结构4，并且将其与已知的参考结构4的实际x/y参数相关联。
所获得的关于参考结构4、尤其是所选择的参考点+的当前定位的信息以及所获得的在z方向上的距离a，使得能够产生用于使工具3接近工件1的期望的位置并且加工工件1的控制命令。借助于调整元件10，例如机器人，可根据由评估单元7产生的数据跟踪工件1和/或驱动部9。可在控制单元8中产生控制命令。通过控制命令的作用，借助于驱动部9(更普遍地也称为应用部)使工件3进给和运动。所有数据技术的连接可构造成插接连接(示意性地示出)，由此实现了更高的灵活性和更高的维护便利性。
所有单元可在网络中相互连接。可将数据库11连接到控制单元8上。备选地，数据库11也可直接接入网络中。
由于第一摄像机1和工具3彼此处于已知的空间关系中，也可从第一摄像机2相对于参考点+的位置中获得工具3的当前位置，总地来讲，例如在具有x、y和z轴的基础坐标系之内的和/或相对于参考点+的当前位置。
可选地存在的第二摄像机6相对于工件1倾斜地定向。第一摄像机2和第二摄像机6的光轴例如包夹大于0°且小于90°的角度。借助于第二摄像机6，可在相对于z方向倾斜的拍摄方向上获取工件1的图像数据。
根据从第一摄像机2和/或第二摄像机6获取的图像数据，进行至少在工件1的区域中的图案识别。在此，计算单元5和评估单元7配置成用于获取图像数据并且用于进行图案识别的处理(见图1)。如果进行了可选的图案识别的步骤，在产生控制命令时或在产生另一在调节方面的控制命令时，可考虑在图案识别时获得的信息，这例如在图1中通过连续的实线箭头表示。
除了检查加工步骤的完成之外，图案识别可用于检验参考结构4的存在并且用于识别参考结构4的允许的形状。在识别出故障功能和/或不允许的参考结构4时，可通过评估单元7输出故障信号。随后，例如可通过调节元件10输出警报信号，并且可选地通过控制单元8以及对驱动部9的相应驱控停止工具3。
参考点+可为实际存在的或者以虚拟的方式获得。因此，参考点+可为圆形的参考结构4(见图2)的中心或者虚拟交点。在图3中，示出了这种虚拟交点的设计。以虚拟的方式延长实际上彼此不相接的两个识别成参考点4的工件1的主体边棱。如此虚拟延长的参考结构4的虚拟交点被储存并且用作参考点+。
在图4中示出了根据本发明的方法的另一设计方案的重要方法步骤。在此，图2也可用于解释进行该方法所需的技术单元。
借助于第一摄像机2进行初始的步骤，获取工件1的图像数据。可如以上描述的那样设定第一摄像机2。第一摄像机位置固定地布置在加工流水线中并且形成基础坐标系的原点。
借助于部署在计算单元5中的图像处理软件进行查找。计算单元5优选地如以上描述的方式设置。计算单元5同样可设置成处理至少另一摄像机6的图像，并且与所述另一摄像机6数据技术地相连接。所述另一摄像机6同样位置固定地布置成相对于第一摄像机2具有已知的距离。所述另一摄像机6以相对于第一摄像机2大于0°且小于90°的角度与第一摄像机向着相同的对象区域定向。由此，两个摄像机从不同的视角中获取相同的图像部分。在其它配置方案中，第一摄像机2和所述另一摄像机6的光轴平行地定向并且获取不同的图像部分。例如可规定，第一摄像机2获取工件1的前侧并且第二摄像机6获取工件1的后侧。
借助于评估单元7根据获取的图像数据获得参考结构4的至少一个参考点+并且将获得的参考结构4和参考点+的实际位置和与理论位置进行比较，评估单元从中产生比较数据。
最终，评估单元7设定成，根据比较数据推出工件(1)相对于基础坐标系的位置。
优选地，计算单元5的图像处理的算法用于获得第一摄像机2与工件1在z方向上的距离a，如以上描述的那样(在图4中未示出)。
可选地，可再次在工件1的区域中进行图案识别。在此，计算单元5和评估单元7配置成用于获取图像数据并且用于进行图案识别的过程。
为了保护第一摄像机2不受到例如由于在工件1的加工期间产生的切屑、火花、在焊接过程中的飞溅等带来的损害，第一摄像机2可至少部分地被具有斜切的开口的套12包围。第一摄像机2在斜切的开口的区域中安装在套12的内侧上(图5a)。以这种方式，通过在开口的区域中伸长的套12的部分在一侧上保护第一摄像机2。尽管如此，第一摄像机2的剩下的可能的获取区域足够大(图5b)。
附图标记清单
1工件
2第一摄像机
3工具
4、4’参考结构
5计算单元
6第二/另一摄像机
7评估单元
8控制单元
9驱动部，施加件
10调节元件
11数据库
12套
oa光轴
+参考点

Claims (15)

1.一种用于驱控加工机床、尤其是工业机器人的方法，所述方法包括以下步骤：
-借助于第一摄像机(2)获取工件(1)的至少一个图像的图像数据，第一摄像机的光轴(oa)平行于工具(3)的冲击方向在z方向上延伸；
-根据所获取的图像数据查找工件(1)的参考结构(4)；
-确定参考结构(4)的至少一个参考点(+)在x/y方向上相对于第一摄像机(2)的光轴(oa)的当前实际位置；
-将参考结构(4)的当前实际位置与参考结构(4)的理论位置进行比较；
-产生用于使工具(3)向工件(1)的至少一个待加工的区域或部位进给的控制命令；
-通过获得参考结构(4)在所获取的图像中的当前x/y图像参数并且通过与参考结构(4)的已知的实际x/y参数的比较确定参考结构(4)与第一摄像机(2)的距离并且在产生控制命令时考虑该距离，获得参考结构(4)在光轴(oa)的z方向上的当前实际位置。
2.根据权利要求1所述的方法，其特征在于，参考结构(4)是工件(1)的开口、主体边棱或凸起部，参考结构(4)的至少一个长度尺寸、周向尺寸和/或直径是已知的。
3.根据权利要求1和2所述的方法，其特征在于，形成工件(1)的至少两个结构的虚拟的交点，将所述交点作为参考点(+)用于随后在工件(1)和工具(3)之间的相对运动。
4.根据上述权利要求中任一项所述的方法，其特征在于，借助于第二摄像机(6)在相对于z方向倾斜的拍摄方向上获取工件(1)的图像数据，以及根据所获取的图像数据至少在工件(1)的区域中进行图案识别。
5.根据权利要求4所述的方法，其特征在于，借助于图案识别获取工件(1)的当前加工状态并且与理论加工状态比较。
6.根据权利要求1所述的方法，其特征在于，所述工具(3)是用于螺柱焊的焊接设备。
7.根据权利要求1所述的方法，其特征在于，所述工具(3)是用于凸焊的焊接设备。
8.根据权利要求1所述的方法，其特征在于，所述工具(3)是用于攻丝的设备。
9.根据权利要求1所述的方法，其特征在于，所述工具(3)是用于铆接的设备。
10.一种用于确定工件(1)的位置，尤其是用于驱控工业机器人的方法，所述方法包括以下步骤：
-借助于第一摄像机(2)获取工件(1)的至少一个图像的图像数据；
-借助于评估单元(7)根据获取的图像数据确定工件(1)的参考结构(4)；
-借助于评估单元(7)获得参考结构(4)的至少一个参考点(+)在x/y方向上相对于第一摄像机(2)的光轴(oa)的当前实际位置；
-借助于评估单元(7)将参考结构(4)的当前实际位置与参考结构(4)的理论位置进行比较并且产生比较数据；
-理由比较数据借助于评估单元(7)推断出工件(1)相对于基础坐标系的位置。
11.根据权利要求10所述的方法，其特征在于，借助于至少另一摄像机(6)获取工件(1)的另外的图像数据；
-借助于评估单元(7)根据所获取的另外的图像数据，确定工件(1)的至少另一参考结构(4’)；
-借助于评估单元(7)获得所述另一参考结构(4’)的至少一个参考点(++)在x/y方向上相对于所述另一摄像机(6)的光轴(oa)的当前实际位置；
-将所述另一参考结构(4’)的当前实际位置与所述另一参考结构(4’)的理论位置进行比较并且产生另外的比较数据；
-在借助于评估单元(7)推断出工件(1)的位置时考虑所述另外的比较数据。
12.根据权利要求10或11所述的方法，其特征在于，通过获得所述或这些参考结构(4、4’)在相应获取的图像中的当前x/y图像参数并且通过与参考结构(4、4’)的已知的实际x/y参数的比较确定参考结构(4、4’)与摄像机(2、6)的距离，附加地获得参考结构(4、4’)在所述摄像机(2、6)的光轴(oa)的z方向上的当前实际位置，并且在借助于评估单元(7)推断出工件(1)的位置时考虑所述获得的参考结构(4)或这些参考结构(4、4’)在z方向上的当前实际位置。
13.根据权利要求10至12中任一项所述的方法，其特征在于，所述参考结构(4)是工件(1)的开口、主体边棱或凸起部，参考结构(4)的至少一个长度尺寸、周向尺寸和/或直径是已知的。
14.根据权利要求10至13中任一项所述的方法，其特征在于，借助于控制单元(8)产生控制命令，并且借助控制命令：
-使工具(3)向工件(1)的至少一个待加工的区域或部位进给，或者
-中断或停止用于加工工件(1)的加工过程。
15.一种用于保护摄像机(2)的装置，其特征在于，存在具有斜切的开口的套(12)，摄像机(2)布置在所述套(12)的伸长的部分中。
CN202080038865.0A 2019-03-13 2020-03-13 用于确定工件的位置、尤其是用于驱控工业机器人的方法 Pending CN114026508A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019106458.9 2019-03-13
DE102019106458.9A DE102019106458A1 (de) 2019-03-13 2019-03-13 Verfahren zur Ansteuerung eines Industrieroboters
PCT/EP2020/057010 WO2020183026A2 (de) 2019-03-13 2020-03-13 Verfahren zur bestimmung der lage eines werkstücks, insbesondere zur ansteuerunq eines industrieroboters

Publications (1)

Publication Number Publication Date
CN114026508A true CN114026508A (zh) 2022-02-08

Family

ID=70110268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080038865.0A Pending CN114026508A (zh) 2019-03-13 2020-03-13 用于确定工件的位置、尤其是用于驱控工业机器人的方法

Country Status (4)

Country Link
US (1) US20210402613A1 (zh)
CN (1) CN114026508A (zh)
DE (1) DE102019106458A1 (zh)
WO (1) WO2020183026A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115847488A (zh) * 2023-02-07 2023-03-28 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220241978A1 (en) * 2021-02-01 2022-08-04 The Boeing Company Robotic manufacturing systems and methods
DE102021203779B4 (de) 2021-04-16 2023-12-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes
CN113118604B (zh) * 2021-04-23 2022-02-08 上海交通大学 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统
DE102022202144A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102022202143A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102022202145A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Roboter und Verfahren zum Steuern eines Roboters
CN116071361B (zh) * 2023-03-20 2023-07-04 深圳思谋信息科技有限公司 针对工件的视觉定位方法、装置、计算机设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
EP0151417A1 (en) * 1984-01-19 1985-08-14 Hitachi, Ltd. Method for correcting systems of coordinates in a robot having visual sensor device and apparatus therefor
US4812614A (en) * 1987-02-26 1989-03-14 Industrial Technology Research Institute Machine vision seam tracking method and apparatus for welding robots
WO2003027783A1 (de) * 2001-09-21 2003-04-03 Thomas Fuchs Verfahren zur bearbeitung von teilen sowie bearbeitungszentrum zur durchführung des verfahrens
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
US7277599B2 (en) * 2002-09-23 2007-10-02 Regents Of The University Of Minnesota System and method for three-dimensional video imaging using a single camera
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE102005051533B4 (de) * 2005-02-11 2015-10-22 Vmt Vision Machine Technic Bildverarbeitungssysteme Gmbh Verfahren zur Verbesserung der Positioniergenauigkeit eines Manipulators bezüglich eines Serienwerkstücks
DE102007018416A1 (de) * 2006-10-24 2008-04-30 Messer Cutting & Welding Gmbh Verfahren und Vorrichtung zum maschinellen Schneiden eines plattenförmigen Werkstücks
AT506865B1 (de) * 2008-05-20 2010-02-15 Siemens Vai Metals Tech Gmbh Vorrichtung zum verbessern von genauigkeitseigenschaften von handhabungsgeräten
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
JP5383836B2 (ja) * 2012-02-03 2014-01-08 ファナック株式会社 検索ウィンドウを自動的に調整する機能を備えた画像処理装置
JP5815761B2 (ja) * 2014-01-23 2015-11-17 ファナック株式会社 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
DE102016200386B4 (de) * 2016-01-14 2019-03-28 Kuka Systems Gmbh Verfahren zum Steuern eines Manipulatorsystems

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115847488A (zh) * 2023-02-07 2023-03-28 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法
CN115847488B (zh) * 2023-02-07 2023-05-02 成都秦川物联网科技股份有限公司 用于协作机器人监测的工业物联网系统及控制方法
US11919166B2 (en) 2023-02-07 2024-03-05 Chengdu Qinchuan Iot Technology Co., Ltd. Industrial internet of things for monitoring collaborative robots and control methods, storage media thereof

Also Published As

Publication number Publication date
WO2020183026A3 (de) 2020-11-05
US20210402613A1 (en) 2021-12-30
DE102019106458A1 (de) 2020-09-17
WO2020183026A2 (de) 2020-09-17

Similar Documents

Publication Publication Date Title
CN114026508A (zh) 用于确定工件的位置、尤其是用于驱控工业机器人的方法
Kah et al. Robotic arc welding sensors and programming in industrial applications
CN107052950B (zh) 一种复杂曲面打磨抛光系统及方法
US9895810B2 (en) Cooperation system having machine tool and robot
US11583951B2 (en) Method for collision avoidance and laser machining tool
US8901449B2 (en) Spot welding system and dressing determination method
CN111014879B (zh) 一种基于激光焊缝跟踪的机器人波纹板自动焊接方法
Heralic Monitoring and control of robotized laser metal-wire deposition
Ye et al. Passive vision based seam tracking system for pulse-MAG welding
US10875198B2 (en) Robot system
JP2004508954A (ja) 位置決め装置およびシステム
US11203160B2 (en) Adaptive multi-process additive manufacturing systems and methods
CA2985902C (en) System and method for precisely drilling matched hole patterns using surface mapped features
Shah et al. An experiment of detection and localization in tooth saw shape for butt joint using KUKA welding robot
CN114714029A (zh) 铝合金自动弧焊方法及装置
CN105538015A (zh) 一种叶片类复杂薄壁型面零件自适应定位方法
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
JP3517529B2 (ja) 画像入力型ロボットシステム
US20200230737A1 (en) Method for selection of camera image sections
Penttilä et al. Virtual reality enabled manufacturing of challenging workpieces
CN111300490A (zh) 一种基于深度视觉传感器的机器人轨迹生成系统及方法
JP2023037769A (ja) システム、及び自動搬送車
Chalus et al. 3D robotic welding with a laser profile scanner
Yusen et al. A method of welding path planning of steel mesh based on point cloud for welding robot
TWM530201U (zh) 防撞模擬系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220208