CN116652930A - 动作程序的校正方法、焊接系统以及程序 - Google Patents

动作程序的校正方法、焊接系统以及程序 Download PDF

Info

Publication number
CN116652930A
CN116652930A CN202310144600.4A CN202310144600A CN116652930A CN 116652930 A CN116652930 A CN 116652930A CN 202310144600 A CN202310144600 A CN 202310144600A CN 116652930 A CN116652930 A CN 116652930A
Authority
CN
China
Prior art keywords
image
welded
welding
operation program
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310144600.4A
Other languages
English (en)
Inventor
木村雄士
小池武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Publication of CN116652930A publication Critical patent/CN116652930A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供能够实现利用人工的作业时间的缩短、作业的简化的焊接机器人的动作程序的校正方法。一种动作程序的校正方法，其是焊接机器人的动作程序的校正方法，其中，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域，通过对确定的所述区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置，基于确定的所述位置，来校正在用于使所述焊接机器人动作的动作程序中使用的坐标信息。

Description

动作程序的校正方法、焊接系统以及程序
技术领域
本发明涉及动作程序的校正方法、焊接系统以及程序。
背景技术
当前，在各种产业领域中使用机器人。代表性的产业用的机器人存在焊接机器人。在焊接作业时，使用设定了与各施工条件匹配且最佳的焊接条件的动作程序，使焊接机器人运行。在这样的施工条件、焊接条件的设定中存在多个要素、参数、它们的组合。
焊接机器人的动作程序在作为焊接对象的被焊接构件被定位于规定的位置的前提下设定。然而，在实际的焊接作业中，被焊接构件的位置不一定配置于上述那样的规定的位置。在被焊接构件从规定的位置偏移而配置的情况下，在焊接作业产生障碍、或者带来焊接物的品质的降低。
例如，在专利文献1中，记载了如下方法，即，根据实际的被焊接构件的配置位置，将三维CAD数据与从被焊接构件的图像数据得到的图像内顶点建立对应关系而取得差量，并基于该差量来校正焊接机器人的动作程序。
现有技术文献
专利文献
专利文献1：日本特开2018-153905号公报
在专利文献1的方法中，在以使传感器能够对设为对象的被焊接构件进行摄像的方式定位的基础上取得图像数据。在实际的焊接施工现场中，施工现场较大，并且配置有数量较多的被焊接构件。因此，需要进行焊接机器人所具备的相机的定位并进行摄像，以得到每个被焊接构件的期望的图像。在这样的用于确定实际的被焊接构件的位置的作业中，由于需要人工和时间而作业负荷较高。其结果是，与实际设置的被焊接构件的位置对应地校正动作程序的情况下的作业负荷较高。因此，在焊接施工现场中，谋求动作程序的校正等利用人工的作业时间的缩短、作业的简化。
发明内容
发明要解决的课题
在本发明中，鉴于上述课题，目的在于提供能够实现利用人工的作业时间的缩短、作业的简化的焊接机器人的动作程序的校正方法。
用于解决课题的方案
为了解决上述课题，本发明的一方式具有以下的结构。即，一种动作程序的校正方法，其是焊接机器人的动作程序的校正方法，
所述动作程序的校正方法的特征在于，
所述动作程序的校正方法包括：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使所述焊接机器人动作的动作程序中使用的坐标信息。
另外，作为本发明的其他方式具有以下的结构。即，一种焊接系统，其中，
所述焊接系统具备：
焊接机器人；
摄像装置；以及
控制部，其使用动作程序的校正方法来校正动作程序，并控制所述焊接机器人，
所述校正方法具有：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使所述焊接机器人动作的动作程序中使用的坐标信息。
另外，作为本发明的其他方式具有以下的结构。即，一种程序，其中，
所述程序用于使计算机执行如下工序：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使焊接机器人动作的动作程序中使用的坐标信息。
发明效果
根据本发明，能够实现实际的焊接施工现场中的与焊接机器人的动作程序的设定相关的利用人工的作业时间的缩短、作业的简化。
附图说明
图1是示出本发明的一实施方式的焊接系统的结构例的概要图。
图2是示出本发明的一实施方式的焊接系统的结构例的概要图。
图3是示出本发明的一实施方式的控制装置的功能结构的例子的框图。
图4是本发明的一实施方式的处理的流程图。
图5是用于说明本发明的一实施方式的区域提取的流程的说明图。
图6是用于说明本发明的一实施方式的特征点的坐标检测的流程的说明图。
图7是用于说明本发明的一实施方式的特征点的坐标检测的流程的说明图。
附图标记说明：
10支承框
11支柱
12引导支承梁
20台车部
30导轨
40可动部
41滑动件
42轴部
43回转框架
50焊接机器人
51焊炬
60相机
70控制装置
71控制部
72存储部
100焊接系统
200设置区域
301动作程序管理部
302图像取得部
303图像解析部
304三维CAD数据管理部
305动作程序校正部
306焊接机器人控制部。
具体实施方式
以下，参照附图等对本具体实施方式进行说明。需要说明的是，以下说明的实施方式是用于说明本发明的一实施方式，并不意在限定地解释本发明，另外，在各实施方式中说明的全部结构未必是为了解决本发明的课题所必需的结构。
[系统结构]
图1、图2是示出本实施方式的焊接系统100的结构例的概要图。在各图中，利用XYZ这3轴表示三维空间中的对应关系。例如在图1中，X轴表示纵深方向，Y轴表示宽度方向，Z轴表示高度方向，但各轴的对应关系是一例，也可以使用其他对应关系。
如图1所示那样，焊接系统100具备门型的支承框10、台车部20、导轨30、可动部40、焊接机器人50、相机60以及控制装置70。
支承框10具备沿着Z轴方向建立的多个支柱11以及沿着Y轴方向设置的引导支承梁12。多个支柱11设置于台车部20上。台车部20构成为能够在沿着X轴方向设置的导轨30上沿着X轴方向往复移动。由此，支承框10能够在导轨30上往复移动。导轨30设置于供作为焊接对象的被焊接构件W配置的设置区域200的外侧。
可动部40具备滑动件41、轴部42以及回转框架43。滑动件41被引导支承梁12支承为能够沿着Y轴方向往复移动。在滑动件41的下部安装有成为旋转轴的轴部42，在从轴部42突出的突出端水平地安装有以轴部42的中心为回转中心回转的回转框架43。
相机60是对被焊接构件W进行摄像的传感器，并设置于可动部40的下部。相机60对实际配置于设置区域200的被焊接构件W进行摄像而取得被焊接构件W的图像。相机60例如由CCD(Charge Coupled Device)相机构成。需要说明的是，图1所示的相机60的安装位置为一例，并不限定于此。另外，相机60可以具备鱼眼镜头、变焦镜头等各种镜头。另外，相机60也可以是多个。在具备多个相机60的情况下，多个相机60可以构成为能够拍摄不同的位置，也可以构成为能够在不同的拍摄条件等下进行拍摄。另外，焊接系统100也可以还具备在由相机60进行的拍摄时使用的照明部。
在回转框架43的前端部的下表面，以能够绕垂直轴心回转的方式安装有焊接机器人50。焊接机器人50在前端安装有焊炬51。在本实施方式中，示出安装有两台焊接机器人50的双炬焊接机器人装置的结构例。在本实施方式中，焊接机器人50是在前端具有焊炬的电弧焊接机器人，且构成为能够进行触摸感测。需要说明的是，焊接机器人50的种类、台数并不特别限定，也可以使用与被焊接构件W相应的不同的焊接机器人。
另外，在可动部40，可以在上方搭载收纳焊丝的焊丝包装桶，也可以在其他场所设置用于供给焊丝的焊丝进给装置。焊丝从焊炬的前端朝向被焊接构件W的焊接部位送出。
在焊接机器人50的下方，配置设置区域200，并配置作为焊接机器人50的焊接对象的被焊接构件W。被焊接构件W通过作业者等而适时配置于设置区域200。多个被焊接构件W被焊接机器人50焊接。此时，焊接机器人50能够通过台车部20的X轴方向的移动以及可动部40的Y轴方向的移动而向设为目标的被焊接构件W的正上方、周边的位置移动。被焊接构件W是各种金属构件，且被焊接机器人50焊接期望的位置。也可以是，根据被焊接构件W的材质等，用于焊接的焊丝的材质也不同。
控制装置70作为用于控制焊接机器人50的动作的计算机而动作，且具有控制部71、存储部72以及作为示教器使用的机器人设备73。控制部71例如由CPU(CentralProcessing Unit)构成。存储部72例如由HDD(Hard Disk Drive)、ROM(Read OnlyMemory)、RAM(Random Access Memory)等易失性、非易失性的存储器构成。控制部71通过读出并执行在存储部72存储的控制用的计算机程序，从而控制焊接的各种动作、或者执行后述的图像处理等处理。
控制装置70取得与对作为焊接对象的两个被焊接构件进行焊接的焊接道次的施工条件相关的焊接道次信息。控制装置70按照规定的程序执行该焊接道次信息的取得，并且按照预先示教的程序(以下，也称为示教程序)输出对焊接机器人50的动作指示、即取得的焊接道次。特别是，控制装置70将作为被焊接构件W的设计数据的三维CAD(Computer-Aided Design)数据的数据库存储于存储部72，且在控制焊接机器人50等的动作时，参照该三维CAD数据。三维CAD数据的数据库也可以利用经由未图示的网络而与控制装置70连接的服务器等来构建，数据库的场所、形式、结构等并不特别限定。
另外，虽然在图1中未图示，但在焊接系统100还具备用于向焊丝供给电力的电源装置。此外，也可以具备用于检测电压、电流的传感器类。另外，构成焊接系统100的各部位也可以通过有线/无线的各种通信方式而能够通信地连接。另外，焊接系统100也可以经由网络而与外部装置能够通信地连接。此处的通信方式并不限定于一个，也可以将多个通信方式组合而连接。
图2是本实施方式的焊接系统100的结构例的外观立体图。如使用图1说明的那样，焊接系统100构成为能够在设置有一个或多个被焊接构件W的设置区域200之上移动。由此，相机60也能够在设置区域200上移动的同时在各种位置进行拍摄。需要说明的是，在图2中以作业者、被焊接构件W为例而示出，但各构成要素等的尺寸为一例，并不限定于此。
[功能结构]
图3是示出本实施方式的控制装置70的功能结构的例子的框图。例如，控制装置70的控制部71通过读出并执行在存储部72保存的各种程序，从而作为图3所示的提供各功能的部位而实现。需要说明的是，在图3中，是着眼于本实施方式的功能的结构例，可以具备更多的部位。另外，各部位可以根据功能而进一步分割，也可以汇总构成。
控制装置70构成为包括动作程序管理部301、图像取得部302、图像解析部303、三维CAD数据管理部304、动作程序校正部305以及焊接机器人控制部306。动作程序管理部301对用于使焊接机器人50动作的动作程序进行保持、管理。动作程序可以是从外部装置取得那样的结构，也可以由作业者经由机器人设备73作为示教程序而输入。在动作程序中，除了包括与焊接机器人50的动作模式相关的命令以外，可以还包括焊接道次相对于被焊接构件W的位置、施工条件等焊接道次信息、被焊接构件W在设置区域200中的设置位置等信息。动作程序存储于存储部72，并由动作程序管理部301管理。
图像取得部302取得由相机60拍摄的设置区域200的一个或多个图像。图像取得部302在取得一个或多个图像的情况下，一并地取得该拍摄位置的信息、拍摄参数的信息。如上所述，焊接机器人50能够在使其拍摄位置变化的同时，进行设置区域200中的至少进行焊接动作的范围的拍摄。图像解析部303使用由图像取得部302取得的一个或多个图像，进行这些图像的解析。本实施方式的图像解析处理的详细情况在后叙述。
三维CAD数据管理部304对表示被焊接构件W的三维形状的三维CAD数据进行保持、管理。在此处的三维CAD数据中，除了包括被焊接构件W各自的三维形状，可以还包括表示焊接过程的中途的状态、即多个被焊接构件通过焊接结合而成为一个被焊接构件的完成前的状态的CAD数据。另外，关于详细情况在后叙述，但在三维CAD数据中包括与被焊接构件对应的对象的设置的方向、即由相机60进行拍摄的方向的信息。在本实施方式中，由相机60进行的拍摄作为在上侧、即沿着高度方向进行的拍摄来说明，但并不限定于此。若后述的与三维CAD数据的对应关系被预先规定，则例如也可以沿着宽度方向、纵深方向进行拍摄。
动作程序校正部305基于由图像解析部303解析的解析结果，进行由动作程序指定的参数的校正。焊接机器人控制部306使用由动作程序管理部301管理的动作程序或由动作程序校正部305校正了的动作程序，控制焊接机器人50的动作。
[处理流程]
图4是本实施方式的处理的流程图。本处理例如可以通过控制装置70所具备的控制部71从存储部72读出并执行用于实现各部位的程序而实现。在此，为了使说明简单，将处理主体汇总为控制装置70而记载。另外，设为在开始本处理流程时已经在设置区域200设置有一个或多个被焊接构件W。另外，设为登记有与被焊接构件W对应的三维CAD数据、动作程序。
在S401中，控制装置70参照存储部72，取得未设置被焊接构件W的状态的设置区域200的图像数据。设为在执行本处理之前，在存储部72保持有未设置被焊接构件W的状态的设置区域200被相机60拍摄而生成的图像数据。将该图像数据称为“无设置图像数据”或“第一图像”。无设置图像数据可以通过与后述的用于取得“有设置图像数据”的动作(S402以及S403)同样地进行而取得。需要说明的是，若被焊接构件W向设置区域200的设置所需的时间、工夫较少，则无需将无设置图像数据预先保持于存储部72，也可以代替本工序，而设置用于拍摄无设置图像数据的拍摄工序。另外，也可以是如下结构，即，设想设置区域200的经时变化、经时劣化等，定期地拍摄未设置被焊接构件W的状态的设置区域200，从而定期地更新保持于存储部72的无设置图像数据。
在S402中，控制装置70在使台车部20、可动部40驱动而调整相机60的拍摄位置的同时，拍摄设置区域200，并取得一个或多个图像数据。此处的拍摄范围可以限定于设置区域200中的预先设定的范围，也可以是拍摄设置区域200整体那样的结构。关于包括此时的拍摄范围、拍摄顺序等的拍摄参数，可以预先规定，也可以由作业者指定。此时，将相机60的拍摄时的位置信息与图像数据建立对应关系而取得。相机60的位置信息也可以基于台车部20、可动部40的位置信息而导出。
在S403中，控制装置70将在S402中取得的一个或多个图像数据基于位置信息而合成，并生成表示设置区域200的图像的一个图像数据。以下，将在此生成的图像数据称为“有设置图像数据”或“第二图像”。将多个图像数据合成为一个图像数据的方法并不特别限定，但例如可以是从各图像提取规定的范围、并基于位置信息将相邻的图像数据重合并且合成那样的方法。此处的规定的范围例如可以是图像数据中的因相机60的拍摄参数、设备特性而产生的变形等较少的范围。
在S404中，控制装置70使用在S401中从存储部72取得的无设置图像数据和在S403中生成的有设置图像数据，提取有设置图像数据所包括的被焊接构件W的区域。
使用图5对本工序中的处理进行说明。在图5中，将有设置图像数据500和无设置图像数据510作为一例示出，并示出在处理的作用下的图像的变迁。
首先，控制装置70进行在S401中从存储部72取得的无设置图像数据与在S403中生成的有设置图像数据的对位，并提取差量而生成差量图像。此处的对位例如可以提取在各图像数据内共通包括的特征点并基于此来进行，也可以基于在拍摄时取得的位置信息来进行。图5的差量图像520示出有设置图像数据500与无设置图像数据510的差量。在此，利用二值图像表示差量图像520，白色的像素表示差量，黑色的像素表示共通的部位。
进而，控制装置70提取差量图像所包括的一个或多个表示被焊接构件W的候补区域。此处的候补区域例如可以基于形状、位置、大小、图像中的像素数等而提取，但并不特别限定。例如，可以取得设想为在设置区域200设置的一个或多个被焊接构件W的三维CAD数据，并基于该信息，提取一个或多个候补区域。另外，也可以是通过对差量图像应用噪声除去、二值化处理等图像处理从而提高提取精度那样的结构。图5的图像530示出在对差量图像520进行了图像处理的基础上提取出两个候补区域531、532的例子。
进而，控制装置70从一个或多个候补区域之中确定着眼的一个区域(以下，也称为着眼区域)。此处的确定方法例如可以基于形状、位置、大小等来确定，但并不特别限定。例如，可以取得设想为在设置区域200设置的被焊接构件W的三维CAD数据，并基于该信息，从一个或多个候补区域之中筛选为一个区域，也可以接受作业者的指定。图5的图像540表示从图像530确定一个区域541来作为着眼区域，并将除此以外的区域作为黑像素涂满的状态。
在S405中，控制装置70导出在S404中确定的着眼区域的位置以及旋转角度。此处的位置可以是对设置区域200预先设定的绝对坐标系中的坐标值。另外，旋转角度可以是基于对设置区域200预先设定的绝对坐标系的规定的轴以及规定的基准点的旋转角度。
使用图6以及图7对本工序中的处理进行说明。在图6中，将图像600作为一例示出，并示出在处理的作用下的图像的变迁。需要说明的是，图像600与图5的作为图像540示出的例子对应。在图像600中，首先确定成为旋转的基准点601的坐标。例如，基准点601可以使用着眼区域的X轴方向以及Y轴方向各自的中心坐标，但并不特别限定。另外，基准点601的坐标可以由预先对设置区域200设定的绝对坐标系确定，也可以由相对于任意的位置的相对坐标系表示。并且，对基准点601确定着眼区域的旋转角度。例如，可以着眼于构成着眼区域的任意的边，并将该边相对于X轴方向或Y轴方向的倾斜度确定为表示着眼区域的倾斜度的旋转角度。此处的任意的边可以是构成着眼区域的最长的边，也可以由作业者指定。
接着，控制装置70取得与着眼区域对应的被焊接构件W的三维CAD数据。这可以由作业者指定，也可以在此前的处理中确定一个三维CAD数据。控制装置70在对与着眼区域对应的一个三维CAD数据进行确定的情况下，例如可以基于着眼区域的尺寸、形状等从已登记的三维CAD数据之中确定。
接着，控制装置70基于导出的基准点以及旋转角度，从对应的被焊接构件W的三维CAD数据生成与着眼区域对应的图像。进一步使用图7对此处的生成方法进行说明。在本例中，图6的三维CAD数据610作为与在图像600中确定的区域对应的三维CAD数据而进行说明。在本实施方式中，被焊接构件W的在作为平面区域的设置区域200设置的面被确定。因此，如图7所示那样，由相机60进行拍摄的朝向被唯一确定。于是，与该朝向相匹配地，使三维CAD数据旋转。换言之，以从正上侧观察设置于设置区域200的被焊接构件W的方式使三维CAD数据旋转。其结果是，得到图像700。进而，基于导出的基准点以及旋转角度使图像旋转。其结果是，得到图像710。进而，基于图像600的尺寸、拍摄参数等来调整图像710的尺寸，从而生成图6、图7所示那样的图像620。
接着，控制装置70在图像620决定任意的多个特征点。在图6中，示出将区域的对角线上的两个顶点621、622决定为特征点的例子。需要说明的是，特征点的决定方法并不特别限定，可以将区域的角部、边界部、边等任意部位决定为特征点而使用。或者，特征点也可以在三维CAD数据中预先登记。
接着，控制装置70进行在图4的S403中生成的原来的图像数据即有设置图像数据500与从三维CAD数据生成的被焊接构件W的图像的对位，而生成合成图像。图6的合成图像630示出基于顶点621、622进行对位而生成的合成图像的例子。在合成图像630中，顶点631、632是进行对位并进行图像合成从而得到的被焊接构件W的顶点。由此，能够进行三维CAD数据与通过拍摄得到的图像的对应关系即坐标的对位。
返回图4的流程图。在S406中，控制装置70取得针对着眼的被焊接构件W的动作程序。此时，焊接道次信息与动作程序建立了对应关系。并且，对由动作程序指定的坐标基于由S405确定的坐标进行校正。如上所述三维CAD数据与实际空间的被焊接构件W建立了对应关系，因此也能够确定应进行焊接的焊接道次的坐标，因此与此相应地校正已经设定完成的动作程序的控制参数。
此处的校正例如以成为能够进行焊接时的感测的范围内的方式进行校正即可。例如触摸感测时的距离能够设定为100mm以下、50mm以下等。感测动作例如通过利用焊接机器人50的前端所具备的接触式传感器检知对被焊接构件W的接触来进行。能够感测的范围可以被预先规定，并保持于存储部72等。由接触式传感器等进行的感测的方法并不特别限定，但例如可以举出接触探针传感器、焊丝接触式传感器等方法。需要说明的是，在被焊接构件W设置于已经由动作程序规定的位置、能够感测的范围的情况下，可以不进行动作程序的校正。另外，在校正中，除了坐标的校正以外，也可以一并地调整其他控制参数。
即，即使在现实空间的被焊接构件W的位置与从图像确定的被焊接构件W的位置的误差并不严格一致的情况下，该误差也包括在能够通过感测功能进行检测的范围中，从而能够适当地校正动作程序的控制参数。其结果是，能够在系统侧自动地进行参数的调整，而进行精度更高的焊接。
以上，通过本实施方式，能够实现实际的焊接施工现场中的与焊接机器人的动作程序的设定相关的作业的作业时间的缩短、利用人工的作业的简化。尤其是，无需设定实际设置于设置区域的多个被焊接构件各自的拍摄条件而无需利用人工反复进行拍摄动作。并且，能够使用该拍摄到的图像数据，对预先设定有位置信息等的动作程序以与实际的被焊接构件的设置坐标对应的方式进行校正。因此，作业者无需单个地调整位置坐标的参数，能够削减作业时间。
<其他实施方式>
在上述的实施方式中，示出了被焊接构件W直接设置于设置区域200的例子。另一方面，被焊接构件W在设置于设置区域200时，根据被焊接构件W的形状、焊接部位等，存在载置于其他构件之上而设置的情况。在该情况下，与在设置区域200直接设置被焊接构件W的情况相比，被焊接构件W的高度可能相对于由三维CAD数据表示的高度的值变化。此时，也可以根据从拍摄到的图像提取出的着眼区域与三维CAD数据之间的放大、缩小的比率，来确定相对于设置区域200的高度。更具体而言，在着眼区域更大的情况下位于靠近相机60的位置，例如在高度方向中成为较高的坐标值。与该比率对应的高度方向的坐标的变换处理例如可以基于预先规定的表、变换式来进行。
在本发明中，也能够通过如下处理来实现，即，使用网络或存储介质等将用于实现上述的一个以上的实施方式的功能的程序、应用程序向系统或装置供给，该系统或装置的计算机中的一个以上的处理器读出并执行程序。
另外，也可以通过实现一个以上的功能的电路来实现。需要说明的是，作为实现一个以上的功能的电路，例如可以举出ASIC(Application SpecificIntegrated Circuit)、FPGA(Field Programmable Gate Array)。
如以上那样，在本说明书中公开了如下事项。
(1)一种动作程序的校正方法，其是焊接机器人的动作程序的校正方法，
所述动作程序的校正方法的特征在于，
所述动作程序的校正方法包括：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使所述焊接机器人动作的动作程序中使用的坐标信息。
根据该结构，能够实现实际的焊接施工现场中的与焊接机器人的动作程序的设定相关的作业的作业时间的缩短、利用人工的作业的简化。尤其是，无需设定实际设置于设置区域的多个被焊接构件各自的拍摄条件而无需利用人工反复进行拍摄动作。并且，能够使用该拍摄到的图像数据，对预先设定有位置信息等的动作程序以与实际的被焊接构件的设置坐标对应的方式进行校正。因此，作业者无需单个地调整位置坐标、拍摄条件的参数，能够削减作业时间。
(2)根据(1)所述的动作程序的校正方法，其特征在于，
在所述第二确定工序中，以使在所述第一确定工序中确定的区域的位置与和该位置对应的所述被焊接构件的位置的误差在由所述焊接机器人进行的感测动作能够容许的误差的范围内的方式，确定所述被焊接构件的位置。
根据该结构，通过以成为焊接机器人预先具备的感测动作的容许范围内的方式进行对位，更加能够实现与焊接机器人的功能对应的校正的自动化。另外，通过以成为焊接机器人预先具备的感测动作的容许范围内的方式进行对位，从而无需过度地严格进行对位，因此能够抑制校正处理的负荷。
(3)根据(1)或(2)所述的动作程序的校正方法，其特征在于，
所述至少两点是登记于三维CAD数据的特征点。
根据该结构，通过使用预先登记的特征点，能够简单且准确地掌握被焊接构件的位置。
(4)根据(1)～(3)中任一项所述的动作程序的校正方法，其特征在于，
在所述动作程序的校正方法中，配置有至少一个被焊接构件，
所述摄像装置在切换拍摄位置的同时进行多次拍摄，
在所述取得工序中，通过将由所述多次拍摄得到的多个图像合成，从而生成包括所述至少一个被焊接构件的整体的一个图像。
根据该结构，作业者在进行较大的设置场所的拍摄时，无需单个地进行拍摄控制，能够节省功夫。另外，能够不限于设置场所的大小地取得被焊接构件的图像而进行位置的确定。
(5)根据(4)所述的动作程序的校正方法，其特征在于，
在所述多次拍摄中分别取得进行摄像的位置的位置信息，
在所述取得工序中，基于所述位置信息来合成所述多个图像，
在所述第一确定工序中，基于所述位置信息来进行所述第一图像与所述第二图像的比较。
根据该结构，能够基于由相机进行拍摄时的位置信息，容易地取得一个大的合成图像。
(6)根据(1)～(5)中任一项所述的动作程序的校正方法，其特征在于，
在所述第二确定工序中，基于在所述第一确定工序中确定的区域的尺寸与和所述被焊接构件对应的三维CAD数据的尺寸的比率来确定所述规定的方向上的坐标。
根据该结构，关于拍摄方向上的被焊接构件的位置，也能够根据图像间的比率来确定，能够进行拍摄方向的坐标的校正。
(7)根据(1)～(6)中任一项所述的动作程序的校正方法，其特征在于，
所述规定的方向是高度方向。
根据该结构，能够将拍摄方向沿着高度方向的情况作为对象，进行动作程序的坐标的校正。
一种焊接系统，其中，
所述焊接系统具备：
焊接机器人；
摄像装置；以及
控制部，其使用(1)～(7)中任一项所述的动作程序的校正方法来校正动作程序，并控制所述焊接机器人。
根据该结构，能够实现实际的焊接施工现场中的与焊接机器人的动作程序的设定相关的作业的作业时间的缩短、利用人工的作业的简化。尤其是，作业者无需单个地调整位置坐标、拍摄条件的参数，能够削减作业时间。
(9)一种程序，其中，
所述程序用于使计算机执行如下工序：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使焊接机器人动作的动作程序中使用的坐标信息。
根据该结构，能够实现实际的焊接施工现场中的与焊接机器人的动作程序的设定相关的作业的作业时间的缩短、利用人工的作业的简化。尤其是，无需设定实际设置于设置区域的多个被焊接构件各自的拍摄条件而无需利用人工反复进行拍摄动作。并且，能够使用该拍摄到的图像数据，对预先设定有位置信息等的动作程序以与实际的被焊接构件的设置坐标对应的方式进行校正。因此，作业者无需单个地调整位置坐标、拍摄条件的参数，能够削减作业时间。

Claims (9)

1.一种动作程序的校正方法，其是焊接机器人的动作程序的校正方法，
所述动作程序的校正方法的特征在于，
所述动作程序的校正方法包括：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使所述焊接机器人动作的动作程序中使用的坐标信息。
2.根据权利要求1所述的动作程序的校正方法，其特征在于，
在所述第二确定工序中，以使在所述第一确定工序中确定的区域的位置与和该位置对应的所述被焊接构件的位置的误差在由所述焊接机器人进行的感测动作能够容许的误差的范围内的方式，确定所述被焊接构件的位置。
3.根据权利要求1或2所述的动作程序的校正方法，其特征在于，
所述至少两点是登记于三维CAD数据的特征点。
4.根据权利要求1或2所述的动作程序的校正方法，其特征在于，
在所述动作程序的校正方法中，配置有至少一个被焊接构件，
所述摄像装置在切换拍摄位置的同时进行多次拍摄，
在所述取得工序中，通过将由所述多次拍摄得到的多个图像合成，从而生成包括所述至少一个被焊接构件的整体的一个图像。
5.根据权利要求4所述的动作程序的校正方法，其特征在于，
在所述多次拍摄中分别取得进行摄像的位置的位置信息，
在所述取得工序中，基于所述位置信息来合成所述多个图像，
在所述第一确定工序中，基于所述位置信息来进行所述第一图像与所述第二图像的比较。
6.根据权利要求1或2所述的动作程序的校正方法，其特征在于，
在所述第二确定工序中，基于在所述第一确定工序中确定的区域的尺寸与和所述被焊接构件对应的三维CAD数据的尺寸的比率来确定所述规定的方向上的坐标。
7.根据权利要求1或2所述的动作程序的校正方法，其特征在于，
所述规定的方向是高度方向。
8.一种焊接系统，其中，
所述焊接系统具备：
焊接机器人；
摄像装置；以及
控制部，其使用权利要求1或2所述的动作程序的校正方法来校正动作程序，并控制所述焊接机器人。
9.一种程序，其中，
所述程序用于使计算机执行如下工序：
取得工序，取得从规定的方向由摄像装置拍摄到的未设置被焊接构件的状态的第一图像与设置有所述被焊接构件的状态的第二图像；
第一确定工序，通过对所述第一图像与所述第二图像进行比较，从而确定所述第二图像中的与所述被焊接构件对应的区域；
第二确定工序，通过对在所述第一确定工序中确定的区域与和所述被焊接构件对应的三维CAD数据的和所述规定的方向对应的朝向的形状在至少两点进行对位，从而确定所述被焊接构件的位置；以及
校正工序，基于在所述第二确定工序中确定的位置，来校正在用于使焊接机器人动作的动作程序中使用的坐标信息。
CN202310144600.4A 2022-02-28 2023-02-10 动作程序的校正方法、焊接系统以及程序 Pending CN116652930A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-030291 2022-02-28
JP2022030291A JP2023125925A (ja) 2022-02-28 2022-02-28 動作プログラムの補正方法、溶接システム、およびプログラム

Publications (1)

Publication Number Publication Date
CN116652930A true CN116652930A (zh) 2023-08-29

Family

ID=87721293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310144600.4A Pending CN116652930A (zh) 2022-02-28 2023-02-10 动作程序的校正方法、焊接系统以及程序

Country Status (3)

Country Link
JP (1) JP2023125925A (zh)
KR (1) KR20230128977A (zh)
CN (1) CN116652930A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914067B2 (ja) 2017-03-21 2021-08-04 株式会社神戸製鋼所 動作プログラム補正方法および溶接ロボットシステム

Also Published As

Publication number Publication date
KR20230128977A (ko) 2023-09-05
JP2023125925A (ja) 2023-09-07

Similar Documents

Publication Publication Date Title
EP3749475B1 (en) Method for seam tracking in pipe welding
US7747080B2 (en) System and method for scanning edges of a workpiece
CN108700408B (zh) 三维形状数据及纹理信息生成系统、方法及拍摄控制方法
US20050021170A1 (en) Method of controlling the welding of a three-dimensional structure
RU2478489C1 (ru) Устройство измерения высоты пантографа
KR102315485B1 (ko) 동작 프로그램 보정 방법 및 용접 로봇 시스템
CN111182178A (zh) 摄像装置以及机床
JP6768985B1 (ja) 開先形状測定方法、自動溶接方法、および自動溶接装置
CN114474041A (zh) 一种基于协作机器人的焊接自动化智能引导方法及系统
US11328409B2 (en) System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
JP4932202B2 (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
CN112620926B (zh) 一种焊点追踪方法、装置及存储介质
CN116652930A (zh) 动作程序的校正方法、焊接系统以及程序
JP5947571B2 (ja) 溶接ロボット及び溶接ロボットのギャップ調整方法
US10849261B2 (en) Surface mounter and method of correcting recognition error
JP5375488B2 (ja) 外観検査装置，外観検査方法および外観検査プログラム
CN114147389B (zh) 一种检测焊接工艺参数的焊接辅助方法和系统
CN115684012A (zh) 视觉检测系统、校准方法、装置和可读存储介质
Braunreuther et al. Welding joint detection by calibrated mosaicking with laser scanner systems
JP6715340B2 (ja) 撮影計画生成装置、撮影計画生成方法、およびプログラム
CN112894133A (zh) 一种激光焊接系统和焊点位置提取方法
JP7263602B1 (ja) 溶接ロボットシステムおよび判定方法
JP3859245B2 (ja) チャートの中心位置出し方法
JP2016187845A (ja) ロボットおよびロボットシステム
KR100549169B1 (ko) 라인레이저를 이용한 다중 카메라 촬영 및 왜곡 식별방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination