CN114559131A - 一种焊接控制方法、装置及上位机 - Google Patents

一种焊接控制方法、装置及上位机 Download PDF

Info

Publication number
CN114559131A
CN114559131A CN202011361840.2A CN202011361840A CN114559131A CN 114559131 A CN114559131 A CN 114559131A CN 202011361840 A CN202011361840 A CN 202011361840A CN 114559131 A CN114559131 A CN 114559131A
Authority
CN
China
Prior art keywords
image
welding
identification
determining
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011361840.2A
Other languages
English (en)
Inventor
王爱民
孙见龙
姜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Xinli Technology Co ltd
Beijing Yingjie Technology Co ltd
Original Assignee
Beijing Aerospace Xinli Technology Co ltd
Beijing Yingjie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Xinli Technology Co ltd, Beijing Yingjie Technology Co ltd filed Critical Beijing Aerospace Xinli Technology Co ltd
Priority to CN202011361840.2A priority Critical patent/CN114559131A/zh
Publication of CN114559131A publication Critical patent/CN114559131A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/06—Arrangements or circuits for starting the arc, e.g. by generating ignition voltage, or for stabilising the arc
    • B23K9/067—Starting the arc
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/133—Means for feeding electrodes, e.g. drums, rolls, motors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/24—Features related to electrodes
    • B23K9/28—Supporting devices for electrodes
    • B23K9/287—Supporting devices for electrode holders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种焊接控制方法、装置及上位机，涉及焊接机器人技术领域。该焊接控制方法包括：获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；根据重映射表对第一图像和第二图像分别进行立体校正；在预先设定的识别间隔周期的识别时间到达时，根据第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标；根据焊接路径点的三维坐标，控制机械臂执行焊接操作。通过设置在焊接机器人的机械臂上的两个图像采集设备分别采集图像，再通过设定的识别间隔周期，实时的分离多个图像处理线程，提高了图像识别速率，相较于传统的示教焊接提高了焊接过程的柔性，能够有效降低焊接偏差，提高了焊接的效率。

Description

一种焊接控制方法、装置及上位机
技术领域
本发明涉及焊接机器人技术领域，特别涉及一种焊接控制方法、装置及上位机。
背景技术
在工业机器人的应用当中，机器人焊接应用占到较大比例，约占到工业机器人应用的40％。目前，国内外已有大量的焊接机器人系统应用于各类自动化生产线上，这些焊接机器人系统从整体上看大多还属于“示教－再现”型或少量的离线编程型机器人。示教获得的焊接机器人焊接路径和焊接参数是根据作业条件预先设置的，在焊接时缺少外部信息传感和实时调整控制的功能，这类焊接机器人对作业条件的一致性要求严格。但是这些焊接机器人在焊接过程中还不够“柔性”，缺少外部信息感知和实时调控的能力。
发明内容
本发明实施例提供一种焊接控制方法、装置及上位机，用以解决现有焊接机器人在焊接过程中缺少外部信息感知和实时调控能力的问题。
为了解决上述技术问题，本发明实施例提供一种焊接控制方法，应用于焊接机器人，所述焊接机器人的机械臂上设置有至少两个图像采集设备，所述方法包括：
获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；
根据重映射表对所述第一图像和所述第二图像分别进行立体校正，其中，所述重映射表为通过极线校正算法对多组图像进行立体校正确定，所述多组图像为图像采集设备在多种姿态下对设置在图像采集设备识别区域的棋盘格标定板采集的图像；
在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标；
根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作。
进一步地，所述根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，包括：
根据当前识别时间的识别区域，确定所述第一图像上的第一识别区域图像和所述第二图像上的第二识别区域图像；
对所述第一识别区域图像和所述第二识别区域图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像；
确定所述焊接路径点在所述第一焊缝骨架图像上的第一坐标和在所述第二焊缝骨架图像上的第二坐标；
根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标。
进一步地，所述根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标，包括：
根据所述第一坐标和所述第二坐标，计算视差值；
根据所述视差值，确定视差坐标；
根据所述视差坐标和预设重投影矩阵，确定所述焊接路径点的三维坐标。
进一步地，所述对所述第一识别图像和所述第二识别图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像，包括：
按照预设二维模板，对所述第一识别图像和所述第二识别图像分别进行中值滤波；
按照预设截断阈值，对中值滤波后的所述第一识别图像和所述第二识别图像分别进行阈值分割，其中，所述第一识别图像和所述第二识别图像中像素灰度值大于所述预设截断阈值的像素点的灰度值设为所述预设截断阈值；
对阈值分割后的所述第一识别图像和所述第二识别图像分别进行自适应阈值处理，其中，自适应阈值为每一像素点周围预设区域内像素点灰度值的加权平均与一预设常数的差值，若所述像素点的灰度值大于或等于所述自适应阈值，则所述像素点的灰度值为0；若所述像素点的灰度值小于所述自适应阈值，则所述像素点的灰度值为255；
按照预设腐蚀规模，对自适应阈值处理后的所述第一识别图像和所述第二识别图像分别进行腐蚀处理；
对腐蚀处理后的所述第一识别图像和所述第二识别图像分别进行连通域标记，保留在竖直方向上长度最大的连通域；
对连通域分析处理后的所述第一识别图像和所述第二识别图像分别进行细化处理，确定所述第一焊缝骨架图像和所述第二焊缝骨架图像。
进一步地，所述根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作，包括：
根据预设坐标变换矩阵和所述焊接路径点的三维坐标，确定所述焊接路径点的在工具坐标系下的TCP坐标；
获取所述焊接机器人的位姿；
根据所述焊接路径点的TCP坐标和所述焊接机器人的位姿，确定所述焊接路径点在工件坐标系下的工件坐标；
根据所述工件坐标，确定所述机械臂的姿态旋转轴和旋转角度；
根据所述机械臂的姿态旋转轴和旋转角度，控制所述机械臂执行焊接操作。
进一步地，所述获取所述焊接机器人的位姿，包括：
获取识别所述焊接路径点的识别时间；
根据所述识别时间和所述焊接机器人姿态历史时间序列，确定所述识别时间下所述焊接机器人的位姿。
进一步地，所述方法还包括：
判断是否成功加载所述预设坐标变换矩阵；
若加载失败，则通过图像采集装置获取工具坐标系下的标记点的三维坐标；
根据所述标记点在工具坐标系下的TCP坐标和所述标记点的三维坐标，标定TCP坐标和三维坐标的映射关系，并将所述映射关系定义为所述预设坐标变换矩阵。
本发明实施例还提供一种焊接控制装置，包括：
第一获取模块，用于获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；
处理模块，用于根据重映射表对所述第一图像和所述第二图像分别进行立体校正，其中，所述重映射表为通过极线校正算法对多组图像进行立体校正确定，所述多组图像为图像采集设备在多种姿态下对设置在图像采集设备识别区域的棋盘格标定板采集的图像；
确定模块，用于在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标；
控制模块，用于根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作。
本发明实施例还提供一种上位机，包括上述的焊接控制装置。
本发明实施例还提供一种上位机，包括：处理器、存储器即存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的焊接控制方法的步骤。
本发明的有益效果是：
上述方案，通过设置在焊接机器人的机械臂上的两个图像采集设备分别实时采集焊接时焊接部位视频图像即所述第一图像和所述第二图像，并采用bouguet极线校正算法进行立体校正，再通过设定的识别间隔周期，在预先设定的识别间隔周期的识别时间到达时，读取当前帧的图像并根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，通过实时的分离多个图像处理线程，提高了图像识别速率，并且通过锁定局部识别区域降低了图像识别过程中的复杂度，本发明提供的焊接控制方法相较于传统的示教焊接提高了焊接过程的柔性，能够有效降低由于装夹和定位过程中导致的焊接偏差，提高了焊接的效率。
附图说明
图1表示本发明实施例的焊接控制方法的流程示意图之一；
图2表示本发明实施例的焊接控制方法的流程示意图之二；
图3表示本发明实施例的焊接控制方法的流程示意图之三；
图4表示本发明实施例的焊接控制方法的流程示意图之四；
图5表示本发明实施例的焊接控制装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明针对现有焊接机器人在焊接过程中缺少外部信息感知和实时调控能力的问题，提供一种焊接控制方法、装置及上位机。
如图1所示，本发明实施例提供一种焊接控制方法，应用于焊接机器人，所述焊接机器人的机械臂上设置有至少两个图像采集设备，所述方法包括：
步骤11，获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；优选地，为了保证采集设备的空间位置，且不影响焊接过程，所述第一图像采集设备和所述第二图像采集设备设置在焊接机器人机械臂的末端，同时为了保证采集的图像质量，在图像采集设备的相机上还固定有减光片。
需要说明的是，所述图像采集设备采用CCD相机实时采集焊接时焊接部位的视频图像。
步骤12，根据重映射表对所述第一图像和所述第二图像分别进行立体校正，其中，所述重映射表为通过极线校正算法对多组图像进行立体校正确定，所述多组图像为图像采集设备在多种姿态下对设置在图像采集设备识别区域的棋盘格标定板采集的图像。
需要说明的是，在双目视觉中，对相机进行标定和校正，使得两个相机的光轴完全平行，从而继续后续图像处理操作。本发明实施例通过重映射表对图像采集设备采集到的图像进行立体校正，其中，重映射表的获取是通过在图像采集设备的识别区域放置棋盘格标定板，然后在不同姿态下采集多组棋盘格图像，并通过极线校正算法对多组图像进行立体校正，从而得到所述重映射表以及重投影矩阵。其中，所述极线校正算法可以是bouguet极线校正算法。其中，如图2所示为对所述第一图像和所述第二图像进行双目立体校正的流程示意图图。
步骤13，在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标。
需要说明的是，通过设定的识别间隔周期，在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，实时的分离多个图像处理线程，提高了图像识别速率。优选地，所述间隔周期可以是200ms，在接收到图像处理命令后，开启一个图像处理线程，读取当前帧的图像并记录读取时间，间隔200ms分离一个图像处理线程，再读取当前帧的图像并记录读取时间，之后每隔200ms分离出一个图像处理线程，直至焊接操作结束。
步骤14，根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作。
本发明实施例通过设置在焊接机器人的机械臂上的两个图像采集设备分别采集焊接时焊接部位的实时视频图像即所述第一图像和所述第二图像，并采用bouguet极线校正算法进行立体校正，再通过设定的识别间隔周期，在预先设定的识别间隔周期的识别时间到达时，读取当前帧的图像并根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，通过实时的分离多个图像处理线程，提高了图像识别速率，并且通过锁定局部识别区域降低了图像识别过程中的复杂度，本发明提供的焊接控制方法相较于传统的示教焊接提高了焊接过程的柔性，能够有效降低由于装夹和定位过程中导致的焊接偏差，提高了焊接的效率。
具体地，所述步骤13中根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，包括：
步骤131，根据当前识别时间的识别区域，确定所述第一图像上的第一识别区域图像和所述第二图像上的第二识别区域图像；
步骤132，对所述第一识别区域图像和所述第二识别区域图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像；
步骤133，确定所述焊接路径点在所述第一焊缝骨架图像上的第一坐标和在所述第二焊缝骨架图像上的第二坐标，其中，所述焊接路径点为识别区域的中线与焊缝骨架的交点位置；
步骤134，根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标。
具体地，所述步骤134根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标，包括：
根据所述第一坐标和所述第二坐标，计算视差值；
根据所述视差值，确定视差坐标；
根据所述视差坐标和预设重投影矩阵，确定所述焊接路径点的三维坐标。
需要说明的是，所述焊接路径点在所述第一焊缝骨架图像上的第一坐标为Pl(x,y)和在所述第二焊缝骨架图像上的第二坐标为Pr(x,y)，视差值d＝Pl.x-Pr.x，第一图像采集设备的视差坐标为P(x,y,d,l)，通过预设重投影矩阵左乘所述视差坐标得到所述焊接路径点的三维坐标。其中，所述预设投影矩阵为步骤12中通过极线校正算法对多组图像进行立体校正，得到的重投影矩阵。进一步需要说明的是，通过焊接路径点在识别区域中的位置，计算下一识别周期的识别图像中的位置。
具体地，所述步骤132对所述第一识别图像和所述第二识别图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像，包括：
按照预设二维模板，对所述第一识别图像和所述第二识别图像分别进行中值滤波，可选地，所述二维模板为7*7；
按照预设截断阈值，对中值滤波后的所述第一识别图像和所述第二识别图像分别进行阈值分割，其中，所述第一识别图像和所述第二识别图像中像素灰度值大于所述预设截断阈值的像素点的灰度值设为所述预设截断阈值，可选地，所述截断阈值为150；
对阈值分割后的所述第一识别图像和所述第二识别图像分别进行自适应阈值处理，其中，自适应阈值为每一像素点周围预设区域内像素点灰度值的加权平均与一预设常数的差值，若所述像素点的灰度值大于或等于所述自适应阈值，则所述像素点的灰度值为0；若所述像素点的灰度值小于所述自适应阈值，则所述像素点的灰度值为255，优选地，所述预设区域为51*51；
按照预设腐蚀规模，对自适应阈值处理后的所述第一识别图像和所述第二识别图像分别进行腐蚀处理，优选地，所述腐蚀规模为6*6；
对腐蚀处理后的所述第一识别图像和所述第二识别图像分别进行连通域标记，保留在竖直方向上长度最大的连通域；
对连通域分析处理后的所述第一识别图像和所述第二识别图像分别进行细化处理，确定所述第一焊缝骨架图像和所述第二焊缝骨架图像，优选地，可以采用Zhang-Suen算法对图像进行细化。
具体地，所述步骤14根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作，包括：
步骤141，根据预设坐标变换矩阵和所述焊接路径点的三维坐标，确定所述焊接路径点的在工具坐标系下的TCP坐标；
步骤142，获取所述焊接机器人的位姿；
步骤143，根据所述焊接路径点的TCP坐标和所述焊接机器人的位姿，确定所述焊接路径点在工件坐标系下的工件坐标；
步骤144，根据所述工件坐标，确定所述机械臂的姿态旋转轴和旋转角度；
步骤145，根据所述机械臂的姿态旋转轴和旋转角度，控制所述机械臂执行焊接操作。
需要说明的是，工具坐标系为安装在焊接机器人机械臂末端的工具坐标系，原点及方向都是随着末端位置与角度不断变化的，该坐标系实际是将基础坐标系通过旋转及位移变化而来的。通过步骤13得到的焊接路径点的三维坐标和预设的坐标变换矩阵，可以得到焊接路径点的在工具坐标系下的TCP坐标。故在所述步骤14之前还包括加载所述坐标变换矩阵的步骤，若加载成功，则直接通过所述坐标变换矩阵得到焊接路径点的在工具坐标系下的TCP坐标，若加载失败则需要标定映射关系，确定坐标变换矩阵。因此，如图3所示为上述三维坐标转化为TCP坐标即手眼标定过程的流程示意图，所述方法还包括：
步骤31，判断是否成功加载所述预设坐标变换矩阵；
步骤32，若加载失败，则通过图像采集装置获取工具坐标系下的标记点的三维坐标；若加载成功，则执行步骤141；
步骤33，根据所述标记点在工具坐标系下的TCP坐标和所述标记点的三维坐标，标定TCP坐标和三维坐标的映射关系，并将所述映射关系定义为所述预设坐标变换矩阵，标定成功后，则执行步骤141。
进一步地需要说明的是，在确定所述焊接路径点的在工具坐标系下的TCP坐标后即完成了本次图像处理线程操作，在确定焊接路径点的TCP坐标后，焊接机器人的机械臂移动至焊接起点附近，起弧并开始送丝；通过焊接路径点的TCP坐标和焊接机器人的位姿计算焊接路径点在工件坐标系下的工件坐标，其中，工件坐标系定义在工件上，在机器人动作允许范围内的任意位置，设定任意角度的X、Y、Z轴，原点位于机器人焊接的工件上，之后通过TCP下的识别基线叉乘焊接路径点的坐标向量，获得姿态旋转轴和旋转角度。同时用计算出来的路径点刷新下一路径点，并控制所述机械臂执行焊接操作。当接收到焊接停止指令时，熄弧停止送丝。本发明实施例对于焊接姿态的控制，提出了通过最佳识别基线和当前识别点的关系来控制变位机与机械臂的姿态调整。这种方法相比传统的示教焊接提高了焊接过程的“柔性”，能够有效降低由于装夹和定位过程中导致的焊接偏差，提高了焊接的效率。
具体地，所述步骤142获取所述焊接机器人的位姿，包括：
获取识别所述焊接路径点的识别时间；
根据所述识别时间和所述焊接机器人姿态历史时间序列，确定所述识别时间下所述焊接机器人的位姿。
如图4所示，下面结合具体流程说明上述方案的具体实现过程：
步骤411，初始化参数运动到参考点；
步骤412，起弧；
步骤413，是否开始；若是，执行步骤414，否则熄弧；
步骤414，是否开始运动；若是，执行步骤415，否则执行步骤416；
步骤415，设置成焊接时的参数；
步骤416，设置成待焊接时的参数；
步骤417，根据步骤425设置移动速度并执行运动指令向目标点移动；并在焊接结束时返回步骤413；
同时在开始焊接时执行如下步骤：
步骤421，图像采集识别；
步骤422，写入识别到的坐标(TCP坐标系下的坐标)；
步骤423，触发监控事件；
步骤424，匹配得到绝对坐标(工件坐标系下的坐标)；
步骤425，修改下一目标点。
如图5所示，本发明实施例还提供一种焊接控制装置，包括：
第一获取模块51，用于获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；
处理模块52，用于根据重映射表对所述第一图像和所述第二图像分别进行立体校正，其中，所述重映射表为通过极线校正算法对多组图像进行立体校正确定，所述多组图像为图像采集设备在多种姿态下对设置在图像采集设备识别区域的棋盘格标定板采集的图像；
确定模块53，用于在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标；
控制模块54，用于根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作。
需要说明的是，本发明实施例通过设置在焊接机器人的机械臂上的两个图像采集设备分别采集焊接时焊接部位的实时视频图像即所述第一图像和所述第二图像，并采用bouguet极线校正算法进行立体校正，再通过设定的识别间隔周期，在预先设定的识别间隔周期的识别时间到达时，读取当前帧的图像并根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，通过实时的分离多个图像处理线程，提高了图像识别速率，并且通过锁定局部识别区域降低了图像识别过程中的复杂度，本发明提供的焊接控制方法相较于传统的示教焊接提高了焊接过程的柔性，能够有效降低由于装夹和定位过程中导致的焊接偏差，提高了焊接的效率。
具体地，所述确定模块53，包括：
第一确定单元，用于根据当前识别时间的识别区域，确定所述第一图像上的第一识别区域图像和所述第二图像上的第二识别区域图像；
第二确定单元，用于对所述第一识别区域图像和所述第二识别区域图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像；
第三确定单元，用于确定所述焊接路径点在所述第一焊缝骨架图像上的第一坐标和在所述第二焊缝骨架图像上的第二坐标；
第四确定单元，用于根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标。
具体地，所述第四确定单元，包括：
计算子单元，用于根据所述第一坐标和所述第二坐标，计算视差值；
第一确定子单元，用于根据所述视差值，确定视差坐标；
第二确定子单元，用于根据所述视差坐标和预设重投影矩阵，确定所述焊接路径点的三维坐标。
具体地，所述第二确定单元，包括：
第一处理子单元，用于按照预设二维模板，对所述第一识别图像和所述第二识别图像分别进行中值滤波；
第二处理子单元，用于按照预设截断阈值，对中值滤波后的所述第一识别图像和所述第二识别图像分别进行阈值分割，其中，所述第一识别图像和所述第二识别图像中像素灰度值大于所述预设截断阈值的像素点的灰度值设为所述预设截断阈值；
第三处理子单元，用于对阈值分割后的所述第一识别图像和所述第二识别图像分别进行自适应阈值处理，其中，自适应阈值为每一像素点周围预设区域内像素点灰度值的加权平均与一预设常数的差值，若所述像素点的灰度值大于或等于所述自适应阈值，则所述像素点的灰度值为0；若所述像素点的灰度值小于所述自适应阈值，则所述像素点的灰度值为255；
第四处理子单元，用于按照预设腐蚀规模，对自适应阈值处理后的所述第一识别图像和所述第二识别图像分别进行腐蚀处理；
第五处理子单元，用于对腐蚀处理后的所述第一识别图像和所述第二识别图像分别进行连通域标记，保留在竖直方向上长度最大的连通域；
第六处理子单元，用于对连通域分析处理后的所述第一识别图像和所述第二识别图像分别进行细化处理，确定所述第一焊缝骨架图像和所述第二焊缝骨架图像。
具体地，所述控制模块54，包括：
第五确定单元，用于根据预设坐标变换矩阵和所述焊接路径点的三维坐标，确定所述焊接路径点的在工具坐标系下的TCP坐标；
获取单元，用于获取所述焊接机器人的位姿；
第六确定单元，用于根据所述焊接路径点的TCP坐标和所述焊接机器人的位姿，确定所述焊接路径点在工件坐标系下的工件坐标；
第七确定单元，用于根据所述工件坐标，确定所述机械臂的姿态旋转轴和旋转角度；
控制单元，用于根据所述机械臂的姿态旋转轴和旋转角度，控制所述机械臂执行焊接操作。
具体地，所述获取单元，包括：
获取子单元，用于获取识别所述焊接路径点的识别时间；
第七确定子单元，用于根据所述识别时间和所述焊接机器人姿态历史时间序列，确定所述识别时间下所述焊接机器人的位姿。
具体地，所述装置还包括：
判断模块，用于判断是否成功加载所述预设坐标变换矩阵；
第二获取模块，用于若加载失败，则通过图像采集装置获取工具坐标系下的标记点的三维坐标；
标定模块，用于根据所述标记点在工具坐标系下的TCP坐标和所述标记点的三维坐标，标定TCP坐标和三维坐标的映射关系，并将所述映射关系定义为所述预设坐标变换矩阵。
本发明实施例还提供一种上位机，包括上述的焊接控制装置。
本发明实施例还提供一种上位机，包括：处理器、存储器即存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的焊接控制方法的步骤。其中，上述焊接控制方法的所述实现实施例均适用于该上位机的实施例中，也能达到同样的技术效果。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (10)

1.一种焊接控制方法，其特征在于，应用于焊接机器人，所述焊接机器人的机械臂上设置有至少两个图像采集设备，所述方法包括：
获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；
根据重映射表对所述第一图像和所述第二图像分别进行立体校正，其中，所述重映射表为通过极线校正算法对多组图像进行立体校正确定，所述多组图像为图像采集设备在多种姿态下对设置在图像采集设备识别区域的棋盘格标定板采集的图像；
在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标；
根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作。
2.根据权利要求1所述的焊接控制方法，其特征在于，所述根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标，包括：
根据当前识别时间的识别区域，确定所述第一图像上的第一识别区域图像和所述第二图像上的第二识别区域图像；
对所述第一识别区域图像和所述第二识别区域图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像；
确定所述焊接路径点在所述第一焊缝骨架图像上的第一坐标和在所述第二焊缝骨架图像上的第二坐标；
根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标。
3.根据权利要求2所述的焊接控制方法，其特征在于，所述根据所述第一坐标和所述第二坐标，确定所述焊接路径点的三维坐标，包括：
根据所述第一坐标和所述第二坐标，计算视差值；
根据所述视差值，确定视差坐标；
根据所述视差坐标和预设重投影矩阵，确定所述焊接路径点的三维坐标。
4.根据权利要求2所述的焊接控制方法，其特征在于，所述对所述第一识别图像和所述第二识别图像进行处理，确定第一焊缝骨架图像和第二焊缝骨架图像，包括：
按照预设二维模板，对所述第一识别图像和所述第二识别图像分别进行中值滤波；
按照预设截断阈值，对中值滤波后的所述第一识别图像和所述第二识别图像分别进行阈值分割，其中，所述第一识别图像和所述第二识别图像中像素灰度值大于所述预设截断阈值的像素点的灰度值设为所述预设截断阈值；
对阈值分割后的所述第一识别图像和所述第二识别图像分别进行自适应阈值处理，其中，自适应阈值为每一像素点周围预设区域内像素点灰度值的加权平均与一预设常数的差值，若所述像素点的灰度值大于或等于所述自适应阈值，则所述像素点的灰度值为0；若所述像素点的灰度值小于所述自适应阈值，则所述像素点的灰度值为255；
按照预设腐蚀规模，对自适应阈值处理后的所述第一识别图像和所述第二识别图像分别进行腐蚀处理；
对腐蚀处理后的所述第一识别图像和所述第二识别图像分别进行连通域标记，保留在竖直方向上长度最大的连通域；
对连通域分析处理后的所述第一识别图像和所述第二识别图像分别进行细化处理，确定所述第一焊缝骨架图像和所述第二焊缝骨架图像。
5.根据权利要求1所述的焊接控制方法，其特征在于，所述根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作，包括：
根据预设坐标变换矩阵和所述焊接路径点的三维坐标，确定所述焊接路径点的在工具坐标系下的TCP坐标；
获取所述焊接机器人的位姿；
根据所述焊接路径点的TCP坐标和所述焊接机器人的位姿，确定所述焊接路径点在工件坐标系下的工件坐标；
根据所述工件坐标，确定所述机械臂的姿态旋转轴和旋转角度；
根据所述机械臂的姿态旋转轴和旋转角度，控制所述机械臂执行焊接操作。
6.根据权利要求5所述的焊接控制方法，其特征在于，所述获取所述焊接机器人的位姿，包括：
获取识别所述焊接路径点的识别时间；
根据所述识别时间和所述焊接机器人姿态历史时间序列，确定所述识别时间下所述焊接机器人的位姿。
7.根据权利要求5所述的焊接控制方法，其特征在于，所述方法还包括：
判断是否成功加载所述预设坐标变换矩阵；
若加载失败，则通过图像采集装置获取工具坐标系下的标记点的三维坐标；
根据所述标记点在工具坐标系下的TCP坐标和所述标记点的三维坐标，标定TCP坐标和三维坐标的映射关系，并将所述映射关系定义为所述预设坐标变换矩阵。
8.一种焊接控制装置，其特征在于，包括：
第一获取模块，用于获取第一图像采集设备实时采集的第一图像和第二图像采集设备实时采集的第二图像；
处理模块，用于根据重映射表对所述第一图像和所述第二图像分别进行立体校正，其中，所述重映射表为通过极线校正算法对多组图像进行立体校正确定，所述多组图像为图像采集设备在多种姿态下对设置在图像采集设备识别区域的棋盘格标定板采集的图像；
确定模块，用于在预先设定的识别间隔周期的识别时间到达时，根据所述第一图像和第二图像，确定当前识别时间的识别区域内焊接路径点的三维坐标；
控制模块，用于根据所述焊接路径点的三维坐标，控制机械臂执行焊接操作。
9.一种上位机，其特征在于，包括如权利要求8所述的焊接控制装置。
10.一种上位机，其特征在于，包括：处理器、存储器即存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求中1至7任一项所述的焊接控制方法的步骤。
CN202011361840.2A 2020-11-27 2020-11-27 一种焊接控制方法、装置及上位机 Pending CN114559131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011361840.2A CN114559131A (zh) 2020-11-27 2020-11-27 一种焊接控制方法、装置及上位机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011361840.2A CN114559131A (zh) 2020-11-27 2020-11-27 一种焊接控制方法、装置及上位机

Publications (1)

Publication Number Publication Date
CN114559131A true CN114559131A (zh) 2022-05-31

Family

ID=81711142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011361840.2A Pending CN114559131A (zh) 2020-11-27 2020-11-27 一种焊接控制方法、装置及上位机

Country Status (1)

Country Link
CN (1) CN114559131A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116690019A (zh) * 2023-07-27 2023-09-05 重庆市敏城电子有限公司 网络滤波器的焊接控制方法、装置和电子设备
CN118492763A (zh) * 2024-06-04 2024-08-16 山西恒达钢结构工程有限公司 一种焊接设备的智能控制方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278138A (zh) * 2013-05-03 2013-09-04 中国科学院自动化研究所 一种复杂结构薄部件三维位置及姿态的测量方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN106183995A (zh) * 2016-07-26 2016-12-07 武汉大学 一种基于立体视觉的可视倒车方法
JP2017205789A (ja) * 2016-05-18 2017-11-24 株式会社東芝 溶接装置及び溶接方法
CN108127238A (zh) * 2017-12-29 2018-06-08 南京理工大学 非平整面自主识别机器人增材成形的方法
CN109685792A (zh) * 2018-12-25 2019-04-26 于兴虎 一种基于图像差分空间频率特性的瓦楞纸智能识别算法
CN110009690A (zh) * 2019-03-23 2019-07-12 西安电子科技大学 基于极线校正的双目立体视觉图像测量方法
CN110047111A (zh) * 2019-04-18 2019-07-23 中国民航大学 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN110782394A (zh) * 2019-10-21 2020-02-11 中国人民解放军63861部队 全景视频快速拼接方法及系统
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278138A (zh) * 2013-05-03 2013-09-04 中国科学院自动化研究所 一种复杂结构薄部件三维位置及姿态的测量方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
JP2017205789A (ja) * 2016-05-18 2017-11-24 株式会社東芝 溶接装置及び溶接方法
CN106183995A (zh) * 2016-07-26 2016-12-07 武汉大学 一种基于立体视觉的可视倒车方法
CN108127238A (zh) * 2017-12-29 2018-06-08 南京理工大学 非平整面自主识别机器人增材成形的方法
CN109685792A (zh) * 2018-12-25 2019-04-26 于兴虎 一种基于图像差分空间频率特性的瓦楞纸智能识别算法
CN110009690A (zh) * 2019-03-23 2019-07-12 西安电子科技大学 基于极线校正的双目立体视觉图像测量方法
CN110047111A (zh) * 2019-04-18 2019-07-23 中国民航大学 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN110782394A (zh) * 2019-10-21 2020-02-11 中国人民解放军63861部队 全景视频快速拼接方法及系统
CN111260788A (zh) * 2020-01-14 2020-06-09 华南理工大学 一种基于双目视觉的配电柜开关状态识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李岩，沈旭昆: "一种手部实时跟踪与定位的虚实碰撞检测方法", 计算机辅助设计与图形学学报, vol. 23, no. 4, pages 713 - 718 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116690019A (zh) * 2023-07-27 2023-09-05 重庆市敏城电子有限公司 网络滤波器的焊接控制方法、装置和电子设备
CN118492763A (zh) * 2024-06-04 2024-08-16 山西恒达钢结构工程有限公司 一种焊接设备的智能控制方法、装置及设备

Similar Documents

Publication Publication Date Title
CN107263468B (zh) 一种利用数字图像处理技术的scara机器人装配方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
US11466974B2 (en) Image capturing apparatus and machine tool
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
US11040451B2 (en) Teaching device and teaching method
US11213954B2 (en) Workpiece identification method
CN114559131A (zh) 一种焊接控制方法、装置及上位机
CN113333998A (zh) 一种基于协作机器人的自动化焊接系统及方法
CN111975200A (zh) 一种基于视觉示教技术的智能焊接方法及智能焊接系统
CN112775959A (zh) 机械手的抓取位姿确定方法及系统、存储介质
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
CN112775975A (zh) 一种视觉引导的多工位机器人焊接纠偏装置及方法
CN111645111A (zh) 一种基于工业机器人的智能制造系统及方法
CN113369761A (zh) 一种基于视觉引导机器人焊缝定位的方法及系统
CN117086519B (zh) 基于工业互联网的联网设备数据分析及评估系统、方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN114463244A (zh) 一种视觉机器人抓取系统及其控制方法
CN111993422A (zh) 基于无标定视觉的机器人轴孔对准控制方法
CN112164112A (zh) 一种获取机械臂位姿信息的方法及装置
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN116000942B (zh) 一种基于多轴协作机器人的半导体制造系统
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN110732814A (zh) 一种基于视觉技术的智能焊接机器人
CN113763400A (zh) 一种机器人视觉导引方法、装置、设备及存储介质
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination