CN113664403B - 一种自适应汽车车架焊接方法及系统 - Google Patents

一种自适应汽车车架焊接方法及系统 Download PDF

Info

Publication number
CN113664403B
CN113664403B CN202110948013.1A CN202110948013A CN113664403B CN 113664403 B CN113664403 B CN 113664403B CN 202110948013 A CN202110948013 A CN 202110948013A CN 113664403 B CN113664403 B CN 113664403B
Authority
CN
China
Prior art keywords
data
action
welding
scoring
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110948013.1A
Other languages
English (en)
Other versions
CN113664403A (zh
Inventor
张春雷
刘鑫
杨大宇
李华伟
谷年令
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202110948013.1A priority Critical patent/CN113664403B/zh
Publication of CN113664403A publication Critical patent/CN113664403A/zh
Application granted granted Critical
Publication of CN113664403B publication Critical patent/CN113664403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K2101/00—Articles made by soldering, welding or cutting
    • B23K2101/006—Vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Resistance Welding (AREA)

Abstract

本发明公开了一种自适应汽车车架焊接方法及系统，所述焊接方法采集工件的状态信息以及焊接臂末端状态信息，基于采用深度确定性策略梯度算法之强化学习的模型训练方法和推理方法，循环更新获得工件目标状态及目标动作信息，进而控制工件的焊接状态。所述焊接系统包括：主控制系统、电机组、加持装置、摄像机组、工件、超声波探伤仪以及焊接机械臂。本发明通过对焊接过程中的环境数据进行采集，并经特殊分析处理后，控制待焊接工件以及焊接机械臂动作，实现对焊接过程中的汽车车架产生的变形进行及时校正，确保焊接质量的一致性。

Description

一种自适应汽车车架焊接方法及系统
技术领域
本发明属于自适应控制技术领域，适用于汽车零部件焊接，具体涉及一种自适应汽车车架焊接方法及系统。
背景技术
随着工业化、自动化的发展，在机械零部件生产加工领域，已越来越多地采用机械手等高自动化设备取代传统手动加工或半自动化加工，实现在生产加工效率方面产生得到较大提升，且在一定程度上提高了生产加工质量，并降低人力成本。
汽车产品加工领域作为重要的工业领域，其工业化及自动化生产水平将代表着一个地区整体的工业化及自动化水平，其中，随着工业化、自动化的发展，在汽车零部件的焊接加工领域，也越来越多地开始出现机器人操作汽车焊枪进行焊接加工。
但是，在现有的机器人操作汽车焊枪进行焊接的过程中，仅通过机器人单方向控制焊枪对工件进行焊接加工，对已完成的焊接件并没有实时的质量监控，而在工件焊接过程中，随着生产加工时间的延长，及外界环境的影响，如震动、轻微碰撞以及工件自身固有差异等，均会对待焊接工件和焊枪的位置及姿态等造成影响，加之没有对焊接件的焊接质量进行实时监控，机械臂将无法根据每一轮焊接工序待焊接工件之间细微差异进行自适应调整后再进行焊接，故而会出现采用相同的参数焊接的相同工件之间，焊接质量却存在高低之分，继而无法保证工件焊接的一致性。
此外，由于汽车车架的整体空间尺寸较大，在焊接过程中，易出现位置偏差，而由于缺少及时的矫正，将造成在焊接过程中出现变形等工艺缺陷，严重时将影响整车的装配及性能要求。
发明内容
针对上述现有技术中存在的缺陷，本发明公开了一种自适应汽车车架焊接方法及系统，通过对焊接过程中的环境数据进行采集，并经特殊分析处理后，控制待焊接工件以及焊接机械臂动作，实现对焊接过程中的汽车车架产生的变形进行及时校正，确保焊接质量的一致性。
结合说明书附图，本发明的技术方案如下：
一种自适应汽车车架焊接方法，所述焊接方法采集工件的状态信息以及焊接臂末端状态信息，基于采用深度确定性策略梯度算法之强化学习的模型训练方法和推理方法，循环更新获得工件目标状态及目标动作信息，进而控制工件的焊接状态。
进一步地，所述焊接方法还基于所述循环更新获得工件目标状态及目标动作信息，控制焊接臂末端的动作及状态。
进一步地，所述深度确定性策略梯度算法的过程具体如下：
A1：采集获取当前环境状态数据s，并输入到动作预测网络进行第一次特征预处理，得到动作数据a，并经评分计算和环境分析得到评分数据r和下一步的环境状态数据s_；
A2：存储当前环境状态数据s、动作数据a、评分数据r和下一步的环境状态数据s_；
A3：判定当前环境状态数据s、动作数据a、评分数据r和下一步的环境状态数据s_是否满足训练条件，如是则执行下一步，否则返回执行步骤A1；
A4：将当前环境状态数据s、动作数据a、评分数据r以及下一步环境状态数据s_进行第二次特征预处理；
A5：将经第二次特征预处理得到的动作a与当前环境状态s输入到评分预测网络，计算得到评分预测网络输出的第一期望值q值；
A6：最大化第一期望值q值后反向输入更新动作预测网络，并更新优化动作预测网络的参数；
A7：更新后的动作预测网络的参数，经过动作预测网络参数修整，得到动作目标网络的参数；
A8：将经第二次特征预处理后的下一步环境状态数据s_输入到动作目标网络，得到下一步动作数据a_；
A9：将下一步动作数据a_和经第二次特征预处理后的下一步环境状态数据s_，输入到评分目标网络，得到第二期望值q_值；
A10：根据第一期望值q值、第二期望值q_值和经第二次特征预处理后的评分数据r，最小化第二期望值q_值方差后反向输入更新评分预测网络，并更新优化评分预测网络的参数；
A11：更新后评分预测网络的参数，经过评分预测网络参数修整，得到评分目标网络的参数；
A12：依次循环不断更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数，直至结束。
进一步地，所述环境状态数据s包括：工件的位置和姿态数据以及焊接臂末端的位置和姿态数据；
所述动作数据a包括：控制工件运动的机械元件动作数据和控制焊接臂末端运动的机械元件动作数据；
所述评分数据r根据工件的变形和工件的焊接质量得到。
进一步地，得到动作目标网络的参数与评分目标网络的参数的过程相同，其中：
所述经过动作预测网络参数修整，得到动作目标网络的参数的过程具体如下：
首先，采集多次动作预测网络的所有参数值和第一期望值q值；
然后，求第一期望值q值的平均值q_mean；
接着，选取距离第一期望值q值的平均值q_mean最近的两组第一期望值q值对应的参数args；
最后，求两组对应的参数args的均值作为对应的动作目标网络的参数值。
进一步地，所述动作目标网络与动作预测网络的结构层次相同；
所述评分目标网络与评分预测网络的结构层次相同。
进一步地，基于所述深度确定性策略梯度算法之强化学习的模型训练方法具体如下：
B1：获取初始化环境状态数据s，所述环境状态数据s包括：焊接类型编码、工件位置和姿态和焊接机械臂末端位置和姿态；
B2：对初始化环境状态数据s进行第一次特征处理，将处理后的环境状态数据s输入到动作预测动作网络得到动作数据a；
B3：动作数据a经评分计算和环境分析得到评分数据r，并更新环境状态得到新的下一环境状态数据s_和状态标识，将生成得到的动作数据a、评分数据r和下一环境状态数据s_暂存；
B4：如暂存的数据达到训练条件，则进行步骤B5，否则进行步骤B6；
B5：满足训练条件后，则对初始化环境状态数据s、动作数据a、评分数据r和下一环境状态数据s_进行第二次特征处理，然后进行模型训练，开始更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数；
B6：判定是否达到训练步数或满足状态Done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回步骤B2。
进一步地，C1：获取初始化环境状态数据s，所述环境状态数据s包括：焊接类型编码、工件位置和姿态和焊接机械臂末端位置和姿态；
C2：对初始化环境状态数据s进行第一次特征处理，将处理后的环境状态数据s输入到动作预测动作网络得到动作数据a；
C3：将动作数据a进行显示，并进行评分计算交互，得到评分数据r，更新环境状态数据得到新的下一环境状态数据s_和状态标识；
C4：判定是否达到训练步数或满足状态Done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回C2。
一种自适应汽车车架焊接系统，所述焊接系统用于实现如前所述的焊接方法；
所述焊接系统包括：主控制系统1、电机组、加持装置、摄像机组4、工件、超声波探伤仪8以及焊接机械臂10；
电机组、加持装置和工件成组设置，工件安装在加持装置上，电机组控制加持装置动作，进而控制工件的位置及姿态；
摄像机组4，用于采集工件的位置及姿态以及焊接机械臂10的位置和姿态；
超声波探伤仪8，用于采集工件的焊接质量；
主控制系统1的信号输入端分别与摄像机组4和超声波探伤仪8信号连接，主控制系统1的信号输出端分别与电机组和焊接机械臂10信号连接；
所述主控制系统1，用于接收摄像机组4和超声波探伤仪8采集到的信号数据，并采用如前所述焊接方法中的深度确定性策略梯度算法之强化学习的模型训练方法和推理方法处理后，获循环更新获得目标状态及目标动作信息，并发送至电机组和焊接机械臂10，最终实现控制工件和焊接机械臂10末端位置及姿态。
进一步地，所述摄像机组4由若干个正对着工件和焊接机械臂10末端的可见光摄像机组成。
与现有技术相比，本发明的有益效果在于：
1、本发明所述自适应汽车车架焊接方法，通过实时检测采集待焊接的工件A、工件B和焊接机械臂末端的位置和姿态，并进行反馈，以为后续校正提供实时可靠依据。
2、本发明所述自适应汽车车架焊接方法，能够对工件A、工件B和焊接机械臂末端的位置和姿态进行及时校正，防止汽车车架在焊接过程中变形。
3、本发明所述自适应汽车车架焊接方法，能够在焊接过程中对工件的焊接质量进行实时监测，进一步实现对焊接姿态的精准校正。
4、本发明所述自适应汽车车架焊接方法，可以根据工件A和工件B的轻微变化以及评分自动调整焊接机械臂末端的位置和姿态，以保证焊接的一致性。
5、本发明所述自适应汽车车架焊接系统，通过设置多组摄像机，以实现工件A、工件B和焊接机械臂末端的位置和姿态的精准采集。
6、本发明所述自适应汽车车架焊接系统，通过设置超声波探伤仪，以实现对工件的焊接质量进行实时精准监测。
附图说明
图1为本发明所述自适应汽车车架焊接系统的结构框图；
图2为本发明所述自适应汽车车架焊接方法中，强化学习方法流程框图；
图3为本发明所述自适应汽车车架焊接方法中，模型训练方法流程框图；
图4为本发明所述自适应汽车车架焊接方法中，推理方法流程框图。
图中：
1-主控制系统， 2-第一电机组， 3-第一夹持装置，
4-摄像机组， 5-工件A， 6-工件B，
7-第二夹持装置， 8-超声波探伤仪， 9-第二电机组
10-焊接机械臂。
具体实施方式
为清楚、完整地描述本发明所述技术方案及其具体工作过程，结合说明书附图，本发明的具体实施方式如下：
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
实施例一：
本实施例一公开了一种自适应汽车车架焊接方法，所述焊接方法采集工件的状态信息、实施焊接动作的焊接臂末端状态信息以及焊接质量信息，基于采用改进的深度确定性策略梯度算法的强化学习的模型训练方法和推理方法，循环更新获得目标状态及目标动作信息，进而控制工件及焊枪的焊接状态；其中：
如图2所示，所述改进的深度确定性策略梯度算法的具体过程如下：
A1：通过图像实时采集的方式采集获取当前环境状态数据s，将当前环境状态数据s输入到包含有：动作预测网络和评分预测网络的神经网络中，进行第一次特征预处理，根据动作预测网络得到动作数据a，再通过动作数据a，经评分计算和环境分析得到评分数据r和下一步的环境状态数据s_；
所述环境状态数据s包括：工件的位置和姿态数据以及焊接臂末端的位置和姿态数据；
所述动作数据a包括：控制工件运动的机械元件动作数据和控制焊接臂末端运动的机械元件动作数据；
所述评分数据r根据工件的变形和工件的焊接质量得到，其中，工件的变形量通过图像视觉采集的方式获得，焊接质量通过超声波探伤的方式获得；
A2：将当前环境状态数据s、动作数据a、评分数据r和下一步的环境状态数据s_进行存储；
A3：判定当前环境状态数据s、动作数据a、评分数据r和下一步的环境状态数据s_是否满足训练条件，如是则执行下一步，否则返回执行步骤A1；
A4：将当前环境状态数据s、动作数据a、评分数据r以及下一步环境状态数据s_进行第二次特征预处理；
A5：将步骤A4中经第二次特征预处理，并经动作预测网络得到的动作a，与当前环境状态s输入到评分预测网络，计算得到评分预测网络输出的第一期望值q值；
A6：最大化第一期望值q值，并将最大化第一期望值q值反向输入更新动作预测网络，并更新优化动作预测网络的参数；
A7：更新后的动作预测网络的参数，经过动作预测网络参数修整，得到动作目标网络的参数；
所述经过动作预测网络参数修整，得到动作目标网络的参数的过程具体如下：
首先，采集近20次动作预测网络的所有参数值和第一期望值q值；
然后，求第一期望值q值的平均值q_mean；
接着，选取距离第一期望值q值的平均值q_mean最近的两组第一期望值q值对应的参数args；
最后，求两组对应的参数args的均值作为对应的动作目标网络的参数值；
本步骤A7中，所述动作目标网络与动作预测网络的结构层次相同；
A8：将步骤A4中经第二次特征预处理后的下一步环境状态数据s_,输入到步骤A7中获得的动作目标网络，得到下一步动作数据a_；
A9：将步骤A8得到的下一步动作数据a_和步骤A4中经第二次特征预处理后的下一步环境状态数据s_，输入到评分目标网络，得到第二期望值q_值；
A10：根据第一期望值q值、第二期望值q_值和步骤A4中经第二次特征预处理后的评分数据r，最小化第二期望值q_值方差，并将最小化第二期望值q_值方差反向输入更新评分预测网络，并更新优化评分预测网络的参数；
A11：更新后评分预测网络的参数，经过评分预测网络参数修整，得到评分目标网络的参数；
所述经过评分预测网络参数修整，得到评分目标网络的参数的过程具体如下：
首先，采集近20次评分预测网络的所有参数值和第二期望值q_值方差；
然后，求第二期望值q_值方差的平均值；
接着，选取距离第二期望值q_值方差的平均值最近的两组第二期望值q_值方差对应的参数args；
最后，求两组对应的参数args的均值作为对应的动作目标网络的参数值；
本步骤A11中，所述评分目标网络与评分预测网络的结构层次相同；
A12：依次循环不断更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数，直至结束。
如图3所示，基于采用上述改进的深度确定性策略梯度算法的强化学习的模型训练方法具体如下：
B1：模型开始训练，采集获取初始化环境状态数据s，所述环境状态数据s包括：焊接类型编码、工件位置和姿态和焊接机械臂末端位置和姿态；
B2：对初始化环境状态数据s进行第一次特征处理，将处理后的环境状态数据s输入到动作预测动作网络得到动作数据a；
B3：动作数据a经评分计算和环境分析得到评分数据r，并更新环境状态得到新的下一环境状态数据s_和状态标识，将生成得到的动作数据a、评分数据r和下一环境状态数据s_暂存；
B4：如暂存的数据达到训练条件，则进行步骤B5，否则进行步骤B6；
B5：满足训练条件后，则对初始化环境状态数据s、动作数据a、评分数据r和下一环境状态数据s_进行第二次特征处理，然后进行模型训练，开始更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数；
B6：判定是否达到训练步数或满足状态Done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回步骤B2。
如图4所示，基于采用上述改进的深度确定性策略梯度算法的强化学习的推理方法具体如下：
C1：采集获取初始化环境状态数据s，所述环境状态数据s包括：焊接类型编码、工件位置和姿态和焊接机械臂末端位置和姿态；
C2：对初始化环境状态数据s进行第一次特征处理，将处理后的环境状态数据s输入到动作预测动作网络得到动作数据a；
C3：将动作数据a进行显示，并进行评分计算交互，得到评分数据r，更新环境状态数据得到新的下一环境状态数据s_和状态标识；
C4：判定是否达到训练步数或满足状态Done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回C2。
实施例二：
本实施例二公开了一种自适应汽车车架焊接系统，如图1所示，所述焊接系统包括：主控制系统1、第一电机组2、第一加持装置3、摄像机组4、工件A5、工件B6、第二夹持装置7、超声波探伤仪8、第二电机组9以及焊接机械臂10；其中：
所述第一电机组2与第一加持装置3机械驱动连接，工件A5安装在第一加持装置3上，通过控制第一电机组2工作，驱动第一加持装置3动作，进而控制工件A5的位置及姿态；
所述第二电机组9与第二夹持装置7机械驱动连接，工件B6安装在第二夹持装置7上，通过控制第二电机组9工作，驱动第二夹持装置7动作，进而控制工件B6的位置及姿态；
所述摄像机组4由若干正对着工件A5、工件B6以及焊接机械臂10末端的可见光摄像机组成，用于采集工件A5、工件B6以及焊接机械臂10末端的位置及姿态，所述摄像机组4与主控制系统1信号连接，用于将采集到的工件A5的位置及姿态数据、工件B6的位置及姿态数据以及焊接机械臂10末端的位置及姿态数据，以及工件A5和工件B6在焊接过程中的形变量数据发送至主控制系统1中做进一步处理；
所述超声波探伤仪8的超声波信号发射端与反射信号采集端正对着工件A5与工件B6之间的焊接位置，用于采集A5与工件B6之间焊接位置反射的超声波信号，进而判断工件A5与工件B6的焊接质量，所述超声波探伤仪8与主控制系统1信号连接，用于将探得的A5与工件B6的焊接质量数据发送至主控制系统1中做进一步处理；
所述主控制系统1还分别与第一电机组2、第二电机组9和焊接机械臂10的控制端信号连接，主控制系统1通过分析计算获得相应的控制信号并分别发送给第一电机组2、第二电机组9和焊接机械臂10，进而通过第一加持装置3控制调整工件A5的位置及姿态数据；通过第二加持装置7控制调整工件B6的位置及姿态数据；并通过焊接机械臂10控制焊接机械臂10末端安装的焊枪头的位置及姿态；
所述主控制系统1，用于接收摄像机组4和超声波探伤仪8采集到的信号数据，并采用如前述实施例一所述改进的深度确定性策略梯度算法的强化学习的模型训练方法和推理方法处理后，获循环更新获得目标状态及目标动作信息，并发送至第一电机组2、第二电机组9和焊接机械臂10，最终实现控制工件A5、工件B6以及焊接机械臂10末端位置及姿态。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种自适应汽车车架焊接方法，其特征在于：
所述焊接方法采集工件的状态信息以及焊接臂末端状态信息，基于采用深度确定性策略梯度算法之强化学习的模型训练方法和推理方法，循环更新获得工件目标状态及目标动作信息，进而控制工件的焊接状态；
所述焊接方法还基于所述循环更新获得工件目标状态及目标动作信息，控制焊接臂末端的动作及状态；
所述深度确定性策略梯度算法的过程具体如下：
A1：采集获取当前环境状态数据s，并输入到动作预测网络进行第一次特征预处理，得到动作数据a，并经评分计算和环境分析得到评分数据r和下一步的环境状态数据s_；
A2：存储当前环境状态数据s、动作数据a、评分数据r和下一步的环境状态数据s_；
A3：判定当前环境状态数据s、动作数据a、评分数据r和下一步的环境状态数据s_是否满足训练条件，如是则执行下一步，否则返回执行步骤A1；
A4：将当前环境状态数据s、动作数据a、评分数据r以及下一步环境状态数据s_进行第二次特征预处理；
A5：将经第二次特征预处理得到的动作a与当前环境状态s输入到评分预测网络，计算得到评分预测网络输出的第一期望值q值；
A6：最大化第一期望值q值后反向输入更新动作预测网络，并更新优化动作预测网络的参数；
A7：更新后的动作预测网络的参数，经过动作预测网络参数修整，得到动作目标网络的参数；
A8：将经第二次特征预处理后的下一步环境状态数据s_输入到动作目标网络，得到下一步动作数据a_；
A9：将下一步动作数据a_和经第二次特征预处理后的下一步环境状态数据s_，输入到评分目标网络，得到第二期望值q_值；
A10：根据第一期望值q值、第二期望值q_值和经第二次特征预处理后的评分数据r，最小化第二期望值q_值方差后反向输入更新评分预测网络，并更新优化评分预测网络的参数；
A11：更新后评分预测网络的参数，经过评分预测网络参数修整，得到评分目标网络的参数；
A12：依次循环不断更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数，直至结束。
2.如权利要求1所述一种自适应汽车车架焊接方法，其特征在于：
所述环境状态数据s包括：工件的位置和姿态数据以及焊接臂末端的位置和姿态数据；
所述动作数据a包括：控制工件运动的机械元件动作数据和控制焊接臂末端运动的机械元件动作数据；
所述评分数据r根据工件的变形和工件的焊接质量得到。
3.如权利要求1所述一种自适应汽车车架焊接方法，其特征在于：
得到动作目标网络的参数与评分目标网络的参数的过程相同，其中：
所述经过动作预测网络参数修整，得到动作目标网络的参数的过程具体如下：
首先，采集多次动作预测网络的所有参数值和第一期望值q值；
然后，求第一期望值q值的平均值q_mean；
接着，选取距离第一期望值q值的平均值q_mean最近的两组第一期望值q值对应的参数args；
最后，求两组对应的参数args的均值作为对应的动作目标网络的参数值。
4.如权利要求1所述一种自适应汽车车架焊接方法，其特征在于：
所述动作目标网络与动作预测网络的结构层次相同；
所述评分目标网络与评分预测网络的结构层次相同。
5.如权利要求1所述一种自适应汽车车架焊接方法，其特征在于：
基于所述深度确定性策略梯度算法之强化学习的模型训练方法具体如下：
B1：获取初始化环境状态数据s，所述环境状态数据s包括：焊接类型编码、工件位置和姿态和焊接机械臂末端位置和姿态；
B2：对初始化环境状态数据s进行第一次特征处理，将处理后的环境状态数据s输入到动作预测动作网络得到动作数据a；
B3：动作数据a经评分计算和环境分析得到评分数据r，并更新环境状态得到新的下一环境状态数据s_和状态标识，将生成得到的动作数据a、评分数据r和下一环境状态数据s_暂存；
B4：如暂存的数据达到训练条件，则进行步骤B5，否则进行步骤B6；
B5：满足训练条件后，则对初始化环境状态数据s、动作数据a、评分数据r和下一环境状态数据s_进行第二次特征处理，然后进行模型训练，开始更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数；
B6：判定是否达到训练步数或满足状态Done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回步骤B2。
6.如权利要求1所述一种自适应汽车车架焊接方法，其特征在于：
C1：获取初始化环境状态数据s，所述环境状态数据s包括：焊接类型编码、工件位置和姿态和焊接机械臂末端位置和姿态；
C2：对初始化环境状态数据s进行第一次特征处理，将处理后的环境状态数据s输入到动作预测动作网络得到动作数据a；
C3：将动作数据a进行显示，并进行评分计算交互，得到评分数据r，更新环境状态数据得到新的下一环境状态数据s_和状态标识；
C4：判定是否达到训练步数或满足状态Done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回C2。
7.一种自适应汽车车架焊接系统，其特征在于：
所述焊接系统用于实现如权利要求1-6中任意一项所述焊接方法；
所述焊接系统包括：主控制系统1、电机组、加持装置、摄像机组4、工件、超声波探伤仪8以及焊接机械臂10；
电机组、加持装置和工件成组设置，工件安装在加持装置上，电机组控制加持装置动作，进而控制工件的位置及姿态；
摄像机组4，用于采集工件的位置及姿态以及焊接机械臂10的位置和姿态；
超声波探伤仪8，用于采集工件的焊接质量；
主控制系统1的信号输入端分别与摄像机组4和超声波探伤仪8信号连接，主控制系统1的信号输出端分别与电机组和焊接机械臂10信号连接；
所述主控制系统1，用于接收摄像机组4和超声波探伤仪8采集到的信号数据，并采用权利要求1-6中任一项所述焊接方法中的深度确定性策略梯度算法之强化学习的模型训练方法和推理方法处理后，获循环更新获得目标状态及目标动作信息，并发送至电机组和焊接机械臂10，最终实现控制工件和焊接机械臂10末端位置及姿态。
8.如权利要求7所述一种自适应汽车车架焊接系统，其特征在于：
所述摄像机组4由若干个正对着工件和焊接机械臂10末端的可见光摄像机组成。
CN202110948013.1A 2021-08-18 2021-08-18 一种自适应汽车车架焊接方法及系统 Active CN113664403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110948013.1A CN113664403B (zh) 2021-08-18 2021-08-18 一种自适应汽车车架焊接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110948013.1A CN113664403B (zh) 2021-08-18 2021-08-18 一种自适应汽车车架焊接方法及系统

Publications (2)

Publication Number Publication Date
CN113664403A CN113664403A (zh) 2021-11-19
CN113664403B true CN113664403B (zh) 2023-02-10

Family

ID=78543627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110948013.1A Active CN113664403B (zh) 2021-08-18 2021-08-18 一种自适应汽车车架焊接方法及系统

Country Status (1)

Country Link
CN (1) CN113664403B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114888500A (zh) * 2022-03-09 2022-08-12 柳州铁道职业技术学院 一种铁路定型组合柜配线自动焊接机器人

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064011A (ko) * 2002-01-25 2003-07-31 주식회사 세원정공 자동차용 카울크로스바의 교정용접 위치 결정방법
KR101427972B1 (ko) * 2013-07-09 2014-08-08 현대자동차 주식회사 자동차 용접 품질 검사 장치 및 그 방법
CN104384765B (zh) * 2014-10-14 2016-04-27 江苏湃锐自动化科技有限公司 基于三维模型与机器视觉的自动焊接方法
CN107335899B (zh) * 2017-08-30 2019-06-04 江苏米孚自动化科技有限公司 一种焊接机器人的焊接路径控制方法
CN108311835A (zh) * 2018-04-03 2018-07-24 深圳了然视觉科技有限公司 一种基于视觉测量的动态焊接机械臂系统
CN108637435B (zh) * 2018-05-16 2020-07-28 华南理工大学 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN110315258B (zh) * 2019-07-24 2021-03-16 广东工业大学 一种基于强化学习和蚁群算法的焊接方法
CN111618847B (zh) * 2020-04-22 2022-06-21 南通大学 基于深度强化学习与动态运动基元的机械臂自主抓取方法
CN212256371U (zh) * 2020-09-10 2020-12-29 广州市元晟自动化科技有限公司 一种焊接追踪装置和焊接设备
CN112651080A (zh) * 2020-12-18 2021-04-13 重庆忽米网络科技有限公司 基于工业ai技术的焊接结构件工艺优化方法及系统

Also Published As

Publication number Publication date
CN113664403A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
EP3357651B1 (en) Control device, robot, and robot system
EP3357649A2 (en) Control device, robot, and robot system
CN113664403B (zh) 一种自适应汽车车架焊接方法及系统
US10906116B2 (en) Arc welding system and arc weld determination device
CN110253577B (zh) 基于机器人操作技能获得的弱刚度零部件装配系统及方法
CN111199072A (zh) 基于在线工艺库自学习的全铝车身铆接系统及其实现方法
CN117086519B (zh) 基于工业互联网的联网设备数据分析及评估系统、方法
CN114063570A (zh) 机器人喷涂控制方法、装置、电子设备及存储介质
CN112365004B (zh) 一种机器人自主异常修复技能学习方法及系统
CN112332541B (zh) 一种用于变电站的监测系统和方法
CN114326588A (zh) 一种伺服驱动系统的效率优化控制方法、系统及存储介质
CN112859885A (zh) 一种送料机器人路径协同优化方法
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN113126589A (zh) 车载自诊断方法、车载智能系统及自诊断系统
CN117572846A (zh) 用于汽车控制臂自动装配线的状态监测系统
CN106444382A (zh) 一种保证物理可行性的串联机器人动力学参数辨识方法
CN116275384A (zh) 基于微型机器学习和微控制器的管道焊接监测方法及系统
CN116276990A (zh) 基于神经网络训练的两自由度并联结构运动学正解方法
CN115890744A (zh) 一种基于td3的机械手臂6-dof物体操纵训练方法及系统
CN114800525B (zh) 机器人碰撞检测方法、系统、计算机及可读存储介质
CN115042191A (zh) 预训练模型微调训练方法、装置、电子设备及存储介质
CN111240246B (zh) 一种控制器的匹配方法及装置
CN114167830A (zh) 基于机器视觉与边缘智能的焊接过程监测及质量诊断方法
CN115106621A (zh) 一种全位置机器人深熔k-tig焊接系统及控制方法
CN113276117A (zh) 一种工业机器人自动控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant