CN114769800B - 一种用于焊接过程的智能运行控制系统与方法 - Google Patents

一种用于焊接过程的智能运行控制系统与方法 Download PDF

Info

Publication number
CN114769800B
CN114769800B CN202210698293.XA CN202210698293A CN114769800B CN 114769800 B CN114769800 B CN 114769800B CN 202210698293 A CN202210698293 A CN 202210698293A CN 114769800 B CN114769800 B CN 114769800B
Authority
CN
China
Prior art keywords
welding
image
welded
attributes
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210698293.XA
Other languages
English (en)
Other versions
CN114769800A (zh
Inventor
徐文彦
李乐
庄新
王洪福
汪春民
陈晓蓉
任洁
陶双双
孙永杰
杨红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Equipment and Engineering Co Ltd
Original Assignee
China Construction Equipment and Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Equipment and Engineering Co Ltd filed Critical China Construction Equipment and Engineering Co Ltd
Priority to CN202210698293.XA priority Critical patent/CN114769800B/zh
Publication of CN114769800A publication Critical patent/CN114769800A/zh
Application granted granted Critical
Publication of CN114769800B publication Critical patent/CN114769800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

一种用于焊接过程的智能运行控制系统与方法，通过激光视觉装置计算出待焊接点的世界坐标，并利用压力传感装置结合深度学习网络算法对待焊接点的世界坐标进行纠偏。从而尽可能消除焊头的实际坐标在不同方向上的误差，进而使得对焊接点的定位更加准确。

Description

一种用于焊接过程的智能运行控制系统与方法
技术领域
本发明属于智能焊接领域，更具体的，涉及一种用于焊接过程的智能运行控制系统与方法。
背景技术
传统焊接的特点是工艺因素复杂，劳动强度大，其品质深度依赖于技工的技能与经验。随着近些年科技的进步，以焊接为主的高温制造不断向着智能化、自动化的方向发展。
近些年，激光视觉传感器凭借高精度、抗干扰、结构简单、体积小巧等特点，成为智能化焊接控制领域的理想选择。激光视觉传感器通过采集焊接图像，并通过分析焊接图像以确定待焊接点的实际位置，从而操控机器人手臂移至正确的位置上进行焊接操作。
由于焊接过程中存在飞溅、弧光和烟尘的干扰，会导致分析焊接图像的结果并不准确，同时，焊接轨迹的形状变化可能会导致多个点的坡向突变，也会影响拟合结果。上述缺陷尤其体现在对三维图像的深度信息的干扰，究其原因在于飞溅与弧光等因素会极大的干扰图像的深度信息。
发明内容
为解决现有技术中存在的不足，本发明的目的在于克服上述缺陷，进而提出一种用于焊接过程的智能运行控制系统与方法。
本发明采用如下的技术方案：
一种用于焊接过程的智能运行控制方法，包括步骤S1-S4；
步骤S1，重复执行步骤T1-T4，以获取多组训练样本；每一组训练样本包括：多个属 性以及真实目标值；其中，真实目标值为
Figure 439221DEST_PATH_IMAGE001
，其中，
Figure 418678DEST_PATH_IMAGE002
为机器人控制模块控制焊接 机器人后，焊头实际指向位置的Z轴的坐标值；
Figure 762197DEST_PATH_IMAGE003
是待焊接点的理想位置；
步骤T1，根据相机与线激光器，获取线结构光标定图像；
步骤T2，图像处理模块根据线结构光标定图像，计算出待焊接点的世界坐标；
步骤T3，根据待焊接点的世界坐标，机器人控制模块控制焊接机器人的焊头指向待焊接点实际的位置；
步骤T4，提取出待焊接点处的多个属性，包括：线结构光标定图像的灰度值、线结构光标定图像的畸变值以及压力传感装置中的压力值；
步骤S2，将多组试验样本作为输入特征代入到深度神经网络算法中，建立焊接预测模型；
步骤S3，在当前待焊接的母板下，执行步骤T1~T4，以获取多个属性，利用焊接预测模型进行预测，输出多个属性对应的当前待焊接的母板下的真实目标值；
步骤S4，根据当前待焊接的母板下的真实目标值，调整焊接机器人的实际高度。
本发明的有益效果在于，与现有技术相比，本发明具有以下优点：
在飞溅、弧光和烟尘的干扰下，整个图像的灰度信息受到严重的干扰，这导致焊头在准确定位时，其垂直方向的位置偏差要比平面方向上的位置偏差要大得多。为了尽可能消除不同方向上的位置偏差（即缩小垂直方向的位置偏差），进而使得对焊接点的定位更加准确。本公开创造性的引入压力传感装置，用于对待焊接点处的垂直位置进行纠正式的判断，确保待焊接点处的垂直位置不会出现较大的偏差。
附图说明
图1是本公开实施例的一种用于焊接过程的智能运行控制系统的示意图。
图2是本公开实施例的激光视觉装置的示意图。
图3是本公开实施例的一种用于焊接过程的智能运行控制方法的流程图。
图中：1、母板；21、机械臂；22、焊头；31、相机；32、线激光器；4、压力传感装置。
具体实施方式
下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
近些年随着激光视觉技术的发展，其技术早已融入到各行各业中。其中，在智能焊 接领域中，可以通过相机对待焊接点进行摄像，并根据摄像后的图像获取待焊接点的实际 位置，进而操控焊接机器人将焊头锁定在待焊接点
Figure 219723DEST_PATH_IMAGE004
处。
然而，由于存在飞溅、弧光和烟尘的干扰，常常会对图像的信息造成极大的干扰。 以焊头的垂直方向为Z轴，以母板待切割的方向为Y轴，建立三维直角坐标系。由于摄像后的 图像最直接的反馈就是焊头在X与Y平面下的位置，因此，锁定待焊接点的平面坐标（即
Figure 830833DEST_PATH_IMAGE005
）并不困难。但是，在飞溅、弧光和烟尘的干扰下，整个图像的灰度信息受到严重的干 扰，这导致准确的获取待焊接点处的垂直位置（即
Figure 715612DEST_PATH_IMAGE006
）要困难的多（相比于待焊接点的平面 坐标）。从上述描述可以得知，利用激光视觉技术对于焊接点的准确定位在不同的方向（X轴 方向、Y轴方向与Z轴方向）上的误差是不一样的。为了尽可能消除不同方向上的误差，进而 使得对焊接点的定位更加准确。因此，亟需一种简单快捷的判断方法，对待焊接点处的垂直 位置进行判断，确保待焊接点处的垂直位置不会出现较大的偏差。
基于上述问题，如图1与图2所示，本申请首先公开了一种用于焊接过程的智能运行控制系统与方法包括：焊接机器人、激光视觉装置、图像处理模块、机器人控制模块、压力传感装置（例如，图2中的压力传感装置4）与深度神经网络模块；
焊接机器人包括：焊头与机械臂（例如，图2中的焊头22与机械臂21），焊头用于焊接母板（例如，图2中的母板1）；机器人控制模块连接焊接机器人用于控制焊接机器人；焊头与机械臂柔性连接；
激光视觉装置用于产生包含待焊接点信息的线结构光标定图像，包括：相机与线激光器（例如，图2中的相机31与线激光器32）；其中，线激光器用于发射线结构光投射到母板产生光条轮廓；
具体的，相机可以是CCD摄像机。
激光视觉装置与焊接机器人连接，并且相机的摄像方向垂直于焊头的焊接方向；在一些实施例中，线激光器的方向与相机的摄像方向呈30~60度角，优选的，线激光器的方向与相机的摄像方向呈45度角。
激光视觉装置连接图像处理模块，激光视觉装置用于产生线结构光标定图像，并传给图像处理模块；图像处理模块分别连接机器人控制模块与深度神经网络模块；图像处理模块用于实现焊缝跟踪与焊接路径的纠偏；
压力传感装置安装在焊头与机械臂的柔性连接处，用于获取焊头的焊接的压力值；压力传感装置连接深度神经网络模块，用于将该压力值传给神经网络模块；深度神经网络模块连接机器人控制模块。
为了进一步说明一种基于机器人的智能焊接过程运行控制系统的作用，本发明对应的公开了一种基于机器人的智能焊接过程运行控制方法，如图3所示，包括步骤S1-S4。
步骤T1，根据相机与线激光器，获取线结构光标定图像；具体包括：
首先利用线激光器发射激光，在母板上产生结构光条纹；然后将相机分别选取高曝光时间和低曝光时间2种模式，对同一位置处，在2种模式下分别进行拍摄；将高曝光时间模式下拍摄的第一图像与低曝光时间模式下拍摄的第二图像进行拼接，作为最终的线结构光标定图像；
更进一步的，第一图像与第二图像需要进行预处理，包括：图像去噪、阈值分割等。
具体的，高曝光时间可以是3000us，低曝光时间可以是1000us。
步骤T2，图像处理模块根据线结构光标定图像，计算出待焊接点的世界坐标；
首先，建立像素坐标系内坐标（或像点）
Figure 280848DEST_PATH_IMAGE007
与世界坐标系内坐标
Figure 807644DEST_PATH_IMAGE008
的理想关系式：
Figure 538840DEST_PATH_IMAGE009
其中，
Figure 328941DEST_PATH_IMAGE010
为旋转矩阵，
Figure 647053DEST_PATH_IMAGE011
为平移矩阵；
Figure 446381DEST_PATH_IMAGE012
为相机的焦距；
Figure 766504DEST_PATH_IMAGE013
分别是像素坐标 系下的原点的坐标值，
Figure 993086DEST_PATH_IMAGE014
分别表示单个像素在X轴与Y轴上的实际物理尺寸；
Figure 297029DEST_PATH_IMAGE015
为像 素坐标系下X轴与Y轴之间的夹角，理想情况下可以认为
Figure 135934DEST_PATH_IMAGE016
；
可以理解的是，像素坐标系即为线结构光标定图像中的坐标系，世界坐标系即为 待焊接点
Figure 576142DEST_PATH_IMAGE017
在实际三维空间中的坐标系。
需要进一步说明的是，
Figure 973626DEST_PATH_IMAGE018
为平移矩阵，与像素坐标系的原点以及世界坐标系的原 点的选择有关，
Figure 764864DEST_PATH_IMAGE019
；如下式所示：
Figure 673040DEST_PATH_IMAGE020
Figure 233334DEST_PATH_IMAGE021
Figure 801719DEST_PATH_IMAGE022
其中，
Figure 549095DEST_PATH_IMAGE023
、
Figure 995382DEST_PATH_IMAGE024
、
Figure 410183DEST_PATH_IMAGE025
分别代表相机与世界坐标系X、Y、Z轴对应的旋转角。
其次，考虑线结构光标定图像的畸变效应，建立像素坐标系内（理想的）像点
Figure 149469DEST_PATH_IMAGE026
与畸变后像点
Figure 649720DEST_PATH_IMAGE027
之间的联系。
其中，畸变包括径向畸变与切向畸变，径向畸变指的是沿着（相机内）透镜半径方向分布的畸变，产生的原因是光纤在远离透镜中心处比靠近透镜中心处更加弯曲。切向畸变通常是由于透镜本身与相机传感平面或图像平面不平行产生的，可以理解为相机与焊接机器人的空间上的安装误差。
像素坐标系内（理想的）像点
Figure 867075DEST_PATH_IMAGE028
与畸变后像点
Figure 903426DEST_PATH_IMAGE029
的关系如下所示：
Figure 79193DEST_PATH_IMAGE030
其中，
Figure 66740DEST_PATH_IMAGE031
是空间三维极坐标下的距离，
Figure 618944DEST_PATH_IMAGE032
分别是世界坐标系下X，Y，Z轴 上的径向畸变系数，
Figure 978644DEST_PATH_IMAGE033
是图像坐标系下的X，Y方向上的切向畸变系数。
综上所述，步骤T2具体可以包括：
步骤T21，根据图像处理模块，获取待焊接点在像素坐标系内的坐标；
步骤T22，考虑线结构光标定图像的畸变效应，根据像素坐标系内（理想的）像点与畸变后像点之间的联系，修正实际坐标为理想坐标；
步骤T23，根据像素坐标系内坐标（或像点）与世界坐标系内坐标的理想关系式，修正理想坐标为待焊接点的世界坐标。
步骤T3，根据待焊接点的世界坐标，机器人控制模块控制焊接机器人的焊头指向待焊接点实际的位置；
步骤T4，提取出待焊接点处的多个属性，包括：线结构光标定图像的灰度值、线结构光标定图像的畸变值以及压力传感装置中的压力值；
在一些实施例中，线结构光标定图像的畸变值可以是世界坐标系下Z轴上的径向 畸变系数
Figure 59732DEST_PATH_IMAGE034
。
步骤S1，重复执行步骤T1-T4，以获取多组训练样本；每一组训练样本包括：多个属 性以及真实目标值；其中，真实目标值为
Figure 268997DEST_PATH_IMAGE035
，其中，
Figure 93733DEST_PATH_IMAGE036
为机器人控制模块控制焊接 机器人后，焊头实际指向位置的Z轴的坐标值；可以理解的是，
Figure 337633DEST_PATH_IMAGE037
是待焊接点的理想位置 （即待焊接点需要指向的位置），而
Figure 91087DEST_PATH_IMAGE038
为待焊接点实际指向的位置，因此，真实目标值的含 义即代表垂直方向的焊接误差。
步骤S2，将多组试验样本作为输入特征代入到深度神经网络算法中，建立焊接预测模型；
在一些实施例中，深度神经网络算法是一种基于多任务学习的深度神经网络算法。多任务学习是基于共享表示把多个相关的任务放在一起学习的一种机器学习方法。简而言之，多任务学习通过把多个相关的任务放在一起，并且多个任务之间互相分享，互相补充学习到的领域相关的信息，互相促进学习，提升泛化的效果。
深度神经网络包括：特征抽取子网络与属性预测子网络。
特征抽取子网络包括：多个卷积层、多个池化层、多个非线性层和多个全连接层。其中，卷积层通过线性变换从输入数据中抽取新特征；池化层可以将多个数值映射成一个数值，缩小特征空间；非线性层利用了生物神经元的激活机制，是深度神经网络算法的核心所在；全连接层用于关联协助上述的多个卷积层、多个池化层与多个非线性层。
具体的，特征抽取子网络可以是AlexNet和GoogleNet等特征抽取网络。
属性预测子网络可以通过下面的公式进行描述：
Figure 787648DEST_PATH_IMAGE039
其中，
Figure 681654DEST_PATH_IMAGE040
为多个属性的数量，
Figure 780060DEST_PATH_IMAGE041
是多组训练样本的数量，
Figure 438837DEST_PATH_IMAGE042
是属性预测函数；
Figure 888273DEST_PATH_IMAGE043
表示第
Figure 789233DEST_PATH_IMAGE044
个训练样本在模型参数
Figure 7725DEST_PATH_IMAGE045
下的第
Figure 601517DEST_PATH_IMAGE046
个属性的预测值，
Figure 242976DEST_PATH_IMAGE047
是第
Figure 213206DEST_PATH_IMAGE048
个训 练样本的真实目标值，
Figure 20625DEST_PATH_IMAGE049
是第
Figure 785319DEST_PATH_IMAGE050
个属性的属性预测损失函数，
Figure 678189DEST_PATH_IMAGE051
是第
Figure 977012DEST_PATH_IMAGE052
个属性的预测误 差的权重。
可以理解的是，属性预测函数
Figure 638937DEST_PATH_IMAGE053
关联母板的材质, 焊缝的深度等因素，
Figure 308953DEST_PATH_IMAGE054
取决于 实际焊接中对焊接精度。
需要说明的是，深度神经网络算法中的属性分为有序属性和无序属性，所有属性都可以转化为无序属性，但是有些属性不能转化为有序属性；例如，假如将颜色作为属性，将“红”、“黄”、“蓝”、“绿”分别以“1”，“2”，“3”，“4”这四个具体数值进行替代作为输入特征，则此时颜色就是无序属性；但是，将上述颜色的RGB值（长度为3的向量）进行替代作为输入特征，由于RGB值的大小从0~255，且RGB值与颜色的关系线性相关，因此此时颜色就是有序属性。可以理解的是，步骤S1中的属性均为有序属性。
进一步的，为了更快（即减少多组试验样本的数量）更准确的建立焊接预测模型，需要步骤S1中的属性进行处理，包括：对任一有序属性进行归一化，以及确保多组有序属性之间的同步化。
设第
Figure 689119DEST_PATH_IMAGE055
个训练样本的第
Figure 735572DEST_PATH_IMAGE056
个属性为
Figure 517584DEST_PATH_IMAGE057
，其中，
Figure 125545DEST_PATH_IMAGE058
；
Figure 258586DEST_PATH_IMAGE059
。则归一化后的第
Figure 108730DEST_PATH_IMAGE060
个训练样本的第
Figure 745248DEST_PATH_IMAGE061
个属性
Figure 22645DEST_PATH_IMAGE062
如下式所示：
Figure 347710DEST_PATH_IMAGE063
Figure 1545DEST_PATH_IMAGE064
Figure 492569DEST_PATH_IMAGE065
紧接着，同步化后的第
Figure 940868DEST_PATH_IMAGE066
个训练样本的第
Figure 48501DEST_PATH_IMAGE067
个属性
Figure 741913DEST_PATH_IMAGE068
如下式所示：
Figure 821865DEST_PATH_IMAGE069
其中，
Figure 972223DEST_PATH_IMAGE071
、
Figure 35994DEST_PATH_IMAGE072
分别为属性
Figure 31632DEST_PATH_IMAGE074
、属性
Figure 998713DEST_PATH_IMAGE075
的归一化系数，
Figure 54394DEST_PATH_IMAGE076
为第
Figure 605461DEST_PATH_IMAGE077
个训练样本的真实目 标值，即：
Figure 139210DEST_PATH_IMAGE078
；
Figure 459333DEST_PATH_IMAGE079
为第
Figure 187380DEST_PATH_IMAGE080
个属性的平均值。通过归一化和同步化（即用
Figure DEST_PATH_IMAGE081
代替
Figure 756902DEST_PATH_IMAGE082
），建立了属性之间的关系，进而引导深度神经网络模块加快学习速率。
步骤S3，对当前待焊接的母板执行步骤T1-T4，以获取多个属性，利用焊接预测模 型进行预测，输出多个属性对应的当前待焊接的母板下的真实目标值（即
Figure DEST_PATH_IMAGE083
）；
需要说明的是，由于工业加工具备高度重复性，因此，本发明的母板包括：样本母板与当前待焊接的母板。通常在工业加工时需要对成千上万块母板进行焊接，可以将最先焊接的一些母板作为样本母板（每一个样本母板对应步骤S1中的一组样本数据），获取它们的参数信息（即步骤S1中的多个属性以及真实目标值），从而对后续的母板（即步骤S3中当前待焊接的母板）起到指导作用（即执行步骤S3-S4）。
步骤S4，根据当前待焊接的母板下的真实目标值，调整焊接机器人的实际高度。
步骤S4具体包括：
步骤S41，预先设置当前母板的垂直方向的焊接误差范围；
步骤S42，根据预设的焊接误差范围，利用焊头进行预测试，以获得焊接误差范围对应的压力误差范围；
步骤S43，判断真实目标值是否在压力误差范围内，若在压力误差范围内，表明焊头的实际位置符合要求；若不在压力误差范围内，调整焊头的垂直距离，使得真实目标值在压力误差范围内。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (7)

1.一种用于焊接过程的智能运行控制方法，包括步骤S1-S4；
步骤S1，重复执行步骤T1-T4，以获取多组训练样本；每一组训练样本包括：多个属性以及真实目标值；其中，真实目标值为
Figure DEST_PATH_IMAGE001
，其中，
Figure DEST_PATH_IMAGE002
为机器人控制模块控制焊接机器人后，焊头实际指向位置的Z轴的坐标值；
Figure DEST_PATH_IMAGE003
是待焊接点的理想位置；
还包括：对
Figure DEST_PATH_IMAGE004
进行归一化得到
Figure DEST_PATH_IMAGE005
，并同步化得到
Figure DEST_PATH_IMAGE006
，从而用
Figure 621563DEST_PATH_IMAGE006
代替
Figure 601020DEST_PATH_IMAGE004
，具体为：
Figure DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
Figure DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
定义为第
Figure DEST_PATH_IMAGE012
个训练样本的第
Figure DEST_PATH_IMAGE013
个属性，
Figure DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE015
；
Figure DEST_PATH_IMAGE016
为多个属性的数量，
Figure DEST_PATH_IMAGE017
是多组训练样本的数量；
Figure 3927DEST_PATH_IMAGE005
为归一化后的第
Figure DEST_PATH_IMAGE018
个训练样本的第
Figure DEST_PATH_IMAGE019
个属性，
Figure DEST_PATH_IMAGE020
为同步化后的第
Figure DEST_PATH_IMAGE021
个训练样本的第
Figure DEST_PATH_IMAGE022
个属性，
Figure DEST_PATH_IMAGE023
为第
Figure 84622DEST_PATH_IMAGE012
个训练样本的真实目标值，
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
分别为属性
Figure DEST_PATH_IMAGE026
、属性
Figure DEST_PATH_IMAGE027
的归一化系数，
Figure DEST_PATH_IMAGE028
为第
Figure 836677DEST_PATH_IMAGE022
个属性的平均值；
步骤T1，根据相机与线激光器，获取线结构光标定图像；
步骤T2，图像处理模块根据线结构光标定图像，计算出待焊接点的世界坐标；
步骤T3，根据待焊接点的世界坐标，机器人控制模块控制焊接机器人的焊头指向待焊接点实际的位置；
步骤T4，提取出待焊接点处的多个属性，包括：线结构光标定图像的灰度值、线结构光标定图像的畸变值以及压力传感装置中的压力值；
步骤S2，将多组试验样本作为输入特征代入到深度神经网络算法中，建立焊接预测模型；
步骤S3，在当前待焊接的母板下，执行步骤T1-T4，以获取多个属性，利用焊接预测模型进行预测，输出多个属性对应的当前待焊接的母板下的真实目标值；
步骤S4，根据当前待焊接的母板下的真实目标值，调整焊接机器人的实际高度。
2.根据权利要求1所述的一种用于焊接过程的智能运行控制方法，其中，步骤T1具体包括：利用线激光器发射激光，在母板上产生结构光条纹；将相机分别选取高曝光时间和低曝光时间2种模式，对同一位置处，在2种模式下分别进行拍摄；将高曝光时间模式下拍摄的第一图像与低曝光时间模式下拍摄的第二图像进行拼接，作为最终的线结构光标定图像。
3.根据权利要求1所述的一种用于焊接过程的智能运行控制方法，其中，步骤T2具体包括：
步骤T21，根据图像处理模块，获取待焊接点在像素坐标系内的坐标；
步骤T22，考虑线结构光标定图像的畸变效应，根据像素坐标系内像点与畸变后像点之间的联系，修正实际坐标为理想坐标；
步骤T23，根据像素坐标系内坐标与世界坐标系内坐标的理想关系式，修正理想坐标为待焊接点的世界坐标。
4.根据权利要求1所述的一种用于焊接过程的智能运行控制方法，其中，步骤T4中，线结构光标定图像的畸变值是世界坐标系下Z轴上的径向畸变系数。
5.根据权利要求1所述的一种用于焊接过程的智能运行控制方法，其中，步骤S4具体包括：
步骤S41，预先设置当前母板的垂直方向的焊接误差范围；
步骤S42，根据预设的焊接误差范围，利用焊头进行预测试，以获得焊接误差范围对应的压力误差范围；
步骤S43，判断真实目标值是否在压力误差范围内，若在压力误差范围内，表明焊头的实际位置符合要求；若不在压力误差范围内，调整焊头的垂直距离，使得真实目标值在压力误差范围内。
6.一种用于焊接过程的智能运行控制系统，用于执行权利要求1-5任一项所述的方法，系统包括：焊接机器人、激光视觉装置、图像处理模块、机器人控制模块、压力传感装置与深度神经网络模块；
焊接机器人包括：焊头与机械臂，焊头用于焊接母板，机器人控制模块连接焊接机器人用于控制焊接机器人，焊头与机械臂柔性连接；
激光视觉装置用于产生包含待焊接点信息的线结构光标定图像，包括：相机与线激光器；其中，线激光器用于发射线结构光投射到母板产生光条轮廓；
激光视觉装置与焊接机器人连接，并且相机的摄像方向垂直于焊头的焊接方向；
激光视觉装置连接图像处理模块，激光视觉装置用于产生线结构光标定图像，并传给图像处理模块；图像处理模块分别连接机器人控制模块与深度神经网络模块；图像处理模块用于实现焊缝跟踪与焊接路径的纠偏；
压力传感装置安装在焊头与机械臂的柔性连接处，用于获取焊头的焊接压力值；压力传感装置连接深度神经网络模块；深度神经网络模块连接机器人控制模块。
7.根据权利要求6所述的一种用于焊接过程的智能运行控制系统，其中，线激光器的方向与相机的摄像方向呈30-60度角。
CN202210698293.XA 2022-06-20 2022-06-20 一种用于焊接过程的智能运行控制系统与方法 Active CN114769800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210698293.XA CN114769800B (zh) 2022-06-20 2022-06-20 一种用于焊接过程的智能运行控制系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210698293.XA CN114769800B (zh) 2022-06-20 2022-06-20 一种用于焊接过程的智能运行控制系统与方法

Publications (2)

Publication Number Publication Date
CN114769800A CN114769800A (zh) 2022-07-22
CN114769800B true CN114769800B (zh) 2022-09-27

Family

ID=82421658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210698293.XA Active CN114769800B (zh) 2022-06-20 2022-06-20 一种用于焊接过程的智能运行控制系统与方法

Country Status (1)

Country Link
CN (1) CN114769800B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115430956A (zh) * 2022-08-19 2022-12-06 广州超音速自动化科技股份有限公司 一种焊接点定位方法、系统、设备及存储介质
CN118168095A (zh) * 2024-05-14 2024-06-11 中建五洲工程装备有限公司 一种大型焊接车间空气环境智能调节方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101973032A (zh) * 2010-08-30 2011-02-16 东南大学 一种焊接机器人线结构光视觉传感器离线编程系统和方法
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN207026794U (zh) * 2017-08-07 2018-02-23 甘肃机电职业技术学院 一种简易的钢板自动焊接设备
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109604777A (zh) * 2017-12-07 2019-04-12 淮安信息职业技术学院 基于激光结构光的焊缝视觉跟踪系统及方法
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN111922483A (zh) * 2019-05-13 2020-11-13 南京理工大学 基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法
CN112258593A (zh) * 2020-10-23 2021-01-22 明峰医疗系统股份有限公司 单目相机下ct或pet-ct智能定位扫描方法
CN112935650A (zh) * 2021-01-29 2021-06-11 华南理工大学 一种焊接机器人激光视觉系统标定优化方法
CN113369761A (zh) * 2021-07-09 2021-09-10 北京石油化工学院 一种基于视觉引导机器人焊缝定位的方法及系统
CN114131611A (zh) * 2021-12-16 2022-03-04 华中科技大学 机器人重力位姿分解的关节误差离线补偿方法、系统及终端
CN114140439A (zh) * 2021-12-03 2022-03-04 厦门大学 基于深度学习的激光焊接焊缝特征点识别方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101973032A (zh) * 2010-08-30 2011-02-16 东南大学 一种焊接机器人线结构光视觉传感器离线编程系统和方法
CN207026794U (zh) * 2017-08-07 2018-02-23 甘肃机电职业技术学院 一种简易的钢板自动焊接设备
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN109604777A (zh) * 2017-12-07 2019-04-12 淮安信息职业技术学院 基于激光结构光的焊缝视觉跟踪系统及方法
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN111922483A (zh) * 2019-05-13 2020-11-13 南京理工大学 基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN112258593A (zh) * 2020-10-23 2021-01-22 明峰医疗系统股份有限公司 单目相机下ct或pet-ct智能定位扫描方法
CN112935650A (zh) * 2021-01-29 2021-06-11 华南理工大学 一种焊接机器人激光视觉系统标定优化方法
CN113369761A (zh) * 2021-07-09 2021-09-10 北京石油化工学院 一种基于视觉引导机器人焊缝定位的方法及系统
CN114140439A (zh) * 2021-12-03 2022-03-04 厦门大学 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN114131611A (zh) * 2021-12-16 2022-03-04 华中科技大学 机器人重力位姿分解的关节误差离线补偿方法、系统及终端

Also Published As

Publication number Publication date
CN114769800A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114769800B (zh) 一种用于焊接过程的智能运行控制系统与方法
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
CN108982546B (zh) 一种智能机器人涂胶质量检测系统及方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN104175031B (zh) 一种具有自主纠偏能力的焊接机器人系统进行焊接的方法
CN111788883B (zh) 部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质
CN111515944B (zh) 非固定路径机器人自动标定方法
CN110246193B (zh) 工业机器人末端相机在线标定方法
CN112620926B (zh) 一种焊点追踪方法、装置及存储介质
AU2021259109A1 (en) Method, device and computer program for determining the performance of a welding method via digital processing of an image of the welded workpiece
CN114022370A (zh) 一种振镜激光加工畸变校正方法及系统
Saif et al. Development of a smart system based on STEP-NC for machine vision inspection with IoT environmental
KR20230081963A (ko) 딥러닝을 이용한 용접 자동화 시스템 및 이의 용접 자동화 방법
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
Deniz et al. In-line stereo-camera assisted robotic spot welding quality control system
CN107571290B (zh) 工业机器人末端执行器的校准装置、方法及系统
CN116276938B (zh) 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN111415384B (zh) 一种基于深度学习的工业图像组件精准定位系统
CN115049726A (zh) 基于视觉定位的pcb焊接方法及系统
CN115556120A (zh) 一种基于随机自适应的焊缝路径规划无示教方法
CN111563935B (zh) 一种蜂窝型材蜂窝孔视觉定位方法
Rodríguez-Araújo et al. ROS-based 3D on-line monitoring of LMD robotized cells
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
CN110363127A (zh) 机器人对工件关键点识别与定位的方法
WO2024069886A1 (ja) 演算装置、演算システム、ロボットシステム、演算方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant