CN116551263A - 一种焊接位置选取的可视化控制方法及系统 - Google Patents

一种焊接位置选取的可视化控制方法及系统 Download PDF

Info

Publication number
CN116551263A
CN116551263A CN202310840458.7A CN202310840458A CN116551263A CN 116551263 A CN116551263 A CN 116551263A CN 202310840458 A CN202310840458 A CN 202310840458A CN 116551263 A CN116551263 A CN 116551263A
Authority
CN
China
Prior art keywords
welding
deviation
information
sample
screening result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310840458.7A
Other languages
English (en)
Other versions
CN116551263B (zh
Inventor
王司恺
李立凡
张聪
王强
杨业成
陈瑶
石伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Songde Laser Technology Co ltd
Original Assignee
Suzhou Songde Laser Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Songde Laser Technology Co ltd filed Critical Suzhou Songde Laser Technology Co ltd
Priority to CN202310840458.7A priority Critical patent/CN116551263B/zh
Publication of CN116551263A publication Critical patent/CN116551263A/zh
Application granted granted Critical
Publication of CN116551263B publication Critical patent/CN116551263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种焊接位置选取的可视化控制方法及系统,涉及数据处理技术领域,获取待焊件基础信息,包括型号信息和定位信息,匹配焊接样本图像进行语义分割获取焊点样本特征信息,获取客户端选定的第一焊点,采集焊接记录数据,包括焊接加工参数记录数据和焊接图像记录数据,进行筛选获取焊接位置序列,发送至客户端,获取用户反馈信息,当包括确定信号时,将焊接位置序列设为第一焊点的焊接位置选取结果。本发明解决了传统的焊接位置选择方法存在主要依赖于经验和直觉,存在主观性和不确定性,并且焊接位置选择方法不够智能化,无法自主学习和适应不同的焊接环境和工艺,使得焊接质量差的技术问题。

Description

一种焊接位置选取的可视化控制方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种焊接位置选取的可视化控制方法及系统。
背景技术
在制造业中,焊接是常用的连接工艺,具有高效、可靠、成本低等优点,然而,在焊接中,焊接位置的选取和控制一直是一个难题,通常需要训练有素的技术人员进行操作,同时,传统的焊接质量控制方法通常需要繁琐的检测过程,且操作复杂,对人员要求较高。因此,对于焊接位置选取控制还存在着一定的可提升空间。
发明内容
本申请提供了一种焊接位置选取的可视化控制方法及系统,用于针对解决传统的焊接位置选择方法存在主要依赖于经验和直觉,存在主观性和不确定性,并且焊接位置选择方法不够智能化,无法自主学习和适应不同的焊接环境和工艺,使得焊接质量差的技术问题。
鉴于上述问题,本申请提供了一种焊接位置选取的可视化控制方法及系统。
第一方面,本申请提供了一种焊接位置选取的可视化控制方法,所述方法包括:获取待焊件基础信息,其中,所述待焊件基础信息包括待焊件型号信息和待焊件定位信息;根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息;获取客户端选定所述待焊件型号信息的第一焊点,基于所述第一焊点采集焊接记录数据,其中,所述焊接记录数据包括N组焊接加工参数记录数据和N个焊接图像记录数据;基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列;将所述焊接位置序列发送至所述客户端,获取用户反馈信息;当所述用户反馈信息包括确定信号时,将所述焊接位置序列设为所述第一焊点的焊接位置选取结果。
第二方面,本申请提供了一种焊接位置选取的可视化控制系统,所述系统包括:基础信息获取模块,所述基础信息获取模块用于获取待焊件基础信息,其中,所述待焊件基础信息包括待焊件型号信息和待焊件定位信息;特征信息获取模块,所述特征信息获取模块用于根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息;记录数据获取模块,所述记录数据获取模块用于获取客户端选定所述待焊件型号信息的第一焊点,基于所述第一焊点采集焊接记录数据,其中,所述焊接记录数据包括N组焊接加工参数记录数据和N个焊接图像记录数据;记录数据筛选模块,所述记录数据筛选模块用于基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列;反馈信息获取模块,所述反馈信息获取模块用于将所述焊接位置序列发送至所述客户端,获取用户反馈信息;焊接位置获取模块,所述焊接位置获取模块用于当所述用户反馈信息包括确定信号时,将所述焊接位置序列设为所述第一焊点的焊接位置选取结果。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
获取待焊件基础信息,包括待焊件型号信息和待焊件定位信息,匹配焊接样本图像进行语义分割,获取焊点样本特征信息,获取客户端选定的第一焊点,采集焊接记录数据,包括焊接加工参数记录数据和焊接图像记录数据,对N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列,发送至客户端,获取用户反馈信息,当包括确定信号时,将焊接位置序列设为第一焊点的焊接位置选取结果。解决了传统的焊接位置选择方法存在主要依赖于经验和直觉,存在主观性和不确定性,并且焊接位置选择方法不够智能化,无法自主学习和适应不同的焊接环境和工艺,使得焊接质量差的技术问题,实现了基于深度学习的算法,自主学习和适应不同的焊接环境和工艺,并且基于大数据的分析和处理,提高了焊接位置选择的准确性和可靠性,达到保证焊接质量的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的附图作简单地介绍。明显地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本申请实施例提供了一种焊接位置选取的可视化控制方法流程示意图;
图2为本申请实施例提供了一种焊接位置选取的可视化控制方法中获取焊点样本特征信息流程示意图;
图3为本申请实施例提供了一种焊接位置选取的可视化控制方法中获取图像筛选结果流程示意图;
图4为本申请实施例提供了一种焊接位置选取的可视化控制系统结构示意图。
附图标记说明:基础信息获取模块10,特征信息获取模块20,记录数据获取模块30,记录数据筛选模块40,反馈信息获取模块50,焊接位置获取模块60。
具体实施方式
本申请实施例通过提供一种焊接位置选取的可视化控制方法,解决了传统的焊接位置选择方法存在主要依赖于经验和直觉,存在主观性和不确定性,并且焊接位置选择方法不够智能化,无法自主学习和适应不同的焊接环境和工艺,使得焊接质量差的技术问题,实现了基于深度学习的算法,自主学习和适应不同的焊接环境和工艺,并且基于大数据的分析和处理,提高了焊接位置选择的准确性和可靠性,达到保证焊接质量的技术效果。
实施例一
如图1所示,本申请实施例提供了一种焊接位置选取的可视化控制方法,所述方法应用于焊接位置选取的可视化控制系统,所述系统包括客户端,所述方法包括:
步骤S100:获取待焊件基础信息,其中,所述待焊件基础信息包括待焊件型号信息和待焊件定位信息;
具体而言,通过图像传感器获取待焊件的图像信息,使用计算机视觉技术对待焊件的图像进行特征提取和匹配,从而自动识别出待焊件的型号信息,对图像进行定位和跟踪,从而自动识别出待焊件的位置和姿态信息,将位置和姿态信息作为待焊件定位信息,将待焊件型号信息和待焊件定位信息进行整合,获取所述待焊件基础信息。
步骤S200:根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息;
进一步而言,如图2所示,本申请步骤S200还包括:
步骤S210:对所述焊接样本图像进行语义分割,获取样本焊点特征区域;
进一步而言,本申请步骤S210还包括:
步骤S211:采集焊接产品图像集进行焊点标识,生成焊点标识区域;
步骤S212:以所述焊接产品图像集为输入数据,以所述焊点标识区域为输出监督数据,基于u-net神经网络,训练第一分割器;
步骤S213:获取所述第一分割器的输出偏差大于或等于输出偏差阈值的所述焊接产品图像集和所述焊点标识区域,设为第一偏差数据集;
具体而言,选择适当的焊接产品样本,确保其包含了各种不同的焊点类型和不同的焊接质量等级,通过相机或其他成像设备,采集焊接产品样本图像集,使用计算机视觉算法等方法,对焊接产品图像集中的焊点进行标识,生成对应的焊点标识区域,所述焊点标识区域可以用矩形、多边形等表示,以便于后续的模型训练和图像分割。
u-net是一种卷积神经网络,通常用于图像分割任务,它由编码器和解码器组成,其中编码器用于提取图像特征,而解码器则用于将这些特征映射回原始图像的像素级别上,在该方法中,使用u-net进行焊点图像的语义分割。
将这些标注好的图像和对应的焊点标识区域作为训练数据集,根据任务需求,定义一个U-Net神经网络模型,模型包括编码器和解码器,将标注好的图像和焊点标识区域分别作为U-Net模型的输入和输出,作为训练数据集,将该训练数据集分为训练集、验证集和测试集。
基于u-net神经网络,使用训练集进行模型训练,在训练过程中,使用交叉熵作为损失函数,并使用Adam优化器对模型参数进行优化,通过训练模型,优化模型的参数,使其能够准确地预测焊点标识区域;在每个epoch结束时,使用验证集对模型进行评估,以便及时调整模型参数,防止过拟合;对训练好的模型在测试集上进行评估,得到模型的性能指标,如精度、召回率、F1值等。当模型的性能满足预设要求,示例性地,设置预设要求为准确率达到95%,当模型的准确率大于等于95%时,判定为满足要求,输出第一分割器。
输出偏差为标识区域与模型分割区域的坐标点偏差均值,输出偏差阈值为根据生产需求或者历史记录设置的阈值,用于对第一分割器的输出偏差进行限制,示例性地,设置输出偏差阈值为0.2,当第一分割器的输出偏差大于等于0.2,说明偏差超出预期。使用第一分割器对焊接产品图像集进行语义分割,得到每个图像的分割结果,对于每个图像,将其分割结果与对应的标识区域进行比较,计算标识区域与模型分割区域的坐标点偏差均值,获得第一分割器的输出偏差,如果输出偏差大于或等于预设的输出偏差阈值,将该图像及其对应的标识区域添加到第一偏差数据集中。
步骤S214:提升所述第一偏差数据集在初始数据集中的权重,基于u-net神经网络,训练第二分割器;
步骤S215:重复训练,直到第N分割器的第N偏差数据集的数据量小于或等于预设数据量,将所述第一分割器、所述第二分割器和所述第N分割器合并,生成语义分割模型对所述焊接样本图像进行语义分割,获取所述样本焊点特征区域。
具体而言,增加第一偏差数据集完全相同的训练数据的数据量,使其在训练过程中占据更大的比重,采用步骤S212完全相同的方法对增加训练数据后的数据集进行训练,输出第二分割器。
预设数据量是根据生产要求预先设定的,用于对第N分割器的第N偏差数据集的数据量进行限制,例如,设置为100,重复上述步骤,直到第N个分割器的第N个偏差数据集的数据量小于或等于预设数据量时,停止训练,将训练好的所有分割器合并,生成语义分割模型。
焊接样本图像的获取过程为:从实际焊接过程或者计算机仿真过程中,获取一批已知的理想焊接结果的焊接样本图像和对应的焊接参数,并将这些样本图像与对应的焊接参数进行关联,根据待焊件的型号信息,从已知的焊接样本中选择与之匹配的焊接样本图像。使用该模型对新的焊接样本图像进行语义分割,以获取样本焊点特征区域。
步骤S220:对所述样本焊点特征区域进行结构特征提取,获取所述几何样本特征信息;
步骤S230:对所述样本焊点特征区域进行纹理特征提取,获取所述纹理样本特征信息;
步骤S240:其中,所述几何样本特征信息包括交界接触角特征、润湿角特征、引脚高度特征、润湿面积特征和填充高度特征,所述纹理样本特征信息包括裂纹尺寸特征、针孔尺寸特征、表面粗糙度特征和漏焊数量特征。
具体而言,通过使用Canny算子,对样本焊点特征区域进行边缘检测,以获取焊点的边缘特征,对边缘图像进行形态学处理,包括腐蚀、膨胀、开运算和闭运算等,以去除图像噪声和不规则部分,同时保留焊点区域的形态特征,在经过形态学处理后的样本焊点特征区域中,提取焊点的几何特征,包括交界接触角特征、润湿角特征、引脚高度特征、润湿面积特征和填充高度特征等。
对焊点特征区域进行预处理,包括图像去噪、灰度化、边缘检测等,使用图像处理技术对预处理后的图像进行纹理特征提取,示例性地,使用GLCM(灰度共生矩阵),计算同一灰度级出现在不同位置的像素对之间的概率分布,根据该概率分布可以计算出一系列的纹理特征,包括裂纹尺寸特征、针孔尺寸特征、表面粗糙度特征和漏焊数量特征。
对于几何样本特征信息,交界接触角特征是指焊锡和焊件的接触界面的角度,表征过渡的平滑程度;润湿角特征是指焊锡在焊件表面润湿形成的角度;引脚高度特征是指焊接后引脚的高度;润湿面积特征是指焊锡在焊件表面润湿形成的面积;填充高度特征是指焊锡填充焊件的高度。
对于纹理样本特征信息,裂纹尺寸特征是指焊接过程中出现的裂纹的尺寸;针孔尺寸特征是指焊接过程中出现的针孔的尺寸;表面粗糙度特征是指焊接表面的粗糙度;漏焊数量特征是指焊接过程中出现的漏焊数量。
步骤S300:获取客户端选定的所述待焊件型号信息的第一焊点,基于所述第一焊点采集焊接记录数据,其中,所述焊接记录数据包括N组焊接加工参数记录数据和N个焊接图像记录数据;
具体而言,通过客户端获取用户选定的待焊件型号信息和第一焊点的位置,根据待焊件型号信息查询相应的焊接参数和焊接工艺规范,并将这些参数作为焊接加工参数记录数据,使用一些传感器来采集焊接过程中的其他数据,例如电压、电流、温度等,这些数据也可以作为焊接加工参数记录数据,通过这些数据的采集,得到一些关于焊接过程的定量信息,包括焊接参数、焊接时间、焊接温度、焊缝大小等;
在第一焊点的位置安装一个摄像头或者其他图像传感器,采集焊接过程中的图像记录数据,该图像记录数据可以提供焊接过程中的定性信息,例如焊缝形状、气孔、裂纹等。将焊接加工参数记录数据与焊接图像记录数据进行整合获取焊接记录数据,这些数据可以作为后续步骤中的输入数据,用于焊接位置的选取。
步骤S400:基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列;
进一步而言,如图3所示,本申请步骤S400还包括:
步骤S410:获取所述N个焊接图像记录数据的N组纹理特征信息和N组几何特征信息;
步骤S420:将所述纹理样本特征信息和所述几何样本特征信息发送至所述客户端,设定缺陷纹理偏差阈值和几何尺寸偏差阈值;
步骤S430:将所述N组纹理特征信息不满足所述缺陷纹理偏差阈值的焊接图像记录数据删除,获取第一筛选结果;
步骤S440:将所述N组几何特征信息不满足所述几何尺寸偏差阈值的所述第一筛选结果删除,获取第二筛选结果,设为所述图像筛选结果。
具体而言,采用与步骤S200相同的方法,对N个焊接图像记录数据提取出N组纹理特征信息和N组几何特征信息,并将其发送至客户端,在客户端中,使用相应的工具对所述N组焊接图像进行查看和分析,设定缺陷纹理偏差阈值和几何尺寸偏差阈值,该阈值用于对缺陷纹理偏差和几何尺寸偏差进行限制,示例性地,设定缺陷纹理偏差阈值为0.1,若差异程度大于或等于设定的阈值,则认为该图像存在缺陷纹理偏差。
对于每一组焊接图像记录数据,将其纹理特征信息与之前预先获取的纹理样本特征信息进行比对,计算其之间的偏差值,如果偏差值大于设定的缺陷纹理偏差阈值,则说明该焊接图像存在缺陷,需要被删除;否则说明该焊接图像没有缺陷,保留数据,示例性地,如果设定的缺陷纹理偏差阈值为0.1,而某组焊接图像记录数据的纹理特征信息与纹理样本特征信息之间的偏差值为0.12,则该组焊接图像记录数据将被判定为存在缺陷,并在筛选过程中被删除。对N组纹理特征信息进行遍历,将符合要求的焊接图像记录数据作为第一筛选结果。
进一步而言,本申请步骤S440还包括:
步骤S441:构建偏离度评估函数:,其中,表征第一偏离度,/>表征第二偏离度,a表征任意一组几何特征信息的偏差,b表征与a对应的纹理特征信息的偏差,/>表征第i个几何特征偏差,/>表征第j个纹理特征偏差,/>表征任意一组的几何特征偏差总数量,/>表征任意一组的纹理特征偏差总数量,/>为归一化调整系数,/>表征几何特征偏差权重,/>表征纹理特征偏差权重;
步骤S442:将所述第一偏离度小于或等于第一偏离度阈值,且所述第二偏离度小于或等于第二偏离度阈值的所述第一筛选结果,设为所述第二筛选结果,添加进所述图像筛选结果。
具体而言,设定第一偏离度阈值和第二偏离度阈值,这两个阈值是为了对几何特征信息进行进一步筛选,以保证最终得到的图像记录数据满足加工要求。对第一筛选结果中的每个焊接位置序列进行遍历,对于每个焊接位置序列,将其各项数据代入上述偏离度评估函数,其中,归一化调整系数为挪动小数点位置的参数,经过计算获取第一偏离度、第二偏离度,如果第一偏离度小于或等于第一偏离度阈值,且第二偏离度小于或等于第二偏离度阈值,将该焊接位置序列添加到第二筛选结果中。
经过第二次筛选后,得到的第二筛选结果包含的图像记录数据满足几何尺寸偏差阈值和第一、第二偏离度阈值,可以作为最终的图像筛选结果。
进一步而言,本申请步骤S442还包括:
步骤S4421:根据所述偏离度评估函数,获取所述第一筛选结果的第k个筛选结果第一偏离度和第k个筛选结果第二偏离度;
步骤S4422:判断所述第k个筛选结果第一偏离度是否小于或等于所述第一偏离度阈值,且所述第k个筛选结果第二偏离度是否小于或等于所述第二偏离度阈值;
步骤S4423:若所述第k个筛选结果第一偏离度大于所述第一偏离度阈值,或/和所述第k个筛选结果第二偏离度大于所述第二偏离度阈值,对所述第k个筛选结果第一偏离度和所述第k个筛选结果第二偏离度加和,获取第k个筛选结果综合偏离度;
具体而言,将第一筛选结果的第k个筛选结果代入所述偏离度评估函数,获取第一偏离度和第二偏离度。
判断第k个筛选结果的第一偏离度是否小于或等于第一偏离度阈值,若第一偏离度小于或等于阈值,则继续进行下一步判断;否则,直接跳过后面的判断,将该结果视为不符合要求。
判断第k个筛选结果的第二偏离度是否小于或等于第二偏离度阈值,若第二偏离度小于或等于阈值,则该结果符合要求;否则,该结果不符合要求。通过以上判断,可以得出第k个筛选结果是否符合所设置的阈值,若符合要求,则该结果将被设为第二筛选结果中的一部分;否则,该结果将被舍弃。
当第k个筛选结果的第一偏离度或/和第二偏离度大于其对应的阈值时,计算该筛选结果的综合偏离度,即将第一偏离度和第二偏离度加和,以此确定第k个筛选结果是否满足几何特征的要求。具体地,设第k个筛选结果的第一偏离度为,第二偏离度为/>,则该筛选结果的综合偏离度为/>。其中,如果第k个筛选结果的第一偏离度和第二偏离度都小于等于它们各自对应的阈值,则不需要计算综合偏离度,直接进行下一步的判断即可。
步骤S4424:当所述第k个筛选结果综合偏离度小于或等于第k-1个筛选结果综合偏离度时,将所述第k个筛选结果设为比对优胜结果;
步骤S4425:当所述第k个筛选结果综合偏离度大于所述第k-1个筛选结果综合偏离度时,将第k-1个筛选结果设为比对优胜结果;
步骤S4426:当k大于或等于预设迭代次数时,若仍未收敛,将所述比对优胜结果设为所述图像筛选结果。
具体而言,将第k个筛选结果综合偏离度与第k-1个筛选结果综合偏离度进行对比,若小于或等于,则将第k个筛选结果设为比对优胜结果,若大于,则将第k-1个筛选结果设为比对优胜结果,具体地,记录当前的比对优胜结果,然后,对于每一个筛选结果,比较其综合偏离度和当前的比对优胜结果的综合偏离度,如果当前筛选结果的综合偏离度小于或等于当前的比对优胜结果的综合偏离度,则将当前的筛选结果设为新的比对优胜结果。
示例性地,假设在前几轮迭代中,第k-1个筛选结果的综合偏离度是1.5,而第k个筛选结果的综合偏离度是1.2,那么在第k轮迭代中,如果第k个筛选结果的综合偏离度仍然大于1.5,那么第k-1个筛选结果就会被选为比对优胜结果;如果第k个筛选结果的综合偏离度小于或等于1.5,那么第k个筛选结果就会被选为比对优胜结果。
在执行了一定次数的筛选操作后,可能存在某些情况导致算法无法收敛到一个确定的结果,这时,通过设定预设的迭代次数,示例性地,设置为500次,当迭代次数达到500次时,强制结束算法并将当前的比对优胜结果设为最终的图像筛选结果。
进一步而言,本申请步骤S400还包括:
步骤S440-1:当所述第一筛选结果或所述第二筛选结果的数据量为零时,基于所述第一焊点采集焊接记录补充数据,其中,所述焊接记录补充数据与所述焊接记录数据不同;
步骤S440-2:根据所述焊接记录补充数据确定所述图像筛选结果。
具体而言,在焊接记录数据处理过程中,有可能会出现第一筛选结果或第二筛选结果的数据量为零的情况,这种情况下无法进行后续的筛选过程,需要采集焊接记录补充数据。具体实现方法为基于所述第一焊点,使用与采集焊接记录数据相同或相似的方式进行数据采集,例如利用传感器或摄像头对焊接过程进行监控和记录,采集到的数据包括焊接温度、焊接时间、焊接位置等信息,这些信息与已有的焊接记录数据不同,将这些信息作为焊接记录补充数据,然后将其与已有的焊接记录数据进行整合和处理,以便后续的筛选过程使用。
步骤S500:将所述焊接位置序列发送至所述客户端,获取用户反馈信息;
具体而言,将焊接位置序列从焊接控制系统发送到客户端,客户端接收并显示焊接位置序列,使用户可以查看焊接位置结果,用户可以对焊接位置序列提出反馈,例如确认是否满意该结果,或者需要对焊接位置进行更改,用户反馈信息通过客户端进行输入,并将用户反馈信息发送回焊接控制系统。根据用户的反馈信息,焊接控制系统可以进行相应的调整,并重新生成焊接位置序列,以满足用户的要求。
步骤S600:当所述用户反馈信息包括确定信号时,将所述焊接位置序列设为所述第一焊点的焊接位置选取结果;
具体而言,解析用户反馈信息,判断是否包含确定信号,如果用户反馈信息中包含确定信号,则将所述焊接位置序列设为所述第一焊点的焊接位置选取结果,并结束当前任务。
综上所述,本申请实施例所提供的一种焊接位置选取的可视化控制方法及系统具有如下技术效果:
获取待焊件基础信息,包括待焊件型号信息和待焊件定位信息,匹配焊接样本图像进行语义分割,获取焊点样本特征信息,获取客户端选定的第一焊点,采集焊接记录数据,包括焊接加工参数记录数据和焊接图像记录数据,对N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列,发送至客户端,获取用户反馈信息,当包括确定信号时,将焊接位置序列设为第一焊点的焊接位置选取结果。解决了传统的焊接位置选择方法存在主要依赖于经验和直觉,存在主观性和不确定性,并且焊接位置选择方法不够智能化,无法自主学习和适应不同的焊接环境和工艺,使得焊接质量差的技术问题,实现了基于深度学习的算法,自主学习和适应不同的焊接环境和工艺,并且基于大数据的分析和处理,提高了焊接位置选择的准确性和可靠性,达到保证焊接质量的技术效果。
实施例二
基于与前述实施例中一种焊接位置选取的可视化控制方法相同的发明构思,如图4所示,本申请提供了一种焊接位置选取的可视化控制系统,所述系统包括客户端,所述系统包括:
基础信息获取模块10,所述基础信息获取模块10用于获取待焊件基础信息,其中,所述待焊件基础信息包括待焊件型号信息和待焊件定位信息;
特征信息获取模块20,所述特征信息获取模块20用于根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息;
记录数据获取模块30,所述记录数据获取模块30用于获取客户端选定所述待焊件型号信息的第一焊点,基于所述第一焊点采集焊接记录数据,其中,所述焊接记录数据包括N组焊接加工参数记录数据和N个焊接图像记录数据;
记录数据筛选模块40,所述记录数据筛选模块40用于基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列;
反馈信息获取模块50,所述反馈信息获取模块50用于将所述焊接位置序列发送至所述客户端,获取用户反馈信息;
焊接位置获取模块60,所述焊接位置获取模块60用于当所述用户反馈信息包括确定信号时,将所述焊接位置序列设为所述第一焊点的焊接位置选取结果。
进一步而言,所述系统还包括:
特征区域获取模块,用于对所述焊接样本图像进行语义分割,获取样本焊点特征区域;
结构特征提取模块,用于对所述样本焊点特征区域进行结构特征提取,获取所述几何样本特征信息;
纹理特征提取模块,用于对所述样本焊点特征区域进行纹理特征提取,获取所述纹理样本特征信息;
其中,所述几何样本特征信息包括交界接触角特征、润湿角特征、引脚高度特征、润湿面积特征和填充高度特征,所述纹理样本特征信息包括裂纹尺寸特征、针孔尺寸特征、表面粗糙度特征和漏焊数量特征。
进一步而言,所述系统还包括:
焊点标识模块,用于采集焊接产品图像集进行焊点标识,生成焊点标识区域;
第一分割器训练模块,用于以所述焊接产品图像集为输入数据,以所述焊点标识区域为输出监督数据,基于u-net神经网络,训练第一分割器;
第一偏差数据集获取模块,用于获取所述第一分割器的输出偏差大于或等于输出偏差阈值的所述焊接产品图像集和所述焊点标识区域,设为第一偏差数据集;
第二分割器训练模块,用于提升所述第一偏差数据集在初始数据集中的权重,基于u-net神经网络,训练第二分割器;
焊点特征区域获取模块,用于重复训练,直到第N分割器的第N偏差数据集的数据量小于或等于预设数据量,将所述第一分割器、所述第二分割器和所述第N分割器合并,生成语义分割模型对所述焊接样本图像进行语义分割,获取所述样本焊点特征区域。
进一步而言,所述系统还包括:
特征信息获取模块,用于获取所述N个焊接图像记录数据的N组纹理特征信息和N组几何特征信息;
特征信息发送模块,用于将所述纹理样本特征信息和所述几何样本特征信息发送至所述客户端,设定缺陷纹理偏差阈值和几何尺寸偏差阈值;
第一筛选结果获取模块,用于将所述N组纹理特征信息不满足所述缺陷纹理偏差阈值的焊接图像记录数据删除,获取第一筛选结果;
第二筛选结果获取模块,用于将所述N组几何特征信息不满足所述几何尺寸偏差阈值的所述第一筛选结果删除,获取第二筛选结果,设为所述图像筛选结果。
进一步而言,所述系统还包括:
评估函数构建模块,用于构建偏离度评估函数:,其中,表征第一偏离度,/>表征第二偏离度,a表征任意一组几何特征信息的偏差,b表征与a对应的纹理特征信息的偏差,/>表征第i个几何特征偏差,/>表征第j个纹理特征偏差,/>表征任意一组的几何特征偏差总数量,/>表征任意一组的纹理特征偏差总数量,/>为归一化调整系数,/>表征几何特征偏差权重,/>表征纹理特征偏差权重;
图像筛选结果获取模块,用于将所述第一偏离度小于或等于第一偏离度阈值,且所述第二偏离度小于或等于第二偏离度阈值的所述第一筛选结果,设为所述第二筛选结果,添加进所述图像筛选结果。
进一步而言,所述系统还包括:
偏离度获取模块,用于根据所述偏离度评估函数,获取所述第一筛选结果的第k个筛选结果第一偏离度和第k个筛选结果第二偏离度;
偏离度判断模块,用于判断所述第k个筛选结果第一偏离度是否小于或等于所述第一偏离度阈值,且所述第k个筛选结果第二偏离度是否小于或等于所述第二偏离度阈值;
综合偏离度获取模块,用于若所述第k个筛选结果第一偏离度大于所述第一偏离度阈值,或/和所述第k个筛选结果第二偏离度大于所述第二偏离度阈值,对所述第k个筛选结果第一偏离度和所述第k个筛选结果第二偏离度加和,获取第k个筛选结果综合偏离度;
第一比对优胜结果获取模块,用于当所述第k个筛选结果综合偏离度小于或等于第k-1个筛选结果综合偏离度时,将所述第k个筛选结果设为比对优胜结果;
第二比对优胜结果获取模块,用于当所述第k个筛选结果综合偏离度大于所述第k-1个筛选结果综合偏离度时,将第k-1个筛选结果设为比对优胜结果;
图像筛选结果设定模块,用于当k大于或等于预设迭代次数时,若仍未收敛,将所述比对优胜结果设为所述图像筛选结果。
进一步而言,所述系统还包括:
补充数据获取模块,用于当所述第一筛选结果或所述第二筛选结果的数据量为零时,基于所述第一焊点采集焊接记录补充数据,其中,所述焊接记录补充数据与所述焊接记录数据不同;
图像筛选结果确定模块,用于根据所述焊接记录补充数据确定所述图像筛选结果。
本说明书通过前述对一种焊接位置选取的可视化控制方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种焊接位置选取的可视化控制方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种焊接位置选取的可视化控制方法,其特征在于,应用于焊接位置选取的可视化控制系统,所述系统包括客户端,包括:
获取待焊件基础信息,其中,所述待焊件基础信息包括待焊件型号信息和待焊件定位信息;
根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息;
获取客户端选定的所述待焊件型号信息的第一焊点,基于所述第一焊点采集焊接记录数据,其中,所述焊接记录数据包括N组焊接加工参数记录数据和N个焊接图像记录数据;
基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列;
将所述焊接位置序列发送至所述客户端,获取用户反馈信息;
当所述用户反馈信息包括确定信号时,将所述焊接位置序列设为所述第一焊点的焊接位置选取结果。
2.如权利要求1所述的方法,其特征在于,根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息,包括:
对所述焊接样本图像进行语义分割,获取样本焊点特征区域;
对所述样本焊点特征区域进行结构特征提取,获取所述几何样本特征信息;
对所述样本焊点特征区域进行纹理特征提取,获取所述纹理样本特征信息;
其中,所述几何样本特征信息包括交界接触角特征、润湿角特征、引脚高度特征、润湿面积特征和填充高度特征,所述纹理样本特征信息包括裂纹尺寸特征、针孔尺寸特征、表面粗糙度特征和漏焊数量特征。
3.如权利要求2所述的方法,其特征在于,对所述焊接样本图像进行语义分割,获取样本焊点特征区域,包括:
采集焊接产品图像集进行焊点标识,生成焊点标识区域;
以所述焊接产品图像集为输入数据,以所述焊点标识区域为输出监督数据,基于u-net神经网络,训练第一分割器;
获取所述第一分割器的输出偏差大于或等于输出偏差阈值的所述焊接产品图像集和所述焊点标识区域,设为第一偏差数据集;
提升所述第一偏差数据集在初始数据集中的权重,基于u-net神经网络,训练第二分割器;
重复训练,直到第N分割器的第N偏差数据集的数据量小于或等于预设数据量,将所述第一分割器、所述第二分割器和所述第N分割器合并,生成语义分割模型对所述焊接样本图像进行语义分割,获取所述样本焊点特征区域。
4.如权利要求1所述的方法,其特征在于,基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列,包括:
获取所述N个焊接图像记录数据的N组纹理特征信息和N组几何特征信息;
将所述纹理样本特征信息和所述几何样本特征信息发送至所述客户端,设定缺陷纹理偏差阈值和几何尺寸偏差阈值;
将所述N组纹理特征信息不满足所述缺陷纹理偏差阈值的焊接图像记录数据删除,获取第一筛选结果;
将所述N组几何特征信息不满足所述几何尺寸偏差阈值的所述第一筛选结果删除,获取第二筛选结果,设为所述图像筛选结果。
5.如权利要求4所述的方法,其特征在于,将所述N组几何特征信息不满足所述几何尺寸偏差阈值的所述第一筛选结果删除,获取第二筛选结果,设为所述图像筛选结果,包括:
构建偏离度评估函数:,其中,表征第一偏离度,/>表征第二偏离度,a表征任意一组几何特征信息的偏差,b表征与a对应的纹理特征信息的偏差,/>表征第i个几何特征偏差,/>表征第j个纹理特征偏差,/>表征任意一组的几何特征偏差总数量,/>表征任意一组的纹理特征偏差总数量,/>为归一化调整系数,/>表征几何特征偏差权重,/>表征纹理特征偏差权重;
将所述第一偏离度小于或等于第一偏离度阈值,且所述第二偏离度小于或等于第二偏离度阈值的所述第一筛选结果,设为所述第二筛选结果,添加进所述图像筛选结果。
6.如权利要求5所述的方法,其特征在于,将所述第一偏离度小于或等于第一偏离度阈值,且所述第二偏离度小于或等于第二偏离度阈值的所述第一筛选结果,设为所述第二筛选结果,添加进所述图像筛选结果,还包括:
根据所述偏离度评估函数,获取所述第一筛选结果的第k个筛选结果第一偏离度和第k个筛选结果第二偏离度;
判断所述第k个筛选结果第一偏离度是否小于或等于所述第一偏离度阈值,且所述第k个筛选结果第二偏离度是否小于或等于所述第二偏离度阈值;
若所述第k个筛选结果第一偏离度大于所述第一偏离度阈值,或/和所述第k个筛选结果第二偏离度大于所述第二偏离度阈值,对所述第k个筛选结果第一偏离度和所述第k个筛选结果第二偏离度加和,获取第k个筛选结果综合偏离度;
当所述第k个筛选结果综合偏离度小于或等于第k-1个筛选结果综合偏离度时,将所述第k个筛选结果设为比对优胜结果;
当所述第k个筛选结果综合偏离度大于所述第k-1个筛选结果综合偏离度时,将第k-1个筛选结果设为比对优胜结果;
当k大于或等于预设迭代次数时,若仍未收敛,将所述比对优胜结果设为所述图像筛选结果。
7.如权利要求4所述的方法,其特征在于,还包括:
当所述第一筛选结果或所述第二筛选结果的数据量为零时,基于所述第一焊点采集焊接记录补充数据,其中,所述焊接记录补充数据与所述焊接记录数据不同;
根据所述焊接记录补充数据确定所述图像筛选结果。
8.一种焊接位置选取的可视化控制系统,其特征在于,所述系统包括客户端,包括:
基础信息获取模块,所述基础信息获取模块用于获取待焊件基础信息,其中,所述待焊件基础信息包括待焊件型号信息和待焊件定位信息;
特征信息获取模块,所述特征信息获取模块用于根据所述待焊件型号信息匹配焊接样本图像进行语义分割,获取焊点样本特征信息,其中,所述焊点样本特征信息包括纹理样本特征信息和几何样本特征信息;
记录数据获取模块,所述记录数据获取模块用于获取客户端选定的所述待焊件型号信息的第一焊点,基于所述第一焊点采集焊接记录数据,其中,所述焊接记录数据包括N组焊接加工参数记录数据和N个焊接图像记录数据;
记录数据筛选模块,所述记录数据筛选模块用于基于所述纹理样本特征信息和所述几何样本特征信息对所述N个焊接图像记录数据进行筛选,获取图像筛选结果的加工参数记录数据的焊接位置序列;
反馈信息获取模块,所述反馈信息获取模块用于将所述焊接位置序列发送至所述客户端,获取用户反馈信息;
焊接位置获取模块,所述焊接位置获取模块用于当所述用户反馈信息包括确定信号时,将所述焊接位置序列设为所述第一焊点的焊接位置选取结果。
CN202310840458.7A 2023-07-11 2023-07-11 一种焊接位置选取的可视化控制方法及系统 Active CN116551263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310840458.7A CN116551263B (zh) 2023-07-11 2023-07-11 一种焊接位置选取的可视化控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310840458.7A CN116551263B (zh) 2023-07-11 2023-07-11 一种焊接位置选取的可视化控制方法及系统

Publications (2)

Publication Number Publication Date
CN116551263A true CN116551263A (zh) 2023-08-08
CN116551263B CN116551263B (zh) 2023-10-31

Family

ID=87495092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310840458.7A Active CN116551263B (zh) 2023-07-11 2023-07-11 一种焊接位置选取的可视化控制方法及系统

Country Status (1)

Country Link
CN (1) CN116551263B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117817211A (zh) * 2024-02-26 2024-04-05 扬州市职业大学(扬州开放大学) 基于机器视觉的焊接自动化控制方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457841A (zh) * 2014-11-04 2015-03-25 吉林大学 电阻点焊质量在线监测方法
CN112183555A (zh) * 2020-09-23 2021-01-05 唐山松下产业机器有限公司 焊接质量的检测方法、系统、电子设备和存储介质
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113674242A (zh) * 2021-08-19 2021-11-19 苏州明迹智能机器人有限公司 一种基于生成对抗网络的转子缺陷检测方法
CN114219306A (zh) * 2021-12-16 2022-03-22 蕴硕物联技术(上海)有限公司 用于建立焊接质量检测模型的方法、设备、介质及程序产品
CN114282689A (zh) * 2022-03-04 2022-04-05 苏芯物联技术(南京)有限公司 一种普适焊接起弧实时智能检测方法及系统
CN114511604A (zh) * 2022-02-11 2022-05-17 苏州翰泽精密机械有限公司 一种医疗器械金属零部件的增减复合智能修复方法
CN115146530A (zh) * 2022-06-15 2022-10-04 蕴硕物联技术(上海)有限公司 构建焊接质量检测模型的方法、设备、介质及程序产品
CN115713476A (zh) * 2021-08-17 2023-02-24 深圳市大族数控科技股份有限公司 基于激光焊接的视觉检测方法、装置及可读存储介质
CN116258175A (zh) * 2022-12-30 2023-06-13 沈阳派得林科技有限责任公司 一种基于主动学习的焊缝缺陷智能识别模型进化方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457841A (zh) * 2014-11-04 2015-03-25 吉林大学 电阻点焊质量在线监测方法
CN112183555A (zh) * 2020-09-23 2021-01-05 唐山松下产业机器有限公司 焊接质量的检测方法、系统、电子设备和存储介质
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN115713476A (zh) * 2021-08-17 2023-02-24 深圳市大族数控科技股份有限公司 基于激光焊接的视觉检测方法、装置及可读存储介质
CN113674242A (zh) * 2021-08-19 2021-11-19 苏州明迹智能机器人有限公司 一种基于生成对抗网络的转子缺陷检测方法
CN114219306A (zh) * 2021-12-16 2022-03-22 蕴硕物联技术(上海)有限公司 用于建立焊接质量检测模型的方法、设备、介质及程序产品
CN114511604A (zh) * 2022-02-11 2022-05-17 苏州翰泽精密机械有限公司 一种医疗器械金属零部件的增减复合智能修复方法
CN114282689A (zh) * 2022-03-04 2022-04-05 苏芯物联技术(南京)有限公司 一种普适焊接起弧实时智能检测方法及系统
CN115146530A (zh) * 2022-06-15 2022-10-04 蕴硕物联技术(上海)有限公司 构建焊接质量检测模型的方法、设备、介质及程序产品
CN116258175A (zh) * 2022-12-30 2023-06-13 沈阳派得林科技有限责任公司 一种基于主动学习的焊缝缺陷智能识别模型进化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117817211A (zh) * 2024-02-26 2024-04-05 扬州市职业大学(扬州开放大学) 基于机器视觉的焊接自动化控制方法及系统

Also Published As

Publication number Publication date
CN116551263B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111815572B (zh) 一种基于卷积神经网络对锂电池焊接质量的检测方法
CN116551263B (zh) 一种焊接位置选取的可视化控制方法及系统
JP2004085216A (ja) 良否判定装置、良否判定プログラムおよび良否判定方法
CN117152161B (zh) 一种基于图像识别的刨花板质量检测方法及系统
CN117115148B (zh) 基于5g技术的芯片表面缺陷智能识别方法
CN116798036B (zh) 用于识别和校验答题卡客观题识别结果的方法及装置
CN116756372A (zh) 一种烟支缺陷检测方法及装置
CN117252840B (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN116990229B (zh) 一种产品镀铜层表面的缺陷检测方法及系统
CN116778520B (zh) 一种海量证照数据质量检验方法
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN114549403B (zh) 一种机械零部件侧剖面多单体智能精密几何圆心检测方法
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
CN111610205A (zh) 一种金属零部件x光图像缺陷检测装置
CN109975686B (zh) 一种基于红外图像处理的电路板短路自动识别方法
CN113191997A (zh) 一种基于机器视觉的卡簧测量方法
CN117817211B (zh) 基于机器视觉的焊接自动化控制方法及系统
CN118096747B (zh) 基于深度学习的pcba板自动检测方法及系统
CN116152243B (zh) 基于图像分析的集装箱装卸作业状态的检测方法
CN112614097B (zh) 铁路火车轴箱转臂异物检测方法
CN117152149B (zh) 用于晶圆切割的边缘平滑度检测方法及系统
CN117911412B (zh) 用于工程机械用链轨节的尺寸检测方法及系统
CN118134904A (zh) 芯片焊点质量检测方法、装置、设备及存储介质
CN115711916A (zh) 航天器复合材料结构产品的红外热像检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant