CN117444458A - 一种用于焊接机器人的自动控制方法 - Google Patents

一种用于焊接机器人的自动控制方法 Download PDF

Info

Publication number
CN117444458A
CN117444458A CN202311769785.4A CN202311769785A CN117444458A CN 117444458 A CN117444458 A CN 117444458A CN 202311769785 A CN202311769785 A CN 202311769785A CN 117444458 A CN117444458 A CN 117444458A
Authority
CN
China
Prior art keywords
welding
weld
value
welding seam
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311769785.4A
Other languages
English (en)
Other versions
CN117444458B (zh
Inventor
胡芝忠
贾小刚
吴家乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Taiyi Technology Co ltd
Original Assignee
Shenzhen Taiyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Taiyi Technology Co ltd filed Critical Shenzhen Taiyi Technology Co ltd
Priority to CN202311769785.4A priority Critical patent/CN117444458B/zh
Publication of CN117444458A publication Critical patent/CN117444458A/zh
Application granted granted Critical
Publication of CN117444458B publication Critical patent/CN117444458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明涉及焊接控制技术领域，具体公开了一种用于焊接机器人的自动控制方法，包括以下步骤：步骤一：采集焊缝图像，并对采集的焊缝图像预处理，并对预处理后的焊缝图像进行特征提取得到焊缝特征数据；步骤二：根据焊缝特征数据获取焊缝行为值，基于焊缝行为值对焊缝质量进行识别，得到焊缝行为信号；步骤三：基于焊缝行为信号，对焊接机器人的执行动作进行调整，本发明本方案中通过将焊缝转化为图像处理，基于图像识别对焊缝多参数进行获取，可视化程度高，且通过多参数的表征使得到的焊接质量数据更加准确，便于管理人员对焊缝质量认定，避免造成焊接材料的浪费和焊接时间的浪费。

Description

一种用于焊接机器人的自动控制方法
技术领域
本发明涉及焊接控制技术领域，具体涉及一种用于焊接机器人的自动控制方法。
背景技术
焊接机器人是用于进行自动焊接的工业机器人。焊接机器人广泛应用于焊接作业中不断重复、单调的长时间作业场景或高危恶劣环境的焊接作业场景，具有高生产率、高质量和高稳定性等特点。
如专利申请号202011627798.4公开了一种焊接机器人低对比度图像增强方法，采集所需要的原始图像；将原始图像进行归一化处理；将处理后的图像转化到HSV颜色空间；通过Retinex原理对转化后的图像进行图像分解，分解为反射层和亮度层；进行亮度自适应调整后，重构图像；将重构的图像采用限制对比度自适应直方图均衡进行处理，之后再将处理的图像从HSV颜色空间转换为RGB，借助于视觉的方法，实现焊缝区域的优化，为后面的焊缝提取提供重要的支撑和保障。
现有技术中是通过对焊缝图像进行调整，并没有基于焊缝图像对焊缝质量进行识别，具有一定的局限性，在焊接过程中，如果没有焊接质量的实时追踪，则不能对焊接机器人焊接参数进行实时调整，导致焊接质量出现滞后性，影响焊材品质。
发明内容
本发明的目的在于提供一种用于焊接机器人的自动控制方法，通过对焊缝图像进行预处理，并提取焊缝图像的焊缝特征数据，即通过对焊缝图像的焊缝颜色偏差值和焊缝光洁度值处理得到焊缝的颜色基准值，通过对焊缝线条宽度幅值、焊缝间距异动率和焊缝方向偏离值的处理得到焊缝的纹理基准值，基于焊缝的颜色基准值和焊缝的纹理基准值得到焊缝行为值，通过对焊缝行为值进行比较处理，对焊缝的焊接质量进行识别，即本方案中通过将焊缝转化为图像处理，基于图像识别对焊缝多参数进行获取，可视化程度高，且通过多参数的表征使得到的焊接质量数据更加准确。
本发明的目的可以通过以下技术方案实现：
一种用于焊接机器人的自动控制方法，包括以下步骤：
步骤一：采集焊缝图像，并对采集的焊缝图像预处理，并对预处理后的焊缝图像进行特征提取得到焊缝特征数据；
其中，焊缝特征数据包括焊缝颜色数据和焊缝纹理数据；
步骤二：根据焊缝特征数据获取焊缝行为值，基于焊缝行为值对焊缝质量进行识别，得到焊缝行为信号；
焊缝颜色数据包括焊缝颜色偏差值和焊缝光洁度值；
将焊缝颜色偏差值记为Hy，将焊缝光洁度值记为Hg，
通过公式计算得到焊缝颜色数据的颜色基准值Hi，其中，/>为预设比例系数；
焊缝纹理数据包括焊缝线条宽度幅值、焊缝间距异动率和焊缝方向偏离值；
将焊缝线条宽度幅值记为Hf，将焊缝间距异动率记为Hj，将焊缝方向偏离值记为Hp；
通过公式计算得到焊缝纹理数据的纹理基准值Hw，其中，/>为预设比例系数，且/>；
对焊缝颜色数据的颜色基准值Hi与焊缝纹理数据的纹理基准值Hw进行处理，即通过公式计算得到焊缝行为值Hiw，其中，/>为预设比例系数；
步骤三：基于焊缝行为信号，对焊接机器人的执行动作进行调整。
作为本发明进一步的方案：步骤二中，焊缝行为值的获取过是将焊缝沿焊接时间顺序，将焊缝图像分割成若干个等长度的焊缝子单元，形成焊缝子单元图片。
作为本发明进一步的方案：所述焊缝颜色偏差值的获取过程为：
分别获取每个焊缝子单元图片最大的RGB值；
获取焊缝子单元图片中最大的R值，标记为R1；
获取焊缝子单元图片中最大的G值，标记为G1；
获取焊缝子单元图片中最大的B值，标记为B1；
将焊缝子单元图片中R1值、G1值和B1值进行加权处理得到焊缝子单元的颜色值Yi；
获取每个焊缝子单元图片的颜色值形成焊缝颜色值组，按照方差计算公式获取得到焊缝颜色值组的方差值，将该方差值记为焊缝颜色偏差值。
作为本发明进一步的方案：焊缝光洁度值的获取过程为：
使用深度学习框架构建卷积神经网络模型；
收集大量具有不同光洁度的焊缝图片，并标注每张焊缝图片所对应的真实光洁度值，构成数据集，通过数据集对模型进行训练；
将训练好的模型应用于每张焊缝子单元图片上，获取每张焊缝子单元图片所对应的光洁度值；
将所有焊缝子单元图片所对应的光洁度值进行求和取均值，得到焊缝光洁度值。
作为本发明进一步的方案：所述焊缝线条宽度值的获取过程为：
分别获取每个焊缝子单元图片中每条焊缝的焊缝线条宽度值，将焊缝子单元图片中每条焊缝的焊缝线条宽度值进行求和取均值，即得到单张焊缝子单元图片的焊缝线条宽度均值；
获取所有焊缝子单元图片的焊缝线条宽度均值，得到焊缝线条宽度均值组；
将焊缝线条宽度均值组中的最大的焊缝线条宽度均值与最小的焊缝线条宽度均值进行差值计算，得到焊缝线条宽度幅值。
作为本发明进一步的方案：所述焊缝间距异动率的获取过程为：
分别获取每张焊缝子单元图片中相邻焊缝之间的间距值，将焊缝子单元图片中所有间距值求和取均值，即得到单张焊缝子单元图片的焊缝间距实际值；
若焊缝子单元图片中的焊缝间距实际值符合预设焊缝间距值要求时，将该焊缝子单元图片记为焊缝正常图片；
若焊缝子单元图片中的焊缝间距实际值不符合预设焊缝间距值要求时，将该焊缝子单元图片记为焊缝异常图片；
记录焊缝所对应的焊缝正常图片和焊缝异常图片的数量，将焊缝正常图片数量与焊缝异常图片的数量进行求和，得到总焊缝图片张数；
再将焊缝异常图片张数与总焊缝图片张数进行比值计算，得到焊缝间距异动率。
作为本发明进一步的方案：预设焊缝间距值为焊接过程中最佳的焊缝间距，该预设焊缝间距值为一个区间值。
作为本发明进一步的方案：焊缝方向偏离值获取过程为：
获取焊缝方向与母材表面的夹角，得到焊缝偏离角；
将焊缝偏离角与预设偏离角进行比值计算，得到焊缝方向偏离值。
作为本发明进一步的方案：预设焊缝行为阈值的极限值为Hiw1和Hiw2，其中，Hiw1<Hiw2，将焊缝行为值与焊缝行为阈值的极限值进行比较；
若Hiw<Hiw1时，该焊缝焊接质量好，生成焊接行为正常信号；
若Hiw1≤Hiw<Hiw2时，该焊缝焊接质量一般，生成焊接行为自适应信号；
若Hiw≥Hiw2时，该焊缝焊接质量差，生成焊接行为异常信号。
作为本发明进一步的方案：焊接机器人的执行动作进行调整包括：
当焊缝行为信号为焊接行为正常信号时，焊接机器人保持正常焊接程序进行焊接；
当焊缝行为信号为焊接行为自适应信号时，对焊接机器人的焊接参数进行调整；
当焊缝行为信号为焊接行为异常信号时，焊接机器人暂停焊接程序停止焊接。
本发明的有益效果：
（1）本发明通过对焊缝图像进行预处理，并提取焊缝图像的焊缝特征数据，即通过对焊缝图像的焊缝颜色偏差值和焊缝光洁度值处理得到焊缝的颜色基准值，通过对焊缝线条宽度幅值、焊缝间距异动率和焊缝方向偏离值的处理得到焊缝的纹理基准值，基于焊缝的颜色基准值和焊缝的纹理基准值得到焊缝行为值，通过对焊缝行为值进行比较处理，对焊缝的焊接质量进行识别，即本方案中通过将焊缝转化为图像处理，基于图像识别对焊缝多参数进行获取，可视化程度高，且通过多参数的表征使得到的焊接质量数据更加准确，便于管理人员对焊缝质量认定，避免造成焊接材料的浪费和焊接时间的浪费；
（2）本发明当焊缝行为信号为焊接行为自适应信号时，对焊接机器人的焊接参数进行调整，通过调整焊接机器人的焊接电流、焊接电压及焊接速度，实现对焊接机器人的调整，完成对焊接过程中焊缝颜色、焊缝光洁度、焊缝线条宽度、焊缝间距和焊缝偏离角的修正，以焊接机器人能够以标准的焊接电流、焊接电压、焊接速度和最佳焊缝行为值进行自适应调整，有效的提高焊接机器人的自适应能力，改善焊接机器人的焊接精度，提高焊材的焊接质量。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明一种用于焊接机器人的自动控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种用于焊接机器人的自动控制方法，包括以下步骤：
步骤一：采集焊缝图像，并对采集的焊缝图像预处理，并对预处理后的焊缝图像进行特征提取得到焊缝特征数据；
步骤二：根据焊缝特征数据获取焊缝行为值，基于焊缝行为值对焊缝质量进行识别，得到焊缝行为信号；
步骤三：基于焊缝行为信号，对焊接机器人的执行动作进行调整。
步骤一中，焊缝图像的采集是通过相机或者扫描仪等设备进行图像采集；
步骤一中，由于采集的焊缝图像可能存在噪声、光照不均等问题，对于焊缝图像的预处理包括滤波、去噪和增强对比度。
步骤一中，对于焊缝图像中特征提取采用计算机视觉算法，包括但不限于边缘检测和角点检测；
步骤一中，焊缝特征数据包括焊缝颜色数据和焊缝纹理数据。
步骤二中，焊缝行为值的获取过程为：
沿焊缝焊接时间顺序，将焊缝分割成若干个等长度的焊缝子单元，形成焊缝子单元图片；
对焊缝颜色数据进行处理：
焊缝颜色数据包括焊缝颜色偏差值和焊缝光洁度值；
焊缝颜色偏差值的获取过程为：
分别获取每个焊缝子单元图片最大的RGB值；
获取焊缝子单元图片中最大的R值，标记为R1；
获取焊缝子单元图片中最大的G值，标记为G1；
获取焊缝子单元图片中最大的B值，标记为B1；
将焊缝子单元图片中R1值、G1值和B1值进行加权处理，将获取的将焊缝子单元R1的权重占比分配为y1，将获取的将焊缝子单元G1的权重占比分配为y2，将获取的将焊缝子单元B1的权重占比分配为y3；
根据公式Yi=R1*y1+G1*y2+B1*y3计算得到焊缝子单元的颜色值Yi，其中，y1+y2+y3=1，y3、y2、y1均大于0；
获取每个焊缝子单元图片的颜色值形成焊缝颜色值组，按照方差计算公式获取得到焊缝颜色值组的方差值，将该方差值记为焊缝颜色偏差值；
焊缝光洁度值的获取过程为：
使用深度学习框架构建卷积神经网络模型；
收集大量具有不同光洁度的焊缝图片，并标注每张焊缝图片所对应的真实光洁度值，构成数据集，通过数据集对模型进行训练；
其中，在训练过程中，通过不断调整模型的参数，使得预测的光洁度值与真实值之间的误差最小化；
将训练好的模型应用于每张焊缝子单元图片上，获取每张焊缝子单元图片所对应的光洁度值；
将所有焊缝子单元图片所对应的光洁度值进行求和取均值，得到焊缝光洁度值；
将焊缝颜色偏差值记为Hy，将焊缝光洁度值记为Hg，
通过公式计算得到焊缝颜色数据的颜色基准值Hi，其中，/>为预设比例系数；
对焊缝纹理数据进行处理：
焊缝纹理数据包括焊缝线条宽度幅值、焊缝间距异动率和焊缝方向偏离值；
焊缝线条宽度值的获取过程为：
分别获取每个焊缝子单元图片中每条焊缝的焊缝线条宽度值，将焊缝子单元图片中每条焊缝的焊缝线条宽度值进行求和取均值，即得到单张焊缝子单元图片的焊缝线条宽度均值；
获取所有焊缝子单元图片的焊缝线条宽度均值，得到焊缝线条宽度均值组；
将焊缝线条宽度均值组中的最大的焊缝线条宽度均值与最小的焊缝线条宽度均值进行差值计算，得到焊缝线条宽度幅值；
焊缝间距异动率的获取过程为：
分别获取每张焊缝子单元图片中相邻焊缝之间的间距值，将焊缝子单元图片中所有间距值求和取均值，即得到单张焊缝子单元图片的焊缝间距实际值；
若焊缝子单元图片中的焊缝间距实际值符合预设焊缝间距值要求时，将该焊缝子单元图片记为焊缝正常图片；
若焊缝子单元图片中的焊缝间距实际值不符合预设焊缝间距值要求时，将该焊缝子单元图片记为焊缝异常图片；
其中，预设焊缝间距值为焊接过程中最佳的焊缝间距，该预设焊缝间距值为一个区间值；
记录焊缝所对应的焊缝正常图片和焊缝异常图片的数量，将焊缝正常图片数量与焊缝异常图片的数量进行求和，得到总焊缝图片张数；
再将焊缝异常图片张数与总焊缝图片张数进行比值计算，得到焊缝间距异动率；
焊缝方向偏离值获取过程为：
获取焊缝方向与母材表面的夹角，得到焊缝偏离角；
将焊缝偏离角与预设偏离角进行比值计算，得到焊缝方向偏离值；
其中，预设偏离角为30°；
将焊缝线条宽度幅值记为Hf；
焊缝间距异动率记为Hj；
将焊缝方向偏离值记为Hp；
通过公式计算得到焊缝纹理数据的纹理基准值Hw，其中，/>为预设比例系数，且/>；
对焊缝颜色数据的颜色基准值Hi与焊缝纹理数据的纹理基准值Hw进行处理，即通过公式计算得到焊缝行为值Hiw，其中，/>为预设比例系数；
通过上述获取焊缝行为值的公式可知：
通过对所有焊缝子单元图片的颜色值进行获取得到焊缝颜色值组的焊缝颜色偏差值，焊缝颜色偏差值越大，则说明焊缝整体颜色偏差大，焊缝质量差，即焊缝颜色偏差值越大则颜色基准值越大，颜色基准值越大则得到的焊缝行为值越大；
通过对所有焊缝子单元图片的真实光洁度值进行获取得到焊缝光洁度值，焊缝光洁度值越大，则说明焊缝整体光洁度差，焊缝质量差，即焊缝光洁度值越大则颜色基准值越大，颜色基准值越大则得到的焊缝行为值越大；
通过对所有焊缝子单元图片的焊缝线条宽度均值进行获取得到焊缝线条宽度幅值，焊缝线条宽度幅值越大，则说明焊缝线条宽度参差不齐，整体偏差大，焊缝质量差，即焊缝线条宽度幅值越大则纹理基准值越大，纹理基准值越大则得到的焊缝行为值越大；
通过对所有焊缝子单元图片的焊缝间距实际值进行获取得到焊缝间距异动率，焊缝间距异动率越大，则说明焊缝局部焊接处不符合要求的地方越多，焊缝质量差，即焊缝间距异动率越大则纹理基准值越大，纹理基准值越大则得到的焊缝行为值越大；
焊缝方向偏离值越大，则说明焊缝方向与母材表面夹角越大，夹角越大则焊缝质量越差，即焊缝方向偏离值越大则纹理基准值越大，纹理基准值越大则得到的焊缝行为值越大；
预设焊缝行为阈值的极限值为Hiw1和Hiw2，其中，Hiw1<Hiw2，将焊缝行为值与焊缝行为阈值的极限值进行比较；
若Hiw<Hiw1时，该焊缝焊接质量好，生成焊接行为正常信号；
若Hiw1≤Hiw<Hiw2时，该焊缝焊接质量一般，生成焊接行为自适应信号；
若Hiw≥Hiw2时，该焊缝焊接质量差，生成焊接行为异常信号。
步骤三中，当焊缝行为信号为焊接行为正常信号时，焊接机器人保持正常焊接程序进行焊接；
当焊缝行为信号为焊接行为自适应信号时，对焊接机器人的焊接参数进行调整；
具体的，通过调整焊接机器人的焊接电流、焊接电压及焊接速度，实现对焊接机器人的调整，完成对焊接过程中焊缝颜色、焊缝光洁度、焊缝线条宽度、焊缝间距和焊缝偏离角的修正；
在一个具体的实施例中，
获取焊接机器人焊缝时，最佳的焊缝行为值，并基于最佳焊缝行为值，获取最佳焊缝行为值所对应的焊接机器人的标准焊接电流、标准焊接电压和标准焊接速度；
将焊接机器人的标准焊接电流记为H1、标准焊接电压记为H2、标准焊接速度记为H3；
将最佳焊缝行为值记为HIW；
构建一个函数模型，即通过得到最佳焊缝行为值函数，其中，H3大于0；
将最佳焊缝行为值函数通过字符串在以图像方式显示，并将该图像记为标准图像；
获取焊接机器人在当前时间段内的实际焊缝行为值，及该实际焊缝行为值所对应的实际焊接电流、实际焊接电压和实际焊接速度；
将焊接机器人的实际焊接电流记为h1、实际焊接电压记为h2、实际焊接速度记为h3；
将实际焊缝行为值记为hiw；
构建一个函数模型，即通过得到实际焊缝行为值函数，其中，h3大于0；
将实际焊缝行为值函数通过字符串在以图像方式显示，并将该图像记为自适应图像；
将自适应图像与标准图像均投影在同一个坐标系内进行比对，处理如下：
自适应图像的开口大小与标准图像的开口大小不一致时：
自适应图像开口大于标准图像开口，即，则表示焊接机器人当前焊接速度低，对焊接机器人焊接速度进行加速调整；
自适应图像开口小于标准图像开口，即，则表示焊接机器人当前焊接速度高，对焊接机器人焊接速度进行减速调整；
自适应图像开口大小与标准图像开口大小一致时，即，则表示焊接机器人焊接速度正常；
自适应图像与标准图像在水平方向判断：
自适应图像位于标准图像左侧时，即，则表示焊接机器人当前焊接电压小，对焊接机器人焊接电压进行增大调整；
自适应图像位于标准图像右侧时，即，则表示焊接机器人当前焊接电压高，对焊接机器人焊接电压进行减小调整；
自适应图像与标准图像在水平方向重合时，即，则表示焊接机器人焊接电压正常；
自适应图像与标准图像在垂直方向判断：
自适应图像位于标准图像上方时，即，则表示焊接机器人当前焊接电流大，对焊接机器人焊接电流进行降低调整；
自适应图像位于标准图像下方时，即，则表示焊接机器人当前焊接电流小，对焊接机器人焊接电流进行加大调整；
自适应图像与标准图像在垂直方向重合时，即，则表示焊接机器人焊接电流正常。
当焊缝行为信号为焊接行为异常信号时，焊接机器人暂停焊接程序停止焊接。
本发明的核心点之一：在于通过对焊缝图像进行预处理，并提取焊缝图像的焊缝特征数据，即通过对焊缝图像的焊缝颜色偏差值和焊缝光洁度值处理得到焊缝的颜色基准值，通过对焊缝线条宽度幅值、焊缝间距异动率和焊缝方向偏离值的处理得到焊缝的纹理基准值，基于焊缝的颜色基准值和焊缝的纹理基准值得到焊缝行为值，通过对焊缝行为值进行比较处理，对焊缝的焊接质量进行识别，即本方案中通过将焊缝转化为图像处理，基于图像识别对焊缝多参数进行获取，可视化程度高，且通过多参数的表征使得到的焊接质量数据更加准确；
本发明的核心点之一：在于当焊缝行为信号为焊接行为自适应信号时，对焊接机器人的焊接参数进行调整，通过调整焊接机器人的焊接电流、焊接电压及焊接速度，实现对焊接机器人的调整，完成对焊接过程中焊缝颜色、焊缝光洁度、焊缝线条宽度、焊缝间距和焊缝偏离角的修正，以焊接机器人能够以标准的焊接电流、焊接电压、焊接速度和最佳焊缝行为值进行自适应调整。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种用于焊接机器人的自动控制方法，其特征在于，包括以下步骤:
步骤一：采集焊缝图像，并对采集的焊缝图像预处理，并对预处理后的焊缝图像进行特征提取得到焊缝特征数据；
其中，焊缝特征数据包括焊缝颜色数据和焊缝纹理数据；
步骤二：根据焊缝特征数据获取焊缝行为值，基于焊缝行为值对焊缝质量进行识别，得到焊缝行为信号；
焊缝颜色数据包括焊缝颜色偏差值和焊缝光洁度值；
将焊缝颜色偏差值记为Hy，将焊缝光洁度值记为Hg，
通过公式 计算得到焊缝颜色数据的颜色基准值Hi，其中，/>为预设比例系数；
焊缝纹理数据包括焊缝线条宽度幅值、焊缝间距异动率和焊缝方向偏离值；
将焊缝线条宽度幅值记为Hf，将焊缝间距异动率记为Hj，将焊缝方向偏离值记为Hp；
通过公式计算得到焊缝纹理数据的纹理基准值Hw，其中，/>为预设比例系数，且/>；
对焊缝颜色数据的颜色基准值Hi与焊缝纹理数据的纹理基准值Hw进行处理，即通过公式计算得到焊缝行为值Hiw，其中，/>为预设比例系数；
步骤三：基于焊缝行为信号，对焊接机器人的执行动作进行调整。
2.根据权利要求1所述的一种用于焊接机器人的自动控制方法，其特征在于，步骤二中，焊缝行为值的获取过是将焊缝沿焊接时间顺序，将焊缝图像分割成若干个等长度的焊缝子单元，形成焊缝子单元图片。
3.根据权利要求2所述的一种用于焊接机器人的自动控制方法，其特征在于，所述焊缝颜色偏差值的获取过程为：
分别获取每个焊缝子单元图片最大的RGB值；
获取焊缝子单元图片中最大的R值，标记为R1；
获取焊缝子单元图片中最大的G值，标记为G1；
获取焊缝子单元图片中最大的B值，标记为B1；
将焊缝子单元图片中R1值、G1值和B1值进行加权处理得到焊缝子单元的颜色值Yi；
获取每个焊缝子单元图片的颜色值形成焊缝颜色值组，按照方差计算公式获取得到焊缝颜色值组的方差值，将该方差值记为焊缝颜色偏差值。
4.根据权利要求2所述的一种用于焊接机器人的自动控制方法，其特征在于，焊缝光洁度值的获取过程为：
使用深度学习框架构建卷积神经网络模型；
收集大量具有不同光洁度的焊缝图片，并标注每张焊缝图片所对应的真实光洁度值，构成数据集，通过数据集对模型进行训练；
将训练好的模型应用于每张焊缝子单元图片上，获取每张焊缝子单元图片所对应的光洁度值；
将所有焊缝子单元图片所对应的光洁度值进行求和取均值，得到焊缝光洁度值。
5.根据权利要求2所述的一种用于焊接机器人的自动控制方法，其特征在于，所述焊缝线条宽度值的获取过程为：
分别获取每个焊缝子单元图片中每条焊缝的焊缝线条宽度值，将焊缝子单元图片中每条焊缝的焊缝线条宽度值进行求和取均值，即得到单张焊缝子单元图片的焊缝线条宽度均值；
获取所有焊缝子单元图片的焊缝线条宽度均值，得到焊缝线条宽度均值组；
将焊缝线条宽度均值组中的最大的焊缝线条宽度均值与最小的焊缝线条宽度均值进行差值计算，得到焊缝线条宽度幅值。
6.根据权利要求1所述的一种用于焊接机器人的自动控制方法，其特征在于，所述焊缝间距异动率的获取过程为：
分别获取每张焊缝子单元图片中相邻焊缝之间的间距值，将焊缝子单元图片中所有间距值求和取均值，即得到单张焊缝子单元图片的焊缝间距实际值；
若焊缝子单元图片中的焊缝间距实际值符合预设焊缝间距值要求时，将该焊缝子单元图片记为焊缝正常图片；
若焊缝子单元图片中的焊缝间距实际值不符合预设焊缝间距值要求时，将该焊缝子单元图片记为焊缝异常图片；
记录焊缝所对应的焊缝正常图片和焊缝异常图片的数量，将焊缝正常图片数量与焊缝异常图片的数量进行求和，得到总焊缝图片张数；
再将焊缝异常图片张数与总焊缝图片张数进行比值计算，得到焊缝间距异动率。
7.根据权利要求6所述的一种用于焊接机器人的自动控制方法，其特征在于，预设焊缝间距值为焊接过程中最佳的焊缝间距，该预设焊缝间距值为一个区间值。
8.根据权利要求2所述的一种用于焊接机器人的自动控制方法，其特征在于，焊缝方向偏离值获取过程为：
获取焊缝方向与母材表面的夹角，得到焊缝偏离角；
将焊缝偏离角与预设偏离角进行比值计算，得到焊缝方向偏离值。
9.根据权利要求1所述的一种用于焊接机器人的自动控制方法，其特征在于，预设焊缝行为阈值的极限值为Hiw1和Hiw2，其中，Hiw1<Hiw2，将焊缝行为值与焊缝行为阈值的极限值进行比较；
若Hiw<Hiw1时，该焊缝焊接质量好，生成焊接行为正常信号；
若Hiw1≤Hiw<Hiw2时，该焊缝焊接质量一般，生成焊接行为自适应信号；
若Hiw≥Hiw2时，该焊缝焊接质量差，生成焊接行为异常信号。
10.根据权利要求9所述的一种用于焊接机器人的自动控制方法，其特征在于，焊接机器人的执行动作进行调整包括：
当焊缝行为信号为焊接行为正常信号时，焊接机器人保持正常焊接程序进行焊接；
当焊缝行为信号为焊接行为自适应信号时，对焊接机器人的焊接参数进行调整；
当焊缝行为信号为焊接行为异常信号时，焊接机器人暂停焊接程序停止焊接。
CN202311769785.4A 2023-12-21 2023-12-21 一种用于焊接机器人的自动控制方法 Active CN117444458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311769785.4A CN117444458B (zh) 2023-12-21 2023-12-21 一种用于焊接机器人的自动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311769785.4A CN117444458B (zh) 2023-12-21 2023-12-21 一种用于焊接机器人的自动控制方法

Publications (2)

Publication Number Publication Date
CN117444458A true CN117444458A (zh) 2024-01-26
CN117444458B CN117444458B (zh) 2024-03-19

Family

ID=89591289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311769785.4A Active CN117444458B (zh) 2023-12-21 2023-12-21 一种用于焊接机器人的自动控制方法

Country Status (1)

Country Link
CN (1) CN117444458B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135652A (zh) * 2007-10-15 2008-03-05 清华大学 基于纹理分割的焊缝识别方法
KR20080032856A (ko) * 2006-10-11 2008-04-16 삼성중공업 주식회사 조선소 소조립 용접부재 위치 인식 방법
CN105171742A (zh) * 2015-07-20 2015-12-23 南京工业大学 一种利用多自由度机器人的3d打印焊接方法
US20160207135A1 (en) * 2015-01-20 2016-07-21 Illinois Tool Works Inc. Multiple input welding vision system
CN105976352A (zh) * 2016-04-14 2016-09-28 北京工业大学 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法
CN107424142A (zh) * 2017-03-30 2017-12-01 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
US20180015571A1 (en) * 2014-12-30 2018-01-18 Jiangsu University Of Science And Technology Infrared vision sensing detection method and device for narrow-gap weld seam deviation
CN107627054A (zh) * 2017-10-31 2018-01-26 宁波蓝鼎电子科技有限公司 一种用于焊缝跟踪系统的图形显示报警方法
CN112464405A (zh) * 2020-11-26 2021-03-09 江南造船(集团)有限责任公司 一种基于三维模型的焊缝表达方法
CN114862775A (zh) * 2022-04-21 2022-08-05 广州东焊智能装备有限公司 一种焊接机器人的视觉识别系统
CN116586849A (zh) * 2023-07-17 2023-08-15 黄海造船有限公司 一种基于人工智能的船舶焊接检测方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080032856A (ko) * 2006-10-11 2008-04-16 삼성중공업 주식회사 조선소 소조립 용접부재 위치 인식 방법
CN101135652A (zh) * 2007-10-15 2008-03-05 清华大学 基于纹理分割的焊缝识别方法
US20180015571A1 (en) * 2014-12-30 2018-01-18 Jiangsu University Of Science And Technology Infrared vision sensing detection method and device for narrow-gap weld seam deviation
US20160207135A1 (en) * 2015-01-20 2016-07-21 Illinois Tool Works Inc. Multiple input welding vision system
CN105171742A (zh) * 2015-07-20 2015-12-23 南京工业大学 一种利用多自由度机器人的3d打印焊接方法
CN105976352A (zh) * 2016-04-14 2016-09-28 北京工业大学 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法
CN107424142A (zh) * 2017-03-30 2017-12-01 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
CN107627054A (zh) * 2017-10-31 2018-01-26 宁波蓝鼎电子科技有限公司 一种用于焊缝跟踪系统的图形显示报警方法
CN112464405A (zh) * 2020-11-26 2021-03-09 江南造船(集团)有限责任公司 一种基于三维模型的焊缝表达方法
CN114862775A (zh) * 2022-04-21 2022-08-05 广州东焊智能装备有限公司 一种焊接机器人的视觉识别系统
CN116586849A (zh) * 2023-07-17 2023-08-15 黄海造船有限公司 一种基于人工智能的船舶焊接检测方法及系统

Also Published As

Publication number Publication date
CN117444458B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN109448001B (zh) 一种图片自动裁剪方法
CN112053376B (zh) 一种基于深度信息的工件焊缝识别方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN109377450B (zh) 一种边缘保护的去噪方法
US7840074B2 (en) Method and apparatus for selecting an object in an image
WO2007074844A1 (ja) 顔パーツの位置の検出方法及び検出システム
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN111709914B (zh) 一种基于hvs特性的无参考图像质量评价方法
CN111046872A (zh) 一种光学字符识别方法
CN116468640B (zh) 一种用于互联网教学的视频图像增强方法
CN115631116B (zh) 基于双目视觉的飞行器电力巡检系统
CN112541422A (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN111753693B (zh) 一种静态场景下目标检测方法
CN110929562A (zh) 一种基于改进Hough变换的答题卡识别方法
CN111783773A (zh) 一种面向角度倾斜电线杆标识牌的矫正方法
CN115731166A (zh) 一种基于深度学习的高压电缆接头打磨缺陷检测方法
CN113240668B (zh) 一种基于图像数字特征分布的生成熔池图像质量评估方法
CN109949344B (zh) 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN104598914A (zh) 一种肤色检测的方法及装置
CN117444458B (zh) 一种用于焊接机器人的自动控制方法
CN108205678B (zh) 一种含有亮斑干扰的铭牌文字识别处理方法
CN116630321B (zh) 基于人工智能的桥梁健康智能监测系统
CN110706254B (zh) 一种目标跟踪模板自适应更新方法
CN109934190B (zh) 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法
CN116843581B (zh) 一种多场景图的图像增强方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant