CN115578390B - 一种用于除氧器的焊接控制方法 - Google Patents

一种用于除氧器的焊接控制方法 Download PDF

Info

Publication number
CN115578390B
CN115578390B CN202211575630.2A CN202211575630A CN115578390B CN 115578390 B CN115578390 B CN 115578390B CN 202211575630 A CN202211575630 A CN 202211575630A CN 115578390 B CN115578390 B CN 115578390B
Authority
CN
China
Prior art keywords
welding
value
calculating
area
low threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211575630.2A
Other languages
English (en)
Other versions
CN115578390A (zh
Inventor
杨鹤林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUXI LIANYING ELECTRIC POWER EQUIPMENT CO Ltd
Original Assignee
WUXI LIANYING ELECTRIC POWER EQUIPMENT CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUXI LIANYING ELECTRIC POWER EQUIPMENT CO Ltd filed Critical WUXI LIANYING ELECTRIC POWER EQUIPMENT CO Ltd
Priority to CN202211575630.2A priority Critical patent/CN115578390B/zh
Publication of CN115578390A publication Critical patent/CN115578390A/zh
Application granted granted Critical
Publication of CN115578390B publication Critical patent/CN115578390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Abstract

本发明涉及图像处理技术领域，具体涉及一种用于除氧器的焊接控制方法，获取除氧器当前已完成焊接部分对应的焊接图像；获取焊接图像中的各高亮区域；计算各高亮区域对应的第一判定指标与第二判定指标，进而获取各高亮区域对应的最终判定指标，根据最终判定指标获取焊缝区域；获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线，计算第一效果评价；对焊接时与未焊接时对应的边缘线进行匹配，得到至少两个匹配对，基于各匹配对计算第二效果评价；根据第一效果评价与第二效果评价计算最终效果评价；当最终效果评价大于效果阈值时，计算变形程度；当变形程度大于变形阈值时，停止焊接。本发明能够精准地对除氧器焊接进行监控。

Description

一种用于除氧器的焊接控制方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于除氧器的焊接控制方法。
背景技术
随着科学技术的不断发展，自动焊接技术逐渐占领了大部分的焊接市场，相较于传统焊接技术而言，自动焊接技术最大的特点在于引入了计算机自动控制程序，同时搭载了很多精密化装置，能够严格执行既定的程序，完成自动化焊接；整个焊接过程完全由机器进行操作执行，不受人为焊接误差的影响，能够更好地保障焊接质量。同时，自动焊接采用了更为先进的焊接技术，能够有效提高焊接的效率，焊接热量较集中，因此实际焊接成型速度更快，更有利于焊接质量与焊接效率的提升。
但是在对除氧器进行焊接时，由于实际情况的复杂多样性，自动焊接还是会在焊接时出现焊接效果不好的情况；例如，在焊接时由于焊体受热不均导致焊体出现形变，在此情况下，提前输入的计算机自动控制程序不会识别到此种形变，仍然会继续完成自动焊接工作，进而使得在后续的焊接工作中出现问题，增加了缺陷焊件量的数量，降低产品效益；因此，亟需要一种能够检测到焊体发生形变之后从而达到对焊接进行控制的目的。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种用于除氧器的焊接控制方法，所采用的技术方案具体如下：
获取除氧器当前已完成焊接部分对应的RGB图像与深度图像；对RGB图像进行预处理得到灰度图像将其记为焊接图像；并获取焊接图像中的各高亮区域；
对各高亮区域进行膨胀操作得到第一膨胀区域，计算第一膨胀区域内所有像素点的平均灰度值得到各高亮区域的第一判定指标；
对第一膨胀区域进行区域生长之后再进行膨胀操作，将得到的膨胀区域记为第二膨胀区域；根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标；
对各高亮区域进行矩形拟合得到对应的矩形，根据矩形的长宽、第一判定指标以及第二判定指标计算各高亮区域的最终判定指标，根据最终判定指标获取焊缝区域；
利用canny算子分别获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线，根据边缘线，计算canny算子中低阈值在焊接时与未焊接时对应的第一效果评价；
对焊接时与未焊接时对应的边缘线进行匹配，得到至少两个匹配对，基于各匹配对的形状相似性以及边缘线数量，计算低阈值的第二效果评价；
根据第一效果评价与第二效果评价，计算低阈值的最终效果评价；
当最终效果评价大于效果阈值时，根据各匹配对的形状相似性以及边缘线对应在深度图像上的深度值，计算变形程度；当变形程度大于变形阈值时，停止焊接。
优选的，该方法还包括对低阈值的调整，获取最终低阈值；低阈值的调整方法为：当低阈值的最终效果评价小于等于效果阈值时，低阈值的取值加上设定数值，得到第一次调整后的低阈值，当第一次调整后的低阈值对应的最终效果评价大于效果阈值时，此时，将第一次调整后的低阈值记为最终低阈值；当第一调整后的低阈值对应的最终效果评价小于等于效果阈值时，第一次调整后的低阈值的取值加上设定数值，得到第二次调整后的低阈值，以此类推，直至第n次调整后的低阈值对应的最终效果评价大于效果阈值时停止；并将第n次调整后的低阈值记为最终低阈值；其中，n大于等于1。
优选的，所述获取焊接图像中的各高亮区域的方法为：根据灰度值对焊接图像中的所有像素点进行聚类，得到至少两个类别，计算各类别中对应的平均灰度值，则最大平均灰度值对应类别的像素点构成各高亮区域。
优选的，所述根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标的方法为：
对各高亮区域进行矩形拟合得到对应的矩形，将矩形宽的中点作为连接点，连接两个连接点得到连接线，连接线的延长线将第二膨胀区域划分为两个区域；对于其中一个区域，任意选取一个像素点，计算该像素点与该区域中剩余其他像素点的梯度方向的差值绝对值，基于所述差值绝对值计算该区域的第一特征；同理，计算另一个区域的第一特征，将两个第一特征的均值记为第二判定指标。
优选的，所述根据矩形的长宽、第一判定指标以及第二判定指标计算各高亮区域的最终判定指标的方法为：计算矩形的宽与长的比值，得到所述比值和第一判定指标以及第二判定指标的乘积，将预设数值与所述乘积的差值记为最终判定指标。
优选的，所述根据边缘线，计算canny算子中低阈值在焊接时与未焊接时对应的第一效果评价的方法为：对于焊缝区域对应的四周区域的边缘线；获取各边缘线的长度与中点，将所述中点为中心获取设定大小的窗口，将窗口内的边缘点数量记为对应边缘线的边缘密度；根据边缘密度与长度计算canny算子中低阈值在焊接时对应的第一效果评价。
优选的，所述基于各匹配对的形状相似性以及边缘线数量，计算低阈值的第二效果评价的方法为：计算所有匹配对的形状相似性的累加和，计算焊缝区域对应的四周区域的边缘线数量与焊缝区域未焊接时对应的四周区域的边缘线数量的差值绝对值，则累加和与差值绝对值两者的乘积为第二效果评价。
优选的，所述最终效果评价为：
Figure DEST_PATH_IMAGE001
其中，
Figure 706807DEST_PATH_IMAGE002
为最终效果评价，
Figure DEST_PATH_IMAGE003
为第二效果评价R归一化后的值；
Figure 31216DEST_PATH_IMAGE004
为低阈值在焊接 时对应的第一效果评价
Figure DEST_PATH_IMAGE005
归一化后的值；
Figure 927497DEST_PATH_IMAGE006
为低阈值在未焊接时对应的第一效果评价
Figure DEST_PATH_IMAGE007
归 一化后的值。
优选的，所述根据各匹配的形状相似性以及边缘线对应在深度图像上的深度值，计算变形程度的方法为：根据边缘线对应在深度图像上的深度值；计算边缘线对应的平均深度值；计算各匹配对中两边缘线对应的平均深度值的均值；基于形状相似性与均值，确定变形程度。
优选的，所述根据最终判定指标获取焊缝区域的方法为：设置判定阈值，将最终判定指标大于判定阈值对应的高亮区域记为焊缝区域。
本发明实施例至少具有如下有益效果：
本发明通过获取焊接图像中的各高亮区域，计算各高亮区域的最终判定指标，根据最终判定指标获取焊缝区域；排除了金属材质因为反光等原因出现的类似于焊缝区域对应的高亮区域的干扰，能够准确获取焊缝区域，增加了焊缝区域的检测精度。之后本发明通过获取焊缝区域的四周区域的边缘线，获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线，进而计算最终效果评价；当最终效果评价大于效果阈值时，根据各匹配对的形状相似性以及边缘线对应在深度图像上的深度值，计算变形程度；通过变形程度判定是否停止焊接。其中深度值能够体现出焊缝区域在焊接时与未焊接时对应的深度信息，若筒体发生变形，则焊接时与未焊接时对应的边缘线对应在深度图像上的深度值会发生变化，同时，匹配对的形状相似性也会发生变化，本发明通过深度信息与形状形似性计算变形程度，对变形程度的计算进行了多方面的考量，避免了单一因素带来的局限性，能够准确获取变形程度，能够在检测到焊体发生形变之后从而达到对焊接进行控制的目的，精准地实现对焊接的控制，提高了焊接产品的质量，降低了缺陷焊件量的数量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的一种用于除氧器的焊接控制方法的方法流程图；
图2为焊接图像；
附图标记为：1、焊体区域，2、焊接后的黑色区域，3、焊缝区域。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
请参阅图1，其示出了本发明一个实施例提供的一种用于除氧器的焊接控制方法的方法流程图，该方法包括以下步骤：
步骤1，获取除氧器当前已完成焊接部分对应的RGB图像与深度图像；对RGB图像进行预处理得到灰度图像将其记为焊接图像；并获取焊接图像中的各高亮区域。
具体地，在对除氧器进行焊接时，将焊接机器人或焊接机器臂周围装上RGBD相机，利用RGBD相机获取除氧器当前已完成焊接部分对应的RGB图像与深度图像，深度图像能够体现出当前已完成焊接部分的深度信息。RGB图像能够反映出当前已完成焊接部分的色彩纹理信息。
为了后续更好的根据RGB图像获取信息，减少计算量；将获取的RGB图像进行灰度化、除噪等预处理操作。本实施例中灰度化使用加权平均灰度化算法，除噪使用高斯滤波算法进行除噪；作为其他实施方式，实施者可选取其他方法对RGB图像进行灰度化和除噪操作；加权平均灰度化算法与高斯滤波算法均为公知技术，不再赘述。
然而，在对RGB图像进行预处理后仍然会存在背景信息对后续操作进行干扰，故本实施例使用语义分割网络剔除预处理后的RGB图像中的背景信息，获取焊接图像。
具体地，其中语义分割网络使用ResNet网络结构；ResNet网络的输入为预处理后的RGB图像，输出为焊接区域；在利用ResNet网络获取焊接区域之前，还包括对ResNet网络的训练，ResNet网络训练时的打标签方式为：人为将背景区域标记为0，将焊接区域标记为1。ResNet网络的损失函数使用交叉熵损失函数。ResNet网络的具体训练过程为公知技术，不再具体阐述。将获取的焊接区域作为掩膜图像与预处理后的RGB图像相乘，得到焊接图像。
在得到焊接图像之后，获取焊接图像中的各高亮区域，具体为：根据灰度值对焊接图像中的所有像素点进行聚类，得到至少两个类别，计算各类别中对应的平均灰度值，则最大平均灰度值对应类别的像素点构成各高亮区域。本实施例采用DBSCAN聚类算法根据灰度值对焊接图像中的所有像素点进行聚类，得到三个类别。作为其他实施方式，实施者可选取其他聚类算法进行聚类。其中DBSCAN聚类算法为公知技术，不再赘述。
需要说明的是，如图2所示，图2为焊接图像，由焊缝区域与焊体部分组成；根据图2可以明显看出，图2中包括1、焊体区域，2、焊接后的黑色区域以及3、焊缝区域；其中焊缝区域为图中向内凹的高亮部分；所以本实施例得到三个类别，分别对应图2中的三个区域。由于焊缝区域为高亮部分，即高亮部分对应的灰度值的取值较高，所以本实施例中最大平均灰度值对应类别的像素点构成各高亮区域。
步骤2，对各高亮区域进行膨胀操作得到第一膨胀区域，计算第一膨胀区域内所有像素点的平均灰度值得到各高亮区域的第一判定指标；然后对第一膨胀区域进行区域生长之后再进行膨胀操作，将得到的膨胀区域记为第二膨胀区域；根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标。
由于除氧器为金属材质，而金属材质因为反光等原因同样会出现类似于焊缝区域对应的高亮区域，所以不能直接将各高亮区域作为焊缝区域进行分析，故需要对获取的高亮区域进行进一步分析，排除由金属材质因为反光等原因形成的高亮区域的干扰。
具体地，对各高亮区域进行膨胀操作得到第一膨胀区域，得到第一判定指标。对各高亮区域进行膨胀操作的膨胀大小为3个像素点，即第一膨胀区域的宽度为3；实施者可根据实际情况设置对应的膨胀大小。
上述中的第一判定指标用公式表示为：
Figure 504234DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
为第一判定指标，
Figure 308111DEST_PATH_IMAGE010
为第一膨 胀区域内像素点的总个数；
Figure DEST_PATH_IMAGE011
为第一膨胀区域内第r个像素点的灰度值。
需要说明的是，当高亮区域对应焊缝区域时，焊缝区域对应的第一膨胀区域应该对应图2中焊接后的黑色区域；而金属材质因为反光等原因出现的高亮区域对应的第一膨胀区域仍然为焊体部分；两者具有明显的差别，即第一判定指标的取值越小，高亮区域周围像素点的灰度值越低，对应的高亮区域越有可能为焊缝区域。
然后对第一膨胀区域进行区域生长之后再进行膨胀操作，将得到的膨胀区域记为第二膨胀区域；根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标。
其中，若高亮区域对应焊缝区域时，则对第一膨胀区域进行区域生长之后得到的区域为图2中焊接后的黑色区域，区域生长为公知技术，不再赘述。当再次进行膨胀时，得到的第二膨胀区域应该对应图2中的焊体区域，焊体区域的像素点的灰度变化较为规律；金属材质因为反光等原因出现的高亮区域对应的第二膨胀区域的灰度变化也是较为规律的，但是对应梯度方向的变化不一致，金属材质因为反光等原因出现的高亮区域对应的第二膨胀区域内像素点的梯度方向的变化，以高亮区域的最亮点呈圆形向外辐射出来，梯度方向的变化较大；而焊缝区域对应的第二膨胀区域内像素点的梯度方向的变化，呈现出与焊缝相关的线性变化，梯度方向的变化较小，故焊缝区域对应的第二膨胀区域内像素点的梯度方向的变化，比金属材质因为反光等原因出现的高亮区域对应的第二膨胀区域内像素点的梯度方向的变化要小，所以本实施例根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标，进而判定各高亮区域是否为焊缝区域。
具体地，对各高亮区域进行矩形拟合得到对应的矩形，将矩形宽的中点作为连接点，连接两个连接点得到连接线，连接线的延长线将第二膨胀区域划分为两个区域；对于其中一个区域，任意选取一个像素点，计算该像素点与该区域中剩余其他像素点的梯度方向的差值绝对值，基于所述差值绝对值计算该区域的第一特征；同理，计算另一个区域的第一特征，将两个第一特征的均值记为第二判定指标。
所述第一特征用公式表示为：
Figure 205135DEST_PATH_IMAGE012
，其中，
Figure DEST_PATH_IMAGE013
为其中一个区域对应 的第一特征，
Figure 711465DEST_PATH_IMAGE014
为该区域内第i个像素点的梯度方向，
Figure DEST_PATH_IMAGE015
为该区域内第j个像素点的梯度方 向；
Figure 225098DEST_PATH_IMAGE016
为该区域内像素点的总个数；
Figure DEST_PATH_IMAGE017
为取绝对值的函数。
Figure 911295DEST_PATH_IMAGE018
表示该区域中第i个像素点的梯度方向与该区域中剩余其他像素点的梯 度方向的差异，该差异越小，说明梯度方向的变化越小，则对应的高亮区域越有可能为焊缝 区域；
Figure DEST_PATH_IMAGE019
表示该区域中所有像素点与对应的剩余其他像素点的梯度方向的差异， 该差异越小，说明梯度方向的变化越小，则对应的高亮区域越有可能为焊缝区域。
上述中的第二判定指标用公式表示为：
Figure 993651DEST_PATH_IMAGE020
，其中，
Figure 513626DEST_PATH_IMAGE013
为其中一个区域对 应的第一特征，
Figure DEST_PATH_IMAGE021
为另一个区域对应的第一特征。
需要说明的是，由于金属材质因为反光等原因出现的高亮区域对应的周围区域的像素点的灰度值变化较小，所以获取金属材质因为反光等原因出现的高亮区域对应的第二膨胀区域时，有可能获取不到对应的第二膨胀区域，当获取不到第二膨胀区域时，则将对应的第二判定指标直接记为1。
步骤3，对各高亮区域进行矩形拟合得到对应的矩形，根据矩形的长宽、第一判定指标以及第二判定指标计算各高亮区域的最终判定指标，根据最终判定指标获取焊缝区域。
具体地，最终判定指标的计算方法为：计算矩形的宽与长的比值，得到所述比值和第一判定指标以及第二判定指标的乘积，将预设数值与所述乘积的差值记为最终判定指标。本实施例中预设数值的取值为1。则最终判定指标用公式表示为：
Figure 983397DEST_PATH_IMAGE022
其中，Z为最终判定指标；
Figure DEST_PATH_IMAGE023
为第二判定指标，
Figure 833803DEST_PATH_IMAGE009
为第一判定指标，
Figure 832983DEST_PATH_IMAGE024
为矩形的宽；
Figure DEST_PATH_IMAGE025
为矩形的长。
当所求
Figure 241968DEST_PATH_IMAGE026
越小，即说明高亮区域越趋近于一条直线，故高亮区域为焊缝区域的可能 性越大，并且高亮区域对应的第一膨胀区域内像素点灰度值越低，即所求Q越小，则对应的 高亮区域为焊缝区域的可能性越大；对高亮区域对应的矩形周围进行分析，即对第二膨胀 区域的两个区域进行分析，其两区域内像素点的梯度方向越一致，即所求
Figure 339980DEST_PATH_IMAGE023
越小，则高亮 区域为焊缝区域的可能性越大。基于此，当所求Z越大时，高亮区域为焊缝区域的可能性越 大。
进而根据最终判定指标获取焊缝区域，设置判定阈值，对最终判定指标进行归一化处理，使得取值在0-1之间，比较归一化后的最终判定指标与判定阈值的大小，则将归一化后的最终判定指标大于判定阈值对应的高亮区域记为焊缝区域。本实施例中，判定阈值的取值为0.7，在具体操作过程中，实施者可根据实际情况调整判定阈值的取值。
步骤4，利用canny算子分别获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线，根据边缘线，计算canny算子中低阈值在焊接时与未焊接时对应的第一效果评价。
当对筒体进行焊接时，在焊接后由于温度过高会出现焊体变形的情况，焊体变形情况体现在图像中，则是焊缝区域在焊接前后对应的四周区域的边缘线的变化。故可以根据焊缝区域在焊接前后对应的四周区域的边缘线的变化，计算变形程度。所以能否准确的获取边缘线影响着后续计算的变形程度的精确度。即canny算子中的高低阈值的选取至关重要，所以需要对高低阈值的边缘检测效果进行评价。
具体地，利用canny算子分别获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线，canny算子中具有两个阈值，一个低阈值，一个高阈值，本实施例中利用大津阈值法获取canny算子中的高阈值，将低阈值设置为1。大津阈值法为公知技术不再赘述。
对于焊缝区域对应的四周区域的边缘线；获取各边缘线的长度与中点，将所述中 点为中心获取设定大小的窗口，将窗口内的边缘点数量记为对应边缘线的边缘密度；根据 边缘密度与长度计算canny算子中低阈值在焊接时对应的第一效果评价，其用公式表示为：
Figure DEST_PATH_IMAGE027
，其中，：
Figure 492613DEST_PATH_IMAGE005
为低阈值在焊接时对应的第一效果评价，
Figure 611879DEST_PATH_IMAGE028
为焊缝区域对应的四周区 域的边缘线数量，
Figure DEST_PATH_IMAGE029
为焊缝区域对应的四周区域的第o条边缘线的长度，
Figure 693230DEST_PATH_IMAGE030
为焊缝区域对应 的四周区域的第o条边缘线的边缘密度。
当高低阈值的边缘检测效果较好时，获取的边缘线应该是连续的，并且边缘线之 间的分布不是密集的；获取的边缘线的数量越多，长度
Figure 983265DEST_PATH_IMAGE029
越短，边缘线的边缘密度
Figure 234862DEST_PATH_IMAGE030
越大， 说明获取的边缘线越不连续，边缘检测效果越差。即当第一效果评价的取值越小时，对应边 缘检测效果越差。
其中，边缘线的长度通过该条边缘线上的边缘点的数量获取，窗口的大小为9*9，四周区域的大小由实施者根据实际情况设定。
步骤5，对焊接时与未焊接时对应的边缘线进行匹配，得到至少两个匹配对，基于各匹配对的形状相似性以及边缘线数量，计算低阈值的第二效果评价；根据第一效果评价与第二效果评价，计算低阈值的最终效果评价。
由于在焊接前后，筒体发生变形导致其周围可以检测出来的边缘线均发生了变化，而其变化便可视为在焊接前的一个边缘线运动到了焊接后的一个边缘线，故通过焊缝区域对应的四周区域的边缘线在焊接前后的匹配程度获取边缘检测效果；本实施例用匹配对的形状相似性表征匹配程度。
具体地，根据形状上下文算法获取焊接时与未焊接时对应的边缘线之间的形状相似性，基于形状相似性使用匈牙利算法对焊接时与未焊接时对应的边缘线进行匹配，得到至少两个匹配对。然后基于各匹配对的形状相似性以及边缘线数量，计算低阈值的第二效果评价。
计算第二效果评价的方法为：计算所有匹配对的形状相似性的累加和，计算焊缝区域对应的四周区域的边缘线数量与焊缝区域未焊接时对应的四周区域的边缘线数量的差值绝对值，则累加和与差值绝对值两者的乘积为第二效果评价。
第二效果评价用公式表示为：
Figure DEST_PATH_IMAGE031
，其中，
Figure 661164DEST_PATH_IMAGE032
为第二效果评价，
Figure DEST_PATH_IMAGE033
为求取最小值的函数，
Figure 913416DEST_PATH_IMAGE034
为第k个匹配对的形状相似性；
Figure 441480DEST_PATH_IMAGE028
为焊缝区域对应的四周区 域的边缘线数量，
Figure DEST_PATH_IMAGE035
为焊缝区域未焊接时对应的四周区域的边缘线数量；
Figure 732653DEST_PATH_IMAGE017
为取绝对值的 函数。
Figure 535435DEST_PATH_IMAGE036
表征焊缝区域对应的四周区域的边缘线数量与焊缝区域未焊接时对应的 四周区域的边缘线数量之间的差异，该差异越小，说明边缘检测的效果越好，第二效果评价 的取值越小，匹配对的形状相似性的取值越小，则边缘检测的越好，第二效果评价的取值越 小。
所述最终效果评价为：
Figure 270172DEST_PATH_IMAGE001
其中，
Figure 862697DEST_PATH_IMAGE002
为最终效果评价，
Figure 973872DEST_PATH_IMAGE003
为第二效果评价R归一化后的值；
Figure 672969DEST_PATH_IMAGE004
为低阈值在焊接 时对应的第一效果评价
Figure 578608DEST_PATH_IMAGE005
归一化后的值；
Figure 861691DEST_PATH_IMAGE006
为低阈值在未焊接时对应的第一效果评价
Figure 510978DEST_PATH_IMAGE007
归 一化后的值。
由于第一效果评价的取值与边缘检测效果呈现正相关的关系，第二效果评价的取值与边缘检测效果呈现负相关的关系，本实施例通过数学建模的方法，获取最终效果评价的计算公式，最终效果评价的取值越大，说明检测效果越好。
进一步地，为了获取更加准确的边缘线，还包括对低阈值的调整，获取最终低阈值；低阈值的调整方法为：当低阈值的最终效果评价小于等于效果阈值时，低阈值的取值加上设定数值，得到第一次调整后的低阈值，当第一次调整后的低阈值对应的最终效果评价大于效果阈值时，此时，将第一次调整后的低阈值记为最终低阈值；当第一调整后的低阈值对应的最终效果评价小于等于效果阈值时，第一次调整后的低阈值的取值加上设定数值，得到第二次调整后的低阈值，以此类推，直至第n次调整后的低阈值对应的最终效果评价大于效果阈值时停止；本实施例中效果阈值的取值为0.8，实施者可根据实际情况调整效果阈值的取值；并将第n次调整后的低阈值记为最终低阈值；其中，n大于等于1。利用最终低阈值与高阈值分别获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线。
步骤6，当最终效果评价大于效果阈值时，根据各匹配的形状相似性以及边缘线对应在深度图像上的深度值，计算变形程度；当变形程度大于变形阈值时，停止焊接。
变形程度的计算方法为：根据边缘线对应在深度图像上的深度值；计算边缘线对应的平均深度值；计算各匹配对中两边缘线对应的平均深度值的均值；基于形状相似性与均值，确定变形程度，用公式表示为：
Figure DEST_PATH_IMAGE037
其中，
Figure 733756DEST_PATH_IMAGE038
为变形程度，
Figure 607034DEST_PATH_IMAGE033
为求取最小值的函数，
Figure 377412DEST_PATH_IMAGE034
为第k个匹配对的形状相似 性；
Figure 564811DEST_PATH_IMAGE028
为焊缝区域对应的四周区域的边缘线数量，
Figure 972921DEST_PATH_IMAGE035
为焊缝区域未焊接时对应的四周区域的 边缘线数量，
Figure DEST_PATH_IMAGE039
为第k个匹配对中两边缘线对应的平均深度值的均值。
进一步地，对变形程度进行归一化，使得变形程度的取值在0-1之间，方便后续判断，即当变形程度大于变形阈值时，认为筒体形变到不可以继续焊接的程度，此时需要控制焊接机器人或焊接手臂停止焊接，直至形变恢复。本实施例中变形阈值的取值为0.8，实施者可根据实际情况进行调整。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种用于除氧器的焊接控制方法，其特征在于，该方法包括以下步骤：
获取除氧器当前已完成焊接部分对应的RGB图像与深度图像；对RGB图像进行预处理得到灰度图像将其记为焊接图像；并获取焊接图像中的各高亮区域；
对各高亮区域进行膨胀操作得到第一膨胀区域，计算第一膨胀区域内所有像素点的平均灰度值得到各高亮区域的第一判定指标；
对第一膨胀区域进行区域生长之后再进行膨胀操作，将得到的膨胀区域记为第二膨胀区域；根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标；
对各高亮区域进行矩形拟合得到对应的矩形，根据矩形的长宽、第一判定指标以及第二判定指标计算各高亮区域的最终判定指标，根据最终判定指标获取焊缝区域；
利用canny算子分别获取焊缝区域对应的四周区域和焊缝区域未焊接时对应的四周区域的边缘线，根据边缘线，计算canny算子中低阈值在焊接时与未焊接时对应的第一效果评价；
对焊接时与未焊接时对应的边缘线进行匹配，得到至少两个匹配对，基于各匹配对的形状相似性以及边缘线数量，计算低阈值的第二效果评价；
根据第一效果评价与第二效果评价，计算低阈值的最终效果评价；
当最终效果评价大于效果阈值时，根据各匹配对的形状相似性以及边缘线对应在深度图像上的深度值，计算变形程度；当变形程度大于变形阈值时，停止焊接；
所述根据边缘线，计算canny算子中低阈值在焊接时与未焊接时对应的第一效果评价的方法为：对于焊缝区域对应的四周区域的边缘线；获取各边缘线的长度与中点，将所述中点为中心获取设定大小的窗口，将窗口内的边缘点数量记为对应边缘线的边缘密度；根据边缘密度与长度计算canny算子中低阈值在焊接时对应的第一效果评价；
所述基于各匹配对的形状相似性以及边缘线数量，计算低阈值的第二效果评价的方法为：计算所有匹配对的形状相似性的累加和，计算焊缝区域对应的四周区域的边缘线数量与焊缝区域未焊接时对应的四周区域的边缘线数量的差值绝对值，则累加和与差值绝对值两者的乘积为第二效果评价；
所述根据各匹配的形状相似性以及边缘线对应在深度图像上的深度值，计算变形程度的方法为：根据边缘线对应在深度图像上的深度值；计算边缘线对应的平均深度值；计算各匹配对中两边缘线对应的平均深度值的均值；基于形状相似性与均值，确定变形程度。
2.根据权利要求1所述的一种用于除氧器的焊接控制方法，其特征在于，该方法还包括对低阈值的调整，获取最终低阈值；低阈值的调整方法为：当低阈值的最终效果评价小于等于效果阈值时，低阈值的取值加上设定数值，得到第一次调整后的低阈值，当第一次调整后的低阈值对应的最终效果评价大于效果阈值时，此时，将第一次调整后的低阈值记为最终低阈值；当第一调整后的低阈值对应的最终效果评价小于等于效果阈值时，第一次调整后的低阈值的取值加上设定数值，得到第二次调整后的低阈值，以此类推，直至第n次调整后的低阈值对应的最终效果评价大于效果阈值时停止；并将第n次调整后的低阈值记为最终低阈值；其中，n大于等于1。
3.根据权利要求1所述的一种用于除氧器的焊接控制方法，其特征在于，所述获取焊接图像中的各高亮区域的方法为：根据灰度值对焊接图像中的所有像素点进行聚类，得到至少两个类别，计算各类别中对应的平均灰度值，则最大平均灰度值对应类别的像素点构成各高亮区域。
4.根据权利要求1所述的一种用于除氧器的焊接控制方法，其特征在于，所述根据第二膨胀区域内各像素点的梯度方向计算各高亮区域的第二判定指标的方法为：
对各高亮区域进行矩形拟合得到对应的矩形，将矩形宽的中点作为连接点，连接两个连接点得到连接线，连接线的延长线将第二膨胀区域划分为两个区域；对于其中一个区域，任意选取一个像素点，计算该像素点与该区域中剩余其他像素点的梯度方向的差值绝对值，基于所述差值绝对值计算该区域的第一特征；同理，计算另一个区域的第一特征，将两个第一特征的均值记为第二判定指标。
5.根据权利要求1所述的一种用于除氧器的焊接控制方法，其特征在于，所述根据矩形的长宽、第一判定指标以及第二判定指标计算各高亮区域的最终判定指标的方法为：计算矩形的宽与长的比值，得到所述比值和第一判定指标以及第二判定指标的乘积，将预设数值与所述乘积的差值记为最终判定指标。
6.根据权利要求1所述的一种用于除氧器的焊接控制方法，其特征在于，所述最终效果评价为：
Figure QLYQS_1
其中，
Figure QLYQS_2
为最终效果评价，/>
Figure QLYQS_3
为第二效果评价R归一化后的值；/>
Figure QLYQS_4
为低阈值在焊接时对应的第一效果评价/>
Figure QLYQS_5
归一化后的值；/>
Figure QLYQS_6
为低阈值在未焊接时对应的第一效果评价/>
Figure QLYQS_7
归一化后的值。
7.根据权利要求1所述的一种用于除氧器的焊接控制方法，其特征在于，所述根据最终判定指标获取焊缝区域的方法为：设置判定阈值，将最终判定指标大于判定阈值对应的高亮区域记为焊缝区域。
CN202211575630.2A 2022-12-09 2022-12-09 一种用于除氧器的焊接控制方法 Active CN115578390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211575630.2A CN115578390B (zh) 2022-12-09 2022-12-09 一种用于除氧器的焊接控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211575630.2A CN115578390B (zh) 2022-12-09 2022-12-09 一种用于除氧器的焊接控制方法

Publications (2)

Publication Number Publication Date
CN115578390A CN115578390A (zh) 2023-01-06
CN115578390B true CN115578390B (zh) 2023-03-28

Family

ID=84590811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211575630.2A Active CN115578390B (zh) 2022-12-09 2022-12-09 一种用于除氧器的焊接控制方法

Country Status (1)

Country Link
CN (1) CN115578390B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091504B8 (zh) * 2023-04-11 2023-09-15 重庆大学 基于图像处理的连接管连接头质量检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976352B (zh) * 2016-04-14 2019-01-11 北京工业大学 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法
CN111986190B (zh) * 2020-08-28 2022-03-18 哈尔滨工业大学（深圳） 一种基于伪影剔除的印刷品缺陷检测方法及装置
CN115082429B (zh) * 2022-07-20 2022-11-04 山东马勒铝业科技有限公司 一种基于图像处理的铝棒缺陷检测方法
CN115082485B (zh) * 2022-08-23 2023-08-29 广东欧达雅包装制品有限公司 一种注塑制品表面气泡缺陷检测方法及系统
CN115239728A (zh) * 2022-09-23 2022-10-25 江苏海舟安防科技有限公司 一种消防器材识别方法

Also Published As

Publication number Publication date
CN115578390A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN115049653B (zh) 基于计算机视觉的集成电路板质量检测系统
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN109242853B (zh) 一种基于图像处理的pcb缺陷智能检测方法
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
CN115330767B (zh) 一种腐蚀箔生产异常识别方法
CN114897896B (zh) 基于灰度变换的建筑木材缺陷检测方法
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN115578390B (zh) 一种用于除氧器的焊接控制方法
CN111401449A (zh) 一种基于机器视觉的图像匹配方法
CN111667470B (zh) 一种基于数字图像的工业管道探伤内壁检测方法
CN115330757B (zh) 一种电路板焊点缺陷检测方法及系统
CN115359053A (zh) 一种金属板材缺陷智能检测方法及系统
CN116740072B (zh) 基于机器视觉的道路表面缺陷检测方法及系统
CN116309599B (zh) 基于污水前置处理的水质视觉监测方法
CN115330758B (zh) 基于去噪处理的焊接质量检测方法
CN116342586B (zh) 基于机器视觉的路面质量检测方法
CN116188468B (zh) 一种hdmi线缆传输分拣智能控制系统
CN115719332A (zh) 一种焊接质量检测方法
CN115115603A (zh) 基于人工智能的汽车配件飞轮表面检测方法
CN116071363A (zh) 一种自动化型钢智能生产监测系统
CN114155226A (zh) 一种微小缺陷边缘计算方法
CN116385440B (zh) 一种弧形刀片视觉检测方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN116228776A (zh) 一种机电设备焊接缺陷识别方法及系统
CN115761467A (zh) 一种基于高低频特征差分金字塔神经网络的水下目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant