CN111127402A - 一种机器人焊接质量的视觉检测方法 - Google Patents
一种机器人焊接质量的视觉检测方法 Download PDFInfo
- Publication number
- CN111127402A CN111127402A CN201911237517.1A CN201911237517A CN111127402A CN 111127402 A CN111127402 A CN 111127402A CN 201911237517 A CN201911237517 A CN 201911237517A CN 111127402 A CN111127402 A CN 111127402A
- Authority
- CN
- China
- Prior art keywords
- image
- welding
- line
- edge
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003466 welding Methods 0.000 title claims abstract description 150
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000003708 edge detection Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 230000000694 effects Effects 0.000 claims abstract description 24
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 238000005520 cutting process Methods 0.000 claims abstract description 12
- 238000003672 processing method Methods 0.000 claims abstract description 12
- 238000003709 image segmentation Methods 0.000 claims description 12
- 238000011179 visual inspection Methods 0.000 claims description 12
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000010959 steel Substances 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种机器人焊接质量的视觉检测方法，通过首先对采集到的图像进行图像裁剪，然后使用n×n方形滤波模板采用中值滤波法对得到的裁剪后的图像进行滤波，再采用最大类间差法对滤波后的图像进行分割，获得对比度较强的二值图像，并采用形态学图像处理方法先后运用闭合与开启运算对分割后图像进行修复，得到较好的效果，最后采用边缘检测算子进行图像边缘检测，得出边缘检测效果最佳的焊接图像后，对经图像处理得到的边缘图像进行分析，结合标准库中的标准焊接数据对焊接的边缘图像进行分析。
Description
技术领域
本发明涉及图像检测识别技术，特别涉及一种机器人焊接质量的视觉检测方法。
背景技术
随着机器人技术的日益成熟，越来越多的工业机器人投入到汽车生产之中，目前，钢板的焊接已成为工业机器人最主要的应用领域之一，由于其工作环境恶劣、工作强度大以及运动准确性和平稳性要求高的特点，正逐步完成从手工焊接到机器人焊接的转变，焊接自动化已渐渐成为一种趋势。
钢板焊接质量作为钢板后续处理的关键一环，传统的焊接质量检测方法包括人工检测和离线视觉检测：人工检测是在焊接过程中，由质检工作人员凭借自身的经验，通过对比生产文件中对该型前盖的具体焊接要求，通过专用工具进行检验；离线视觉检测则是将焊接完成的前盖置于摄像机下拍成照片，再经软件处理得到焊接的质量参数，以上两种检测方法均有较为明显的缺陷：前者依靠质检人员的经验和技术水平，具有不确定性，无法达到现代化生产中质量统一的标准：后者属于成品检验的一种，当经过该检测发现存在质量问题时只能使用机器人对前盖进行重新焊接，既浪费生产时间又增加了焊接成本。
随着国内工业生产自动化的不断推广和钢材行业竞争的日益加剧，传统的焊接质量检测技术已无法满足企业的实际生产要求，因此需要开发一种能够实现焊接质量在线实时检测的装置以提高企业的生产效率。
发明内容
本发明的目的是为了解决背景技术而提出的一种机器人焊接质量的视觉检测方法，通过首先对采集到的图像进行图像裁剪，然后使用n×n方形滤波模板采用中值滤波法对得到的裁剪后的图像进行滤波，再采用最大类间差法对滤波后的图像进行分割，获得对比度较强的二值图像，并采用形态学图像处理方法先后运用闭合与开启运算对分割后图像进行修复，得到较好的效果，最后采用边缘检测算子进行图像边缘检测，得出边缘检测效果最佳的焊接图像后，对经图像处理得到的边缘图像进行分析，结合标准库中的标准焊接数据对焊接的边缘图像进行分析，得到检测结果，具有良好的应用前景。
为了实现上述目的，本发明采用了如下技术方案：
一种机器人焊接质量的视觉检测方法，包括如下步骤：
步骤1：对采集到的图像进行图像裁剪，获得较小的新图像，即真实焊接区域；
步骤2：使用n×n方形滤波模板采用中值滤波法对得到的裁剪后的图像进行滤波；
步骤3：对滤波后的图像进行分割，获得对比度明晰的二值图像，并采用形态学图像处理方法先后运用闭合与开启运算对分割后图像进行修复；
步骤4：采用边缘检测算子进行图像边缘检测，得出边缘检测效果最佳的焊接图像；
步骤5：对经图像处理得到的边缘图像进行分析，结合标准库中的标准焊接数据对焊接的边缘图像进行分析，得到检测结果。
作为本发明更进一步的限定，所述步骤1的图像裁剪方法具体为：
当相机、镜头的安装位置固定后，选择焊枪的中心坐标为中心对原始图像进行裁剪，裁剪像素尺寸为600×600的方形区域作为相机拍摄图像的裁剪图像。
作为本发明更进一步的限定，所述步骤2具体为：
采用大小为n×n的滤波模板，n取奇数，使模板中心与原图像的像素点(i,j)重合，然后对每个像素的模板邻域内所有像素的灰度值进行排序，选取统计排序的中值为该像素(i,j)的灰度值I′i,j：
作为本发明更进一步的限定，所述步骤3中对滤波后的图像进行分割的具体方法为：
(1)初始阀值分割：
采用图像的平均灰度值T0作为初始阀值进行分割，将图像分割成两类：灰度值从1到T0的像素点为w1类，即背景类；灰度值从T0+1到L-1的像素点为w2类，即为目标类，其中，
pi≥0，
(2)计算阈值下限：
计算w1类图像的灰度均值，获得阀值下限：
其中，
(3)计算阈值上限：
计算w2类图像的灰度均值，获得阀值上限：
其中，Pw2＝1-Pw1；
(4)确定阈值范围为[T1,T2]，并计算类内方差和类间方差：
设图像分割阀值为T,T∈[T1,T2]；w1类和w2类的类内方差为：
计算得出类内方差为：
类间方差为：
其中，μw1为w1类图像的灰度均值
μw2为w2类图像的灰度均值
(5)计算最小方差比
当最小方差比λ达到最小时，得出最佳阈值，然后，使用所述最佳阈值将256灰度值划分为两类，将灰度值小于T0的像素点都赋值为0，而将灰度值大于或等于T0的像素点都赋值为255，使原来的灰度图像变为二值图像，从而将图像中的目标与背景分割开来。
其中，所述步骤3中形态学图像处理方法具体为：
首先，采用结构元素E对二值化图像集合I进行膨胀运算，然后用结构元素E对膨胀运算结果进行腐蚀运算，消除目标物体内的孔洞，连接相近的物体，同时填补轮廓线上细小的内凹尖角以平滑物体的边界；
然后，采用结构元素E对二值化图像集合I进行腐蚀运算，对二值图像中的目标边界点进行剥离，然后再用结构元素E对腐蚀结果进行膨胀，将目标图像边界附近符合条件的背景像素加入到目标之中，使其膨胀变大，以删除特定形状的小物体和噪声点，断开狭窄的连接区域，同时消除细小的边缘突出物使图像的轮廓更加光滑。
其中，所述步骤4中的所述边缘检测算子具体选用roberst边缘检测算子。
作为本发明更进一步的限定，所述步骤5具体为：先确定焊缝与图像边界交点的准确坐标，然后以焊接头和交点的连线为中心，搜索图像中待检测区域的焊缝中心线，接着以得到的中心线为基准，搜索所述焊缝中心线上指定位置处的焊缝边缘点，对应边缘点间像素距离即为需要的焊缝直径信息，最后结合标准库中的标准焊接数据对焊接的焊缝直径信息进行比对，得到检测结果。
作为本发明更进一步的限定，所述焊缝与图像边界交点的准确坐标的方法具体为：
首先确定当前焊缝图像中需要分析的焊缝部分，手动给出交点的近似坐标，结合焊接头的坐标，计算交点和焊接头连线斜率的近似值，来判断交点所在的边界，将交点的近似坐标移到相应的边界上，然后以新的近似坐标中心沿图像边界的正反两方向进行搜索。
作为本发明更进一步的限定，所述步骤5中搜索图像中待检测区域的焊缝中心线的方法具体为：
在获得交点的准确坐标后，以焊接头和交点的连线为搜索区域中心，沿连线的法线方向搜索焊缝的边缘点，两对应边缘点的连线中点即为焊缝在该搜索方向上的中心点，对上述中心点进行插值或拟合就可以得到焊缝的中心线；当无法按照与焊缝方向近似垂直的坐标轴对连线进行等分以获取搜索中心点时，在搜索之前先依据连线的斜率确定焊缝的等分坐标：当连线的斜率小于1时，将连线按照x坐标等分成若干份，以连线上的这些离散点作为搜索中心，当连线的斜率大于或等于1时，则将连线按照y坐标等分成若干份。
作为本发明更进一步的限定，所述步骤5中焊缝直径信息通过以下方法获取：
在获得焊缝中心线的基础上，以其为焊缝直径搜索区域的中心，沿中心线的法线方向搜索焊缝的边缘，计算边缘点中y坐标最大和最小的点之间的像素距离即为焊缝直径信息。
本发明的有益效果是：
1、通过本发明的研究机器人焊接质量视觉检测方法能够实现焊接质量的在线视觉检测，不仅具备实时性和高精度的特点，还可以在提高质量检测效率的同时保证检测结果的可靠性，从而实现对焊接质量的控制；再次，使用在线视觉检测系统可以降低企业的人力成本，减轻工作人员的劳动强度，改善工作条件；
2、本发明通过在进行焊接质量在线检测的过程中，对采集到的焊接区域的原始图像进行处理，去除干扰信息，突显图像的有效信息，极大提高后续图像分析的可靠性；
3、本发明的图像分割算法通过缩小阈值选择范围和搜索最小方差比来确定最佳阈值，使得该方法分割结果比其他图像分割算法更接近实际图像中目标分布特点，使得分割后的图像能够达到分割精度较高，计算速度较快的优点。
附图说明
图1是本发明提出的机器人焊接质量的视觉检测方法的流程图；
图2是图像处理方法的流程图；
图3中a)和b)是图像处理方法中图像裁剪的示意图；
图4中a)至d)是对裁剪图像进行滤波后的效果对比图；
图5中a)至d)是对滤波后图像进行图像分割的效果对比图；
图6中a)至d)是对分割后图像进行图像修复的效果对比图；
图7中a)至h)是对修复后图像进行图像边缘检测的效果对比图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
下面结合具体实施例来对本发明进一步说明。
参见图1-2，一种机器人焊接质量的视觉检测方法，包括如下步骤：
步骤1：对采集到的图像进行图像裁剪，获得较小的新图像，即真实焊接区域；
步骤2：使用n×n方形滤波模板采用中值滤波法对得到的裁剪后的图像进行滤波；
步骤3：对滤波后的图像进行分割，获得对比度明晰的二值图像，并采用形态学图像处理方法先后运用闭合与开启运算对分割后图像进行修复；
步骤4：采用边缘检测算子进行图像边缘检测，得出边缘检测效果最佳的焊接图像；
步骤5：对经图像处理得到的边缘图像进行分析，结合标准库中的标准焊接数据对焊接的边缘图像进行分析，得到检测结果。
图3中a)为检测相机采集到的焊缝原始图像，从该图可以看出，图像内背景物体较为复杂，直接对整幅图像进行处理得到焊缝和边缘信息的难度较大，同时，最为关键的是，采用整幅图像也使每幅焊缝图像对应的焊缝的信息较多，即需要预测的信息量较多，检测精度也会偏低，因此需要在进一步图像处理之前对原始图像进行裁剪(如图3中b)所示)，获得较小的新图像，即真实焊接区域。
由于在焊缝图像中，焊缝是从焊接头处开始向各个方向延伸，当相机的安装位置固定后，焊接头在相机图像中的坐标为定值，且焊接头附近的光照条件相比图像其它区域较好，因此选择以焊接头为中心对原始图像进行裁剪，同时因为大部分成熟的图像处理方法和理论都是基于矩形图像建立的，所以选用方形的裁剪框以便于后续的处理。
因此，选定所述步骤1的图像裁剪方法具体为：
当相机、镜头的安装位置固定后，选择焊枪的中心坐标为中心对原始图像进行裁剪，裁剪像素尺寸为600×600的方形区域作为相机拍摄图像的裁剪图像。
由于工业现场环境复杂，图像在采集和传输过程中常常会受到外界干扰而产生噪声，影响图像质量，因此图像在经过裁剪后，为降低噪声对后续处理效果的影响，需要先对其进行滤波处理，同时考虑到工业现场产生的图像噪声具有随机高频的特性，因此，本发明使用平滑滤波器对其进行处理，在增强图像低频部分的同时，也使图像更加平滑。
因此，选定所述步骤2具体为：
采用大小为n×n的滤波模板，n取奇数，使模板中心与原图像的像素点(i,j)重合，然后对每个像素的模板邻域内所有像素的灰度值进行排序，选取统计排序的中值为该像素(i,j)的灰度值I′i,j：
参见图4，图4中a)为裁剪后图像，图4中b)至d)分别为均值滤波、中值滤波、高斯滤波方式下的效果图，从图4中各图的对比可以看出，均值滤波和高斯滤波的处理结果相似，均造成了图像中边缘细节的过度平滑，模糊现象较为突出，这将对后续处理过程造成不利影响；中值滤波既能起到一定的平滑图像的作用，又能很好地保护原始图像中的边缘轮廓和图像细节，故其滤波效果最佳，由于机器人焊接质量在线检测的重要任务之一是检测焊缝的宽度和位置误差，故而需要较好的保护图像中焊缝的边缘轮廓及图像细节信息，因此选用中值滤波器对图像进行滤波处理能够获得较好的效果。
由于焊缝为黑色，而金属板材为金属灰色，两者在图像中的灰度值差异较大，可以通过图像分割技术将焊缝从钢材背景中突显出来，以便于后续处理的进行。
图像分割一般会产生由灰度值分别为0和255的像素点构成的二值化图像，为方便后续处理，通常将其转化为由逻辑数0和1组成的二值图像，并以逻辑值为1的像素点(白色部分)对应于目标物体，逻辑值为0的像素点(黑色部分)构成背景区域。
因此，为了能够有效对滤波后图像进行图像分割，所述步骤3中对滤波后的图像进行分割的具体方法为：
(1)初始阀值分割：
采用图像的平均灰度值T0作为初始阀值进行分割，将图像分割成两类：灰度值从1到T0的像素点为w1类，即背景类；灰度值从T0+1到L-1的像素点为w2类，即为目标类，其中，
pi≥0，
(2)计算阈值下限：
计算w1类图像的灰度均值，获得阀值下限：
其中，
(3)计算阈值上限：
计算w2类图像的灰度均值，获得阀值上限：
其中，Pw2＝1-Pw1；
(4)确定阈值范围为[T1,T2]，并计算类内方差和类间方差：
设图像分割阀值为T,T∈[T1,T2]；w1类和w2类的类内方差为：
计算得出类内方差为：
类间方差为：
其中，μw1为w1类图像的灰度均值
μw2为w2类图像的灰度均值
(5)计算最小方差比
当最小方差比λ达到最小时，得出最佳阈值，然后，使用所述最佳阈值将256灰度值划分为两类，将灰度值小于T0的像素点都赋值为0，而将灰度值大于或等于T0的像素点都赋值为255，使原来的灰度图像变为二值图像，从而将图像中的目标与背景分割开来。
上述方法通过缩小阈值选择范围和搜索最小方差比来确定最佳阈值，使得分割结果比其他方法更接近实际图像中目标分布特点，能够达到较好的分割精度，较快的计算速度较快。
参见图5，图5中a)为滤波后图像，图5中b)至d)分别为采用最小误差法、最小方差比法、最大熵自动阈值法进行图像分割处理的效果图，从图5中各图的对比可以看出，经最小误差法分割的图像中出现了大量的噪声，破坏了图像的边缘细节信息，将会给后续的边缘检测处理造成极大干扰，分割效果较差；最小方差比法分割图像的效果最佳，焊缝和钢材背景的对比度较强，二者区分明显，同时图像的边缘细节信息得到了较好保护；使用最大熵自动阈值法后，整幅图像中只保留标定物部分，焊接头及钢材边缘部分被完全割离出去，这种情况下无法对焊缝的位置信息进行检测分析，由于图像分割作为图像处理的重要一环，目的在于增强焊缝与钢材的对比度，为后续边缘检测处理提供便利，同时需要较好地保护焊接图像的边缘细节，提高边缘检测的准确性，因此，本发明选用上述最小方差比法作为本发明的图像分割方法。
从图5中c)可以看出，焊缝的图像经二值化分割处理后，在目标区域内可能会出现孔洞、边缘凹凸等缺陷，因此需要后续采用形态学处理对该图像进行修补以获得形态完成的图像。
因此，所述步骤3中形态学图像处理方法具体为：
步骤31：采用结构元素E对二值化图像集合I进行膨胀运算，然后用结构元素E对膨胀运算结果进行腐蚀运算，消除目标物体内的孔洞，连接相近的物体，同时填补轮廓线上细小的内凹尖角以平滑物体的边界；
步骤32：采用结构元素E对二值化图像集合I进行腐蚀运算，对二值图像中的目标边界点进行剥离，然后再用结构元素E对腐蚀结果进行膨胀，将目标图像边界附近符合条件的背景像素加入到目标之中，使其膨胀变大，以删除特定形状的小物体和噪声点，断开狭窄的连接区域，同时消除细小的边缘突出物使图像的轮廓更加光滑。
参见图6，图6中a)为二值化图像取反的效果图，图6中b)至d)分别为a)的局部放大图、步骤31处理后、步骤32处理后的效果图，从图6中可以看出，二值化后的图像先消除了目标区域内的孔洞缺陷，然后对于细小的干扰物，再进行消除处理，使得原图中的缺陷已经得到了较好的修正。
由于图像的边缘由相邻像素灰度值出现阶跃变化的像素点组成，其通常为图像中灰度值属性变化最为明显的区域，而在对焊缝质量进行检测时最需要检测的参数为焊缝的宽度和位置信息，而上述信息主要通过焊缝的图像边缘来体现，因此，对图像进行边缘检测之后再对其进行分析处理，能够很大程度上降低分析算法的复杂程度和数据处理量，加快焊接质量在线检测的处理速度。
参见图7，图7中a)为形态学处理后的图像，图7中b)为形态学处理后的局部放大图像，图7中c)至h)分别为采用sobel边缘检测算子、prewitt边缘检测算子、roberst边缘检测算子、log边缘检测算子、canny边缘检测算子、小波变换处理后的效果图，从图7中可以看出，采用roberst边缘检测进行边缘检测处理能够获得较好的边缘信息。
因此，所述步骤4中的所述边缘检测算子具体选用roberst边缘检测算子。
此外，考虑到为了实现焊接质量的在线实时检测，需要对经图像处理得到的焊缝边缘图像进行分析，最后结合标准的焊接信息对焊缝的边缘图像进行分析，得到检测结果。
为了实现焊接质量的在线检测，需要在线检测时的图像分析环节提供焊缝与图像边界的交点坐标、焊缝直径与位置等必要信息；其中，焊缝直径与位置信息，具体为每幅焊缝图像中焊缝直径方向的像素距离与位置方向的像素距离；由于焊缝的实际截面直径和固定位置已知，结合上述各自的像素距离，就可以得到该焊缝图像对应的结果。
因此，设定所述步骤5具体为：先确定焊缝与图像边界交点的准确坐标，然后以焊接头和交点的连线为中心，搜索图像中待检测区域的焊缝中心线，接着以得到的中心线为基准，搜索所述焊缝中心线上指定位置处的焊缝边缘点，对应边缘点间像素距离即为需要的焊缝直径信息，最后结合标准库中的标准焊接数据对焊接的焊缝直径信息进行比对，得到检测结果。
作为本发明更进一步的限定，所述焊缝与图像边界交点的准确坐标的方法具体为：
首先确定当前焊缝图像中需要分析的焊缝部分，手动给出交点的近似坐标，结合焊接头的坐标，计算交点和焊接头连线斜率的近似值，来判断交点所在的边界，将交点的近似坐标移到相应的边界上，然后以新的近似坐标中心沿图像边界的正反两方向进行搜索。
作为本发明更进一步的限定，所述步骤5中搜索图像中待检测区域的焊缝中心线的方法具体为：
在获得交点的准确坐标后，以焊接头和交点的连线为搜索区域中心，沿连线的法线方向搜索焊缝的边缘点，两对应边缘点的连线中点即为焊缝在该搜索方向上的中心点，对上述中心点进行插值或拟合就可以得到焊缝的中心线；当无法按照与焊缝方向近似垂直的坐标轴对连线进行等分以获取搜索中心点时，在搜索之前先依据连线的斜率确定焊缝的等分坐标：当连线的斜率小于1时，将连线按照x坐标等分成若干份，以连线上的这些离散点作为搜索中心，当连线的斜率大于或等于1时，则将连线按照y坐标等分成若干份。
作为本发明更进一步的限定，所述步骤5中焊缝直径信息通过以下方法获取：
在获得焊缝中心线的基础上，以其为焊缝直径搜索区域的中心，沿中心线的法线方向搜索焊缝的边缘，计算边缘点中y坐标最大和最小的点之间的像素距离即为焊缝直径信息。
本发明通过首先对采集到的图像进行图像裁剪，然后使用方形滤波模板采用中值滤波法对得到的裁剪后的图像进行滤波，再采用最大类间差法对滤波后的图像进行分割，获得对比度较强的二值图像，并采用形态学图像处理方法先后运用闭合与开启运算对分割后图像进行修复，得到较好的效果，最后采用边缘检测算子进行图像边缘检测，得出边缘检测效果最佳的焊接图像后，对经图像处理得到的边缘图像进行分析，结合标准库中的标准焊接数据对焊接的边缘图像进行分析，得到检测结果，能够实现焊接质量的在线视觉检测，不仅具备实时性和高精度的特点，还可以在提高质量检测效率的同时保证检测结果的可靠性，从而实现对焊接质量的控制；再次，使用在线视觉检测系统可以降低企业的人力成本，减轻工作人员的劳动强度，改善工作条件；同时，本发明通过在进行焊接质量在线检测的过程中，对采集到的焊接区域的原始图像进行处理，去除干扰信息，突显图像的有效信息，极大提高后续图像分析的可靠性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种机器人焊接质量的视觉检测方法，其特征在于，包括如下步骤：
步骤1：对采集到的图像进行图像裁剪，获得较小的新图像，即真实焊接区域；
步骤2：使用n×n方形滤波模板采用滤波法对得到的裁剪后的图像进行滤波；
步骤3：对滤波后的图像进行分割，获得对比度明晰的二值图像，并采用形态学图像处理方法先后运用闭合与开启运算对分割后图像进行修复；
步骤4：采用边缘检测算子进行图像边缘检测，得出边缘检测效果最佳的焊接图像；
步骤5：对经图像处理得到的边缘图像进行分析，结合标准库中的标准焊接数据对焊接的边缘图像进行分析，得到检测结果。
2.根据权利要求1所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤1的图像裁剪方法具体为：
当相机、镜头的安装位置固定后，选择焊枪的中心坐标为中心对原始图像进行裁剪，裁剪像素尺寸为600×600的方形区域作为相机拍摄图像的裁剪图像。
3.根据权利要求1所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤2具体为：
采用大小为n×n的滤波模板，n取奇数，使模板中心与原图像的像素点(i,j)重合，然后对每个像素的模板邻域内所有像素的灰度值进行排序，选取统计排序的中值为该像素(i,j)的灰度值Ii′,j：
4.根据权利要求1所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤3中对滤波后的图像进行分割的具体方法为：
(1)初始阀值分割：
采用图像的平均灰度值T0作为初始阀值进行分割，将图像分割成两类：灰度值从1到T0的像素点为w1类，即背景类；灰度值从T0+1到L-1的像素点为w2类，即为目标类，其中，
pi≥0，
(2)计算阈值下限：
计算w1类图像的灰度均值，获得阀值下限：
其中，
(3)计算阈值上限：
计算w2类图像的灰度均值，获得阀值上限：
其中，Pw2＝1-Pw1；
(4)确定阈值范围为[T1,T2]，并计算类内方差和类间方差：
设图像分割阀值为T,T∈[T1,T2]；w1类和w2类的类内方差为：
计算得出类内方差为：
类间方差为：
其中，μw1为w1类图像的灰度均值
μw2为w2类图像的灰度均值
(5)计算最小方差比
当最小方差比λ达到最小时，得出最佳阈值，然后，使用所述最佳阈值将256灰度值划分为两类，将灰度值小于T0的像素点都赋值为0，而将灰度值大于或等于T0的像素点都赋值为255，使原来的灰度图像变为二值图像，从而将图像中的目标与背景分割开来。
5.根据权利要求1所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤3中形态学图像处理方法具体为：
首先，采用结构元素E对二值化图像集合I进行膨胀运算，然后用结构元素E对膨胀运算结果进行腐蚀运算，消除目标物体内的孔洞，连接相近的物体，同时填补轮廓线上细小的内凹尖角以平滑物体的边界；
然后，采用结构元素E对二值化图像集合I进行腐蚀运算，对二值图像中的目标边界点进行剥离，然后再用结构元素E对腐蚀结果进行膨胀，将目标图像边界附近符合条件的背景像素加入到目标之中，使其膨胀变大，以删除特定形状的小物体和噪声点，断开狭窄的连接区域，同时消除细小的边缘突出物使图像的轮廓更加光滑。
6.根据权利要求1所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤4中的所述边缘检测算子具体选用roberst边缘检测算子。
7.根据权利要求1所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤5具体为：先确定焊缝与图像边界交点的准确坐标，然后以焊接头和交点的连线为中心，搜索图像中待检测区域的焊缝中心线，接着以得到的中心线为基准，搜索所述焊缝中心线上指定位置处的焊缝边缘点，对应边缘点间像素距离即为需要的焊缝直径信息，最后结合标准库中的标准焊接数据对焊接的焊缝直径信息进行比对，得到检测结果。
8.根据权利要求7所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述焊缝与图像边界交点的准确坐标的方法具体为：
首先确定当前焊缝图像中需要分析的焊缝部分，手动给出交点的近似坐标，结合焊接头的坐标，计算交点和焊接头连线斜率的近似值，来判断交点所在的边界，将交点的近似坐标移到相应的边界上，然后以新的近似坐标中心沿图像边界的正反两方向进行搜索。
9.根据权利要求8所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤5中搜索图像中待检测区域的焊缝中心线的方法具体为：
在获得交点的准确坐标后，以焊接头和交点的连线为搜索区域中心，沿连线的法线方向搜索焊缝的边缘点，两对应边缘点的连线中点即为焊缝在该搜索方向上的中心点，对上述中心点进行插值或拟合就可以得到焊缝的中心线；当无法按照与焊缝方向近似垂直的坐标轴对连线进行等分以获取搜索中心点时，在搜索之前先依据连线的斜率确定焊缝的等分坐标：当连线的斜率小于1时，将连线按照x坐标等分成若干份，以连线上的这些离散点作为搜索中心，当连线的斜率大于或等于1时，则将连线按照y坐标等分成若干份。
10.根据权利要求9所述的一种机器人焊接质量的视觉检测方法，其特征在于：所述步骤5中焊缝直径信息通过以下方法获取：在获得焊缝中心线的基础上，以其为焊缝直径搜索区域的中心，沿中心线的法线方向搜索焊缝的边缘，计算边缘点中y坐标最大和最小的点之间的像素距离即为焊缝直径信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911237517.1A CN111127402A (zh) | 2019-12-06 | 2019-12-06 | 一种机器人焊接质量的视觉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911237517.1A CN111127402A (zh) | 2019-12-06 | 2019-12-06 | 一种机器人焊接质量的视觉检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111127402A true CN111127402A (zh) | 2020-05-08 |
Family
ID=70497655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911237517.1A Withdrawn CN111127402A (zh) | 2019-12-06 | 2019-12-06 | 一种机器人焊接质量的视觉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127402A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112587036A (zh) * | 2020-12-10 | 2021-04-02 | 苏州阿甘机器人有限公司 | 一种基于机器视觉的无人扫地机及其工作方法 |
| CN112990269A (zh) * | 2021-02-08 | 2021-06-18 | 中国科学院自动化研究所 | 带角度估计的管线焊点深度学习视觉检测方法 |
| CN113182701A (zh) * | 2021-03-29 | 2021-07-30 | 大族激光科技产业集团股份有限公司 | 激光加工方法、装置、设备及存储介质 |
| CN113828892A (zh) * | 2021-10-29 | 2021-12-24 | 广东福维德焊接股份有限公司 | 基于hdr图像的熔池中心识别系统及焊缝跟踪方法 |
| CN114444986A (zh) * | 2022-04-11 | 2022-05-06 | 成都数之联科技股份有限公司 | 产品分析方法及系统及装置及介质 |
| CN114677371A (zh) * | 2022-05-06 | 2022-06-28 | 南通市海视光电有限公司 | 一种基于机器视觉的化工界面检测方法 |
| CN114851569A (zh) * | 2022-03-31 | 2022-08-05 | 启东亦大通自动化设备有限公司 | 离子交换膜焊接成型的智能控制方法及系统 |
| CN115082429A (zh) * | 2022-07-20 | 2022-09-20 | 山东马勒铝业科技有限公司 | 一种基于图像处理的铝棒缺陷检测方法 |
| CN115647696A (zh) * | 2022-12-14 | 2023-01-31 | 中国华西企业股份有限公司 | 一种大型钢结构的自动化加工装置、加工方法及加工终端 |
| CN115908410A (zh) * | 2023-01-06 | 2023-04-04 | 磐石重工(青岛)股份有限公司 | 基于机器视觉的压力容器激光焊接控制方法 |
| CN116228765A (zh) * | 2023-05-08 | 2023-06-06 | 济宁市健达医疗器械科技有限公司 | 一种口罩耳带焊接质量的检测方法 |
| CN116433669A (zh) * | 2023-06-14 | 2023-07-14 | 山东兴华钢结构有限公司 | 基于机器视觉的抗震结构钢架焊缝质量检测方法 |
-
2019
- 2019-12-06 CN CN201911237517.1A patent/CN111127402A/zh not_active Withdrawn
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112587036A (zh) * | 2020-12-10 | 2021-04-02 | 苏州阿甘机器人有限公司 | 一种基于机器视觉的无人扫地机及其工作方法 |
| CN112990269A (zh) * | 2021-02-08 | 2021-06-18 | 中国科学院自动化研究所 | 带角度估计的管线焊点深度学习视觉检测方法 |
| CN112990269B (zh) * | 2021-02-08 | 2022-10-14 | 中国科学院自动化研究所 | 带角度估计的管线焊点深度学习视觉检测方法 |
| CN113182701A (zh) * | 2021-03-29 | 2021-07-30 | 大族激光科技产业集团股份有限公司 | 激光加工方法、装置、设备及存储介质 |
| CN113828892A (zh) * | 2021-10-29 | 2021-12-24 | 广东福维德焊接股份有限公司 | 基于hdr图像的熔池中心识别系统及焊缝跟踪方法 |
| CN113828892B (zh) * | 2021-10-29 | 2022-05-10 | 广东福维德焊接股份有限公司 | 基于hdr图像的熔池中心识别系统及焊缝跟踪方法 |
| CN114851569A (zh) * | 2022-03-31 | 2022-08-05 | 启东亦大通自动化设备有限公司 | 离子交换膜焊接成型的智能控制方法及系统 |
| CN114851569B (zh) * | 2022-03-31 | 2024-01-05 | 中国电建集团吉林省电力勘测设计院有限公司 | 离子交换膜焊接成型的智能控制方法及系统 |
| CN114444986A (zh) * | 2022-04-11 | 2022-05-06 | 成都数之联科技股份有限公司 | 产品分析方法及系统及装置及介质 |
| CN114444986B (zh) * | 2022-04-11 | 2022-06-03 | 成都数之联科技股份有限公司 | 产品分析方法及系统及装置及介质 |
| CN114677371B (zh) * | 2022-05-06 | 2022-09-02 | 南通市海视光电有限公司 | 一种基于机器视觉的化工界面检测方法 |
| CN114677371A (zh) * | 2022-05-06 | 2022-06-28 | 南通市海视光电有限公司 | 一种基于机器视觉的化工界面检测方法 |
| CN115082429A (zh) * | 2022-07-20 | 2022-09-20 | 山东马勒铝业科技有限公司 | 一种基于图像处理的铝棒缺陷检测方法 |
| CN115647696A (zh) * | 2022-12-14 | 2023-01-31 | 中国华西企业股份有限公司 | 一种大型钢结构的自动化加工装置、加工方法及加工终端 |
| CN115908410A (zh) * | 2023-01-06 | 2023-04-04 | 磐石重工(青岛)股份有限公司 | 基于机器视觉的压力容器激光焊接控制方法 |
| CN115908410B (zh) * | 2023-01-06 | 2023-05-09 | 磐石重工(青岛)股份有限公司 | 基于机器视觉的压力容器激光焊接控制方法 |
| CN116228765A (zh) * | 2023-05-08 | 2023-06-06 | 济宁市健达医疗器械科技有限公司 | 一种口罩耳带焊接质量的检测方法 |
| CN116433669A (zh) * | 2023-06-14 | 2023-07-14 | 山东兴华钢结构有限公司 | 基于机器视觉的抗震结构钢架焊缝质量检测方法 |
| CN116433669B (zh) * | 2023-06-14 | 2023-08-18 | 山东兴华钢结构有限公司 | 基于机器视觉的抗震结构钢架焊缝质量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127402A (zh) | 一种机器人焊接质量的视觉检测方法 | |
| Shah et al. | Butt welding joints recognition and location identification by using local thresholding | |
| CN114821114B (zh) | 一种基于视觉系统的坡口切割机器人图像处理方法 | |
| CN110717872B (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
| CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
| CN110060239B (zh) | 一种用于瓶子瓶口的缺陷检测方法 | |
| CN113077437B (zh) | 工件质量检测方法及其系统 | |
| Dinham et al. | Weld seam detection using computer vision for robotic arc welding | |
| CN110717909A (zh) | 一种金属表面划痕检测方法与装置 | |
| CN108109154A (zh) | 一种工件的新型定位及数据获取方法 | |
| CN116833645A (zh) | 基于移动机器人的焊缝自主识别与焊接方法及系统 | |
| CN108986160A (zh) | 一种含有镜面反射光干扰的图像激光中心线提取方法 | |
| CN111539927A (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法 | |
| CN111353981A (zh) | 基于机器视觉的齿轮检测方法、系统及存储介质 | |
| CN111414912B (zh) | 对接型焊缝特征点的识别方法、装置、设备及存储介质 | |
| Pei et al. | Welding component identification and solder joint inspection of automobile door panel based on machine vision | |
| CN218504096U (zh) | 一种具备智能识别、检测焊缝功能的恒力控制打磨器具 | |
| CN117237308A (zh) | 基于线结构光的焊缝图像处理方法 | |
| CN111833350A (zh) | 机器视觉检测方法与系统 | |
| Zhang et al. | A study on seam tracking in robotic GMA welding process | |
| CN115753791A (zh) | 基于机器视觉的缺陷检测方法、装置以及系统 | |
| Du et al. | Automatic inspection of weld defects with x-ray real-time imaging | |
| CN113591923A (zh) | 基于图像特征提取与模板匹配的发动机摇臂零件分类方法 | |
| Peng et al. | Fast recognition algorithm of weld seam image under passive vision | |
| Zhang et al. | Vision-based profile generation method of TWB for a new automatic laser welding line |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200508 |