CN111982916A - 一种基于机器视觉的焊缝表面缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的焊缝表面缺陷检测方法，代替人工检测。通过配置CCD相机与零度辅助光源实现对焊缝图像实时采集，并能够通过打光反映工件表面平整度变化，利于下榻检测识别。同时提出了针对焊缝表面缺陷增强、分割、提取、识别的组合算法，实现对飞溅与下榻的分类检测。并通过焊缝缺陷区域面积与特征实现自动合格性诊断，保存焊缝缺陷的数量、面积、周长、圆形度等形态特征。该检测方式具备工艺可视化、实用性、运行安全性等特点，与传统目视检测方式相比，其可适应于碳钢、不锈钢、铝合金等金属焊缝及胶类焊缝的检测与评定，如大铁路客车、城际及市域动车组、高速动车组等产品结构。

Description

一种基于机器视觉的焊缝表面缺陷检测方法及系统

技术领域

本发明属于检测技术领域，具体一种基于机器视觉的焊缝表面缺陷检测方法及系统。

背景技术

随着现代工业技术的发展，焊接作为一种重要的金属连接技术，广泛的应用于汽车、高速列车、建筑、航空航天工业等各个领域。但由于焊接过程中各方面因素的影响，使得焊件不可避免的出现各类缺陷，如下塌，表面凹陷、咬边、飞溅等，严重影响焊缝质量。为了提高焊缝质量，焊缝表面缺陷检测必不可少，但目前常用的焊缝表面质量检测手段为人工评定，存在效率低、主观性高等缺点。随着焊接自动化程度的提高，实时、高效、精确的焊缝表面缺陷检测技术为工业生产所需求。但是目前针对焊缝缺陷的识别研究主要集中在对无损检测X射线光片检测，而对焊缝表面缺陷的直接检测，尤其是长直焊缝焊接过程中的连续在线检测仍存在空白。

目前，常用的焊接检测手段有目视检测、射线检测等，其中目视检测是焊件外观检测中最为常用的检测方式。

目视检测是焊件检测人员通过放大镜、游标卡尺以及咬边测量器等检测工具，结合产品的检验标准、焊件检测人员的专业知识及检测经验，对焊件表面的质量状况进行检测评判，以确定该构件是否达到设计要求。目视检测法具有检测方法灵活性强、操作简单等优点而得到了广泛应用，然而，该检测方法受检测人员的专业水平等主观因素的影响，使得检测结果难以做到客观化、规范化以及标准化，同时效率极低。而射线检测方法，因其设备大小有限，难以对大型结构件焊缝进行检测，同时对焊缝表面下榻、飞溅等缺陷进行检测并不适宜。

发明内容

为解决现有技术中存在的问题，本发明提出了一种基于机器视觉的焊缝表面缺陷检测方法，代替人工检测。本发明通过配置CCD相机与零度辅助光源实现对焊缝图像实时采集，并能够通过打光反映工件表面平整度变化，利于下塌检测识别。同时提出了针对焊缝表面缺陷增强、分割、提取、识别的组合算法，实现对飞溅与下塌的分类检测。并通过焊缝缺陷区域面积与特征实现自动合格性诊断，保存焊缝缺陷的数量、面积、周长、圆形度等形态特征。

本发明公开一种基于机器视觉的焊缝表面缺陷检测方法，包括以下步骤：

1)、采用全局直方图均衡化增强法对图像进行增强处理，将原始图像直方图进行拉伸，使灰度值均匀分布在整个灰度值区间内，以实现焊缝与背景区域对比度的增强；

2)、获取[0，1]区间内任一灰度级在图像中出现的概率密度统计和图像灰度级数量；

3)、将原图像直接映射得到均衡化后各像素点灰度值，增强图像各区域对比度，增强后图像灰度分布直方图像素灰度值均匀分布在0到255的区间内；

4)、采用基于grabcut的图像分割算法对焊缝区域进行分割；

5)、改进grabcut算法通过构建多个高斯模型来反映像素集合特征，对应前景与背景分别有五个高斯模型，通过多个模型计算式计算像素点属于前景的概率，选取概率最大的一个；

6)、对图像中的连通域进行识别查找，提取焊缝缺陷边长和面积的几何特征参数，查找完成后，确定缺陷坐标，对下塌缺陷区域进行表示框选标示。

进一步地,所述步骤2的具体过程为：

设图像原始灰度值为g(x，y)，将其正则化到到[0，1]区间内，通过：

获得灰度级r_k在图像中出现的概率密度统计p(r_k)，其中n为图像像素总数，n_k代表灰度级为r_k的像元数目，统计原始图像直方图后，忽略掉直方图两端像素点不足100的灰度级，得到图像灰度级数量I，

映射函数T(r)表述为：

其中，j＝0,1,2…k-1，r_j是第j个灰度级。

进一步地,所述步骤4中，所述图像分割算法以能量公式为基准，采用max flow算法，一次全局求解最小能量割边，图像能量为：E(L)＝aR(L)+B(L)，R(L)为区域项，B(L)为边界项，a为权重系数。

进一步地，所述步骤5中，混合高斯概率计算区域项R(L)的计算公式为：

x为像素通道量，π_i表示每个高斯分量权重，g_i为第i个高斯模型的概率模型公式：

其中μ为每个高斯分量均值向量，ε为协方差矩阵，此处为3×3矩阵。

进一步地，所述步骤5中，所述边界项B(L)计算公式为：

V(α,z)＝γ∑(m,n∈C)[α_n≠α_m]exp-β||Z_m-Z_n||²

其中，区域项R(L)反映像素样本的整体特性，边界项B(L)反映领域像素m，n之间的连续性，Z_m-Z_n为其对比度差值，并通过参数β将差值进行放大，α是透明度，β，γ是参数；z是对比度，an是像素n的透明度，am是像素m的透明度，V(α，z)表示边界项。。

进一步地，所述步骤6还包括计算缺陷区域圆形度

L为缺陷周长，S为缺陷面积。

进一步地，一种基于机器视觉的焊缝表面缺陷检测系统，包括：

焊缝表面图像实时采集平台，所述焊缝表面图像实时采集平台包括CCD相机、镜头、环形LED 0°光源和固定平台，所述镜头连接所述CCD相机，用于拍摄放置在所述固定平台上的焊接头焊缝表面，所述环形LED 0°光源用于在CCD相机拍摄时进行补光；

焊缝表面缺陷检测模块，所述焊缝表面缺陷检测模块用于执行上述的基于机器视觉的焊缝表面缺陷检测方法。

本发明具有的有益效果：

1、与人工检测相比，本发明中采用建立焊缝表面缺陷自动识别检测算法，极大提升了焊缝表面缺陷的检测效率，同时避免了人为失误，检测结果更为精确，检测数据采集的可靠性优势明显。

2、能够实时对焊缝表面进行检测，检测效率高、检测数据更为精确客观，同时根据已有标准建立了合格性诊断体系，同时不受工件大小限制，更为智能便捷。

附图说明

图1是本发明实施例的焊缝表面缺陷在线识别系统示意图；

图2是本发明实施例的焊缝图像环形光源与自然光对比图；

图3是本发明实施例的焊接表面缺陷检测系统业务流程图；

图4是本发明实施例的图像增强前图示，(a)为增强前图像，(b)为增强前图像灰度直方图；

图5是本发明实施例的图像增强后图示，(a)为增强后图像，(b)为增强后图像灰度直方图；

图6是本发明实施例的图像分割图示，(a)为分割处理前图像，(b)为分割处理后图像；

图7是本发明实施例的连通域查找并标识于原图的实物图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，所述焊缝表面图像实时采集平台硬件包括：CCD相机、镜头、环形LED0°光源、固定平台。相机采用CCD500万面阵相机与配套镜头，通过检测系统软件控制感光以及焊缝图片采集，采集区域为200x100mm。环形LED 0°光源为辅助光源采用零度环形白色光源，通过零度打光能够有效反映焊缝表面平整度，下塌区域因光源无法照射将呈现深色，而飞溅等凸起部位会因光照较强会尤为明亮，打光效果如图2所示。系统工作过程中，环形光源与CCD相机通过固定平台与焊接头随动，工作人员通过操作检测软件控制系统。

焊缝缺陷检测作为焊接表面缺陷检测系统的核心功能模块，主要作用是通过运用各种计算机图像处理算法对获取到的焊缝原始图像进行图像预处理、焊缝图像分割、焊接缺陷识别；最终根据获得的缺陷特征参数及缺陷个数，完成焊接质量评级及缺陷诊断工作。焊缝缺陷检测模块主要包括图像预处理、焊缝图像分割、焊接缺陷识别、检测结果保存等功能，操作流程如图3所示。

所述基于机器视觉的焊缝表面缺陷检测系统，主要作用是通过运用各种计算机图像处理算法对获取到的焊缝原始图像进行图像预处理、焊缝图像分割、焊接缺陷识别，最终根据获得的缺陷特征参数及缺陷个数，完成焊接质量评级及缺陷诊断工作。

焊缝表面缺陷检测模块主要包括图像预处理、焊缝图像分割、焊接缺陷识别、检测结果保存等功能。

具体步骤为：

1.对图像进行增强处理，目的是突出图像有用信息，实现图像核心区域与背景区域对比度增强，有利于提高图像进一步处理的效果。该发明采用全局直方图均衡化增强法对图像进行增强处理。CCD相机采集到的原始图像如图4(a)所示，图4(b)为其灰度分布直方图。直方图均衡化图像实质是将原始图像直方图进行拉伸，使灰度值均匀分布在整个灰度值区间内，以实现焊缝与背景区域对比度的增强。

2.设图像原始灰度值为g(x，y)，将其正则化到到[0，1]区间内。通过下式：

可以获得灰度级r_k在图像中出现的概率密度统计，其中n为图像像素总数，n_k代表灰度级为r_k的像元数目。本算法统计原始图像直方图后，忽略掉直方图两端像素点不足100的灰度级，得到图像灰度级数量I。

映射函数T(r)表述为：

r_j是第j个灰度级。

3.均衡化后各像素点灰度值可由原图像直接映射得到，增强后图像如图5(a)所示，各区域对比度得到增强。增强后图像灰度分布直方图如图5(b)所示，像素灰度值更加均匀分布在0到255的区间内。

4.焊缝表面缺陷主要集中在焊缝区域，为排除图像背景区域对焊缝缺陷识别的干扰，需要将焊缝区域与背景进行分割，本发明采用基于grabcut的图像分割算法对焊缝区域进行分割。

5.图像分割算法实现了焊缝与背景区域的分割，分割后的图像如图6(b)所示，可以观察到图像焊缝以外背景区域绝大部分区域被剔除，对后续图像识别处理更加有利。

图像分割算法以能量公式为基准，采用max flow算法，一次全局求解最小能量割边，能量公式如下所示，R(L)为区域项，B(L)为边界项，a为权重系数:

E(L)＝aR(L)+B(L)

6.改进grabcut算法通过构建多个高斯模型来反映像素集合特征，对应前景与背景分别有五个高斯模型。本算法通过多个模型计算式计算像素点属于前景的概率，后选取概率最大的一个，避免一个模型计算在max flow分割时将像素点误判至背景中。混合高斯概率计算区域项R(L)如下式所示：

x为像素通道量，π_i表示每个高斯分量权重，g_i为第i个高斯模型的概率模型公式：

其中μ为每个高斯分量均值向量，ε为协方差矩阵，此处为3×3矩阵。

7.边界项B(L)计算方法如下式所示，区域项所反映的是像素样本的整体特性，边界项所反映的是领域像素m，n之间的连续性，Z_m-Z_n为其对比度差值，并通过参数β将这种差异进行放大，α是透明度，β，γ是参数；z是对比度，an是像素n的透明度，am是像素m的透明度，V(α，z)表示边界项。。

V(α,z)＝γ∑(m,n∈C)[α_n≠α_m]exp-β||Z_m-Z_n||²

8.通过连通域识别算法，对图像中的连通域进行识别查找。通过对连通域的查找，提取焊缝缺陷边长、面积等几何特征参数。查找完成后，精确确定缺陷坐标，将下塌缺陷区域以红色进行表示框选标示，并通过式下式：

计算得到缺陷区域圆形度为0.03，L为缺陷周长，S为缺陷面积。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (7)

1.一种基于机器视觉的焊缝表面缺陷检测方法，其特征在于，包括以下步骤：

1)、采用全局直方图均衡化增强法对图像进行增强处理，将原始图像直方图进行拉伸，使灰度值均匀分布在整个灰度值区间内，以实现焊缝与背景区域对比度的增强；

2)、获取[0，1]区间内任一灰度级在图像中出现的概率密度统计和图像灰度级数量；

3)、将原图像直接映射得到均衡化后各像素点灰度值，增强图像各区域对比度，增强后图像灰度分布直方图像素灰度值均匀分布在0到255的区间内；

4)、采用基于grabcut的图像分割算法对焊缝区域进行分割；

5)、改进grabcut算法通过构建多个高斯模型来反映像素集合特征，对应前景与背景分别有五个高斯模型，通过多个模型计算式计算像素点属于前景的概率，选取概率最大的一个；

6)、对图像中的连通域进行识别查找，提取焊缝缺陷边长和面积的几何特征参数，查找完成后，确定缺陷坐标，对下塌缺陷区域进行表示框选标示。

2.根据权利要求1所述的一种基于机器视觉的焊缝表面缺陷检测方法，其特征在于,所述步骤2的具体过程为：

设图像原始灰度值为g(x，y)，将其正则化到到[0，1]区间内，通过：

获得灰度级r_k在图像中出现的概率密度统计p(r_k)，其中n为图像像素总数，n_k代表灰度级为r_k的像元数目，统计原始图像直方图后，忽略掉直方图两端像素点不足100的灰度级，得到图像灰度级数量I，

映射函数T(r)表述为：

其中，j＝0,1,2…k-1，r_j是第j个灰度级。

3.根据权利要求1所述的一种基于机器视觉的焊缝表面缺陷检测方法，其特征在于,所述步骤4中，所述图像分割算法以能量公式为基准，采用max flow算法，一次全局求解最小能量割边，图像能量为：E(L)＝aR(L)+B(L)，R(L)为区域项，B(L)为边界项，a为权重系数。

4.根据权利要求3所述的一种基于机器视觉的焊缝表面缺陷检测方法，其特征在于，所述步骤5中，混合高斯概率计算区域项R(L)的计算公式为：

x为像素通道量，π_i表示每个高斯分量权重，g_i为第i个高斯模型的概率模型公式：

其中μ为每个高斯分量均值向量，ε为协方差矩阵，此处为3×3矩阵。

5.根据权利要求4所述的一种基于机器视觉的焊缝表面缺陷检测方法，其特征在于，所述步骤5中，所述边界项B(L)计算公式为：

V(α,z)＝γ∑_(m,n∈C)[α_n≠α_m]exp-β||Z_m-Z_n||²

其中，区域项R(L)反映像素样本的整体特性，边界项B(L)反映领域像素m，n之间的连续性，Z_m-Z_n为其对比度差值，并通过参数β将差值进行放大，α是透明度，β，γ是参数；z是对比度，an是像素n的透明度，am是像素m的透明度，V(α，z)表示边界项。

6.根据权利要求1所述的一种基于机器视觉的焊缝表面缺陷检测方法，其特征在于，所述步骤6还包括计算缺陷区域圆形度

L为缺陷周长，S为缺陷面积。

7.一种基于机器视觉的焊缝表面缺陷检测系统，其特征在于，包括：

焊缝表面图像实时采集平台，所述焊缝表面图像实时采集平台包括CCD相机、镜头、环形LED 0°光源和固定平台，所述镜头连接所述CCD相机，用于拍摄放置在所述固定平台上的焊接头焊缝表面，所述环形LED 0°光源用于在CCD相机拍摄时进行补光；

焊缝表面缺陷检测模块，所述焊缝表面缺陷检测模块用于执行如权1-6任一所述的基于机器视觉的焊缝表面缺陷检测方法。

Images