CN108921828A - 一种复杂场景下不显著焊缝识别方法 - Google Patents

Abstract

本发明公开了一种复杂场景下不显著焊缝识别方法，属于机器视觉自动检测与控制领域。依据图像铜管区域的灰度特性、色调特性和饱和度特性对铜管区域分别进行提取；融合上述提取结果实现图像铜管区域较准确的提取。结合二值图像形态学运算与逻辑运算，在铜管区域中提取候选焊缝区域。去除面积过大或过小的焊缝候选区域，实现复杂场景下铜管套管焊缝的准确识别。本发明可在复杂背景下准确识别外观不够显著的铜管套管焊缝，还可推广应用于其他复杂场景下的不显著目标识别场合。

Description

一种复杂场景下不显著焊缝识别方法

技术领域

本发明涉及机器视觉自动检测与控制领域，特别是一种复杂场景下不显著焊缝识别方法。

背景技术

焊接作为制造领域的一种重要工艺，被广泛的应用于工业生产。传统的手工焊接方式存在工作环境恶劣、劳动强度大、焊接质量不容易控制等缺点，亟待发展焊接自动化技术。

国内外科技人员已在焊接自动化和焊接机器人相关领域进行了大量的研究。较早期的“示教-再现”和“离线编程”自动焊接技术对于焊接环境的一致性要求严格，对工件变形，焊缝位置和尺寸变化不具有适应性。实现对焊缝的自动定位与跟踪是提升焊接自动化技术适应性和智能化水平的关键。

视觉检测技术具有获取的信息量大、非接触、灵活性强、集成性高等显著特点和优势，已逐渐成为焊缝的自动定位与跟踪领域最具活力、最为流行的一种技术。英国的Meta公司研发的Meta Torch500视觉传感器基于面结构光测量原理，可实现焊缝的三维视觉跟踪，具有一定的抗干扰能力；加拿大的Servo-robot公司将激光和CCD传感器相结合，针对多个不同应用场合研制了多种商品级的机器人焊接传感器；吉林大学赵继等设计了一种基于双目视觉的焊缝自动跟踪系统；上海交通大学姚瞬等研制了一种利用环形激光的焊缝跟踪系统。

上述工作均在一定程度上提升了焊缝自动定位与跟踪技术水平。但是，现有技术只有在焊缝的形状和位置比较固定、焊缝较容易识别的应用场合才能取得较好的效果，而对于外观不够显著、形状不够规则、位置不确定性强、背景复杂的焊缝 (如冰箱压缩机铜管套接焊缝)，现有技术则难以稳定准确的实现焊缝自动定位与跟踪。其中的关键问题在于现有研究对复杂背景下不显著焊缝的准确识别问题关注不多，现有图像处理技术无法实现这类焊缝的准确识别。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种复杂场景下不显著焊缝识别方法，实现复杂背景下外观不够显著的铜管套管焊缝的准确识别，实现铜管套管焊缝的自动定位与跟踪。

为解决上述技术问题，本发明所采用的技术方案是：一种复杂场景下不显著焊缝识别方法，包括以下步骤：

1)图像铜管区域提取：将待识别RGB彩色图像分别转换为灰度图像和HSV彩色图像；依据图像铜管区域的灰度特性、色调(HSV彩色图像的H)特性和饱和度 (HSV彩色图像的S分量)特性对铜管区域分别进行提取；融合上述提取结果实现图像铜管区域较准确的提取。

2)焊缝候选区域提取：结合二值图像形态学运算与逻辑运算，在图像铜管区域中提取候选焊缝区域。

3)伪焊缝区域抑制：去除面积过大或过小的焊缝候选区域，实现复杂场景下细铜管套管焊缝的准确识别。

所述步骤1)中，铜管区域提取的步骤为：

1)将待识别RGB彩色图像I转换为灰度图像I_gray；应用大津法对I_gray进行自适应阈值分割，提取I_gray中灰度较大的区域，得到二值图像I_Bgray。

2)将待识别RGB彩色图像I转换为HSV彩色图像I_HSV；将I_HSV的H(色调)和S(饱和度)分量分别提取为独立的灰度图像I_H和I_S；

3)分别依据图像中铜管区域的H和S参数取值范围对I_H和I_S进行阈值分割，将 I_H、I_S中色调或饱和度接近铜管的像素灰度值置1，否则置0，得到二值图像I_BH、 I_BS；

4)对图像I_Bgray和I_BH进行逻辑与运算，提取待识别图像中灰度和色调均接近铜管的区域，得到二值图像I_BHgray，计算公式为：

I_BHgray＝I_Bgray∧I_BH

其中，“∧”为逻辑与运算。

5)对图像I_BH和I_BS进行逻辑与运算，提取待识别图像中色调和饱和度均接近铜管的区域，得到二值图像I_BHS，计算公式为：

I_BHS＝I_BH∧I_BS

6)对图像I_BHgray、I_BHS进行逻辑或运算，实现待识别图像铜管区域较准确的提取，得到标记铜管区域的二值图像I_t，计算公式为：

I_t＝I_BHgray∨I_BHS

其中，“∨”为逻辑或运算。

所述图像铜管区域提取的步骤1)中，将待识别RGB彩色图像I转换为灰度图像I_gray的计算公式为：

gs_ij＝0.3×r_ij+0.59×g_ij+0.11×b_ij(i＝1,2,…M；j＝1,2,…N)

其中，gs_ij为图像I_gray中第i行第j列像素的灰度值；r_ij、g_ij、b_ij分别为图像I中第i行第j列像素红色通道R、绿色通道G和蓝色通道B的值，N、M分别为图像I_gray和I以像素为单位的宽度和高度。

所述图像铜管区域提取的步骤1)中，应用大津法对I_gray进行自适应阈值分割的计算公式为：

其中，Bgs_ij为二值图像I_Bgray中第i行第j列像素的灰度值；T_s为由大津法得到的阈值：T_S＝argmax[σ²(T)]，σ²(T)＝w_A(T)(u_A(T)-u)²+w_B(T)(u_B(T)-u)²， u＝w_A(T)u_A(T)+w_B(T)u_B(T)，

N×M为图像I_gray中的像素总数；L为I_gray中的灰度级总数；n_k、n_r分别为I_gray中灰度值等于k、r 的像素个数:T的取值范围为(0，L)。

所述图像铜管区域提取的步骤3)中，二值图像I_BH的获取公式为：

其中，BH_ij为二值图像I_BH中第i行第j列像素的灰度值；H_ij为灰度图像I_H中第i行第j列像素的的灰度值；阈值H₁的取值区间为[0.03L₂,0.1L₂],L₂为I_H中的灰度级总数。

所述图像铜管区域提取的步骤3)中，二值图像I_BS的获取公式为：

其中，BS_ij为二值图像I_BS中第i行第j列像素的灰度值；S_ij为灰度图像I_S中第i行第j列像素的的灰度值；阈值S₁的取值区间为[0.2L₃,0.4L₃]，阈值S₂的取值范围为 [0.75L₃,0.85L₃],L₃为I_S中的灰度级总数。

所述步骤2)中，焊缝候选区域提取的方法为：

1)对铜管区域提取结果I_t进行形态学闭运算，填充标记铜管区域的细微孔洞，弥合铜管区域的细微裂缝，计算公式为：

其中，I_c为标I_t的形态学闭运算结果，“·”为形态学闭运算符，为形态学膨胀运算符，“Θ”为形态学腐蚀运算符。Α₁为尺寸是T₁×T₁的矩形结构元素：

S_pq＝1，p＝1,2,…T₁，q＝1,2,…T₁；T₁在集合[5,17]中取值，且T₁为奇数。

2)对I_c和I_t进行差分运算，提取铜管区域的细微孔洞和裂缝，计算公式为：

I_d＝I_c-I_t

其中，I_d为铜管区域的细微孔洞和裂缝提取结果，图中，铜管区域的细微孔洞和裂缝灰度值为1，其他像素灰度值为0。

3)提取I_c的边缘，计算公式为:

I_e＝I_c-(I_cΘA₂)

其中，I_e为边缘检测结果，A₂为3×3的矩形结构元素：

4)获取铜管边缘所在区域掩膜图像，计算公式为：

其中，I_mask为铜管边缘所在区域掩膜图像，A₃为T₃×T₃的矩形结构元素：

S_mn＝1，m＝1,2,…T₃，n＝1,2,…T₃；T₃在集合[21,71]中取值，且T₃为奇数。

5)去除I_d中的铜管边缘区域的细微孔洞和裂缝，获取焊缝造成的铜管区域裂缝，计算公式为：

I_wc＝I_d-I_d∧I_mask

其中，I_wc为焊缝造成的铜管区域裂缝二值图。

6)修复噪声干扰造成的I_wc中前景区域缺损，实现焊缝候选区域提取，计算公式为：

I_p＝I_wc·A₃

其中，I_p为焊缝候选区域提取结果图像。

所述步骤3)中，伪焊缝区域抑制的实现方法为：若焊缝潜在区域提取结果图像 I_p中第q个联通区域像素的个数ca_q满足如下条件：

或

则判定该连通区域为伪焊缝区域，将该区域的所有像素灰度值都置为0。

其中，Z₁为区域过小抑制系数，Z₁在区间[0.1,0.95]中取值；Z₂为区域过大抑制系数，Z₂在区间[1.2,3]中取值；f为采集待识别RGB图像所使用镜头的焦距， f在区间[4mm,75mm]中取值；dist为采集待识别RGB图像时的物距，dist在区间[110mm,2000mm]中取值；st的计算公式为：

其中，st₁、st₂为由带识别套管焊缝连接的两铜管以毫米为单位的外径。

与现有技术相比，本发明所具有的有益效果为：本发明综合利用图像颜色信息、灰度信息以区域特征，将阈值分割方法、图像形态学运算和逻辑运算相结合，解决了复杂背景下外观不够显著的铜管套管焊缝准确识别的技术难题，可为实现其自动定位与跟踪，进而实现其焊接自动化提供关键的技术支撑；实现步骤没有采用任何迭代运算，在复杂条件下的稳定性容易保证；本发明可推广应用于其他复杂场景下的不显著目标识别场合。

附图说明

图1为本发明一实施例方法流程图；图中，1、图像铜管区域提取，2、焊缝候选区域提取，3、伪焊缝区域抑制；

图2(a)～图2(e)为根据本发明的实施例图像铜管区域提取过程：图2(a) 为待识别图像；图2(b)为灰度图自适应阈值分割结果；图2(c)为H通道灰度图阈值分割结果；图2(d)为S通道灰度图阈值分割结果；图2(e)为铜管区域提取结果；

图3(a)～图3(f)为根据本发明的实施例焊缝候选区域提取过程：图3(a) 为对铜管区域提取结果进行形态学闭运算的结果；图3(b)为图3(a)与铜管区域提取结果进行差分运算的结果；图3(c)为对图3(a)进行形态学边缘检测的结果；图3(d)为铜管边缘所在区域掩膜图像；图3(e)为焊缝造成的铜管区域裂缝获取结果；图3(f)为焊缝候选区域提取结果；

图4为铜管套管焊缝识别结果。

具体实施方式

如图1所示，本发明方法识别某型号空调压缩机部件模型铜管套管焊缝过程如下：读取大小为3000×3000像素的待识别RGB彩色图像，参见附图2(a)；由图可知，该待识别图象背景较复杂，焊缝在图像中的显著性不强，且由于铜管的形状具有较强的随机性，焊缝出现的区域也会较为随机；现有图像处理方法难以准确实现套管焊缝的准确识别。

本发明方法首先把待识别RGB彩色图像分别转换为灰度图像和HSV彩色图像，并将HSV彩色图像的H通道和S通道分别提取为独立的灰度图像。

接着，对灰度图像进行大津法自动阈值分割，提取灰度图像中灰度值较大的区域，分割结果参加附图2(b)。依据铜管成像后H和S参数取值范围分别对提取H 通道得到的灰度图像和提取S通道得到的灰度图像进行固定阈值分割，提取待识别图像中色调和饱和度接近铜管的区域，结果分别参见附图2(c)和附图2(d)。本实施列中，所有灰度图像的灰度级总数均为256级，分割提取H通道得到的灰度图像阈值H₁取值为13；分割提取S通道得到的灰度图像的阈值S₁取值为80，阈值S₂取值为200。对以上三帧二值图像进行逻辑运算，提取铜管区域，提取结果参见附图2(e)。由附图2(e)可知，本发明方法较准确的提取了待识别图像中的铜管区域。

然后，对铜管区域提取结果进行形态学闭运算，填充标记铜管区域的细微孔洞，弥合铜管区域的细微裂缝，运算结果参见附图3(a)；本实施列中，参数T₁取值为11。对闭运算结果和铜管区域进行差分运算，提取铜管区域的细微孔洞和裂缝，运算结果参见附图3(b)。采用形态学边缘检测算法提取闭运算结果的边缘，边缘提取结果参见附图3(c)。采用形态学膨胀运算由边缘提取结果生成铜管边缘所在区域掩膜图像，掩膜图像参见附图3(d)；本实施例中，参数T₃取值为53 像素，附图3(d)中，铜管区域边缘附近的像素灰度值为1，其他区域像素的灰度值为0。利用掩膜图像通过逻辑运算和差分运算抑制铜管边缘区域的细微孔洞和裂缝，得到焊缝造成的铜管区域裂缝，运算结果参加附图3(e)。再次利用形态学闭运算修复噪声干扰造成的铜管区域裂缝中前景区域缺损，实现焊缝候选区域提取，焊缝候选区域提取结果参见附图3(f)。由图可知，大部分干扰和背景区域已经得到了抑制，最后只剩下了少数焊缝候选区域。

最后，利用真实焊缝区域的面积特征，抑制伪焊缝区域，完成铜管套管焊缝识别。本实施例中，采集待识别RGB图像所使用镜头的焦距为8mm,采集待识别RGB 图像时的物距dist为500mm,区域过小抑制系数Z₁取值为0.6，区域过大抑制系数取值为1.8，带识别套管焊缝连接的两铜管以毫米为单位的外径st₁、st₂分别为15.88mm和12.7mm,伪焊缝区域抑制结果参见附图4。比对附图4和附图2 (a)可知，本发明方法准确的实现了铜管套管焊缝识别。

本发明综合利用图像颜色信息、灰度信息以区域特征，将阈值分割方法、图像形态学运算和逻辑运算相结合，解决了复杂背景下外观不够显著的铜管套管焊缝准确识别的技术难题，可为实现其自动定位与跟踪，进而实现其焊接自动化提供关键的技术支撑；实现步骤没有采用任何迭代运算，在复杂条件下的稳定性容易保证；本发明可推广应用于其他复杂场景下的不显著目标识别场合。

Claims (9)

1.一种复杂场景下不显著焊缝识别方法，其特征在于，包括以下步骤：

1)将待识别的RGB彩色图像分别转换为灰度图像和HSV彩色图像；依据图像铜管区域的灰度特性、色调特性和饱和度特性对铜管区域分别进行提取，得到标记铜管区域的二值图像；

2)结合二值图像形态学运算与逻辑运算，利用标记铜管区域的二值图像提取候选焊缝区域；

3)去除面积过大或过小的焊缝候选区域，实现复杂场景下铜管套管焊缝的准确识别。

2.根据权利要求1所述的复杂场景下不显著焊缝识别方法，其特征在于，步骤1)的具体实现过程包括：

1)将待识别的RGB彩色图像I转换为灰度图像I_gray，应用大津法对I_gray进行自适应阈值分割，得到二值图像I_Bgray；将待识别的RGB彩色图像I转换为HSV彩色图像I_HSV；将I_HSV的色调H和饱和度S分量分别提取为独立的灰度图像I_H、I_S；

2)分别依据图像中铜管区域的H和S参数取值范围对I_H和I_S进行阈值分割，将I_H、I_S中色调或饱和度接近铜管的像素灰度值置1，否则置0，得到二值图像I_BH、I_BS；

3)对图像I_Bgray和I_BH进行逻辑与运算，提取待识别图像中灰度和色调均接近铜管的区域，得到二值图像I_BHgray，计算公式为：I_BHgray＝I_Bgray∧I_BH；其中，“∧”为逻辑与运算；对图像I_BH和I_BS进行逻辑与运算，提取待识别图像中色调和饱和度均接近铜管的区域，得到二值图像I_BHS，计算公式为：I_BHS＝I_BH∧I_BS；对图像I_BHgray和I_BHS进行逻辑或运算，得到标记铜管区域的二值图像I_t，计算公式为：I_t＝I_BHgray∨I_BHS；其中，“∨”为逻辑或运算。

3.根据权利要求2所述的复杂场景下不显著焊缝识别方法，其特征在于，将待识别的RGB彩色图像I转换为灰度图像I_gray的计算公式为：

gs_ij＝0.3×r_ij+0.59×g_ij+0.11×b_ij；

其中，gs_ij为图像I_gray中第i行第j列像素的灰度值；r_ij、g_ij、b_ij分别为RGB彩色图像I中第i行第j列像素红色通道R、绿色通道G和蓝色通道B的值，i＝1,2,…M；j＝1,2,…N，N、M分别为图像I_gray和I以像素为单位的宽度和高度。

4.根据权利要求2所述的复杂场景下不显著焊缝识别方法，其特征在于，应用大津法对I_gray进行自适应阈值分割的计算公式为：

其中，Bgs_ij为二值图像I_Bgray中第i行第j列像素的灰度值；T_s为由大津法得到的阈值：T_S＝argmax[σ²(T)]，σ²(T)＝w_A(T)(u_A(T)-u)²+w_B(T)(u_B(T)-u)²，u＝w_A(T)u_A(T)+w_B(T)u_B(T)， N×M为图像I_gray中的像素总数；L为I_gray中的灰度级总数；n_k、n_r分别为I_gray中灰度值等于k、r的像素个数；T的取值范围为(0，L)。

5.根据权利要求2所述的复杂场景下不显著焊缝识别方法，其特征在于，二值图像I_BH的获取公式为：其中，BH_ij为二值图像I_BH中第i行第j列像素的灰度值；H_ij为灰度图像I_H中第i行第j列像素的的灰度值；阈值H₁的取值区间为[0.03L₂,0.1L₂]，L₂为I_H中的灰度级总数。

6.根据权利要求2所述的复杂场景下不显著焊缝识别方法，其特征在于，二值图像I_BS的计算公式为：其中，BS_ij为二值图像I_BS中第i行第j列像素的灰度值；S_ij为灰度图像I_S中第i行第j列像素的的灰度值；阈值S₁的取值区间为[0.2L₃,0.4L₃]，阈值S₂的取值范围为[0.75L₃,0.85L₃]，L₃为I_S中的灰度级总数。

7.根据权利要求1所述的复杂场景下不显著焊缝识别方法，其特征在于，步骤2)中，所述候选焊缝区域的提取过程包括：

1)对标记铜管区域的二值图像I_t进行形态学闭运算，填充标记铜管区域的细微孔洞，弥合铜管区域的细微裂缝，计算公式为：其中，I_c为标I_t的形态学闭运算结果，“·”为形态学闭运算符，为形态学膨胀运算符，“Θ”为形态学腐蚀运算符；Α₁为尺寸是T₁×T₁的矩形结构元素：S_pq＝1，p＝1,2,…T₁，q＝1,2,…T₁；T₁在集合[5，17]中取值，且T₁为奇数；

2)对I_c和I_t进行差分运算，提取铜管区域的细微孔洞和裂缝，计算公式为：I_d＝I_c-I_t；其中，I_d为铜管区域的细微孔洞和裂缝提取结果，铜管区域的细微孔洞和裂缝灰度值为1，其他像素灰度值为0；

3)提取I_c的边缘，计算公式为：I_e＝I_c-(I_cΘA₂)；其中，I_e为边缘检测结果，A₂为3×3的矩形结构元素：

4)获取铜管边缘所在区域掩膜图像，计算公式为：其中，I_mask为铜管边缘所在区域掩膜图像，A₃为T₃×T₃的矩形结构元素：S_mn＝1，m＝1,2,…T₃，n＝1,2,…T₃；T₃在集合[21,71]中取值，且T₃为奇数；

5)去除I_d中的铜管边缘区域的细微孔洞和裂缝，获取焊缝造成的铜管区域裂缝，计算公式为：I_wc＝I_d-I_d∧I_mask；其中，I_wc为焊缝造成的铜管区域裂缝二值图；

6)修复噪声干扰造成的I_wc中前景区域缺损，实现焊缝候选区域提取，计算公式为：I_p＝I_wc·A₃；其中，I_p为焊缝候选区域提取结果图像。

8.根据权利要求1所述的复杂场景下不显著焊缝识别方法，其特征在于，步骤3)的具体实现过程包括：若焊缝潜在区域提取结果图像I_p中第q个联通区域ca_q满足如下条件：或则判定该连通区域为伪焊缝区域，将该区域的所有像素灰度值都置为0；其中，Z₁为区域过小抑制系数，Z₁在区间[0.1，0.95]中取值；Z₂为区域过大抑制系数，f为采集待识别RGB图像所使用镜头的焦距；dist为采集待识别RGB图像时的物距；st的计算公式为：其中，st₁、st₂为由带识别套管焊缝连接的两铜管以毫米为单位的外径。

9.根据权利要求8所述的复杂场景下不显著焊缝识别方法，其特征在于，Z₂在区间[1.2，3]中取值；f在区间[4mm,75mm]中取值；dist在区间[110mm，2000mm]中取值。