CN112907521B - 基于ssd和glcm的焊接气孔目标检测方法 - Google Patents

Abstract

本发明提供了一种基于SSD和GLCM的焊接气孔目标检测方法，在SSD模型提供的候选气孔区域的检测结果之后，再增加一个基于灰度共生矩阵(GLCM)的纹理特征判定器，通过：实时读取待检测图像；使用训练好的SSD模型对所述待检测图像进行气孔目标检测，得到候选气孔区域；对所述候选气孔区域分别进行GLCM特征提取，得到特征集合f_m；对所述特征集合f_m进行校验，通过校验的即为所述True Positive气孔区域。从而筛选出候选气孔区域中哪些是真正具有气孔的True Positive气孔区域，哪些是模型误识别为“气孔”的False Positive气孔区域，并将SSD模型识别出的False Positve气孔区域的过滤掉，只输出True Positive气孔区域，在实现实时检测目标焊接气孔的同时，提高了结果的准确率。

Description

基于SSD和GLCM的焊接气孔目标检测方法

技术领域

本发明属于工业视觉检测与图像处理领域，具体涉及对工业焊接领域中常出现的焊接气孔的目标检测。

背景技术

在工业焊接过程中，经常由于工件不清洁，或是保护气体纯度不足等原因，导致焊缝表面或者内部形成气孔。气孔的存在使得焊缝有效截面减少、机械强度下降，因此工厂检测到大面积气孔后，会打磨掉整条焊缝，进行人工补焊。为了及时监测到大面积气孔的产生，减少不必要的返工，很多科学家和技术专家都在尝试使用计算机视觉，达到气孔检测的目的。

气孔，在焊缝冷却的过程中形成，会表现出比周围区域温度偏高的特点(如附图1所示)，该温度的变化，可以被红外热像仪捕捉到。相比较普通的摄像机，红外热像仪可以检测到物体表面的温度，并将温度变化显示在图像中。从红外热成像中标出气孔位置，这是一个目标检测问题。

当前比较流行的目标检测算法可以分为两类，一类是two-stage的R-CNN模型，速度慢但是精度高，另一类是one-stage的Yolo和SSD模型，这类模型速度快但是准确性低。为了实现对焊缝的热成像图片中的气孔进行实时检测的目标，SSD模型是我们的首选，但是在使用该模型对焊缝中的气孔这种单类别、小物体进行目标检测时发现，在没有目标存在的图像上，SSD模型依然给出了很多False Positive的检测结果，即将无气孔的区域误识别为有气孔的区域。这是由以下两个原因造成的：a.焊缝中的气孔本身在热成像图片中边界较为模糊；b.SSD模型强调的是对目标物体的学习，无法学习无目标存在的情况，导致了上述的误报情况。而气孔的目标检测需要低误报率，因此降低目标检测模型的误报率，成为了一个技术难点。

发明内容

为了克服上述问题，本发明提供了一种基于SSD和GLCM的焊接气孔目标检测方法，在SSD模型提供的候选气孔区域的检测结果之后，再增加一个基于灰度共生矩阵(GLCM)的纹理特征判定器，对所述特征值分别进行GLCM特征校验，过滤掉所述候选气孔区域中不符合条件的气孔区域，得到修正后的气孔检测结果，在实现实时检测目标焊接气孔的同时，提高了结果的准确率。

本发明采用的技术方案如下：

第一方面，本发明提供了一种基于SSD和GLCM的焊接气孔目标检测方法，包括以下步骤：

S1.1：读取图像；

实时读取待检测焊缝的红外热成像图片，记为待检测图像；

S1.2：目标检测；

使用SSD模型对所述待检测图像进行气孔目标检测，得到候选气孔区域；

S1.3：提取特征；

对所述候选气孔区域分别进行GLCM特征提取，每个候选气孔区域提取的特征值不少于2个；

S1.4：修正结果；

对所述特征值分别进行GLCM特征校验，过滤掉所述候选气孔区域中未通过校验的气孔区域，得到修正后的气孔检测结果。

进一步地优化，所述S1.3步骤中的GLCM特征提取方法包括以下步骤：

S2.1：压缩图像；

将所述焊缝气孔区域的红外热成像图片转为灰度图像，再进行灰度级压缩至不大于64级；

S2.2：生成6个灰度共生矩阵G_n(i，j，d，θ)；

其中，n为所述灰度共生矩阵的序号，n＝1，2，…，6；i为所述灰度共生矩阵元素值的行，j为所述灰度共生矩阵元素值的列；d的取值为3，4，5；θ的取值为0°、45°、90°、135°中的某任意2个角度；

S2.3：计算特征值；

分别计算每个所述灰度共生矩阵的纹理统计量，所述纹理统计量包括同质度、对比度、非相似性、熵、角二阶矩、相关性中的至少一种，再分别提取各个所述纹理统计量在所述6个灰度共生矩阵中的最大值、最小值、求和、平均值或标准差中的任一种，得到所述特征值。

优选的，在所述S2.3步骤中，所述统计量为同质度和角二阶矩；提取所述同质度中的最大值，以及所述角二阶矩的求和结果得到所述特征值。

优选的，在所述S1.2步骤中，所述SSD模型通过以下方法训练得到：

S3.1：标注图集；

收集有气孔的红外热成像图片，并清洗数据，只保留气孔较明显的图片，得到一个数据集，将所述数据集中的气孔区域一个个框选出来，得到标注图像集；

S3.2：划分图集；

将所述标注图像集分为训练集、验证集，测试集三类，所述训练集中的图像数量占比不少于70％，然后分别将所述训练集、验证集和测试集中的图像标注内容整理成tfrecord格式；

S3.3：训练模型；

训练至所述SSD模型在所述测试集上的定位准确率高于70％。

进一步地优选，在所述S3.3步骤中，使用SSD_Mobilenet_300预训练模型作为训练的对象，和/或，训练模型时通过数据扩增提升所述SSD模型的性能，实现所述数据扩增的技术为随机剪切、随机旋转、随机采集块域中的至少一种。

进一步地优选，在所述S1.4步骤中，所述GLCM特征校验的判定方法为：通过分类器对所述候选气孔区域进行分类，过滤掉所述候选气孔区域中未通过校验的气孔区域，得到修正后的气孔检测结果。

进一步地优选，所述分类器通过以下步骤创建得到：

S4.1：获取True Positive气孔区域的图像集合D_porosity；

使用所述SSD模型，对所述S2.1步骤中的红外热成像图片逐个进行气孔目标检测，检查所述SSD模型识别出的结果是否真正包含气孔，是的话，将所述真正包含气孔的区域记为True Positive气孔区域，并将所述True Positive气孔区域放入集合D_porosity中；

S4.2：获取False Positive气孔区域的图像集合D_normal；

另外收集一些无气孔的红外热成像图片，使用所述SSD模型，对所述无气孔的红外热成像图片逐个进行气孔目标检测，将所述SSD模型误识别为“气孔”的区域记为FalsePositive气孔区域，将所述False Positive气孔区域放入集合D_normal中；

S4.3：提取特征；

对所述D_porosity和所述D_normal中的每一个气孔区域进行GLCM特征提取，得到所述True Positive气孔区域图像集合D_porosity上的特征集合f_p、所述False Positive气孔区域图像集合D_normal上的特征集合f_n；

S4.4：创建分类器区分True Positive气孔区域和False Positive气孔区域；

在所述特征集合f_p和所述特征集合f_n构成的特征空间上，创建得到可以区分所述True Positive气孔区域和所述False Positive气孔区域的所述分类器。

进一步地优选，所述S4.3步骤中，采用第二方面所述的方法进行所述GLCM特征提取。

可选的，在所述S4.4步骤中，所述分类器包括阈值分割、决策树、随机森林、SVM中的任一种。

第二方面，本发明还提供了一种焊接气孔目标检测装置，作为实现上述任一基于SSD和GLCM的焊接气孔目标检测方法的应用载体，所述焊接气孔目标检测装置包括获取模块、输入模块、检测模块、修正模块、输出模块；

所述获取模块用于获取待检测图像；

所述输入模块用于将所述待检测图像输入至预先训练得到的SSD模型中；

所述检测模块包括所述SSD模型，通过所述SSD模型对所述待检测图像进行检测，得到候选气孔区域；

所述修正模块对所述候选气孔区域进行GLCM特征提取、GLCM特征校验，得到修正后的气孔检测结果；

所述输出模块用于输出所述修正后的气孔检测结果。

第三方面，本发明还提供了一种电子设备，作为实现上述任一基于SSD和GLCM的焊接气孔目标检测方法的应用载体，所述电子设备包括存储器、处理器和总线；

所述存储器用于存储计算机程序，所述计算机程序在被所述处理器运行时，执行上述任一技术方案所述的方法，所述存储器与所述处理器之间通过所述总线通信。

第四方面，本发明还提供了一种计算机存储介质，作为实现上述任一基于SSD和GLCM的焊接气孔目标检测方法的应用载体，所述存储介质用于储存上述任一种技术方案所用的计算机软件指令。

本发明的有益效果是：

本发明将SSD模型和GLCM结合起来，在SSD深度学习模型的框架之上，根据气孔在红外热成像图片上的呈现特点，增加了修正结果这一步骤，综合使用GLCM对SSD模型的目标检测结果进行校验。一方面，优化SSD模型的训练过程，让训练出来的模型在目标检测时达到尽可能高的真正例率，再通过修正结果步骤，即GLCM纹理判断，在保证准确率的条件下，进一步减少假正例率，解决了深度学习的准确率和召回率难以平衡的问题。另一方面，鉴于GLCM作用于整张图片，存在计算量太大、检测目标位置的能力不够好等缺点，本发明仅仅是将GLCM纹理分析作用于SSD筛选出的一个个小的气孔区域上，如此，在减小了计算量的同时，也增强了深度学习模型预测结果的准确性和可解释性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明中的部分实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的所检测的带有气孔的焊缝实物拍摄示意图(左)，和带有气孔的焊缝的红外热成像示意图(右)；

图2为本发明实施例提供的基于SSD和GLCM的焊接气孔目标检测方法的流程示意图；

图3为本发明实施例提供的没有气孔的正常焊缝的实物拍摄示意图(上)，正常焊缝的红外热成像示意图(中)，以及训练好的SSD模型的初始目标检测结果(下)；

图4为本发明实施例提供的一个True Positive气孔区域的灰度图(左)，和一个False Positive气孔区域的灰度图(右)；

图5为本发明实施例提供的一种焊接气孔目标检测装置的功能模块示意图；

图6为本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。因此，以下对各个实施例的描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于下述实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如附图1左图所示，为本发明方法所检测的带有气孔的焊缝实物拍摄示意图，图的正中间一条为焊缝，焊缝上面近似圆形的孔为气孔；附图1右图为含有气孔的焊缝的红外热成像示意图，图像右上到左下的高亮区域为一条焊缝，焊缝上面亮度超过周围区域的气泡状物体，为待检测的气孔目标。

如附图2所示，为本实施例所述的基于SSD和GLCM的焊接气孔目标检测方法，其步骤为：

S1.1：读取图像；

实时读取待检测焊缝的红外热成像图片，记为待检测图像；

S1.2：目标检测；

使用SSD模型对所述待检测图像进行气孔目标检测，得到候选气孔区域；

此时，所述候选气孔区域中还包括被SSD模型误识别为“具有气孔”的无气孔区域，将该区域记为False Positive气孔区域，将真正具有气孔的区域记为True Positive气孔区域。

接下来通过S1.3、S1.4步骤来判别候选气孔区域中哪些是真正具有气孔的TruePositive气孔区域，哪些是模型误识别为“具有气孔”的False Positive气孔区域，并将SSD模型识别出的False Positve气孔区域的过滤掉，只输出True Positive气孔区域。

S1.3：提取特征；

对所述候选气孔区域分别进行GLCM特征提取，每个候选气孔区域提取的特征值不少于2个；在本实施例中，提取2个特征值，分别记为f₁、f₂；

S1.4：修正结果；

对所述特征值分别进行GLCM特征校验，过滤掉所述候选气孔区域中未通过检验的False Positive气孔区域，得到通过校验的True Positive气孔区域，该结果即为符合本发明目的的气孔检测结果。

在一个对比例中，使用训练好的SSD模型对不含气孔的焊缝的热成像图片进行检测：获取一批不含有气孔的正常焊缝，其中一个焊缝工件的实物拍摄图如附图3上图所示，得到该正常焊缝的热成像图片如附图3中图所示。使用训练好的SSD模型，对上述不含有气孔的正常焊缝的热成像图片进行检测，也检测出了很多气孔，如附图3下图所示。

造成该对比例中误判的原因有三：1.SSD模型强调的是对目标物体的学习，无法学习无目标存在的情况，训练数据集中不包含无气孔的焊缝的图像,负样本来自于训练数据中未被框选的部分，无法涵盖所有正常焊缝的情况；而且ssd内嵌了Hard negative mining算法,使得其提取的负样本是除去正样本(气孔区域)外confidence loss最高的，数量也仅仅是正样本数的三倍，远达不到真实情况下负样本(无气孔)是正样本(有气孔)出现概率的上百至上千倍的抽样比例；2.热成像设备存在误差，在某些正常焊缝中，也会有某个像素点的像素值稍高于周围点的情况；3.焊缝中的气孔本身在热成像图片中边界较为模糊，事实上，焊接过程中产生的飞溅(如附图1和附图3中分布在焊缝周围的噪点)，因为其特征和气孔的特征相差不明显，SSD模型也可能将其在正常焊缝上的位置，识别为气孔。

因此，根据本发明的技术方案，在本实施例中，首先将SSD模型检测出的目标气孔区域记为候选气孔区域，该候选气孔区域包含True Positive气孔区域和False Positive气孔区域，其中True Positive气孔区域是我们最终要输出的检测结果。进入S1.3、S1.4步骤，进一步判别候选气孔区域的检测结果是否为True Positive气孔区域。如S1.3、S1.4步骤所述，依次提取所述候选气孔区域的GLCM特征，再对提取的特征进行GLCM特征校验，过滤掉被算法判定为False Positive的气孔区域(如附图4右图所示)，只输出True Positive气孔区域(如附图4左图所示)。

上述提取、判别所述候选气孔区域是否为True Positive气孔区域的方法，本质上是对所述候选气孔区域，也即候选框(标注的候选框如附图3下图所示)中的图像纹理在进行分析。

气孔的图像纹理有3大特征：1.亮度最亮，区域内存在一个最亮(像素值最大)的区域；2.位置接近图像中央；3.在最亮的区域周围，呈现涟漪状地向各个方向亮度递减的现象，且往各个方向下降的速度几乎相等。基于这些特点，本实施例通过分析GLCM(灰度共生矩阵)的纹理统计量，来区分真假气孔。

共生矩阵用两个位置的象素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的象素之间的位置分布特性，是有关图象亮度变化的二阶统计特征。它是定义一组纹理特征的基础。一幅图象的灰度共生矩阵能反映出图象灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图象的局部模式和它们排列规则的基础。因此，可使用GLCM法来研究True Positive气孔区域和False Positive气孔区域的灰度空间特性，来表征上述气孔的图像纹理，从而判别所述候选气孔区域是否真正存在气孔。具体的，矩阵是一个N*N的方形矩阵，N为图像的灰度级别，矩阵中的元素P_i,j表示在给定方向θ上相距给定距离d的两个像素，灰度级别分别为i和j的概率密度(即频数/所有频数之和)。可以用来分析GLCM的纹理统计量包括：

1.均值Mean＝∑_i,j(P_i,j*i)

2.方差Variance＝∑_i,j(P_i,j*(i-Mean)²)

3.标准差

4.同质度

5.对比度Contrast＝∑_i,j(P_i,j*(i-j)²)

6.非相似性Dissimilarity＝∑_i,j(P_i,j*|i-j|)

7.熵Entropy＝-∑_i,j(P_i,j*ln(P_i,j))

8.角二阶矩ASM＝∑_i,j(P_i,j ²)

9.相关性

灰度共生矩阵的生成及统计量的选择上，遵循“可分性、可靠性、独立性和数量少”的原则，针对气孔图像的纹理特征，确定特征提取的实施方案，但不限于本实施例中给出的方案。

在所述S1.3步骤中，一种能实现本发明目的的、提取焊缝气孔区域的红外热成像图片GLCM特征值的方法如下：

S2.1：压缩图像；

将所述候选气孔区域分别转为灰度图像，再进行灰度级压缩至16级；

S2.2：生成6个灰度共生矩阵G_n(i，j，d，θ)；

n为所述灰度共生矩阵的序号，n＝1，2，…，6；i为所述灰度共生矩阵元素值的行，j为所述灰度共生矩阵元素值的列；d的取值分别为3、4、5；θ的取值分别为0°、90°；

S2.3：计算特征值；

分别计算每个所述灰度共生矩阵的统计量同质度(Homogeneity)和角二阶矩(ASM)；再从6个灰度共生矩阵的Homogeneity中提取最大值，记为特征值f₁；从对6个灰度共生矩阵的ASM求和，记为特征值f₂。

在该特征值提取过程中，如S2.1步骤所操作的，为了降低时间复杂度，保障实时检测这一发明目的的实现，本发明将灰度图像的灰度级压缩至16级，即将灰度共生矩阵的维数从256降低至了16。在灰度共生矩阵之上计算任何一个统计量，其时间复杂度都是0(N²)，即需要遍历整个共生矩阵，共生矩阵的维数从256降至16，计算量也随之降低。但这并未导致准确率的降低，原因在于：在本发明的技术方案中，所作的纹理分析并不是针对整张焊缝图像的，而是针对SSD模型检测出的候选气孔区域，即每个气孔目标，对应的是附图3下图所示的框选区域。正常情况下，每个框选区域内的像素值变化的范围较小的，假设其变化区间为[x,y]，x和y分别对应这个框选区域内的图像像素最小值和最大值。具体的，在进行灰度级别压缩时，本发明是将位于框选区域内的[x,y]的区间平均分成16等份，而不是把未经压缩的灰度图的[0，256]区间切割成16份，以此来保证该区域图像的质量没有被破坏。

在另一实施例中，灰度共生矩阵的维度也可以压缩至8、32或64，这些压缩后的维数一般为256的因数，在不丢失重要信息的情况下，选择尽可能小的，可以减少运算量，提高计算速度。

在该特征值提取过程中，如S2.2步骤所操作的，生成的6个灰度共生矩阵G_n(i，j，d，θ)中，本发明确定的距离d的取值分别为3、4、5，而不是用距离为1或者2，原因是TruePositive气孔区域的像素值变化在水平(θ＝0°)或竖直(θ＝90°)方向上，也有相邻两个像素(甚至相邻三个像素)的灰度级别维持在一个值的情况，这和气孔的形状非正圆有关。在其他实施例中，θ的取值也可以使用45°或135°来替换。

在该特征值提取过程中，如S2.3步骤所操作的，选取的统计量为同质度(Homogeneity)和角二阶矩(ASM)，这是契合气孔纹理特点的选择。如附图4左图所示，TruePositive气孔区域存在一个局部高亮区域，从气孔的成因分析的话，是由于气孔缺陷处存在空气，其热传导率小于金属的热传导率，所以在本该均匀散热的金属焊缝中，可以观测到局部热量集中的现象。区别于False Positive气孔区域，如附图4右图所示，True Positive气孔的纹理特征是近似于涟漪状，从最亮像素点附近向四周辐射，而False Positive气孔存在面积较大的像素值不变的情况。针对这个特点，同质性(Homogeneity)可以比较好地区分两者，True Positive气孔的同质性小于False Positive气孔。ASM反映的是图像灰度分布均匀程度。由于True Positive气孔区域从局部高亮到外边界的像素值逐步递减，其纹理分布较为均匀，不存在大面积的纹理突变，所以ASM值是比较小的，而False Positive气孔区域因为像素分布不均匀，存在一些像素等级跃变的情况(如取到了焊缝的边缘处)，这些物理特性反映在ASM特征上的表现是ASM值比较大。

结合距离d的取值，尤其是当d大于2时，由于True Positive气孔区域不存在大面积像素值不变的情况，所以Homogeneity的特征值会比较明显地小于False Positive气孔区域；同理，有孔与无孔区域的ASM值的差别也会更为明显。

在其他实施例中，遵循“可分性、可靠性、独立性和数量少”的原则，针对气孔图像的纹理特征，也可以选取其他统计量如平均值、方差、标准差、对比度、非相似性、熵、相关性等，来确定特征提取的方案，能实现本发明的发明目的，能够对焊缝气孔进行实时、准确的检测即可。

最后，经S1.4步骤，对提取的特征值f₁、f₂进行GLCM特征校验。

在另一优选的实施例中，所述S1.2步骤中使用的SSD模型通过以下方法训练得到：

S3.1：标注图集；

收集有气孔的红外热成像图片，并清洗数据，只保留气孔较明显的图片，得到一个数据集，将所述数据集中的气孔区域一个个框选出来，得到标注图像集；

S3.2：划分图集；

将所述标注图像集分为训练集、验证集，测试集三类，所述训练集中的图像数量占比为75％，所述验证集中的图像数量占比为15％，剩余的作为测试集。本实施例选用的初始训练模型是基于tensorflow的，因此，在训练之前，分别将所述训练集、验证集和测试集中的图像标注内容整理成tfrecord格式，将图像数据和标签统一存储为二进制文件，从而可以更加快速地在tensorflow中复制、移动、读取和存储等。

S3.3：训练模型；

训练至所述SSD模型在所述测试集上的定位准确率高于70％。

在另一个优选的实施例中，为了得到结构简单、识别准确率高的模型，在所述S3.3步骤中，使用SSD_Mobilenet_300预训练模型作为初始的训练对象。Mobilenet模型是Google提出的适合移动环境下的深度学习轻量级分类模型，延迟很低且可以保持一定的精度。SSD模型则结合了YOLO中的回归思想和Faster R-CNN中的anchor机制，不但有YOLO速度快的特性，而且可以像Faster R-CNN一样精准。将Mobilenet和SSD两种类型的模型结合起来得到的SSD_Mobilenet模型，用SSD模型作为基础模型，结合Mobilenet使用参数少，降低计算量的特点，在保证良好精确度的基础上，使用小规模参数网络，减少计算量，降低资源消耗，缩短了训练时间，改善了模型性能。

为了进一步增强SSD模型的性能，提高准确率，在所述S3.3步骤中，还可以通过数据扩增提升所述SSD模型的性能，实现所述数据扩增的技术包括随机剪切、随机旋转、随机采集块域等。

本实施例最终得到的训练好的SSD模型在测试数据集上的预测准确率达到了75％左右。

在另一个优选的实施例中，GLCM特征校验中使用的判别方法为：通过分类器对所述候选气孔区域进行分类，过滤掉所述候选气孔区域中未通过校验的气孔区域，得到修正后的气孔检测结果。在本实施例中，是通过阈值分割，得到了区分所述True Positive气孔区域和所述False Positive气孔区域的边界阈值，随后比较所述候选气孔区域的特征值与边界阈值，从而对气孔检测结果完成修正。

一种可选的创建所述分类器的方法如下：

S4.1：获取True Positive气孔区域的图像集合D_porosity；

使用所述SSD模型，对所述S2.1步骤中的红外热成像图片逐个进行气孔目标检测，检查所述SSD模型识别出的结果是否真正包含气孔，是的话，将所述真正包含气孔的区域记为True Positive气孔区域，并将所述True Positive气孔区域放入集合D_porosity中；

S4.2：获取False Positive气孔区域的图像集合D_normal；

另外收集一些无气孔的红外热成像图片，使用所述SSD模型，对所述无气孔的红外热成像图片逐个进行气孔目标检测，将所述SSD模型误识别为“气孔”的区域记为FalsePositive气孔区域，将所述False Positive气孔区域放入集合D_normal中；

S4.3：提取特征；

对所述D_porosity和所述D_normal中的每一个气孔区域进行GLCM特征提取，得到所述True Positive气孔区域图像集合D_porosity上的特征集合f_p、所述False Positive气孔区域图像集合D_normal上的特征集合f_n；此处的GLCM特征提取方法可参照上述实施例公开的方法；

S4.4：创建分类器区分True Positive气孔区域和False Positive气孔区域；

在所述特征集合f_p和所述特征集合f_n构成的特征空间上，创建得到可以区分所述True Positive气孔区域和所述False Positive气孔区域的所述分类器。

具体的，在本实施例中，所述分类器选择阈值分割算法，通过分析所述f_p和所述f_n的分布，得到区分所述True Positive气孔区域和所述False Positive气孔区域的边界阈值。

在其他实施例中，所述分类器还可以替换成包括决策树、随机森林、SVM中的任一种。

需要说明的是，本发明在实施例中，公开使用的分类器类别，并不用于限制本发明的保护范围，其他能够实现本发明目的的分类器，也在本发明保护的范围内。

最后，重复执行S1.3和S1.4这两步，直到所有的候选气孔区域都完成了GLCM特征校验为止，将判定为True Positive气孔区域的结果输出。

对于前述实施例提供的基于SSD和GLCM的焊接气孔目标检测方法，本发明的实施例提供一种焊接气孔目标检测装置100，如附图5所示，包括获取模块101、输入模块102、检测模块103、修正模块104、输出模块105。所述获取模块101用于获取待检测图像；所述输入模块102用于将所述待检测图像输入至预先训练得到的SSD模型中；所述检测模块103包括所述SSD模型，通过所述SSD模型对所述待检测图像进行检测，得到候选气孔区域；所述修正模块104对所述候选气孔区域进行GLCM特征提取、GLCM特征校验，得到修正后的气孔检测结果；所述输出模块105用于输出所述修正后的气孔检测结果。

优选的，所述修正模块104中的GLCM特征提取，采用前述实施例中提供的提取方法进行提取；优选的，所述修正模块104中的GLCM特征校验，采用前述实施例中提供的方法进行校验判定。

如附图6所示，本发明还提供了一种电子设备200，包括存储器201、处理器202、和总线203；所述存储器201用于存储计算机程序，所述计算机程序在被所述处理器202运行时，执行前述实施例中任一项所述的方法，所述处理器202可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核。处理器202也可以被实施成一个或多个微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备，以能够实现本发明实施例中公开的方法为准。所述存储器201与所述处理器202之间通过所述总线203通信。

上述描述的装置、电子设备、和装置中各个模块的具体工作过程，本领域的技术人员可以清楚地参考前述方法实施例中的对应过程，因此，为描述的方便和简洁，在此不再赘述。

进一步，本发明的实施例还提供一种计算机存储介质，用于储存前述实施例中任一项所述方法所用的计算机软件指令。所述计算机存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，这样的信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CDROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算设备访问的任何其他非传送介质，以能够实现本发明实施例中公开的方法为准。

上述实施例中描述的装置和方法，仅是本发明的优选实施例而已，并不能用于限制本发明技术方案的保护范围，除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明权利要求书中所定义的范围。

Claims (12)

1.一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，包括以下步骤：

S1.1：读取图像；实时读取待检测焊缝的红外热成像图片，记为待检测图像；

S1.2：目标检测；使用SSD模型对所述待检测图像进行气孔目标检测，得到候选气孔区域；

S1.3：提取特征；对所述候选气孔区域分别进行GLCM特征提取，每个候选气孔区域提取的特征值不少于2个；

S1.4：修正结果；对所述特征值分别进行GLCM特征校验，过滤掉所述候选气孔区域中未通过校验的气孔区域，得到修正后的气孔检测结果。

2.根据权利要求1所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，所述S1.3步骤中的GLCM特征提取方法包括以下步骤：

S2.1：压缩图像；

将所述焊缝气孔区域的红外热成像图片转为灰度图像，再进行灰度级压缩至不大于64级；

S2.2：生成6个灰度共生矩阵G_n(i,j,d,θ)；

其中，n为所述灰度共生矩阵的序号，n＝1，2，……，6；i为所述灰度共生矩阵元素值的行，j为所述灰度共生矩阵元素值的列；d的取值为3，4，5；θ的取值为0°、45°、90°、135°中的任意2个角度；

S2.3：计算特征值；

分别计算每个所述灰度共生矩阵的纹理统计量，所述纹理统计量包括同质度、对比度、非相似性、熵、角二阶矩、相关性中的至少一种，再分别提取各个所述纹理统计量在所述6个灰度共生矩阵中的最大值、最小值、求和、平均值或标准差中的任一种，得到所述特征值。

3.根据权利要求2所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

在所述S2.3步骤中，所述纹理统计量为同质度和角二阶矩；提取所述同质度中的最大值，以及所述角二阶矩的求和结果得到所述特征值。

4.根据权利要求3所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

在所述S1.2步骤中，所述SSD模型通过以下方法训练得到：

S3.1：标注图集；

收集有气孔的红外热成像图片，并清洗数据，只保留气孔较明显的图片，得到一个数据集，将所述数据集中的气孔区域一个个框选出来，得到标注图像集；

S3.2：划分图集；

将所述标注图像集分为训练集、验证集，测试集三类，所述训练集中的图像数量占比不少于70％，然后分别将所述训练集、验证集和测试集中的图像标注内容整理成tfrecord格式；

S3.3：训练模型；

训练至所述SSD模型在所述测试集上的定位准确率高于70％。

5.根据权利要求4所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

在所述S3.3步骤中，使用SSD模型作为训练的对象，训练模型时通过数据扩增提升所述SSD模型的性能，实现所述数据扩增的技术为随机剪切、随机旋转、随机采集块域中的至少一种。

6.根据权利要求3所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

在所述S1.4步骤中，所述GLCM特征校验的判定方法为：通过分类器对所述候选气孔区域进行分类，过滤掉所述候选气孔区域中未通过校验的气孔区域，得到修正后的气孔检测结果。

7.根据权利要求6所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

所述分类器通过以下步骤创建得到：

S4.1：获取True Positive气孔区域的图像集合D_porosity；

使用所述SSD模型，对所述S2.1步骤中的红外热成像图片逐个进行气孔目标检测，检查所述SSD模型识别出的结果是否真正包含气孔，是的话，将所述真正包含气孔的区域记为True Positive气孔区域，并将所述True Positive气孔区域放入集合D_porosity中；

S4.2：获取False Positive气孔区域的图像集合D_normal；

另外收集一些无气孔的红外热成像图片，使用所述SSD模型，对所述无气孔的红外热成像图片逐个进行气孔目标检测，将所述SSD模型误识别为“气孔”的区域记为FalsePositive气孔区域，将所述False Positive气孔区域放入集合D_normal中；

S4.3：提取特征；

对所述D_porosity和所述D_normal中的每一个气孔区域进行GLCM特征提取，得到所述TruePositive气孔区域图像集合D_porosity上的特征集合f_p、所述False Positive气孔区域图像集合D_normal上的特征集合f_n；

S4.4：创建分类器区分True Positive气孔区域和False Positive气孔区域；在所述特征集合f_p和所述特征集合f_n构成的特征空间上，创建得到可以区分所述True Positive气孔区域和所述False Positive气孔区域的所述分类器。

8.根据权利要求7所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

所述S4.3步骤中，采用权利要求3中所述的方法进行所述GLCM特征提取。

9.根据权利要求7所述的一种基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

在所述S4.4步骤中，所述分类器包括阈值分割、决策树、随机森林、SVM中的任一种。

10.一种焊接气孔目标检测装置，其用于执行权利要求1至9任一项所述的基于SSD和GLCM的焊接气孔目标检测方法，其特征在于，

所述焊接气孔目标检测装置包括获取模块、输入模块、检测模块、修正模块、输出模块；

所述获取模块用于获取待检测图像；

所述输入模块用于将所述待检测图像输入至预先训练得到的SSD模型中；

所述检测模块包括所述SSD模型，通过所述SSD模型对所述待检测图像进行检测，得到候选气孔区域；

所述修正模块对所述候选气孔区域进行GLCM特征提取、GLCM特征校验，得到修正后的气孔检测结果；

所述输出模块用于输出所述修正后的气孔检测结果。

11.一种电子设备，其特征在于，

所述电子设备包括存储器、处理器和总线；

所述存储器用于存储计算机程序，所述计算机程序在被所述处理器运行时，执行如权利要求1至9任一项所述的方法，所述存储器与所述处理器之间通过所述总线通信。

12.一种计算机存储介质，其特征在于，

所述存储介质用于储存权利要求1至9任一项所述方法所用的计算机软件指令。

Images