CN111985406A - 一种锌渣图像识别及分类方法 - Google Patents

Abstract

本发明公开了一种锌渣图像识别及分类方法，属于图像处理及捞渣技术领域，包括如下步骤：锌锅图片数据集的预处理；将预处理后的图片切割成小块图片，并标号；将切割后的小块图片制作为训练集、验证集和测试集；采用卷积神经网络对训练集进行训练并测试性能；利用调试好的网络进行锌渣图像的识别与分类。本发明为现有的捞渣机器人提供了一套视觉识别锌渣的方案，相比于全覆盖捞渣和盲捞的方式，提高了作业效率，并且降低了捞渣成本。

Description

一种锌渣图像识别及分类方法

技术领域

本发明属于捞渣技术领域，具体而言，涉及一种锌渣图像的识别及分类方法。

背景技术

热镀锌也叫热浸锌和热浸镀锌，是一种有效的金属防腐方式，主要用于各行业的金属结构设施上，是将除锈后的钢件浸入460℃左右融化的锌液中，使钢构件表面附着锌层，从而起到防腐的目的。在镀锌过程时，由于铁不断熔入锌液、锌锅成份和温度的不均以及气刀喷吹造成的氧化，锌渣的产生是不可避免的。热镀锌带钢表面的锌渣缺陷成为热镀锌产品的主要质量缺陷之一，它严重地影响了热镀锌产品的外观质量。热镀锌的浮渣产生比较频繁，若要减少锌渣缺陷，必须要保证及时的捞渣，加大捞渣频率，改善捞渣工具，减少捞渣时导致的浮渣卷入锌液。

国际上对捞渣机器人进行研究并投入工业化应用的捞渣机器人，主要采用6轴6自由度机器人，结构相对简单，缺少相应的传感器，无法获得锌池液面的图像信息，通过简单编程完成定时定路径的捞渣作业，无法依据现场环境做出改变，现场适应性极差。由于无法有效识别锌渣种类，很多时候还需要人工临时介入，仅在一定程度上解决了人工捞渣劳动强度大的问题，却无法有选择性的捞取锌渣，导致捞渣效率低下。

而对上述捞渣机器人进行适应性开发是目前各企业和研究机构的一个常规研究。也即，仅进行捞渣路径或者方法的局部优化，或提供特定产线复杂工况环境下(每个企业锌锅的布局各不相同)的解决方案。这类产品只是对机器人结构做了局部的改进和替代性研究，大多数捞渣机器人仍然采用主流的“盲捞”作业方式，即在设定的目标区域进行捞渣动作，由于缺少视觉传感器，无法识别现场锌渣图片，对目标区域不加选择，自动化程度低，作业效率低、和最佳捞渣频次难于确定等核心问题并没有给予解决。

因此，如何采用视觉传感器采集捞渣现场图片并且实现锌渣图片的分类，提高捞渣作业的效率成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题是：提供一种锌渣图像识别与分类方法，将图像处理技术应用于捞渣机器人中，可以在复杂的捞渣现场图片中快速提取出锌锅区域，并快速识别和分类锌渣，将其应用在机器人系统中，可以减少捕捞频次，提高捕捞效率，减少锌的损耗，并提高镀锌板的质量。

为了解决上述技术问题，本发明提供如下技术方案：

一种锌渣图像识别与分类方法，其特征在于，拍摄锌锅现场图片，通过视觉技术识别锌渣图片的锌渣特征，并对锌渣图片进行分类；具体包括以下操作步骤：

步骤1：锌锅现场图片的采集和预处理，对图片进行去噪，并提取感兴趣区域；

步骤2：将预处理后的图片切割成小块图片，并标上序号；

步骤3：将切割后的小块图片制作为训练集、验证集和测试集，采用灰度共生矩阵方法将图片分为厚渣和薄渣两类，制作训练集、验证集和测试集；

步骤4：采用卷积神经网络对训练集进行训练并测试卷积神经网络性能；

步骤5：利用训练好的卷积神经网络对锌锅现场捞渣区进行锌渣的实时识别与分类。

进一步的，所述步骤1中对锌渣图片的预处理包括以下步骤：

取锌锅现场捞渣区域的彩色图片数千张并保存，每张图片像素为X×Y；

若图像内存在噪点，首先对图片进行高斯平滑去噪；

采用设置掩膜的方法对图片进行感兴趣区域ROI提取，减少捞渣区域以外的干扰。

进一步的，所述步骤2依据捞渣机器人执行机构的尺寸a×b(cm)以及锌锅捞渣区域的大小M×N(cm)，换算得到每次捞渣对应的图片大小为

像素；将拍摄的包括厚渣和薄渣的原图片进行等分切割，共得到

张小块图片，将小块图片保存到磁盘中。

进一步的，步骤2中将切割得到的

张小块图片依次标好序号作为文件名进行保存。

进一步的，步骤3中将切割后的小块图片制作为训练集、验证集和测试集按以下步骤进行：

人工选取

张小块图片中的厚渣和薄渣样本各若干张，将厚渣和薄渣这若干张图片都灰度化，计算每张图片的灰度共生矩阵：先计算图片在不同方向上的5种纹理特征值：能量、对比度、逆差矩、熵、自相关，然后串联所有特征值来构建一维特征向量作为图像的灰度共生矩阵特征；将此特征向量输入到SVM分类器来进行训练；

根据SVM分类器来制作数据集，输入步骤2中保存的所有小块图片，得到所有小块图片的分类结果，按比例将其划分为训练集、验证集和测试集。

进一步的，步骤3中人工选取

张小块图片中的厚渣和薄渣样本各100张。

进一步的，所述步骤4中采用卷积神经网络对训练集进行训练并测试性能的步骤如下：

在卷积神经网络训练的过程中使用验证集，几个epoch结束后，跑一次验证集看分类准确率，若分类准确率高于95％，保存卷积神经网络的网络模型，停止训练；否则，调整超参数，并将验证集中分类结果“存疑”的小块图片二次分类；

二次分类的过程为：卷积神经网络分类的结果根据softmax层给出，向量内所有值加起来的和为1，在二次分类中，若softmax层输出的标签向量内某一项大于0.5，则判断分类结果为那一类，若两项差别小于0.2，即较大的那一项值小于0.6，则认为这张图片存在疑问，将其标记为“doubt”并输出；

将二次分类后的图片制作为训练集输入卷积神经网络进行训练，多次使用验证集来调整网络的超参数，并验证网络的泛化性能，直到网络达到较好的分类效果；

调试结束后，保存最终的卷积神经网络参数模型，输入测试集图片，输出测试集的分类准确度，若高于95％，则判定此网络可投入实际生产。

进一步的，步骤4中采用卷积神经网络来对锌渣图片进行训练，首先要对图片进行数据预处理，采用resize函数更改图片维度，并将图片格式由.jpg转换为h5py。

进一步的，步骤4中将预处理后的数据输入卷积神经网络进行训练，训练程序运行的环境是win10专业版，python3.6，tensorflow-gpu1.12.0，keras2.2.4。

进一步的，所述步骤5中，利用训练好的卷积神经网络对锌锅现场捞渣区进行锌渣的实时识别与分类，具体包括以下步骤：

取工业相机实时拍摄的一帧锌锅现场图片，预处理后将该锌锅现场图片切割为小块图片，小块图片的大小为

像素，该锌锅现场图片进行等分切割后共得到

张小图片；

将切割后的小图片输入到训练好的卷积神经网络中分类，网络输出每张图片的类别，分类结果给出某一时刻锌锅图片的厚渣和薄渣分布信息。

相对于现有的基于视觉的捞渣技术而言，本发明具有如下有益效果或优点：

本发明提出了一种基于视觉的锌渣图片识别方法，根据捞渣机器人执行机构尺寸及捞渣区域大小将捞渣现场图片切割成相等大小的小图片，并以此为研究对象做图片识别与分类，简化了图像处理的时间复杂度，方便算法的理解。

使用灰度共生矩阵的方法来制作数据集，实现初始数据集的自动划分，降低了数据集制作的工作量。

本发明采用卷积神经网络来提取图片特征并分类，深度卷积网络能够自动提取图片的复杂特征，较传统的机器学习算法有更好的分类效果。

本发明使用验证集来测试网络性能，并将验证集中分类结果中“存疑”的图片进行二次分类，给出标签并加入到训练集中继续训练，增加网络的泛化能力，提高网络最终分类的准确性。

附图说明

图1本发明的锌渣图片识别与分类方法流程图；

图2本发明纹理特征提取流程图；

图3本发明采用的卷积神经网络结构图；

图4本发明的卷积神经网络的训练及调试流程图。

具体实施方式

本申请实施例通过提供一种锌渣图片识别与分类方法，解决了现有捞渣作业中视觉捞渣缺乏灵活性的问题。

本申请实施例的技术方案为解决上述技术问题，总体思路如下：

1)锌锅图片数据集的预处理。因捞渣现场图片背景复杂且所拍摄图片可能会存在噪声，需要对图片进行去噪，并提取感兴趣区域，将图片中不感兴趣的区域灰度值全部置为0，其他区域保持不变。

2)将预处理后的锌锅图片切割成小图片，并标号。考虑到捞渣机器人现场的视觉传感器为固定不动的，并且锌锅和捞渣机器人执行机构的尺寸也是一定的，可以对锌锅图像进行切割并标注序号，此小图片即为本发明的图片识别及分类对象。

3)将切割后的小块图片制作为训练集、验证集和测试集。采用灰度共生矩阵方法来提取图片的纹理特征，将所有切割后的图片分为薄渣和厚渣，即给出标签，并制作训练集、验证集、测试集。

4)采用卷积神经网络对训练集进行训练并测试性能。做好标签的训练集包括厚渣和薄渣图片两类，输入卷积神经网络后进行训练，加入二次分类流程提高网络性能，最后测试网络的分类准确度。

5)利用训练好的网络进行锌渣的识别与分类。将实际生产时的照片预处理并切割成小块图片输入训练好的网络中分类。

需要说明的是，步骤1-3是为卷积神经网络训练、验证及测试提供数据集。步骤4是完成网络的训练，调试及测试，步骤5是将训练好的网络投入实际生产，来分类锌渣图片。

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本申请一种锌渣图片识别与分类方法包括：

步骤1：捞渣现场锌锅图片的预处理。对图片进行去噪，并提取感兴趣区域；

步骤2：将预处理后的图片进行切割，并标上序号；

步骤3：将切割后的小块图片制作为训练集、验证集和测试集，采用灰度共生矩阵方法将图片分为厚渣和薄渣两类，制作训练集、验证集和测试集；

步骤4：采用训练好的卷积神经网络对训练集进行训练并测试性能；

步骤5：利用训练好的网络进行锌渣的识别与分类。

步骤1-3为数据集的预处理及制作过程，步骤4为卷积神经网络的训练、调试和测试，步骤5是将训练好的网络投入实际生产，来分类锌渣图片。

首先执行步骤1，捞渣现场锌锅图片的预处理具体包括以下步骤：

取捞渣现场的彩色图片数千张，每图片像素为X×Y，将其保存；

若图像内存在噪点，首先对图片进行高斯平滑去噪；

采用设置掩膜的方法对锌锅图片进行感兴趣区域(ROI)提取，减少捞渣区域以外的干扰。

上述步骤中，采用工业相机拍摄捞渣现场的彩色图片，图片像素为X×Y(根据拍摄相机的像素来决定)，图片为三通道图片，分别为R、G、B空间。根据图片是否存在噪点而决定是否对图片进行去噪处理，常采用高斯滤波来对图像进行滤波，高斯滤波是一种线性平滑滤波，可以消除高斯噪声，广泛应用于图像处理的减噪过程。

对锌锅图片进行感兴趣区域(ROI)提取。由于锌锅现场图片背景复杂，常常会带有其他的工业设备，比如后方的锌鼻子及旁边的防护栏杆，所以需要提取出感兴趣的区域即捞渣区域，来专注或简化工作过程。确定所选区域后，构成闭合图片，形成掩膜图片，将两张关联起来得到最终结果。

接下来，执行步骤2，将预处理后的图片进行切割，并标上序号。

需要说明的是，对捞渣现场图片进行切割的方法是为了切合实际捞渣过程，简化研究对象，即每次捞渣机器人所能捞起的范围，将其换算为切割后每个小块图片的大小。

具体包括以下步骤：

已有预处理后的捞渣现场图片像素值为X×Y，依据捞渣机器人执行机构(捞渣勺)的尺寸a×b(cm)以及锌锅捞渣区域的大小M×N(cm)，换算得知每次捞渣对应的图片大小为

像素。将拍摄的原图片进行等分切割，共得到

张小块图片，将其保存到磁盘中。

将厚渣和薄渣图片标好序号，为后续的提取图像特征及卷积神经网络训练提供数据集。

接下来，执行步骤3，将切割后的小块图片制作为训练集、验证集和测试集，采用灰度共生矩阵方法将图片分为厚渣和薄渣两类，制作训练集、验证集和测试集。

具体包括以下步骤：

小块锌渣图片纹理特征提取流程图如图2所示，选取

张图片中的厚渣和薄渣样本各100张，分别对每张图进行纹理特征计算：首先将图片灰度化，然后构造4个方向(0°、45°、90°和135°)的灰度共生矩阵，在4个方向上分别计算能量(ASM)、对比度(CON)、逆差矩(IDM)、熵(ENT)、自相关(COR)这5个特征值，采用这4种方向上的5个特征值串联成一维特征向量，作为图像的灰度共生矩阵(GLCM)特征：

GLCM＝[ASM₁,CON₁,IDM₁,ENT₁,COR₁,...,ASM₄,CON₄,IDM₄,ENT₄,COR₄] (1)

得到的灰度共生矩阵特征用SVM分类器来训练，其中SVM分类器的核函数选取高斯径向基核函数。训练完成后使用此分类器将所有的小块锌渣样本划分为训练集、验证集和测试集。三者的数量之比为3：1：1。

接下来，执行步骤4，采用卷积神经网络对训练集进行训练并测试性能。

需要说明的是，相较于传统的手动提取图像特征方法，采用深度学习的方法能自动来提取图片特征且具有较强的泛化性能，在经过足够的训练之后，能满足不同环境的工业需求，本发明选择卷积神经网络为分类工具，本发明采用的网络结构图如图3所示，特征图维度已在图中给出，网络由4个卷积层和2个全连接层组成，每个卷积层后接一个最大池化层，激活层都采用ReLU激活函数，卷积核大小为3×3。采用训练好的卷积神经网络模型作为特征提取与分类器可以满足捞渣现场的实时性。

具体包括以下步骤：

采用卷积神经网络来对锌渣图片进行分类，首先要对图片进行数据预处理，采用resize函数更改图片维度，并将图片格式由.jpg转换为h5py。

将预处理后的数据输入卷积神经网络进行训练，训练程序运行的环境是win10专业版，python3.6，tensorflow-gpu1.12.0，keras2.2.4。

制作好数据集后，采用卷积神经网络来对数据集进行训练，如图4所示。

验证集可以用在训练的过程中，几个epoch结束后，在训练过的卷积神经网络上跑一次验证集看看分类准确率，若分类准确率高于95％，保存网络模型，停止训练；否则，调整超参数，并将分类结果“存疑”的锌渣图片二次分类。

二次分类的原理为：卷积神经网络分类的结果根据softmax层给出，向量内所有值加起来的和为1，在二次分类中，若softmax输出的标签向量内某一项大于0.5，则判断分类结果为那一类，按照经验来说，若两项差别小于0.2，即较大的那一项值小于0.6，则认为这张图片存在疑问，将其标记为“doubt”并输出。

采用纹理特征阈值二次判断其类别。将二次分类后的图片制作为训练集输入网络训练。可多次使用验证集来验证网络的泛化性能，直到网络达到较好的分类效果。

在完成模型的权重参数和超参数确定后，即确定了最终的卷积神经网络模型，输入测试集检验网络的泛化性能，统计测试集的分类准确度，若高于95％，则判定此网络可投入实际生产。

接下来，执行步骤5，利用训练好的网络进行锌渣的识别与分类。

如图4所示，具体包括以下步骤：

取工业相机实时拍摄的一帧锌锅现场图片，预处理后将图片切割为小块图片，小块图片的像素值为

将拍摄的原图片进行切割，共得到

张小图片。

将切割后的小图片输入到网络中分类，网络输出每张图片的类别。因为是等分切割，分类结果给出了某一时刻锌锅图片中的厚渣和薄渣分布情况。

需要说明的是，利用训练好的模型可以快速准确的识别并分类出锌渣，在得到厚渣的类别后，对捞渣机器人捞取厚渣提供了视觉信息。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种锌渣图像识别与分类方法，其特征在于，拍摄锌锅现场图片，通过视觉技术识别锌渣图片的锌渣特征，并对锌渣图片进行分类；具体包括以下操作步骤：

步骤1：锌锅现场图片的采集和预处理，对图片进行去噪，并提取感兴趣区域；

步骤2：将预处理后的图片切割成小块图片，并标上序号；

步骤3：将切割后的小块图片制作为训练集、验证集和测试集，采用灰度共生矩阵方法将图片分为厚渣和薄渣两类，制作训练集、验证集和测试集；

步骤4：采用卷积神经网络对训练集进行训练并测试卷积神经网络性能；

步骤5：利用训练好的卷积神经网络对锌锅现场捞渣区进行锌渣的实时识别与分类。

2.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤1中对锌渣图片的预处理包括以下步骤：

取锌锅现场捞渣区域的彩色图片数千张并保存，每张图片像素为X×Y；

若图像内存在噪点，首先对图片进行高斯平滑去噪；

采用设置掩膜的方法对图片进行感兴趣区域ROI提取，减少捞渣区域以外的干扰。

3.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤2依据捞渣机器人执行机构的尺寸a×b(cm)以及锌锅捞渣区域的大小M×N(cm)，换算得到每次捞渣对应的图片大小为

像素；将拍摄的包括厚渣和薄渣的原图片进行等分切割，共得到

张小块图片，将小块图片保存到磁盘中。

4.根据权利要求3所述的锌渣图像识别与分类方法，其特征在于步骤2中将切割得到的

张小块图片依次标好序号作为文件名进行保存。

5.根据权利要求3或4所述的锌渣图像识别与分类方法，其特征在于步骤3中将切割后的小块图片制作为训练集、验证集和测试集按以下步骤进行：

人工选取

张小块图片中的厚渣和薄渣样本各若干张，将厚渣和薄渣这若干张图片都灰度化，计算每张图片的灰度共生矩阵：先计算图片在不同方向上的5种纹理特征值：能量、对比度、逆差矩、熵、自相关，然后串联所有特征值来构建一维特征向量作为图像的灰度共生矩阵特征；将此特征输入到SVM分类器来进行训练；

根据SVM分类器来制作数据集，输入步骤2中保存的所有小块图片，得到所有小块图片的分类结果，按比例将其划分为训练集、验证集和测试集。

6.根据权利要求5所述的锌渣图像识别与分类方法，其特征在于步骤3中人工选取

张小块图片中的厚渣和薄渣样本各100张。

7.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于所述步骤4中采用卷积神经网络对训练集进行训练并测试性能的步骤如下：

在卷积神经网络训练的过程中使用验证集，几个epoch结束后，跑一次验证集看分类准确率，若分类准确率高于95％，保存卷积神经网络的网络模型，停止训练；否则，调整超参数，并将验证集中分类结果“存疑”的小块图片二次分类；

二次分类的过程为：卷积神经网络分类的结果根据softmax层给出，向量内所有值加起来的和为1，在二次分类中，若softmax层输出的标签向量内某一项大于0.5，则判断分类结果为那一类，若两项差别小于0.2，即较大的那一项值小于0.6，则认为这张图片存在疑问，将其标记为“doubt”并输出；

将二次分类后的图片制作为训练集输入卷积神经网络进行训练，多次使用验证集来调整网络的超参数，并验证网络的泛化性能，直到网络达到较好的分类效果；

调试结束后，保存最终的卷积神经网络参数模型，输入测试集图片，输出测试集的分类准确度，若高于95％，则判定此网络可投入实际生产。

8.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤4中采用卷积神经网络来对锌渣图片进行训练，首先要对图片进行数据预处理，采用resize函数更改图片维度，并将图片格式由.jpg转换为h5py。

9.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于步骤4中将预处理后的数据输入卷积神经网络进行训练，训练程序运行的环境是win10专业版，python3.6，tensorflow-gpu1.12.0，keras2.2.4。

10.根据权利要求1所述的锌渣图像识别与分类方法，其特征在于所述步骤5中，利用训练好的卷积神经网络对锌锅现场捞渣区进行锌渣的实时识别与分类，具体包括以下步骤：

取工业相机实时拍摄的一帧锌锅现场图片，预处理后将该锌锅现场图片切割为小块图片，小块图片的大小为

像素，该锌锅现场图片进行等分切割后共得到

张小图片；

将切割后的小图片输入到训练好的卷积神经网络中分类，网络输出每张图片的类别，分类结果给出某一时刻锌锅图片的厚渣和薄渣分布信息。

Images