CN116630251A - 基于深度学习的阳极铜板缺陷检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的阳极铜板缺陷检测方法及系统，其方法包括：步骤S1：获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到主视图、俯视图和侧视图的边缘图；步骤S2：根据主视图、俯视图和侧视图的边缘图判断阳极铜板的耳部是否有弯曲，以及根据侧视图的边缘图判断阳极铜板的板身是否为锥形板；步骤S3：将主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告。本发明提供的方法实现阳极铜板缺陷检测的现代化和智能化，填补阳极铜板质量检测领域的空白，提高铜板的生产效率。

Description

基于深度学习的阳极铜板缺陷检测方法及系统

技术领域

本发明涉及阳极铜质量检测技术领域，具体涉及一种基于深度学习的阳极铜板缺陷检测方法及系统。

背景技术

随着工业向着现代化、智能化方向不断发展，作为工业支柱产业之一的铜业，也在蓬勃发展，并要求减少人工，实现智能化高效生产。在铜的电解精炼过程中，首先利用粗铜去除部分杂质，铸成阳极铜，再进行电解精炼，铸成阴极铜即精铜。阳极铜作为中间产物，对于精铜的生产起着举足轻重的作用，阳极铜板耳部与电源接触面积、相邻两阳极铜板间距、阳极铜板耳部承重性能等，决定了精铜的析出率。当前阳极铜的缺陷检测主要依靠人工，检测员在对阳极铜进行质量评定时，需要对每块阳极铜板进行肉眼废板判定，劳动强度大，易发生漏检和错检现象，无法对阳极铜板进行长时间且高效的质量检测。因此，如何对阳极铜板的相关缺陷进行批量实时处理成为一个亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种基于深度学习的阳极铜板缺陷检测方法及系统。

本发明技术解决方案为：一种基于深度学习的阳极铜板缺陷检测方法，包括：

步骤S1：获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到所述主视图、俯视图和侧视图的边缘图；

步骤S2：根据所述主视图、俯视图和侧视图的边缘图判断所述阳极铜板的耳部是否有弯曲，以及根据所述侧视图的边缘图判断所述阳极铜板的板身是否为锥形板；

步骤S3：将所述主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告。

本发明与现有技术相比，具有以下优点：

1、本发明公开了一种基于深度学习的阳极铜板缺陷检测方法，用户通过手机拍摄阳极铜板的三种视图并进行上传，即可得到对应的阳极铜板的分析报告。本发明的方法可用于服务器端的支持边缘人工智能推理运算的小型计算机，用户只需将手机与作为服务器的小型计算机处于同一个局域网中，即可实现工业级别的算力支持。

2、本发明提供的方法，利用深度学习对于阳极铜板实现可溯源高效的缺陷检测，将废板按照企业相关要求设定超参数，进行综合评定后判断是否需要回炉重造，最大效率地利用阳极铜板，提高精铜的产出率。

附图说明

图1为本发明实施例中一种基于深度学习的阳极铜板缺陷检测方法的流程图；

图2A为本发明实施例中阳极铜板主视图示意图；

图2B为本发明实施例中阳极铜板俯视图示意图；

图2C为本发明实施例中阳极铜板侧视图示意图；

图3为本发明实施例中一种基于深度学习的阳极铜板缺陷检测系统的结构框图。

具体实施方式

本发明提供了一种基于深度学习的阳极铜板缺陷检测方法，实现阳极铜板缺陷检测的现代化和智能化，填补阳极铜板质量检测领域的空白，提高铜板的生产效率。

为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。

实施例一

如图1所示，本发明实施例提供的一种基于深度学习的阳极铜板缺陷检测方法，包括下述步骤：

步骤S1：获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到主视图、俯视图和侧视图的边缘图；

步骤S2：根据主视图、俯视图和侧视图的边缘图判断阳极铜板的耳部是否有弯曲，以及根据侧视图的边缘图判断阳极铜板的板身是否为锥形板；

步骤S3：将主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告。

在一个实施例中，上述步骤S1：获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到主视图、俯视图和侧视图的边缘图，具体包括：

步骤S11：获取阳极铜板的主视图、俯视图和侧视图；

首先，用户通过对阳极铜板进行拍照，得到分别如图2A、2B和2C所示的阳极铜板的主视图、俯视图和侧视图。

步骤S12：使用高斯滤波法去除主视图、俯视图和侧视图中的噪声，得到滤波后的主视图、俯视图和侧视图；

本发明实施例采用高斯滤器去除三种视图中的噪声。高斯滤波器是一种线性平滑滤波器，其滤波器的模板是对二维高斯函数离散得到。由于高斯模板的中心值最大，四周逐渐减小，其滤波后的结果相对于均值滤波器来说更好。

步骤S13：使用阈值法对滤波后的主视图、俯视图和侧视图进行二值化，并使用开闭运算再进行形态学处理，得到主视图、俯视图和侧视图的二值图；

使用阈值法得到图像的前景为白色部分，背景为黑色部分；为了进一步细化处理，使用开闭运算对该图像进行形态学处理，从而得到更为精确的前景与背景二值图；

步骤S14：使用边缘提取算法对二值图进行边缘提取，得到主视图、俯视图和侧视图的边缘图，其像素值为0或1，1代表边缘，0代表非边缘。

最后使用边缘提取算法，提取二值图的边缘，最后得到阳极铜板的边缘图，该图像的像素值仅存在“0”、“1”两类值。

在实际生产活动中，当阳极铜板耳部出现弯曲现象，使用叉车对阳极铜板进行运输以及流水线运输过程中，会出现阳极铜板意外掉落，对相关机械设备造成巨大损伤；若阳极铜板的板身为锥形板，即阳极铜板在浇灌冷凝过程中板面厚薄不均，在电解析出阴极铜时，过厚的阳极铜板之间会接触发生短路，过薄的阳极铜板会影响精铜的析出率。因此，本发明根据阳极铜板的三种视图的边缘图，判断阳极铜板的板身和耳部是否存在缺陷。

在一个实施例中，上述步骤S2：根据主视图、俯视图和侧视图的边缘图判断阳极铜板的耳部是否有弯曲，以及根据侧视图的边缘图判断阳极铜板的板身是否为锥形板，具体包括：

步骤S21：根据主视图的边缘图，计算阳极铜板的耳部与水平面的夹角，并与预定阈值进行比较，超过阈值的判定为废板；

从图2A的主视图可知，阳极铜板耳部与水平面存在一定的夹角，通过对该角度的测算，并与铜厂设定的阈值进行比对，将耳部与水平面存在夹角超过阈值的阳极铜板判定为废板；

步骤S22：根据俯视图的边缘图，判断阳极铜板的耳部边缘与板身边缘是否处于一条直线上且平行于水平面，若否，则说明有耳部弯曲，判为废板；

从图2B的俯视图可知，阳极铜板耳部边缘应与板身边缘处于一条直线上且平行于水平面，否则为废板；

步骤S23：根据侧视图的边缘图，判断阳极铜板的板身边缘是否为两条平行的直线，若否，则判定为锥形板。

从图2C的侧视图可知，阳极铜板耳部边缘与板身边缘形成一条直线且垂直于地面，否则为判定为废板，同时，从该侧视图还可知，若阳极铜板的板身两个边缘并非两条平行的直线，则判定该阳极铜板为锥形板。

本发明实施例对阳极铜板的边缘图进行最小二乘回归和霍夫变换，从而判断是否为直线。同时，设定直线长度与对应角度，用于实现阳极铜板耳部与水平面夹角的判定。

本发明通过对阳极铜板的三种视图进行检测，结合三种视图的检测结果做出最终的判定。以主视图为例，仅依靠主视图无法判断阳极铜板是否为锥形板，锥形板主要通过侧视图进行判断；而耳部弯曲现象，从三个视图均可进行判断，只要任何一个视图出现了耳部弯曲现象，既使是其余视图由于视角受限没有检测出耳部弯曲，也将被判定为废板。

此外，阳极铜板可能存在裂纹，也会对生产造成影响。比如，当阳极铜板的耳部存在裂纹，在电解精炼阴极铜时，由于耳部承重性能较差，导致阳极铜板耳部与板身发生断裂，阳极铜板坠落至电解池底部，需要后期人工操作机械打捞，大大增加了相关成本。因此，本发明还对阳极铜板的裂纹进行检测。

在一个实施例中，上述步骤S3：将主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告，具体包括：

步骤S31：在阳极铜板缺陷检测网络中，构建可变形卷积，可变形卷积的采样位置不固定，给每一个采样点加一个偏移量，得到相同数量的新的采样点坐标；通过学习该偏移量，用于可变形卷积核计算偏移情况，从而将裂纹的位置信息和裂纹特征结合起来，使得网络可以检测任意方向的裂纹，实现非垂直裂纹检测框预测；

对于现有的目标检测任务，主要是通过输入单张图片，对待检测目标进行检测，检测框通常为垂直的矩形目标检测框。而在本发明的阳极铜板裂纹检测任务中，裂纹通常为沿某一方向延伸的线性缺陷，因此，本发明通过构建非垂直的目标检测框，以适应于阳极铜板裂纹检测。

本发明实施例裂纹检测主要分为两个步骤：首先对裂纹目标框进行定位；其次对裂纹目标框进行分类。与现有的两阶段目标检测算法不同的是：本发明引入可变形卷积，即卷积的采样位置不固定，给每一个采样点加一个偏移量，得到相同数量的新的采样坐标，若偏移量为小数，则采用双线性插值法取值；一般的检测框角度预测，通过避免预测角度，而是对定位得到的点集进行回归，从而实现非垂直目标检测框的预测。通过训练神经网络学习该偏移量，可用于表示具体的卷积核计算偏移情况，将位置信息和裂纹特征结合起来。阳极铜板缺陷检测网络的backbone为FPN网络，提取出的特征图分别用于裂纹的定位与分类，特征图的每一个点代表一个点集。定位首先是通过可形变学习产生offsets得到对应点集的坐标位置，再从坐标位置利用定向转换函数，在采样点中选择4个距离对应真实值最近的采样点生成不规则四边形边框，再对定位进行进一步细化。分类是对定位中得到的有裂纹的目标框进行回归，在定位中产生的裂纹边框与真实的裂纹边框IOU大于0.5，则认为存在裂纹。对于损失函数，定位阶段使用smoothL1loss，分类阶段使用focalloss。

步骤S32：将主视图、俯视图和侧视图经过阳极铜板缺陷检测网络，输出裂纹的位置，并结合裂纹权重指纹库，对不同的裂纹赋予不同的权重，最后结合三视图中的裂纹关联性从而计算得到阳极铜板的总置信度，将高于预设阈值的判定为废板；

由于在三张视图中的裂纹存在关联性：①阳极铜板耳部中的裂纹，相较于板身部位的裂纹危险程度更高，需要赋予更高的权重。需要对不同视图位置的裂纹赋予不同的权重；②其中一张视图存在裂纹，且其余任意视图中，对应位置的裂纹贯穿长度大于铜厂允许的裂纹长度设定值则直接判定为废板，回炉重造；③对于检测判断为废板的阳极铜板，需要在阳极铜板相关视图的对应位置框定出裂纹位置。

此外，通过阳极铜板缺陷检测网络得到裂纹的预测结果框基础上，本发明还构建裂纹权重指纹库对检测出的裂纹进行权重设定。裂纹权重指纹库是在阳极铜板三视图耳部出现的对应位置，划分不同的网格，用于标定裂纹对阳极铜板的影响程度，距离耳部位置越近，则指纹库中对应权重越大。裂纹目标检测的结果与指纹库权重进行加权求和，得到裂纹影响程度值，结合三视图中的裂纹关联性条件，对于废板的总置信度进行阈值设定，从而得到最终的阳极铜板裂纹检测结果，若大于设定的总置信度阈值则判定为废板；

步骤S33：在步骤S32中的废板对应的侧视图中标注出裂纹所在位置，在检测报告输出相关位置信息，用于后期对废板进行追踪溯源回炉重造。

如果阳极铜板经步骤S32中判定为废板，则需要再其侧视图中标注出裂纹所在位置，并将该阳极铜板的批次号进行记录，后续由工作人员根据该条记录对该批次阳极铜板进行拆分，根据检测判定结果取出废板，实现阳极铜板的检测过程可溯源。

本发明通过引入可变形卷积构建非垂直的目标检测框，以适应于阳极铜板裂纹检测，此外，本发明的阳极铜板缺陷检测网络结合3张不同视角的视图，进行裂纹检测，实现了跨视角的单目标识别任务。

本发明采用JetsonXvaierNX实现阳极铜板缺陷检测方法，JetsonXvaierNX具有6-coreNVIDIACarmelARM64-bitCPU及384-coreNVIDIAVoltaGPUwith48Tensor Cores，是一款功能强大的AI开发板，可以并行运行多个现代神经网络和同时处理来自多个传感器的高分辨率数据，并且支持所有通用的AI框架。于此同时，JetsonXavierNX支持Linux系统，可以运行python文件，实现图像处理算法，可以将的检测结果形成报告实时返回，用户可以在移动端实时看到处理结果。

本发明公开了一种基于深度学习的阳极铜板缺陷检测方法，用户通过手机拍摄阳极铜板的三种视图并进行上传，即可得到对应的阳极铜板的分析报告。本发明的方法可用于服务器端的支持边缘人工智能推理运算的小型计算机，用户只需将手机与作为服务器的小型计算机处于同一个局域网中，即可实现工业级别的算力支持。本发明提供的方法，利用深度学习对于阳极铜板实现可溯源高效的缺陷检测，将废板按照企业相关要求设定超参数，进行综合评定后判断是否需要回炉重造，最大效率地利用阳极铜板，提高精铜的产出率。

实施例二

如图3所示，本发明实施例提供了一种基于深度学习的阳极铜板缺陷检测系统，包括下述模块：

预处理模块41，用于获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到所述主视图、俯视图和侧视图的边缘图；

图像处理模块42，用于根据所述主视图、俯视图和侧视图的边缘图判断所述阳极铜板的耳部是否有弯曲，以及根据所述侧视图的边缘图判断所述阳极铜板的板身是否为锥形板；

裂纹检测模块43，用于将所述主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于深度学习的阳极铜板缺陷检测方法，其特征在于，包括：

步骤S1：获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到所述主视图、俯视图和侧视图的边缘图；

步骤S2：根据所述主视图、俯视图和侧视图的边缘图判断所述阳极铜板的耳部是否有弯曲，以及根据所述侧视图的边缘图判断所述阳极铜板的板身是否为锥形板；

步骤S3：将所述主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告。

2.根据权利要求1所述的基于深度学习的阳极铜板缺陷检测方法，其特征在于，所述步骤S1：获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到所述主视图、俯视图和侧视图的边缘图，具体包括：

步骤S11：获取阳极铜板的主视图、俯视图和侧视图；

步骤S12：使用高斯滤波法去除所述主视图、俯视图和侧视图中的噪声，得到滤波后的主视图、俯视图和侧视图；

步骤S13：使用阈值法对所述滤波后的主视图、俯视图和侧视图进行二值化，并使用开闭运算再进行形态学处理，得到主视图、俯视图和侧视图的二值图；

步骤S14：使用边缘提取算法对所述二值图进行边缘提取，得到主视图、俯视图和侧视图的边缘图，其像素值为0或1，1代表边缘，0代表非边缘。

3.根据权利要求2所述的基于深度学习的阳极铜板缺陷检测方法，其特征在于，所述步骤S2：根据所述主视图、俯视图和侧视图的边缘图判断所述阳极铜板的耳部是否有弯曲，以及根据所述侧视图的边缘图判断所述阳极铜板的板身是否为锥形板，具体包括：

步骤S21：根据所述主视图的边缘图，计算阳极铜板的耳部与水平面的夹角，并与预定阈值进行比较，超过阈值的判定为废板；

步骤S22：根据所述俯视图的边缘图，判断阳极铜板的耳部边缘与板身边缘是否处于一条直线上且平行于水平面，若否，则判定为废板；

步骤S23：根据所述侧视图的边缘图，判断阳极铜板的板身边缘是否为两条平行的直线，若否，则判定为锥形板。

4.根据权利要求3所述的基于深度学习的阳极铜板缺陷检测方法，其特征在于，所述步骤S3：将所述主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告，具体包括：

步骤S31：在所述阳极铜板缺陷检测网络中，构建可变形卷积，所述可变形卷积的采样位置不固定，给每一个采样点加一个偏移量，得到相同数量的新的采样点坐标；通过学习该偏移量，用于可变形卷积核计算偏移情况，从而将裂纹的位置信息和裂纹特征结合起来，使得网络可以检测任意方向的裂纹，实现非垂直裂纹检测框预测；

步骤S32：将所述主视图、俯视图和侧视图经过所述阳极铜板缺陷检测网络，输出裂纹的位置，并结合裂纹权重指纹库，对不同的裂纹赋予不同的权重，最后结合三视图中的裂纹关联性从而计算得到所述阳极铜板的总置信度，将高于预设阈值的判定为废板；

步骤S33：在步骤S32中的所述废板对应的侧视图中标注出裂纹所在位置，在检测报告输出相关位置信息，用于后期对所述废板进行追踪溯源回炉重造。

5.一种基于深度学习的阳极铜板缺陷检测系统，其特征在于，包括下述模块：

预处理模块41，用于获取阳极铜板的主视图、俯视图和侧视图，进行预处理，分别得到所述主视图、俯视图和侧视图的边缘图；

图像处理模块42，用于根据所述主视图、俯视图和侧视图的边缘图判断所述阳极铜板的耳部是否有弯曲，以及根据所述侧视图的边缘图判断所述阳极铜板的板身是否为锥形板；

裂纹检测模块43，用于将所述主视图、俯视图和侧视图输入阳极铜板缺陷检测网络，对裂纹缺陷进行检测，并根据裂纹位置赋予不同权重，最后输出检测报告。