CN115810014B

CN115810014B - 一种基于图片中子图块的电极帽端面缺陷检测方法

Info

Publication number: CN115810014B
Application number: CN202310073799.6A
Authority: CN
Inventors: 李苏畅; 张也; 方超群; 朱光旭; 田楷; 李文博; 陈立名; 胡江洪; 曹彬; 常小刚
Original assignee: Fitow Tianjin Detection Technology Co Ltd
Current assignee: Fitow Tianjin Detection Technology Co Ltd
Priority date: 2023-02-07
Filing date: 2023-02-07
Publication date: 2023-05-16
Anticipated expiration: 2043-02-07
Also published as: CN115810014A

Abstract

本发明提供一种基于图片中子图块的电极帽端面缺陷检测方法，包括如下步骤，获取训练用电极帽端面整体图像，对图像进行预处理，将电极帽端面图像从整体图像中单独截取，挑选一定数量的电极帽端面图像送入resnet‑50网络模型进行训练，提取训练图像中的特征信息，得到训练完成后的特征库；获取待检测电极帽端面整体图像，对图像进行预处理，将待检测电极帽端面图像从整体图像中单独截取，通过resnet‑50网络模型提取图像特征，得到检测图特征；对比检测图与特征库的特征，如两者之间的差距大于阈值则判定为电极帽端面存在缺陷。本方法保证极高准确率和检测速度的同时，还可节省大量的人工成本。

Description

一种基于图片中子图块的电极帽端面缺陷检测方法

技术领域

本发明主要涉及电极帽表面缺陷检测相关技术领域，具体是一种基于图片中子图块的电极帽端面缺陷检测方法。

背景技术

用于点焊的电极帽使用过一段时间会产生氧化层影响焊接质量，且接触面积过大或过小均会造成电流不稳导致焊点不合格，造成接触面加热不均匀，产生氧化物夹杂、焊不透等缺陷，因此需要经常修磨。对于修磨的电极帽需要进行缺陷检测，判断其上是否还有缺陷残留，缺陷检测基于拍摄的电极帽端面图像实现。

现有的方法一般是基于光学和图形学阈值判断或者基于深度学习的目标检测方法。

对于基于传统光学和图形学的方法，这种主要是根据彩色图片中的RGB三个通道的值的分布，找出每个类型的缺陷的RGB三通道的取值范围的阈值或某种数学形式，通过这种方式将各种缺陷都发现并排除。这种方法由于仅需要对图片的像素值进行处理，可大量节约计算机的计算资源，仅需要极少量的CPU资源就可以快速计算。这个方法主要有几个问题，一是费时费力，电极帽帽头在研磨过程中可能出现多种缺陷，需要每种都分开寻找，而阈值的划分很难准确，对于没有见过的图像可能需要不同的阈值来排除某种缺陷，既需要检查大量图片，也可能出现某些缺陷的阈值出现冲突，无法找到某一个把所有图上的缺陷都排除的缺陷的可能性。第二是这种方法受图片拍摄的光学环境限制严重，一旦出现光学环境变化或者想大规模应用都有无法排除缺陷的风险。

第二种方法是基于深度学习的目标检测方法，这种方法利用深度神经网络对标注过的电极帽端面缺陷图片进行特征提取并学习，这个方法的好处是能够非常快速准确地定位缺陷，对缺陷的判断和泛化能力都非常强。这个方法的缺点是需要大量的人工标注数据，这个标注数据的过程非常耗费时间和人力成本，而处理的速度和区域定位准确的优势在实际应用中的优势却并不明显。

发明内容

为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种基于图片中子图块的电极帽端面缺陷检测方法，相对于现有技术，比基于光学和图形学阈值的方法有了强大的泛化能力，不会因为图像上像素的简单变化就检测错误，相比于基于深度学习的目标检测的方案则大大降低了收集缺陷图像、人工标注和模型训练的成本，同时还有所需的显卡内存更小\能耗更低的优点。

本发明的技术方案如下：

一种基于图片中子图块的电极帽端面缺陷检测方法，包括如下步骤，

S1、模型训练：获取训练用电极帽端面整体图像，对整体图像进行预处理，将电极帽端面图像从整体图像中单独截取，挑选一定数量的电极帽端面图像作为训练图像送入resnet-50网络模型进行训练，将网络第2个block和第3个block输出的向量作为训练图像的特征信息，得到训练完成后的特征库；

S2、模型检测：获取待检测电极帽端面整体图像，对整体图像进行预处理，将待检测电极帽端面图像从整体图像中单独截取，通过resnet-50网络模型提取图像特征，得到检测图特征；

S3、缺陷判别：对比检测图与特征库的特征，如两者之间的差距大于阈值则判定为电极帽端面存在缺陷。

进一步，步骤S1具体包括：

S11、获取训练用电极帽端面整体图像，收集待检测良品件在工业相机下拍摄的表层图像数据，通过检测设备获取电极帽端面的无缺陷数据用于提取正常图像的特征；

S12、将电极帽端面图像从原来的电极帽端面整体图像数据中截取出来，去掉多余的背景信息；

S13、将图像送入resnet-50网络模型，抽取网络的第2个block和第3个block的输出结果；

S14、将抽取到的输出结果根据第3维展开并拼接；

S15、将拼接完成的结果存储起来，得到训练完成后的特征库。

进一步，步骤S12中，通过opencv中的模板将电极帽端面图像从原来的图像数据中截取出来。

进一步，步骤S2具体包括：

S21、获取待检测电极帽端面整体图像；

S22、将电极帽端面图像从整体图像数据中截取出来，去掉多余的背景信息；

S23、使用resnet-50网络模型提取电极帽端面图像中对应网络的第2个block和第3个block的特征，得到检测图特征。

进一步，步骤S3中，基于模型特征值之间差距的特性，采用三分法自动选择检测时的阈值。

进一步，所述的三分法包括如下步骤：

S31、根据训练模型的结果的数值，取出其上下界min,max作为阈值区间上下界；

S32、令l=（min+max）/2,r = (l+max)/2；

S33、将l和r分别作为阈值对模型进行测试，得到对应的pl、pr、rl、rr，其中，pl表示当阈值为l时的测试准确率，pr表示当阈值为r时的测试准确率，rl表示当阈值为l时的测试召回率，rr表示当阈值为r时的测试召回率；

S34、如果pl和rl分别大于pr和rr，那么令max=r,否则，令min=l;

S35、重复步骤S32-S34，直到l>=r为止，此时，l为最优阈值。

进一步，电极帽端面整体图像通过拍照获取。

本发明的有益效果：

1、本发明能够以99.5%的准确率和99.5%的召回率判断电极帽在研磨后是否存在缺陷，相对于现有技术，比基于光学和图形学阈值的方法有了强大的泛化能力，不会因为图像上像素的简单变化就检测错误，相比于基于深度学习的目标检测的方案则大大降低了收集缺陷图像、人工标注和模型训练的成本，同时还有所需的显卡内存也更小，能耗更低。

2、本发明中，模型训练简单，只需要完全正常的电极帽端面图像约50张，训练时间仅需10分钟，阈值选择由算法自动计算，无需任何复杂的超参数。

3、本发明中，模型测试速度在有1.5G以上显存的显卡的计算机（笔记本电脑）上能达到100ms之内，具有极高的检测速度。

附图说明

图1为本发明实施例主要检测流程步骤示意图；

图2为本发明实施例主要检测流程步骤框图；

图3为本发明实施例检测界面示意图；

图4为本发明实施例检测结果的可视化对比效果示意图。

实施方式

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

本实施例提供一种基于图片中子图块的电极帽端面缺肉缺陷的检测方法，主要用于对于经过上一次研磨的电极帽端面图像，判断其上是否存在缺肉缺陷，是否还需要进行下一次（多次）研磨。

电极帽端面上的常见缺陷为氧化和缺肉，二者在成像上存在较大差异；氧化缺陷为电极帽端面上存在未磨削下去的氧化层，在成像上表现为氧化区域不反光、亮度较暗，特征较为明显；而缺肉缺陷为研磨机在对电极帽进行修磨时，多磨削下去一块区域，在亮度上承现明、暗相间的过渡状态且无规律，缺肉区域和整体端面区域区分不明显。针对缺肉缺陷通过传统的亮度、形状、边缘等特征提取缺肉区域较为困难，进而导致该缺陷无法有效检出。

电极帽检测设备在获取图像后，首先会进行预处理，根据电极帽图像整体亮度和边缘特征将电极帽端面圆提取出来，然后通过该端面圆对整幅图像进行裁图，以缩小ROI区域，形成供本检测方法使用的子图块。

本检测方法主要是改进了基于子图块的异常检测算法，来进行电极帽端面图像的缺陷检测方法。检测方法主要流程如图1、2所示，主要包括模型训练、模型检测以及缺陷识别三个方面。

模型训练主要利用深度神经网络模型提取训练图像中的特征信息，将特征打包压缩做成一个特征库并存储起来。具体的，在拍摄到电极帽端面整体图像之后，首先进行预处理，利用opencv中的模板将电极帽端面图像从原来的电极帽端面整体图像数据中截取出来；

接下来先挑选出约50张左右的电极帽端面图像作为训练使用。训练过程如下：第1步：收集待检测良品件在工业相机下拍摄的表层图像数据，通过检测设备获取相应零件的无缺陷数据，用于提取正常图像的特征；第2步：将电极帽端面的图像从原来的图像数据中截取出来，去掉多余的背景信息；第3步：将图像送入resnet-50网络模型，抽取网络模型的第2个block和第3个block的输出；第4步：将抽取到的输出根据第3维展开并拼接；第5步：将拼接完成的结果存储起来得到特征库，至此，本训练过程顺利完成。

在第4步中，抽取到的输出根据第3维展开并拼接，主要是解决不同block提取的特征维度大小不一致的问题。此时，为了用一个特征库将其一起存起来，包括为了之后用于比对，需要将不同大小的特征拼接起来，具体拼接方式是将维度较小的特征复制4份，将这4份特征拼接在一起，保证其维度较小跟维度较大的特征一致，此时就可以把不同block提取到的特征进行拼接。

对于模型检测，主要包括如下步骤：第1步：拍摄需要测试的电极帽的帽头整体图像；第2步：将电极帽端面的图像从原来的整体图像数据中截取出来，去掉多余的背景信息；第3步：同样使用resnet-50模型提取图像中对应的网络第2个block和第3个block的特征。

在通过模型训练获得特征库以及通过模型检测获得要测试的图像特征后，开始进行缺陷识别。缺陷识别主要是将测试图的特征与之前训练完成后得到的特征库中的特征进行比对，如果两者之间的差距大于阈值则将测试图认定为具有异常特征的图，即电极帽打磨不均匀，还需要进一步打磨，否则认为测试图上的电极帽打磨均匀。

进一步的，关于测试时阈值的选择方法，这是本申请所独创的方法，利用“三分法”进行自动选择。通过分析模型特征值之间差距的特性，以及P-R曲线的性质，可以得出结论：模型检出的P-R曲线一定是一个单峰函数。据此，利用单峰函数的性质，采用“三分法”就可以求得一个最优的阈值，保证算法的测试准确率和测试召回率达到最优值。“三分法”具体步骤如下：

第一步，根据训练模型的结果的数值，取出其上下界min,max作为阈值区间上下界；第二步，令l=（min+max）/2,r = (l+max)/2；第三步，将l和r分别作为阈值对模型进行测试，得到对应的pl、pr、rl、rr，其中，pl表示当阈值为l时的测试准确率，pr表示当阈值为r时的测试准确率，rl表示当阈值为l时的测试召回率，rr表示当阈值为r时的测试召回率；第四步，如果pl和rl分别大于pr和rr，那么max=r,否则，min=l ，第五步，重复第二-第四步，

直到l>=r为止，此时，l为最优阈值。

在第三步模型测试时，对于电极帽图像，首先人工将其分为两种，第一种是无缺陷，第二种是有缺陷。在测试的过程中，定义四个参数，分别是1.TP,就是模型认为图片中有缺陷，同时人工也认为图片中有缺陷。2.FP，就是模型认为图片中有缺陷，但是人工认为图片中没有缺陷。3.TN,就是模型认为图片中没有缺陷，同时人工也认为图片没有缺陷。4.FN，就是模型认为图片中没有缺陷，但是人工认为图片中有缺陷。在测试的时候，根据测试图像中提取的特征与建立的无异常图像的特征库中的特征做比对，当差距大于阈值的时候，就认为模型认为图片中有缺陷，否则模型认为图片中没有缺陷。对所有测试图像做统计，得到总体的TP、FP、TN、FN值之后，测试准确率Precision=TP/（TP+FP），测试召回率recall=TP/(TP+FN)，通过上述方法获取对应的pl、pr、rl、rr。

在本实施例提供的一种具体实施方式中，电极帽研磨后的缺肉缺陷检测主要流程是：电极帽每次修磨完后通过高清拍照,并通过上述实施例提供的检测方法对图像进行识别来检测研磨效果。检测平台为酷睿i7CPU，TeslaT4显卡，Win10系统，对于一个电极帽端面需要大概100ms检测，可同时负责10台电极帽设备的检测。检测界面如图3所示，检测结果的可视化对比效果如图4所示。通过实际测试证明，本实施例所提供的缺肉缺陷检测方法，能够以99.5%的准确率和99.5%的召回率判断电极帽的研磨过程是否顺利完成，模型训练简单，只需要完全正常的电极帽端面图像约50张，训练时间仅需10分钟，模型测试速度在有1.5G以上显存的显卡的计算机（笔记本电脑）上能达到100ms之内。因此本方法可在保证极高准确率和检测速度的同时，还可节省大量的人工成本,不论是使用别的检测算法时需要的标注人工成本，还是不使用检测算法时的人工检查成本，都得到了极大节约。

Claims

1.一种基于图片中子图块的电极帽端面缺陷检测方法，其特征在于，包括如下步骤，

S3、缺陷判别：对比检测图与特征库的特征，如两者之间的差距大于阈值则判定为电极帽端面存在缺陷，基于模型特征值之间差距的特性，采用三分法自动选择检测时的阈值，所述的三分法包括如下步骤：

S32、令l=（min+max）/2,r = (l+max)/2；

S34、如果pl和rl分别大于pr和rr，那么令max=r,否则，令min=l;

S35、重复步骤S32-S34，直到l>=r为止，此时，l为最优阈值。

2.根据权利要求1所述的基于图片中子图块的电极帽端面缺陷检测方法，其特征在于，步骤S1具体包括：

S14、将抽取到的输出结果根据第3维展开并拼接；

3.根据权利要求2所述的基于图片中子图块的电极帽端面缺陷检测方法，其特征在于，步骤S12中，通过opencv中的模板将电极帽端面图像从原来的图像数据中截取出来。

4.根据权利要求3所述的基于图片中子图块的电极帽端面缺陷检测方法，其特征在于，步骤S2具体包括：

S21、获取待检测电极帽端面整体图像；

5.根据权利要求1所述的基于图片中子图块的电极帽端面缺陷检测方法，其特征在于，电极帽端面整体图像通过拍照获取。