CN115908385A - 一种基于深度学习的橡胶管缺陷检测方法和系统 - Google Patents

Abstract

本发明提供一种基于深度学习的橡胶管缺陷检测方法和系统，包括：基于二元高斯热力图和模型输出的图像特征计算误差；基于所述误差更新所述模型；采用更新后的模型计算验证图像特征与其相应热力图的相关系数；重复上述过程，直至达到最大循环数；根据所述相关系数，获得最优模型；使用所述最优模型检测待测橡胶管图像，输出待测橡胶管图像特征；对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出。本发明实施例中的基于深度学习的橡胶管缺陷检测方法和系统，实现了橡胶管表面缺陷的自动检测，准确率高，大大提高了车用橡胶管的质检效率。

Description

一种基于深度学习的橡胶管缺陷检测方法和系统

技术领域

本发明涉及数字图像领域，具体地，涉及一种基于深度学习的橡胶管缺陷检测方法和系统。

背景技术

橡胶管作为车辆工程的重要材料之一，在各重要组件的连接上起到关键性作用，因此保证车用橡胶管的质量合规显得尤为重要。作为一种工业产品，在生产过程当中，由于工艺原因、流程原因、工人操作不当等问题，不可避免的会导致橡胶管表面缺陷的出现。找到这些缺陷并剔除相应的产品、避免其进入车辆制造阶段，是车用橡胶管质检环节的重要任务之一。

橡胶管表面缺陷检测具有以下难点：尺寸大小不一，相对于胶管本身尺寸、有些缺陷清晰且大，很明显，有些则很微小，即使同一类的缺陷，也有尺寸相差很大的情况；橡胶管表面还有很多水渍、灰尘等，这些脏污与某些缺陷有相似的特征，但不能作为缺陷检出；不同类型的缺陷之间，也有相似的难以区分的特征，这就要求检测方法具备较强的分类能力。

目前使用的解决方案基本上可以概括为三个方向。一为人工检查，此方法检测精度高，但检测成本高、工作效率较低、对人体有一定害处，且员工培训成本高；二为基于传统数字图像处理技术的算法，此方法相对于人工检查，虽然效率提高、检测成本下降，但是精度则比人工检测降低很多，仅能做到部分缺陷的定位，不能进行类别判定，后期仍需要人工复查；三为基于深度学习网络的算法，相对于传统算法，精度得到大幅提升，且可判定缺陷类别，而相对于人工，在精度可接受的范围内，工作效率得到大幅提升，且大幅缩减培训成本。但是当前基于ImageNet数据集预训练的通用分类模型或基于COCO数据集训练的通用目标检测、分割模型，均不能很好的适应于当前场景，且目标检测及分割无法很好的检出微小瑕疵。

《胶管在线缺陷检测装置及方法》(CN107154039A)中提出了一种基于传统计算机数字图像处理技术的解决方案，通过图片中ROI区域内的灰度值的异常变化，定位可能的缺陷区域。但其算法仅局限于被检测物体表面灰度的异常变化，不仅逻辑过于简单，导致精度较低，且无法检出微小瑕疵，也无法对检出缺陷进行类别判定。不仅如此，该算法需要大量的经验参数设置，必然导致较差的泛化性。

《基于BP神经网络的汽车胶管芯轴质量评价方法》(CN108133261A)中则提出了一种基于BP神经网络的解决方案，其算法设计了一个很简单BP神经网络，对被检测物体上的缺陷进行类别判断。但其算法过于简单，无法给出缺陷定位信息，也无法检出微小瑕疵。

现有技术存在的缺陷总结如下：

1)《胶管在线缺陷检测装置及方法》(CN107154039A)受限于传统的计算机数字图像处理技术，检测精度较低，且无法检出微小瑕疵，也无法对检出的缺陷进行类别判定，使用时需要人工设置大量的经验参数，泛化性较差，且后期仍需要人工复检，限制了整体效率。

2)《基于BP神经网络的汽车胶管芯轴质量评价方法》(CN108133261A)设计了一个简单的BP神经网络对被检测物表面的缺陷进行类别判定，但并不能给出缺陷定位信息，且对微小瑕疵缺乏检出能力。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的橡胶管缺陷检测方法和系统。

根据本发明的一个方面，提供一种基于深度学习的橡胶管缺陷检测方法，包括：

基于二元高斯热力图和模型输出的图像特征计算误差；

基于所述误差更新所述模型；

采用更新后的模型计算验证图像特征与其相应热力图的相关系数；

重复上述过程，直至达到最大循环数；

根据所述相关系数，获得最优模型；

使用所述最优模型检测待测橡胶管图像，输出待测橡胶管图像特征；

对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出。

优选地，所述基于二元高斯热力图和模型输出的图像特征计算误差，包括：

获取输入的训练图像和相关信息，所述相关信息包括图像上所有缺陷的位置、长和宽、缺陷种类；

对所述训练图像进行预处理；

根据所述训练图像及相关信息绘制橡胶管缺陷二元高斯热力图；

使用模型提取所述预处理后的训练图像的图像特征；

计算所述图像特征和所述二元高斯热力图之间的误差。

优选地，所述预处理，包括：

对输入图像进行数据增强处理；

将所述输入图像及相关信息处理为标准化数据格式；

优选地，所述误差获取过程，包括：

对于图像中实际存在的某类橡胶管缺陷，计算该类结果与其它类结果的类间相对误差，并使该误差最大化；

计算热力图与模型输出结果的Dice损失函数，并使该误差最小化；

计算热力图与模型输出结果的回归损失，求和，并按缺陷面积归一化，用于平衡大面积与小面积缺陷的损失权重；

计算热力图与模型输出结果的回归损失，求平均，并按照缺陷类别数归一化，用于提高大面积缺陷的损失权重；

把上述4个小步骤所计算的损失函数加权求和。

优选地，所述模型采用通用的卷积神经网络模型。

优选地，所述采用更新后的模型计算验证图像特征与其相应热力图的相关系数，包括：

计算每个训练图像的误差，N个训练图像获得N个误差；

把N张训练图像分为y组，每组x张图像，N＝x*y；

把一组内x张图像的误差求平均，用于更新模型；

更新y次后，再使用全部验证图像的结果，计算皮尔逊相关系数；

所述根据相关系数，获得最优模型，包括：

假设最大循环数为M，则有M个皮尔逊相关系数；

从所述M个皮尔逊相关系数选择选择皮尔逊相关系数最大的作为最优模型。

优选地，对所述检测结果进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化，包括：比较模型输出结果中各个类别的最高置信度与阈值，如果最高置信度大于预先设定的阈值，判定这段橡胶管有该类缺陷；

将判断存在的缺陷在原图上绘制成热力图，将缺陷可视化展示，作为最终结果。

根据本发明的第二个方面，提供一种基于深度学习的橡胶管缺陷检测系统，包括：

误差模块，该模块基于模型输出的训练图像特征和训练图像二元高斯热力图计算误差；

优化更新模块，该模块基于所述误差更新所述模型；

相关系数评估模块，该模块采用更新后的模型计算验证图像特征与其热力图的相关系数；

循环模块，该模块重复上述过程，直至达到最大循环数；

最优模块，该模块根据所述相关系数，获得最优模型；

应用模块，该模块使用所述最优模型检测待测橡胶管图像，输出检测结果；

结果模块，该模块对所述检测结果进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化。

根据本发明的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行上述的方法，或，运行上述的系统。

根据本发明的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行上述的方法，或，运行上述的系统。

与现有技术相比，本发明具有如下的有益效果：

本发明实施例中的基于深度学习的橡胶管缺陷检测方法和系统，实现了橡胶管表面缺陷的自动检测，准确率高，大大提高了车用橡胶管的质检效率。

本发明实施例中的基于深度学习的橡胶管缺陷检测方法和系统，利用神经网络处理数字图像，其对于现有的运用神经网络的技术，具备更强的网络拟合能力；不仅能给出缺陷的详细类别，还有缺陷的位置信息。并且，卷积神经网络本身优越的性能保证了精度。同时卷积神经网络本身的运行速度并不慢，每秒5帧的处理速度完全可以满足检测的实时性。

本发明实施例中的基于深度学习的橡胶管缺陷检测方法和系统，其采用热力图进行模型训练，模型输出的图像特征是像素级别的，每张图像的误差计算也是像素级别的，同时有相应的小目标误差函数，使模型聚焦于小目标学习，对微小瑕疵也有检测能力。

本发明实施例中的基于深度学习的橡胶管缺陷检测方法和系统，只需做简单的参数调整，就能在其它相似场景使用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中基于深度学习的橡胶管缺陷检测方法的流程图；

图2为本发明一优选实施例中基于深度学习的橡胶管缺陷检测方法的流程图；

图3为本发明一优选实施例中的基于深度学习的橡胶管缺陷检测系统的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

参见图1，本发明提供一个实施例，一种基于深度学习的橡胶管缺陷检测方法，其过程为：

S1，基于模型输出的训练图像特征和训练图像二元高斯热力图计算误差；

S2，基于所述误差更新所述模型；

S3，采用更新后的模型计算验证图像特征与其热力图的相关系数；

S4，重复上述过程，直至达到最大循环数；

S5，根据所述相关系数，获得最优模型；

S6，使用所述最优模型检测待测橡胶管图像，输出检测结果；

S7，对所述检测结果进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化预警。

本实施例，实现了对橡胶管表面缺陷的自动检测，准确率高，工人只需要根据报警信息进行筛选，大大提高了车用橡胶管的质检效率；

参见图2，在本发明的一个优选实施例中，实施S1，其具体过程包括：

S101，读取输入的橡胶管图像和相关信息；

S102，对S101中的输入图像预处理；

S103，根据S101中的输入图像及相关信息绘制胶管缺陷二元高斯热力图；其尺寸与模型输出的图像特征尺寸相同；

S104，将S102中经过预处理后的图像送入模型，提取图像特征；

S105，计算S104中的模型输出的图像特征与S103获取的热力图之间的误差。

一较佳实施例中，实施S102，其具体过程为：

S1021，对输入的图像进行必要的数据增强处理；

S1022，将输入图像和相关信息处理为标准化数据格式。

一较佳实施例中，实施S105，其具体过程为：

S1051，基于图像相关信息，获得图像中存在的缺陷；对于图像中实际存在的某类橡胶管缺陷，计算该类结果与其它类结果的类间相对误差，并使该误差最大化；

S1052，计算热力图与模型输出的图像特征的Dice损失函数，并使该误差最小化；

S1053，计算热力图与模型输出结果的回归损失，求和，并按缺陷像素面积(该面积通过热力图获取，画热力图时，没有缺陷的位置像素值都为0。所以缺陷面积＝热力图上像素值>0的像素点个数)归一化，用于平衡大面积与小面积缺陷的损失权重；

S1054，计算热力图与模型输出结果的回归损失，求平均，并按照缺陷类别数归一化，用于提高大面积缺陷的损失权重；

S1055，把上述4个小步骤所计算的损失函数加权求和，这里的权重就是个简单的正整数，与损失项相乘，会根据模型训练效果做调整，不固定。

上述实施例中，利用多种误差，从多个角度进行模型优化；其扩大特征层面的类别间距；缩小图像特征与热力图的差距；均衡大、小面积缺陷的误差权重；获得的模型的泛化性强。

参见图2，在本发明的一个优选实施例中，实施S3，采用更新后的模型计算验证图像特征与其热力图的相关系数，即：全部训练图像计算完成后，计算全部验证图像的模型输出的图像特征与热力图的皮尔逊相关系数。具体的，计算每个训练图像的误差，N个训练图像获得N个误差；

把N张训练图像分为y组，每组x张图像，N＝x*y；

把一组内x张图像的误差求平均，用于更新模型；

更新y次后，再使用全部验证图像的结果，计算皮尔逊相关系数；

参见图2，在本发明的一个优选实施例中，实施S4和S5，根据上述实施例S3中获得的皮尔逊相关系数，选取最优模型。具体的，假设最大循环数为M，则有M个皮尔逊相关系数；

从所述M个皮尔逊相关系数选择选择皮尔逊相关系数最大的作为最优模型。

参见图2，在本发明的一个优选实施例中，实施S6，具体过程为：

S601，读取未知缺陷情况的橡胶管图像；

S602，对输入图像标准化处理；

S603，将预处理后的图像送入模型，提取图像特征。

在本发明的一个优选实施中，实施S7，具体过程为：

S701，比较模型输出结果中各个类别的最高置信度与阈值，如果最高置信度大于预先设定的阈值，判定这段橡胶管有该类缺陷；

S702，将S701中检测出的缺陷在原图上绘制成热力图，将缺陷可视化展示，作为最终结果。

本实施例中的模型输出结果称为“图像特征”，它本身即包含各个缺陷类别的置信度，及其位置。后续把图像特征放大到和图像相同尺寸，图像特征上某类别置信度高于阈值的区域即对应图像上有该类缺陷的区域。将检测出的缺陷可视化反馈，直观且便于修正。

基于相同的技术构思，本发明还提供一种基于深度学习的橡胶管缺陷检测系统，其包括：

误差模块，该模块基于模型输出的训练图像特征和训练图像二元高斯热力图计算误差；

优化更新模块，该模块基于所述误差更新所述模型；

相关性评估模块，该模块采用更新后的模型计算验证图像特征与其热力图的相关系数；

循环模块，该模块重复上述过程，直至达到最大循环数；

最优模块，该模块根据所述相关系数，获得最优模型；

应用模块，该模块使用所述最优模型检测待测橡胶管图像，输出检测结果；

结果模块，该模块对所述检测结果进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化。

参见图3，一优选实施例中，误差模块包括输入模块、图像预处理模块、权重参数模块、误差计算模块；

参见图3，一优选实施例中，应用模块包括输入模块、标准化处理模块、权重参数模块；

参见图3，一优选实施例中，结果模块包括缺陷输出模块和结果可视化模块。

本发明上述实例中各模块具体可以参照上述实施例中基于深度学习的橡胶管缺陷检测方法对应的步骤的实现技术，在此不再赘述。

基于相同的发明构思，在本发明的其它实施例中，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的方法，或，运行上述的系统。

基于相同的发明构思，在本发明的其它实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的方法，或，运行上述的系统。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种基于深度学习的橡胶管缺陷检测方法，其特征在于，包括：

基于二元高斯热力图和模型输出的图像特征计算误差；

基于所述误差更新所述模型；

采用更新后的模型计算验证图像特征与其相应热力图的相关系数；

重复上述过程，直至达到最大循环数；

根据所述相关系数，获得最优模型；

使用所述最优模型检测待测橡胶管图像，输出待测橡胶管图像特征；

对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出。

2.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述基于二元高斯热力图和模型输出的图像特征计算误差，包括：

获取输入的训练图像和相关信息，所述相关信息包括图像上所有缺陷的位置、长和宽、缺陷种类；

对所述训练图像进行预处理；

根据所述训练图像及相关信息绘制橡胶管缺陷二元高斯热力图；

使用模型提取所述预处理后的训练图像的图像特征；

计算所述图像特征和所述二元高斯热力图之间的误差。

3.根据权利要求2所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述预处理，包括：

对输入图像进行数据增强处理；

将所述输入图像及相关信息处理为标准化数据格式。

4.根据权利要求2所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述误差获取过程，包括：

对于图像中实际存在的某类橡胶管缺陷，计算该类结果与其它类结果的类间相对误差，并使该误差最大化；

计算热力图与模型输出结果的Dice损失函数，并使该误差最小化；

计算热力图与模型输出结果的回归损失，求和，并按缺陷面积归一化，用于平衡大面积与小面积缺陷的损失权重；

计算热力图与模型输出结果的回归损失，求平均，并按照缺陷类别数归一化，用于提高大面积缺陷的损失权重；

把上述4个小步骤所计算的损失函数加权求和。

5.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述模型采用通用的卷积神经网络模型。

6.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述采用更新后的模型计算验证图像特征与其相应热力图的相关系数，包括：

计算每个训练图像的误差，N个训练图像获得N个误差；

把N张训练图像分为y组，每组x张图像，N＝x*y；

把一组内x张图像的误差求平均，用于更新模型；

更新y次后，再使用全部验证图像的结果，计算皮尔逊相关系数；

所述根据相关系数，获得最优模型，包括：

假设最大循环数为M，则有M个皮尔逊相关系数；

从所述M个皮尔逊相关系数选择选择皮尔逊相关系数最大的作为最优模型。

7.根据权利要求1所述的一种基于深度学习的橡胶管缺陷检测方法，其特征在于，所述对所述待测橡胶管图像特征进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化输出，包括：

比较模型输出的图像特征中的各个缺陷类别的最高置信度与阈值，如果最高置信度大于预先设定的阈值，判定这段橡胶管有该类缺陷，并同时获得该类缺陷的位置；

将判断存在的缺陷在原图上绘制成热力图，将缺陷可视化展示，作为最终结果。

8.一种基于深度学习的橡胶管缺陷检测系统，其特征在于，包括：

误差模块，该模块基于模型输出的训练图像特征和训练图像二元高斯热力图计算误差；

优化更新模块，该模块基于所述误差更新所述模型；

相关系数评估模块，该模块采用更新后的模型计算验证图像特征与其热力图的相关系数；

循环模块，该模块重复上述过程，直至达到最大循环数；

最优模块，该模块根据所述相关系数，获得最优模型；

应用模块，该模块使用所述最优模型检测待测橡胶管图像，输出检测结果；

结果模块，该模块对所述检测结果进行对比分析，获得缺陷位置、种类以及置信度，并将缺陷部位可视化。

9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。

Images