CN114359779A - 一种基于深度学习的皮带撕裂检测方法 - Google Patents

Abstract

一种基于深度学习的皮带撕裂检测方法，包括：设置采集模块获取皮带关键区域的视频数据并进行预处理，得到视频清晰图像集；对视频清晰图像集进行标定，并划分为分割训练集和分割测试集；基于分割训练集和分割测试集对图像分割模型进行训练；基于皮带分割模型对清晰图像集进行分割后得到皮带图像集并划分为异常检测训练集和异常检测测试集；基于异常检测训练集和异常检测测试集对异常检测网络进行训练，得到训练后的异常检测模型；基于训练后的皮带分割模型和异常检测模型对待检测皮带视频进行异常检测，得到皮带异常值，通过对比皮带异常值与设定的阈值，判断皮带是否出现异常。本发明中样本采集简单，模型的训练速度快，且能够确保检测的准确性。

Description

一种基于深度学习的皮带撕裂检测方法

技术领域

本发明涉及智能检测的技术领域，更具体地，涉及一种基于深度学习的皮带撕裂检测方法。

背景技术

皮带运输系统是现代工业生产中运输物料的重要手段。皮带运输系统被广泛应用于煤炭、港口、建设、电厂等工业领域，它具有运输效率高、运营成本低等优点，随着国民经济的快速发展与工业技术的发展，皮带运输的应用越来越广泛。

在皮带运输过程中，如果出现皮带撕裂的情况，不仅影响物料的运输、造成浪费和污染，而且会导致机器急停等故障，影响生产顺利进行。皮带的破损撕裂等一方面是皮带老化，到了相应的使用年限，但更多的是外力作用下的损伤。皮带输送机配套设备虽然有除铁器等，但仍存在一些去除不了金属物件，以及其它尖锐硬物件，当这类杂物插入皮带，伴随着皮带的运转，导致皮带伴随运转纵向大面积撕裂；输送物料中存在大块煤块、大块矸石等，伴随着惯性以及自重，产生较大的冲击力，直接砸上胶带，造成皮带的损伤，在张紧力的作用下，划伤的位置会逐渐撕裂；物体落到回程胶带上，并卷入滚筒与胶带之间，在运转中不断在滚筒以及皮带间摩擦，造成损坏。对于长期输送含水量较大物料的皮带，存在较为严重的胶接头开胶的情况，不注意及时进行重新胶接粘补，会使接头开胶情况愈加严重，当遇到较大外力时，会使皮带存在整层撕开情况的发生。

皮带撕裂情况的处理不及时，会造成整条皮带的报废，产生较大的经济损失，且伴随着物料的洒落，会对工作环境产生相应的污染，更为重要的是，皮带机皮带被撕裂，极易造成皮带伤人等安全事故。

皮带输送工作时，机尾部料口处皮带容易出现撕裂，现有技术主要采用人工巡检的方式对皮带撕裂情况进行检测，一旦发现皮带出现撕裂状况，工作人员立即关停输送线。然而这种巡检方式不能对皮带撕裂情况进行实时监控，导致检测效率低，且具有一定的滞后性，出现撕裂情况时不能立即停机处理，存在一定的安全隐患。

随着人工智能技术的不断发展，还出现了采用智能监控的方式进行皮带撕裂检测的技术，现有技术文件1(CN111527661A)公开了一种皮带撕裂检测方法，获取皮带正常情况与撕裂情况图片，形成皮带撕裂检测数据集；对皮带撕裂检测数据集进行标注，并将其随机划分为训练集与测试集；使用训练集训练卷积神经网络模型，得到皮带撕裂检测模型；基于皮带撕裂检测模型对监控区域内皮带撕裂情况进行实时检测。现有技术文件1的不足之处在于，由于皮带工作现场环境的情况复杂，通常会出现粉尘干扰、采光不足等情况，通过摄像设备采集到的视频清晰度无法得到保证，也会进一步影响后续对于皮带的检测准确度。且撕裂样本采集难度大，成本高。在实际生产环境中皮带撕裂现象出现的频率非常低，并且一旦发生皮带撕裂将会影响整个工厂生产线的正常工作，所以工厂将以最快的速度将撕裂的皮带换下，不会给很长的样本采集的时间。因此单纯采集实际发生的撕裂皮带样本，数据量小，采集周期长，难以支撑深度卷积网络的训练。

另外，皮带在实际使用中除了纵向、横向撕裂之外，会出现其他复杂的异常情况，因此难以采集到所有的异常样本。经过训练的深度学习模型无法确保对可能出现的各种异常状况均实现准确检测，而若需采集全面和足够数量的异常样本，则要耗费较大成本。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于深度学习的皮带撕裂检测方法，能够实现对模型的高效训练以及对皮带的准确检测。

本发明采用如下的技术方案。

一种基于深度学习的皮带撕裂检测方法，包括以下步骤：

步骤1，设置采集模块获取皮带关键区域的视频数据，并对视频数据进行预处理，得到视频清晰图像集S；

步骤2，对视频清晰图像集S进行标定，并划分为分割训练集S_train和分割测试集S_test；

步骤3，基于分割训练集S_train和分割测试集S_test对图像分割模型进行训练，得到训练后的皮带分割模型；

步骤4，基于皮带分割模型对清晰图像集S进行分割后得到皮带图像集J，并将皮带图像集J划分为异常检测训练集J_train和异常检测测试集J_train；

步骤5，基于异常检测训练集J_train和异常检测测试集J_train对异常检测网络进行训练，得到训练后的异常检测模型；

步骤6，基于训练后的皮带分割模型和异常检测模型对待检测皮带视频进行异常检测，得到皮带异常值，通过对比皮带异常值与设定的阈值，判断皮带是否出现异常。

优选地，所述步骤1还包括：

步骤1-1，在皮带周围设置采集模块获取皮带关键区域的视频数据，截取视频数据；

步骤1-2，对视频数据进行去模糊处理，得到清晰视频数据，并将清晰视频数据转换为图像数据，得到视频的清晰图像集S。

优选地，所述去模糊处理包括去雾处理和滤除噪声处理，其中，采用暗通道去雾算法实现视频的去雾处理，采用基于轮廓波的图像去噪算法实现视频的滤除噪声处理。

优选地，所述步骤2还包括：

步骤2-1，通过人工标定或标定工具对清晰图像集S中图像的皮带部分进行标定；

步骤2-2，将清晰图像集S结合标定后的图像随机划分为分割训练集S_train和分割测试集S_test，其中，分割训练集S_train和分割测试集S_test中的图像数量之比为8∶2。

优选地，所述图像分割模型基于YOLACT网络构建，图像分割模型通过两个分支任务的输出结果进行线性组合来得到预测结果；

图像分割的分支任务包括：使用全卷积网络作为分支来生成一系列覆盖全图的原型掩膜；以及对每个实例预测其对应的掩膜系数。

优选地，所述步骤4还包括：

步骤4-1，基于步骤3中训练后得到的皮带分割模型，对清晰图像集S进行分割，得到只包含皮带部分的图像集合，即皮带图像集J；

步骤4-2，对皮带图像集J中皮带图像进行随机划分，得到异常检测训练集J_train和异常检测测试集J_train，异常检测训练集J_train和异常检测测试集J_train的数据比例优选为8∶2。

优选地，所述步骤5中，异常检测网络采用编码-解码-编码的对抗自编码框架构建，构建的所述异常检测网络包括三个子网络：编码解码子网络、编码子网络和判别器子网络。

优选地，所述步骤5中，所述编码解码子网络用于生成数据，其输入为真实数据，输出为生成数据；所述编码子网络用于提取生成数据瓶颈特征，其输入为编码解码子网络的生成数据，输出为生成数据特征；所述判别器子网络用于判断生成数据或者真实数据的真实性，其输入为真实数据或者生成数据，输出数据为真实的概率值。

优选地，当异常检测模型输出的皮带异常值为设定阈值以上数值时，判断皮带出现异常，此时需要报警，通知监管人员对皮带实施防护措施；若皮带异常值小于设定阈值，则表示皮带未出现异常，此时无需报警。

优选地，所述设定的阈值为5。

本发明的有益效果在于，与现有技术相比：本发明采用基于深度学习的图像分割算法YOLACT和异常检测算法相结合的方式，将皮带的检测过程分为图像分割和异常检测两部分，且对算法训练样本仅需采集运行中的正常皮带，减少样本采集的困难度；通过学习正常皮带的特征来判断运行中皮带是否出现异常，增加检测的准确度和检测速度，本发明提出的检测方法检测速度快、误识别率低、通用性强，通过对待检测视频的清晰化处理进一步增加了在不同采集条件下检测的准确度，对光照强度不同、距离不同的待检测目标都有很好的稳定性。

附图说明

图1为本发明提出的基于深度学习的皮带撕裂检测方法的整体流程示意图；

图2为本发明中YOLACT网络的结构示意图；

图3为本发明中基于深度学习的异常检测网络的结构示意图；

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1所示，本发明提供了一种基于深度学习的皮带撕裂检测方法，包括以下步骤：

步骤1，设置采集模块获取皮带关键区域的视频数据，并对视频数据进行预处理，得到视频清晰图像集S；

步骤1具体包括以下步骤：

步骤1-1，在皮带周围设置采集模块获取皮带关键区域的视频数据，截取视频数据用于后续训练；

其中，本实施例中获取的视频数据为包含正常皮带的视频，采集模块为摄像头，在电厂的输煤区域安装的摄像头需要完全覆盖现场的皮带关键区域，包括皮带机机头、皮带机中部和皮带机机尾。对于设置的每个摄像头均截取其超过1天时间的视频数据用于后续的训练。

步骤1-2，对视频数据进行去模糊处理，得到清晰视频数据，并将清晰视频数据转换为图像数据，得到视频的清晰图像集S。

其中，去模糊处理包括去雾处理和滤除噪声处理，用于减少视频中的粉尘干扰和噪声干扰，增加视频的清晰度。

去模糊处理的方法包括图像增强、图像复原和超分辨率重构，本实施例中采用暗通道去雾算法和基于轮廓波的图像去噪算法实现视频的去雾处理和滤除噪声处理。

本实施例中，将视频数据转换为图像数据可以基于opencv(open sourcecomputer vision library，开源计算机视觉库)进行转换，或利用视频-图像转化软件将输入的视频转换为图像，如ffmpeg软件。

步骤2，对视频的清晰图像集S进行标定，并划分为分割训练集S_train和分割测试集S_test

具体的，步骤2还包括：

步骤2-1，对清晰图像集S中图像的皮带部分进行标定；

其中，标定方法可以采用人工标定或借助工具的方式完成，如数据标注软件LabelMe。

步骤2-2，将清晰图像集S结合标定后的图像随机划分为分割训练集S_train和分割测试集S_test，其中，分割训练集S_train和分割测试集S_test中的图像数量之比为8∶2。

步骤3，基于分割训练集S_train和分割测试集S_test对图像分割模型进行训练，得到训练后的皮带分割模型；

由于采集模块获取到的图像中除皮带部分外，也可能包含其它与皮带异常检测无关的内容，因此可以通过图像分割模型对输入图像进行分割，获取输入图像中待检测皮带部分的图像，便于后续的皮带异常检测过程。

将图像分割划分为两个分支任务从而降低图像分割的复杂度，通过对两个分支任务的结果进行融合来得到最终的图像分割结果。

具体的，参照图2的示意，本实施例采用YOLACT(You Only Look AtCoefficienTs，只考虑系数)网络构建图像分割模型，图像分割模型通过两个分支任务对图像进行处理，并将两个分支任务的输出结果进行线性组合来得到预测结果。

图像分割的分支任务包括：使用全卷积网络(FCN)作为分支来生成一系列覆盖全图的原型mask(掩膜)；以及对每个实例预测其对应的mask系数。最终对每个实例在NMS(Non-Maximum Suppression，非极大值抑制)步骤后，通过将两个分支任务的输出结果进行线性组合来得到预测结果，即对每个实例，将其预测结果的mask系数与原型mask线性组合，然后根据b-box(bounding box，边框)裁剪、阈值化，即得到每个实例对应的mask。

对图像分割模型的训练包括：基于训练集S_train对图像分割模型进行迭代训练，并通过测试集S_test测试每一代训练后的图像分割模型的识别精度，选取精度最高的图像分割模型作为实际使用的皮带分割模型。

步骤4，基于皮带分割模型对清晰图像集S进行分割后得到皮带图像集J，并将皮带图像集J划分为异常检测训练集J_train和异常检测测试集J_train；

具体的，步骤4还包括：

步骤4-1，基于步骤3中训练后得到的皮带分割模型，对清晰图像集S进行分割，得到只包含皮带部分的图像集合，即皮带图像集J；

步骤4-2，对皮带图像集J中皮带图像进行随机划分，得到异常检测训练集J_train和异常检测测试集J_train，异常检测训练集J_train和异常检测测试集J_train的数据比例优选为8∶2。

步骤5，基于异常检测训练集J_train和异常检测测试集J_train对异常检测网络进行训练，得到训练后的异常检测模型；

具体的，本实施例使用基于深度学习的异常检测网络，该异常检测网络采用编码-解码-编码的对抗自编码框架(GAN)构建。参照图3的示意，本实施例构建的异常检测网络包括三个子网络，编码解码子网络、编码子网络和判别器子网络。

其中，编码解码子网络用于生成数据，其输入为真实数据，输出为生成数据；编码子网络用于提取生成数据瓶颈特征，其输入为编码解码子网络的生成数据，输出为生成数据特征；判别器子网络用于判断生成数据或者真实数据的真实性，其输入为真实数据或者生成数据，输出数据为真实的概率值。

训练后的异常检测模型能够准确的学习到正常皮带的特征，并对输入的图像进行异常值判断，并根据异常值大小判断输入皮带图像对应的皮带是否正常。对于输入异常检测模型中的皮带图像，首先经过编码解码子网络得到生成图像，生成图像经过编码子网络得到生成图像特征，最后将皮带图像和生成图像输入判别器子网络，得到皮带异常值。

步骤6，基于训练后的皮带分割模型和异常检测模型对待检测皮带视频进行异常检测，得到皮带异常值，通过对比皮带异常值与设定的阈值，判断皮带是否出现异常。

具体的，在待检测皮带的周围设置采集模块，获取待检测皮带的实时视频数据，将视频数据经过去模糊处理后转化为图像数据，并将其依次通过皮带分割模型和异常检测模型，通过皮带分割模型得到图像中皮带的轮廓，根据轮廓将皮带从整幅图像中剪裁出来作为异常检测模型的输入，再通过异常检测模得到视频中皮带的异常值，最终输出皮带图像上的异常值标记。

当异常检测模型输出的皮带异常值为设定阈值以上数值时，判断皮带出现异常，此时需要报警，通知监管人员对皮带实施防护措施；若皮带异常值小于设定阈值，则表示皮带未出现异常，此时无需报警。

具体的，本实施例中设定的阈值为5，当异常检测模型输出的皮带异常值为5以上时，判断皮带出现异常，此时需要报警，通知监管人员对皮带实施防护措施；若皮带异常值小于5，则表示皮带未出现异常，此时无需报警。

优选的，通过Flask框架将训练好的皮带分割模型和异常检测模型部署到服务器上，此时用户可以通过访问服务器接口得到皮带异常检测结果。

本发明的有益效果在于，与现有技术相比，本发明考虑到由于生产现场的异常皮带历史视频查找困难，且异常状况出现频率低等问题，本发明中仅需要采集运行中的正常皮带视频作为样本，在训练中也均采用正常皮带图像，使经过训练后的模型能够准确的学习到正常皮带的特征，大大减少了样本采集的困难度，且由于样本均为正常皮带，能够使模型在相对较短的时间内得到充分训练和学习，提高实际检测中的准确度，

正常皮带图像对应的异常值极低。因此，而当皮带偶然发生撕裂、破损等异常状况时，模型对应计算得到的异常值则会大于设置的阈值，能够准确地判断出皮带的异常现象，用户还可以根据异常值大小，判断皮带的磨损状况，即异常值越大，表示皮带磨损越严重。

本发明提出的检测方法将皮带的检测过程分为图像分割和异常检测两部分，将较为复杂的检测过程划分为两个子过程，一方面能够增加检测的准确度，另一方面能够加快检测速度，该方法检测速度快、误识别率低、通用性强，并通过对待检测视频的清晰化处理进一步增加了在不同采集条件下检测的准确度。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的皮带撕裂检测方法，其特征在于，包括以下步骤：

步骤1，设置采集模块获取皮带关键区域的视频数据，并对视频数据进行预处理，得到视频清晰图像集S；

步骤2，对视频清晰图像集S进行标定，并划分为分割训练集S_train和分割测试集S_test；

步骤3，基于分割训练集S_train和分割测试集S_test对图像分割模型进行训练，得到训练后的皮带分割模型；

步骤4，基于皮带分割模型对清晰图像集S进行分割后得到皮带图像集J，并将皮带图像集J划分为异常检测训练集J_train和异常检测测试集J_train；

步骤5，基于异常检测训练集J_train和异常检测测试集J_train对异常检测网络进行训练，得到训练后的异常检测模型；

步骤6，基于训练后的皮带分割模型和异常检测模型对待检测皮带视频进行异常检测，得到皮带异常值，通过对比皮带异常值与设定的阈值，判断皮带是否出现异常。

2.根据权利要求1所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述步骤1还包括：

步骤1-1，在皮带周围设置采集模块获取皮带关键区域的视频数据，截取视频数据；

步骤1-2，对视频数据进行去模糊处理，得到清晰视频数据，并将清晰视频数据转换为图像数据，得到视频的清晰图像集S。

3.根据权利要求2所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述去模糊处理包括去雾处理和滤除噪声处理，其中，采用暗通道去雾算法实现视频的去雾处理，采用基于轮廓波的图像去噪算法实现视频的滤除噪声处理。

4.根据权利要求1所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述步骤2还包括：

步骤2-1，通过人工标定或标定工具对清晰图像集S中图像的皮带部分进行标定；

步骤2-2，将清晰图像集S结合标定后的图像随机划分为分割训练集S_train和分割测试集S_test，其中，分割训练集S_train和分割测试集S_test中的图像数量之比为8∶2。

5.根据权利要求1所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述图像分割模型基于YOLACT网络构建，图像分割模型通过两个分支任务的输出结果进行线性组合来得到预测结果；

图像分割的分支任务包括：使用全卷积网络作为分支来生成一系列覆盖全图的原型掩膜；以及对每个实例预测其对应的掩膜系数。

6.根据权利要求1所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述步骤4还包括：

步骤4-1，基于步骤3中训练后得到的皮带分割模型，对清晰图像集S进行分割，得到只包含皮带部分的图像集合，即皮带图像集J；

步骤4-2，对皮带图像集J中皮带图像进行随机划分，得到异常检测训练集J_train和异常检测测试集J_train，异常检测训练集J_train和异常检测测试集J_train的数据比例优选为8：2。

7.根据权利要求1所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述步骤5中，异常检测网络采用编码-解码-编码的对抗自编码框架构建，构建的所述异常检测网络包括三个子网络：编码解码子网络、编码子网络和判别器子网络。

8.根据权利要求5所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述步骤5中，所述编码解码子网络用于生成数据，其输入为真实数据，输出为生成数据；所述编码子网络用于提取生成数据瓶颈特征，其输入为编码解码子网络的生成数据，输出为生成数据特征；所述判别器子网络用于判断生成数据或者真实数据的真实性，其输入为真实数据或者生成数据，输出数据为真实的概率值。

9.根据权利要求1所述的基于深度学习的皮带撕裂检测方法，其特征在于，

当异常检测模型输出的皮带异常值为设定阈值以上数值时，判断皮带出现异常，此时需要报警，通知监管人员对皮带实施防护措施；若皮带异常值小于设定阈值，则表示皮带未出现异常，此时无需报警。

10.根据权利要求1或9所述的基于深度学习的皮带撕裂检测方法，其特征在于，

所述设定的阈值为5。

Images