CN109879005A - 皮带撕裂检测装置及方法 - Google Patents

Abstract

本发明提供了一种皮带撕裂检测装置及方法，涉及皮带撕裂检测技术领域，检测方法包括获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片；将带有图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型；将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果；将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

Description

皮带撕裂检测装置及方法

技术领域

本发明涉及输送皮带异常检测技术领域，尤其是涉及一种皮带撕裂检测装置。

背景技术

带式输送是港口、矿山、火电厂、物流、仓储等行业采用的重要的输送方式，而皮带是带式输送方式重要的组成部分。但是，由于输送物含有杂质(如矿物含有铁器)、包装要求(采用铁丝扎捆)等原因，经常造成输送皮带撕裂，包括纵向撕裂和横线撕裂，如果不能及时发现，会造成巨大的经济损失，同时会大大影响生产效率。为了解决这一技术难题，国内外专家研究了很多种皮带撕裂检测技术，例如冲击检测法(检测皮带介质中冲击力传播)，托辊异常受力检测法(分析托辊异常受力情况)，超声波检测法(检测皮带介质中超声波传播)，压敏电阻检测法(检测皮带下方漏料)，传感器嵌入检测法(皮带中嵌入导电橡胶、光导纤维)等方法。以上皮带撕裂检测方法在现场应用中，对皮带撕裂检测的精度存在着缺陷，且安装、维护较为复杂，成本较高。随着时代的发展，机器视觉技术领域出现了深度学习，通过深度学习技术，训练神经网络，实现高精度的非接触式实时检测，在皮带撕裂检测应用场景中有着重要的应用前景。

深度学习(Deep Learning)是目前机器视觉发展的最高高度，卷积神经网络(CNN)作为深度学习的一种方法，在图像处理、物体检测与识别等领域有着较好的效果。对于无法精准提取图像特征的应用场景，卷积神经网络有着先天的优势，因为网络可以自动学习图像特征，不通过人的干预，提取出高质量的特征，从而为提高图像匹配的准确率打下了坚实的基础。

现有图像识别检测方式的皮带撕裂检测技术中，存在着场景适用性不理想(需要定义撕裂特征，需要适应不同的光照条件等)的问题，同时成本非常高，不利于广泛应用。

发明内容

有鉴于此，本发明的目的在于提供一种皮带撕裂检测装置，通过采用高速工业相机采集皮带实时高清图像，用一种深度神经网络模型训练带标签的被撕裂带面图像、有磨损的带面图像以及正常皮带带面图像，做到这三类图像的精确分类识别。

第一方面，本发明实施例提供了一种皮带撕裂检测方法，应用于皮带撕裂检测装置，包括：

获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片；

将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签；

将带有图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型；

将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果；

将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签的步骤之前，还包括：将视频图像数据的现场图片做筛选处理。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果的步骤包括：将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果，并将所述质量评估结果与设定的图像质量阈值进行比较；若质量评估结果大于或等于图像质量阈值，则将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果。

结合第一方面的第二种可能，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述图像质量评估模型还包括增强模块，所述将所述质量评估结果与设定的图像质量阈值进行比较的步骤还包括：若质量评估结果小于图像质量阈值，则增强模块将视频图像数据增强至质量评估结果大于或等于图像质量阈值。

结合第一方面的第二种可能，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果的步骤还包括：将视频图像数据的每帧现场图片采用局部梯度直方图统计法进行图像亮度检测；将视频图像数据的每帧现场图片采用局部梯度直方图统计法进行图像对比度检测。

结合第一方面的第二种可能，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果的步骤还包括：图像质量评估模型预先选取前景变化较小的4个128*128像素大小的区域，所述图像质量评估模型提取每个区域的灰度直方图和三向灰度梯度直方图，该灰度直方图和三向灰度梯度直方图用于计算现场图片像素质量的变化。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果的步骤包括：所述皮带撕裂识别模型将输入的现场图片进行grid分割，所述皮带撕裂识别模型对grid分割后的现场图片进行识别得到皮带撕裂结果。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果的步骤包括：皮带撕裂识别模型根据所述实时获取的皮带运行现场的视频图像数据绘制皮带撕裂识别的ROC曲线，计算该ROC曲线的最优ROC面积，得到图像识别参数，记录并存储该图像识别参数。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述将所述皮带撕裂结果发送至皮带运行的控制系统中的步骤后，还包括：定期对所述图像质量评估模型和皮带撕裂标签的图像数据进行回顾和重新标注，统计质量正态分布、正识别分布、误识别分布及漏识别分布，得到重标注的错误质量帧；将错误质量帧输入至ResNet神经网络模型中，训练并改进图像质量评估模型和皮带撕裂识别模型。

第二方面，本发明实施例还提供一种皮带撕裂检测装置，包括：数据输入模型，其用于获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片。

图像标注模块，其用于将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签。

模型训练模块，其用于将所述图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型。

撕裂识别模块，其用于将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果。

控制模块，将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

本发明实施例带来了以下有益效果：通过训练得到的图像质量评估模型可自动筛选出高质量的现场图片并对现场图片的质量进行增强调整，保证数据输入的准确性；皮带撕裂识别模型可自动学习图像特征，提取高质量的特征，提高图像匹配的准确率，实现高精度的非接触式实时检测，广泛适用于皮带撕裂检测的应用场景中。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的皮带撕裂检测方法的流程示意图；

图2为本发明实施例提供的皮带撕裂检测装置的模块示意图；

图3为本发明实施例提供的现场图像数据采集装置示意图。

图标:10-带式输送机；11-LED补光光源；12-工业高清线阵摄像机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前由于输送物含有杂质(如矿物含有铁器)、包装要求(采用铁丝扎捆)等原因，经常造成输送皮带撕裂，包括纵向撕裂和横线撕裂，如果不能及时发现，会造成巨大的经济损失，同时会大大影响生产效率。基于此，本发明实施例提供的皮带撕裂检测方法，应用于皮带撕裂检测装置，通过采用高速工业相机采集皮带实时高清图像，用一种深度神经网络模型训练带标签的被撕裂带面图像、有磨损的带面图像以及正常皮带带面图像，做到这三类图像的精确分类识别。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种皮带撕裂检测方法进行详细介绍，

实施例一：

如图1所示，一种皮带撕裂检测方法，应用于皮带撕裂检测装置，包括：

S10:获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片。

S20:将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签。

S30:将带有图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型。

ResNet(Residual Neural Network)的网络结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。

S40:将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果。

S50:将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

本实施例中的视频图像数据输入至ResNet神经网络模型中，一组数据经过训练得到两个模型，两个模型是顺序关联的模型，后续视频图像数据顺序输入至图像质量评估模型，将视频图像数据进行处理后再输入至皮带撕裂识别模型并得到皮带撕裂结果。

通过训练得到的图像质量评估模型可自动筛选出高质量的现场图片并对现场图片的质量进行增强调整，保证数据输入的准确性；皮带撕裂识别模型可自动学习图像特征，提取高质量的特征，提高图像匹配的准确率，实现高精度的非接触式实时检测，广泛适用于皮带撕裂检测的应用场景中。

实施例二：

如图2-3所示，一种皮带撕裂检测方法，应用于皮带撕裂检测装置，包括：

S10:获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片。获取带式输送机10的皮带的运行现场的视频图像数据的方法是通过多个布置在皮带上方的工业高清线阵摄像机12获取。

S20:将视频图像数据的现场图片做筛选处理；将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签。为了获取视频图像数据的质量更高、更均匀，还设置了多个LED补光光源11。

S30:将带有图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型。

S40:将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果，并将所述质量评估结果与设定的图像质量阈值进行比较。

若质量评估结果大于或等于图像质量阈值，则将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果。

所述图像质量评估模型还包括增强模块，所述将所述质量评估结果与设定的图像质量阈值进行比较的步骤还包括：

若质量评估结果小于图像质量阈值，则增强模块将视频图像数据增强至质量评估结果大于或等于图像质量阈值。

将视频图像数据的每帧现场图片采用局部梯度直方图统计法进行图像亮度检测。

将视频图像数据的每帧现场图片采用局部梯度直方图统计法进行图像对比度检测。

所述图像亮度检测和图像对比度检测的步骤在所述质量评估结果与设定的图像质量阈值进行比较的步骤之前。

所述图像亮度检测和图像对比度检测的检测方法是优选的检测方法，本申请中的检测方法不限于上述两种检测方法。

图像质量评估模型预先选取前景变化较小的4个128*128像素大小的区域，所述图像质量评估模型提取每个区域的灰度直方图和三向灰度梯度直方图，该灰度直方图和三向灰度梯度直方图用于计算现场图片像素质量的变化。

所述皮带撕裂识别模型将输入的现场图片进行grid分割，所述皮带撕裂识别模型对grid分割后的现场图片进行识别得到皮带撕裂结果。现场图片的grid分割是一种常用的图片分割方法。

将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果。

皮带撕裂识别模型根据所述实时获取的皮带运行现场的视频图像数据绘制皮带撕裂识别的ROC曲线，计算该ROC曲线的最优ROC面积，得到图像识别参数，记录并存储该图像识别参数。

受试者工作特征曲线(receiver operating characteristic curve，简称ROC曲线)，ROC曲线是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(灵敏度)为纵坐标，假阳性率(1-特异度)为横坐标绘制的曲线。传统的诊断试验评价方法有一个共同的特点，必须将试验结果分为两类，再进行统计分析。

S50:将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

皮带撕裂结果为异常情况时，通过控制系统实施控制皮带的运行状态，保证皮带出现质量异常时第一时间做出处理，避免出现皮带完全撕裂后对设备的正常使用造成更加严重的影响。

定期对所述图像质量评估模型和皮带撕裂标签的图像数据进行回顾和重新标注，统计质量正态分布、正识别分布、误识别分布及漏识别分布，得到重标注的错误质量帧。

将错误质量帧输入至ResNet神经网络模型中，训练并改进图像质量评估模型和皮带撕裂识别模型。

实施例三

一种皮带撕裂检测装置，包括：

数据输入模型，其用于获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片；

图像标注模块，其用于将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签；

模型训练模块，其用于将所述图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型；

撕裂识别模块，其用于将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果；

控制模块，将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

皮带撕裂检测装置通过训练得到的图像质量评估模型可自动筛选出高质量的现场图片并对现场图片的质量进行增强调整，保证数据输入的准确性；皮带撕裂识别模型可自动学习图像特征，提取高质量的特征，提高图像匹配的准确率，实现高精度的非接触式实时检测，广泛适用于皮带撕裂检测的应用场景中。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种皮带撕裂检测方法，其特征在于，包括：

获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片；

将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签；

将带有图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型；

将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果；

将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。

2.根据权利要求1所述的皮带撕裂检测方法，其特征在于，所述将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签的步骤之前，还包括：

将视频图像数据的现场图片做筛选处理。

3.根据权利要求1所述的皮带撕裂检测方法，其特征在于，所述将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果的步骤包括：

将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果，并将所述质量评估结果与设定的图像质量阈值进行比较；

若质量评估结果大于或等于图像质量阈值，则将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果。

4.根据权利要求3所述的皮带撕裂检测方法，其特征在于，所述图像质量评估模型还包括增强模块，所述将所述质量评估结果与设定的图像质量阈值进行比较的步骤还包括：

若质量评估结果小于图像质量阈值，则增强模块将视频图像数据增强至质量评估结果大于或等于图像质量阈值。

5.根据权利要求3所述的皮带撕裂检测方法，其特征在于，所述将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果的步骤还包括：

将视频图像数据的每帧现场图片采用局部梯度直方图统计法进行图像亮度检测；

将视频图像数据的每帧现场图片采用局部梯度直方图统计法进行图像对比度检测。

6.根据权利要求3所述的皮带撕裂检测方法，其特征在于，所述将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型得到质量评估结果的步骤还包括：

图像质量评估模型预先选取前景变化较小的4个128*128像素大小的区域，所述图像质量评估模型提取每个区域的灰度直方图和三向灰度梯度直方图，该灰度直方图和三向灰度梯度直方图用于计算现场图片像素质量的变化。

7.根据权利要求1所述的皮带撕裂检测方法，其特征在于，所述将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果的步骤包括：

所述皮带撕裂识别模型将输入的现场图片进行grid分割，所述皮带撕裂识别模型对grid分割后的现场图片进行识别得到皮带撕裂结果。

8.根据权利要求1所述的皮带撕裂检测方法，其特征在于，所述将相应的视频图像数据输入至皮带撕裂识别模型，得到皮带撕裂结果的步骤包括：

皮带撕裂识别模型根据所述实时获取的皮带运行现场的视频图像数据绘制皮带撕裂识别的ROC曲线，计算该ROC曲线的最优ROC面积，得到图像识别参数，记录并存储该图像识别参数。

9.根据权利要求1所述的皮带撕裂检测方法，其特征在于，所述将所述皮带撕裂结果发送至皮带运行的控制系统中的步骤后，还包括：

定期对所述图像质量评估模型和皮带撕裂标签的图像数据进行回顾和重新标注，统计质量正态分布、正识别分布、误识别分布及漏识别分布，得到重标注的错误质量帧；

将错误质量帧输入至ResNet神经网络模型中，训练并改进图像质量评估模型和皮带撕裂识别模型。

10.一种皮带撕裂检测装置，其特征在于，包括：

数据输入模型，其用于获取皮带运行现场的视频图像数据，该视频图像数据包括视频帧的现场图片；

图像标注模块，其用于将视频图像数据的现场图片至少标注有图片质量标签和皮带撕裂标签；

模型训练模块，其用于将所述图片质量标签和皮带撕裂标签的视频图像数据输入至ResNet神经网络模型中，至少训练得到图像质量评估模型和皮带撕裂识别模型；

撕裂识别模块，其用于将实时获取的皮带运行现场的视频图像数据输入至图像质量评估模型、皮带撕裂识别模型，得到皮带撕裂结果；

控制模块，将所述皮带撕裂结果发送至皮带运行的控制系统中，所述控制系统依据皮带撕裂结果控制皮带的运行状态。