CN115131738A - 输送机传送带撕裂预警方法与装置 - Google Patents

输送机传送带撕裂预警方法与装置 Download PDF

Info

Publication number
CN115131738A
CN115131738A CN202211044206.5A CN202211044206A CN115131738A CN 115131738 A CN115131738 A CN 115131738A CN 202211044206 A CN202211044206 A CN 202211044206A CN 115131738 A CN115131738 A CN 115131738A
Authority
CN
China
Prior art keywords
conveyor belt
tearing
neural network
network
heat distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211044206.5A
Other languages
English (en)
Other versions
CN115131738B (zh
Inventor
詹少斌
张美珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haimen Heavy Mining Machinery Factory
Original Assignee
Haimen Heavy Mining Machinery Factory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haimen Heavy Mining Machinery Factory filed Critical Haimen Heavy Mining Machinery Factory
Priority to CN202211044206.5A priority Critical patent/CN115131738B/zh
Publication of CN115131738A publication Critical patent/CN115131738A/zh
Application granted granted Critical
Publication of CN115131738B publication Critical patent/CN115131738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及输送机传送带撕裂预警方法与装置，属于数据处理技术领域，该方法包括利用传送带上方和下侧分别设置的第一相机和第二相机，拍摄得到传送带正常工作过程中的实际热度分布图和物料表面热成像图，利用训练好的第一神经网络，将物料表面热成像图作为输入，能够预测出体现出物料堆积热度的物料堆积热度分布图；然后再利用训练好的第二神经网络，将物料堆积热度分布图和实际热度分布图作为输入，能够预测出体现传送带可能发生撕裂情况的撕裂区域关注图；最后，将该撕裂区域关注图中连通域内像素点的灰度均值，与设定阈值比较，根据比较结果，实现传送带各个位置区域的撕裂预警。

Description

输送机传送带撕裂预警方法与装置
技术领域
本发明涉及数据处理技术领域，具体涉及输送机传送带撕裂预警方法与装置。
背景技术
输送机是矿石或煤炭开采中不可或缺的机械装置，输送机的安全运行关乎整个开采链的稳定运行，如果输送机发生故障损坏轻则造成暂时停工，重则造成重大经济损失，甚至重大安全事故，其中输送机传送带的撕裂或开裂是常见的故障，目前，对这些故障基本是在传送带已经发生撕裂后，通过人工检查才能发现出来，无法对传送带在发生实质的撕裂之前进行撕裂预警。
发明内容
本发明的目的在于提供一种输送机传送带撕裂预警方法与装置，用于解决现有方法无法对传送带上即将发生撕裂的位置进行撕裂故障预测的问题。
因此，输送机传送带撕裂预警方法，所采用的技术方案具体如下：
步骤S1，利用安装在输送机的传送带下侧的第一相机，拍摄得到传送带在正常运行过程中某一传送带位置区域Li的实际热度分布图；
步骤S2，利用安装在所述传送带上方的第二相机，拍摄得到传送带正常运行过程中某一传送带位置区域Li的物料表面热成像图，将所述的物料热成像图输入至训练好的第一神经网络，输出所述传送带位置区域Li的物料堆积热度分布图；
步骤S3，将所述传送带位置区域Li的实际热度分布图和物料堆积热度分布图作为输入图像，输入至训练好的第二神经网络，输出传送带位置区域Li的摩擦产热特征图和撕裂区域关注图；
步骤S4，对所述传送带位置区域Li的撕裂区域关注图进行处理，提取撕裂区域关注图中的连通域，确定连通域内像素点的灰度均值，当所述灰度均值大于设定阈值时，进行传送带位置区域Li的撕裂预警。
优选的，步骤S3中，第二神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的实际热度分布图和物料堆积热度分布图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的摩擦产热特征图和撕裂区域关注图。
优选的，步骤S3中，第二神经网络的训练过程如下：
收集N个训练样本，每个训练样本包括传送带某个位置区域的实际热度分布图和物料堆积热度分布图，因此，N个训练样本对应N个位置区域的实际热度分布图和物料堆积热度分布图；
设置第二神经网络的损失函数如下：
LOSS=A+B+C
其中，LOSS为第二神经网络的损失函数值，A为根据网络输出的摩擦产热特征图计 算得到的摩擦产热损失值，B为根据网络输出的撕裂区域关注图计算得到的撕裂区域损失 值，C为重构损失值，
Figure DEST_PATH_IMAGE001
，其中，
Figure 445750DEST_PATH_IMAGE002
为设定权重，
Figure DEST_PATH_IMAGE003
为网络输出传送带 第i个位置区域的摩擦产热特征图，
Figure 843364DEST_PATH_IMAGE004
为网络输出传送带第i个位置区域的撕裂区域关注 图，
Figure DEST_PATH_IMAGE005
为训练样本中第i个位置区域的物料堆积热度分布图，
Figure 55383DEST_PATH_IMAGE006
为训练样本中第i个位置区域 的实际热度分布图，
Figure DEST_PATH_IMAGE007
表示传送带第i个位置区域的摩擦产热特征图、撕 裂区域关注图、物料堆积热度分布图整体上与实际热度分布图之间的欧式距离；
对第二神经网络进行反复训练，利用随机梯度下降算法更新网络参数。
优选的，所述第二神经网络的损失函数中，摩擦产热损失值A的计算公式如下：
Figure DEST_PATH_IMAGE009
式中，
Figure 332780DEST_PATH_IMAGE010
表示将数据集中第j个数据输入到DNN网络之后，第二神经网络输出的结 果中的摩擦产热特征图，j=1,2,…,i,…,N，
Figure 48058DEST_PATH_IMAGE003
表示将数据集中第i个数据输入到第二神经 网络之后，网络输出的结果中的摩擦产热特征图；
Figure DEST_PATH_IMAGE011
为N个摩擦产热特征图
Figure 764210DEST_PATH_IMAGE010
的均值图像， 即
Figure 881333DEST_PATH_IMAGE012
，表示N个摩擦产热特征图
Figure 470577DEST_PATH_IMAGE010
上对应位置的灰度值求均值计算；
Figure DEST_PATH_IMAGE013
表 示摩擦产热特征图
Figure 640527DEST_PATH_IMAGE003
与均值图像
Figure 724152DEST_PATH_IMAGE014
之间的欧式距离，
Figure DEST_PATH_IMAGE015
表示所有
Figure 131999DEST_PATH_IMAGE010
的协方差矩阵的L2范数。
优选的，所述第二神经网络的损失函数中，撕裂区域损失值B的计算公式如下：
Figure DEST_PATH_IMAGE017
式中，
Figure 846140DEST_PATH_IMAGE018
为第j个数据输入第二神经网络后，网络输出的撕裂区预测特征 值，
Figure DEST_PATH_IMAGE019
表示将数据集中第j个数据输入到第二神经网络后，网络输出结果中的撕裂区域关 注图，
Figure 972228DEST_PATH_IMAGE020
表示
Figure 859543DEST_PATH_IMAGE019
的L2范数；
Figure DEST_PATH_IMAGE021
为撕裂区域目标特征值，
Figure 387477DEST_PATH_IMAGE022
均为每次训练需 要更新的网络参数。
优选的，步骤S2中，第一神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的物料表面热成像图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的物料堆积热度分布图。
优选的，第一神经网络的训练样本包括：采集得到的传送带各个位置区域的物料表面热成像图，以及对应的标签，对应的标签即为传送带各个位置区域的物料堆积热度分布图。
输送机传送带撕裂预警装置，所采用的技术方案具体如下：
第一数据采集模块，用于安装在输送机的传送带下侧，拍摄得到传送带在正常运行过程中某一传送带位置区域Li的实际热度分布图；
第二数据采集模块，用于安装在所述传送带上方，拍摄得到传送带正常运行过程中某一传送带位置区域Li的物料表面热成像图；
第一神经网络预测模块，用于将所述的物料热成像图输入至训练好的第一神经网络，输出所述传送带位置区域Li的物料堆积热度分布图；
第二神经网络预测模块，用于将所述传送带位置区域Li的实际热度分布图和物料堆积热度分布图作为输入图像，输入至训练好的第二神经网络，输出传送带位置区域Li的摩擦产热特征图和撕裂区域关注图；
撕裂预警模块，用于对所述传送带位置区域Li的撕裂区域关注图进行处理，提取撕裂区域关注图中的连通域，确定连通域内像素点的灰度均值，当所述灰度均值大于设定阈值时，进行传送带位置区域Li的撕裂预警。
优选的，第二神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的实际热度分布图和物料堆积热度分布图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的摩擦产热特征图和撕裂区域关注图。
优选的，第二神经网络的训练过程如下：
收集N个训练样本，每个训练样本包括传送带某个位置区域的实际热度分布图和物料堆积热度分布图，因此，N个训练样本对应N个位置区域的实际热度分布图和物料堆积热度分布图；
设置第二神经网络的损失函数如下：
LOSS=A+B+C
其中，LOSS为第二神经网络的损失函数值，A为根据网络输出的摩擦产热特征图计 算得到的摩擦产热损失值，B为根据网络输出的撕裂区域关注图计算得到的撕裂区域损失 值，C为重构损失值，
Figure 318524DEST_PATH_IMAGE001
，其中，
Figure 761268DEST_PATH_IMAGE002
为设定权重，
Figure 435963DEST_PATH_IMAGE003
为网络输出传送带 第i个位置区域的摩擦产热特征图，
Figure 880720DEST_PATH_IMAGE004
为网络输出传送带第i个位置区域的撕裂区域关注 图，
Figure 248248DEST_PATH_IMAGE005
为训练样本中第i个位置区域的物料堆积热度分布图，
Figure 912709DEST_PATH_IMAGE006
为训练样本中第i个位置区域 的实际热度分布图，
Figure 125516DEST_PATH_IMAGE007
表示传送带第i个位置区域的摩擦产热特征图、撕 裂区域关注图、物料堆积热度分布图整体上与实际热度分布图之间的欧式距离；
对第二神经网络进行反复训练，利用随机梯度下降算法更新网络参数。
本发明具有如下有益效果：
本发明的传送带撕裂预警方法与装置，利用传送带上方和下侧分别设置的第一相机和第二相机，拍摄得到传送带正常工作过程中的实际热度分布图和物料表面热成像图，利用训练好的第一神经网络，将物料表面热成像图作为输入，能够预测出体现出物料堆积热度的物料堆积热度分布图；然后再利用训练好的第二神经网络，将物料堆积热度分布图和实际热度分布图作为输入，能够预测出体现传送带可能发生撕裂情况的撕裂区域关注图；最后，根据该撕裂区域关注图中连通域内像素点的灰度均值，与设定阈值比较，然后根据比较结果，实现传送带各个位置区域的撕裂预警。本发明利用图像处理的方法，实现了传送带上即将发生撕裂的位置的自动预测，及时进行撕裂预警，预警结果的准确性较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例1的输送机传送带撕裂预警方法流程图；
图2为本发明实施例1的输送机传送带的图像采集示意图。
具体实施方式
下面结合附图具体的说明本发明所提供的实施方案。
实施例1：
本实施例提出一种输送机传送带撕裂预警方法，如图1所示，包括以下步骤：
步骤S1，利用安装在输送机的传送带下侧的第一相机，拍摄得到传送带在正常运行过程中某一传送带位置区域Li的实际热度分布图。
步骤S2，利用安装在所述传送带上方的第二相机，拍摄得到传送带正常运行过程中某一传送带位置区域Li的物料表面热成像图，将所述的物料热成像图输入至训练好的第一神经网络，输出所述传送带位置区域Li的物料堆积热度分布图，该物料堆积热度分布图指的是物料底部的温度分布图。
第一相机和第二相机均为红外相机，安装位置如图2所示，红外相机拍摄传送带时，由于传送带边缘有具体位置标记，因此能够得到传送带的位置信息。并且，本发明认为传送带不会打滑，因此还可以根据输送机的电机转动的圈数来确定每次采集图像时传送带的位置。
因此，第一相机每采集一张图像，该第一相机采集的图像称为实际热度分布图，并且对应获得一个传送带位置，用于表示在传送带某个位置的图像，用于后续的撕裂位置的定位。
本步骤中，第一神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的物料表面热成像图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的物料堆积热度分布图。
第一神经网络训练样本包括：采集传送带各个位置区域的物料表面热成像图，以及对应的标签，标签即为传送带各个位置区域的物料堆积热度分布图。该标签的确定方法如下：
在虚拟的计算机物理引擎中或者在现实的实验室条件下，模拟物料的不同堆放情况，在每种堆放情况下利用虚拟的或真实的热成像相机采集物料的图像数据，每张图像数据对应一个标签，标签为每种堆放情况下物料底部的所有位置的温度，物料底部的所有位置的温度就是物料堆积热度分布图，物料堆积热度分布图就是标签。
可理解的，DNN网络的训练方法常规，本发明不再赘述。物料的热成像图既能反应物料的堆放情况又能反应物料的表层温度，将其输入DNN网络中获得物料的堆积温度。
本步骤中，之所以用第一神经网络预测物料堆积热度分布图，是考虑到第二相机拍摄的热成像图只是获得的物料表层的热度分布，实际上物料是堆积在传送带上的，需要考虑物料的堆积情况下对传送带的热度影响。
步骤S3，将所述传送带位置区域Li的实际热度分布图和物料堆积热度分布图作为输入图像，输入至训练好的第二神经网络，输出传送带位置区域Li的摩擦产热特征图和撕裂区域关注图。
本步骤中，第二神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的实际热度分布图和物料堆积热度分布图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的摩擦产热特征图和撕裂区域关注图。
本步骤中，收集N个训练样本，每个训练样本包括传送带某个位置区域的实际热度分布图和物料堆积热度分布图，因此，N个训练样本对应N个位置区域的实际热度分布图和物料堆积热度分布图。
本步骤中，第二神经网络的损失函数如下：
LOSS=A+B+C
其中，LOSS为第二神经网络的损失函数值，A为根据网络输出的摩擦产热特征图计 算得到的摩擦产热损失值，B为根据网络输出的撕裂区域关注图计算得到的撕裂区域损失 值，C为重构损失值，
Figure 955938DEST_PATH_IMAGE001
，其中，
Figure 228787DEST_PATH_IMAGE002
为设定权重，
Figure DEST_PATH_IMAGE023
，
Figure 555777DEST_PATH_IMAGE003
为网络输 出传送带第i个位置区域的摩擦产热特征图，
Figure 572274DEST_PATH_IMAGE004
为网络输出传送带第i个位置区域的撕裂 区域关注图，
Figure 758667DEST_PATH_IMAGE005
为训练样本中第i个位置区域的物料堆积热度分布图，
Figure 202418DEST_PATH_IMAGE006
为训练样本中第i个 位置区域的实际热度分布图，
Figure 340007DEST_PATH_IMAGE007
表示传送带第i个位置区域的摩擦产热特 征图、撕裂区域关注图、物料堆积热度分布图整体上与实际热度分布图之间的欧式距离。
该欧式距离的计算式如下：
D=
Figure 160196DEST_PATH_IMAGE024
D为欧式距离，n为摩擦产热特征图、撕裂区域关注图、物料堆积热度分布图、实际热度分布图的像素点数，x1~xn表示求取摩擦产热特征图、撕裂区域关注图、物料堆积热度分布图上对应位置像素点的灰度值之和，再将求得的和与实际热度分布图对应位置像素点的灰度值作差，得到的灰度差值。例如，x1对应的是根据四个图中的第一个像素点求得的灰度差值，xn对应的是根据四个图中的第n个像素点求得的灰度差值。
当DNN网络输入的是数据集中第i个数据，那么重构损失值C是关于
Figure 201095DEST_PATH_IMAGE004
和
Figure 81327DEST_PATH_IMAGE003
的函 数，其他参数视为常数。
上面的第二神经网络的损失函数中，摩擦产热损失值A的计算公式如下：
Figure DEST_PATH_IMAGE025
式中，
Figure 378316DEST_PATH_IMAGE010
表示将数据集中第j个数据输入到DNN网络之后，第二神经网络输出的结 果中的摩擦产热特征图，j=1,2,…,i,…,N，
Figure 487348DEST_PATH_IMAGE003
表示将数据集中第i个数据输入到第二神经 网络之后，网络输出的结果中的摩擦产热特征图，i为1~N中的一个值；
Figure 632022DEST_PATH_IMAGE011
为N个摩擦产热特征 图
Figure 666843DEST_PATH_IMAGE010
的均值图像，即
Figure 529757DEST_PATH_IMAGE012
，表示N个摩擦产热特征图
Figure 176901DEST_PATH_IMAGE010
上对应位置的灰度值求均值 计算；
Figure 690928DEST_PATH_IMAGE013
表示摩擦产热特征图
Figure 912962DEST_PATH_IMAGE003
与均值图像
Figure 13904DEST_PATH_IMAGE014
之间的欧式距离（即求L2范数），
Figure 714007DEST_PATH_IMAGE015
表示所有
Figure 82540DEST_PATH_IMAGE010
的协方差矩阵的L2范数，计算公式如下：
Figure DEST_PATH_IMAGE027
上面的摩擦产热损失值A的公式中右边的第二项，用于使第二神经网络输出的
Figure 898311DEST_PATH_IMAGE003
与u尽可能相似，因为在传送带稳定重复运行过程中，虽然不同时间不同位置的物料摩擦产 热不同，但是这些摩擦产热大致是分布在某个均值附近，不会有太大的离散分布的情况。
上面的摩擦产热损失值A的公式中右边的第一项，用于使得第二神经网络在数据集上输出所有结果的协方差的L2范数最小，使得这些结果的相关性最小，因为传送带运行过程中不同时间和不同位置的物料摩擦产热是相互独立的、相互不受影响的。
需要说明的是，当第二神经网络输入的是数据集中第i个数据，那么摩擦产热损失 值A是关于
Figure 735817DEST_PATH_IMAGE003
的函数，其他参数视为常数。例如，输入第1个数据时，也是第一次训练网络 时，
Figure 223300DEST_PATH_IMAGE028
~
Figure DEST_PATH_IMAGE029
为采用初始网络参数时向网络输入第2~N个数据得到的N-1个摩擦产热特征图， 因而对第一训练网络时，
Figure 885487DEST_PATH_IMAGE028
~
Figure 449324DEST_PATH_IMAGE029
是已知值；类似的，输入第i个数据时，
Figure 757814DEST_PATH_IMAGE030
,…,
Figure DEST_PATH_IMAGE031
,
Figure 234275DEST_PATH_IMAGE032
,…,
Figure 577400DEST_PATH_IMAGE029
为采用上次训练的神经网络参数，向上一次网络分别输入第1，…,i-1,i+1,…N个 数据后，网络输出的N-1个摩擦产热特征图。
上面的第二神经网络的损失函数中，撕裂区域损失值B的计算公式如下：
Figure DEST_PATH_IMAGE033
式中，为第j个数据输入第二神经网络后，网络输出的撕裂区预测特征值，
Figure 553DEST_PATH_IMAGE019
表示 将数据集中第j个数据输入到第二神经网络后，网络输出结果中的撕裂区域关注图，
Figure 547072DEST_PATH_IMAGE020
表 示
Figure 641936DEST_PATH_IMAGE019
的L2范数；
Figure 590301DEST_PATH_IMAGE021
为撕裂区域目标特征值，
Figure 246672DEST_PATH_IMAGE022
均为每次训练需要更新的网 络参数；公式右边整体体现的含义是N个数据输入网络后，网络输出撕裂区预测特征值与撕 裂区域目标特征值的整体偏差。
可理解的，上述的撕裂区域目标特征值的表达式如下：
Figure DEST_PATH_IMAGE035
式中，S1为第一样本集合，S2为第二样本集合，
Figure 467438DEST_PATH_IMAGE036
为从相应集合中取出的样本，j= 1，2，…，N，第一样本集合和第二样本集合中的样本总数为N个，
Figure 585567DEST_PATH_IMAGE022
均为网络参数。
Figure DEST_PATH_IMAGE037
表示
Figure 76853DEST_PATH_IMAGE036
属于
Figure 402661DEST_PATH_IMAGE038
，那么，
Figure DEST_PATH_IMAGE039
就是服从方差为
Figure 612188DEST_PATH_IMAGE040
均值为
Figure DEST_PATH_IMAGE041
的高斯分布的横坐标上 的点，
Figure 720958DEST_PATH_IMAGE042
表示
Figure 394647DEST_PATH_IMAGE036
属于
Figure DEST_PATH_IMAGE043
，那么
Figure 563460DEST_PATH_IMAGE044
就是服从方差为
Figure DEST_PATH_IMAGE045
均值为
Figure 260283DEST_PATH_IMAGE046
的高斯分布的横坐标上的 点。
上述的第一样本集合与第二样本集合，在每更新一次第二神经网络前，都需要更新一次样本集合S1、S2，确定过程如下：
（1）在均值为0方差为1的一维标准正态分布曲线的横坐标上任意选取N个数据作为样本数据，再从N个样本数据中任意选取其中的20%个数据作为第一样本集合S1中的数据，其余样本数据作为第二样本集合S2中的数据。
将数据以20%差分为两组的目的是：实际中传送带上只有少数位置会出现撕裂，而大多数位置是，没有撕裂的，本发明假设为有撕裂的位置和没撕裂的位置的比列为2：8，因此以20%拆分采样数据。
（2）对样本集合S1和S2中的样本数据，与N个撕裂区预测特征值
Figure 251373DEST_PATH_IMAGE018
进行匹 配，匹配方法为：
获取j=1，…,N时的所有
Figure DEST_PATH_IMAGE047
构成的集合S3，所有
Figure 950208DEST_PATH_IMAGE018
构成的集合为 S4,利用KM算法使得集合S3与S4中的元素匹配，使得匹配之后所有元素对的整体差异最小， 因此，认为
Figure 119283DEST_PATH_IMAGE047
与
Figure 349407DEST_PATH_IMAGE048
就是相匹配的一对元素，用于在撕裂区域损失值B的计 算公式进行相减处理。
根据上面的公式确定好损失函数值，第二神经网络的大致训练过程为：将数据集 中所有数据输入第二神经网络中，每输入一个数据就获得一个损失函数，然后利用随机梯 度下降算法更新网络参数，通过不断的输入数据集的数据，不断的更新网络参数，直至网络 收敛。以参数
Figure 127876DEST_PATH_IMAGE022
为例，在网络训练之前给这三个参数分布随机分配一个初始值，当输 入第i个数据时，计算好损失函数值LOSS，然后获取LOSS对这三个数的梯度，然后这三个梯 度的大小分别更新参数取值。
本步骤中，采用实际热度分布图和物料堆积热度分布图作为输入，采用摩擦产热特征图和撕裂区域关注图作为输入，来训练第二神经网络，以预测出需要的撕裂区域关注图，其设计思路是：
传送带在工作过程中，传送带表面具有一定的热量分布，这些热量与物料有关（物料自身的热度，物料的灰尘，物料的摩擦等有关），而快要撕裂的位置由于输送带表层磨损，内部铁心更容易受热，使得撕裂位置（即快要撕裂的位置）会对传送带表面的热度分布造成影响，而这种影响不能直观的从热量分布上获得。
因此，假设传送带某个位置的实际热度分布为f；该位置物料携带的热量为a；物料的摩擦产热与灰尘散热的影响下所带来的热量分布为b，简称为摩擦产热特征图；该位置由于撕裂对温度分布造成的影响为c，简称为撕裂区域关注图；其他干扰因素或者说误差为e，那么f=F(a,b,c,e)，即f与a，b，c相关，关联关系为F(a,b,c,e)，这个关系是未知的，例如F(a,b,c,e)=a+b(1+c)+e，或者F(a,b,c,e)=(a+b+e)(1+c)等等，而且b，c，e也是未知的，但是f能够通过采集实际热成像图来反应。
正如上述所述，对于模型f=F(a,b,c,e)，已知的是实际热度分布图f，以及物料堆积热度分布图a，现需要获得b，c，e，那么令（b，c，e）= G(a,f)，因而本发明利用DNN网络，来确定a，f和b，c之间的关系，e为误差项，可忽略不计。
为了尽量减少误差，需要采取一定措施，例如，如图2所示，在下方的传送带上安装除尘和冷却装置给传送带降温除尘，例如吹凉风；然后尽量保证传送带输送的物料不超过传送带的额定承载量，及时修复输送机的异常故障等。
另外，为了减少误差应该尽可能采集多个a和f。并且调整相机图像采集的时间间隔，使得相机采集图像时相邻两帧图像的视野的重合面积不能超过视野面积的（0.1+p）倍，p服从于(-0.1,0.1)的均匀分布。这样的目的是，避免相邻时间相邻位置采集的图像有太多重合，保证相邻时间相邻位置采集的图像可以存在较大的不相关性。
本步骤中，撕裂区域损失值B的设计思路是：
本发明期望从没有撕裂的位置采集到的数据中获得的
Figure 759846DEST_PATH_IMAGE019
的L2范数趋近于0，这些 L2范数的分布是服从于均值为0方差为
Figure 822525DEST_PATH_IMAGE045
的高斯分布；而从有撕裂的位置采集到的数据中 获得的
Figure 54792DEST_PATH_IMAGE019
的L2范数具有较大的值，这些L2范数服从于一个均值为
Figure 387684DEST_PATH_IMAGE041
方差为
Figure 624893DEST_PATH_IMAGE040
的高斯分布。 因此所有的
Figure 650617DEST_PATH_IMAGE019
的L2范数均应该服从于这两个高斯分布的融合分布，假设这两个分布的融 合结果为曲线P，那么需要从曲线P的横坐标上采样N个样本点，而为了方便计算，直接在均 值为0方差为1的一维标准正态分布上随机采样一个样本数据采集N个样本数据，再进行上 述撕裂区域目标特征值的表达式处理，就相当于在融合分布曲线P上采样N个样本点。
上面重构损失值C的设计思路是：由于不知道
Figure DEST_PATH_IMAGE049
之间的函数关系，因 此采用DNN网络来表述这种关系，但是可以确定的是
Figure 776705DEST_PATH_IMAGE006
与
Figure 132863DEST_PATH_IMAGE050
是正相关关系，因此DNN 网络需要重构出这种正相关关系，因此，本发明直接利用
Figure DEST_PATH_IMAGE051
与
Figure 926375DEST_PATH_IMAGE006
的差值来表述这 种正相关关系，使得
Figure 123001DEST_PATH_IMAGE052
尽可能稀疏，即C尽可能小。
步骤S4，对所述传送带位置区域Li的撕裂区域关注图进行处理，提取撕裂区域关注图中的连通域，确定连通域内像素点的灰度均值，当所述灰度均值大于设定阈值时，进行传送带位置区域Li的撕裂预警。
可理解的，通过两个相机获得a、f这两个图像，将这两个图像连结构成一个两通道图像，输入撕裂异常检测网络（第二神经网络）中，获得输出结果，从输出结果中获得撕裂区域关注图c，果如c的L2范数趋近于0（通过判断c的L2范数是否小于预设阈值来判断是否趋于0），如果趋近于0说明实时采集的图像对应的传送带位置没有出现撕裂，否则说明实时采集的图像对应的传送带位置内部可能出现撕裂，此时需要获取撕裂的范围和严重程度。
获取撕裂范围和严重程度的方法为：对图像c进行伽马矫正，增加图像灰度值的对比度，使得撕裂区域变得明显，然后进行阈值处理，将灰度值小于预设阈值（0.4）的像素设置为0，其他像素设置为1。接着先对图像进行闭运算，用于填充连通域，连通域中去掉孤立的黑点，（灰度值为0的噪声点）；再对图像进行开运算，去除鼓励噪点，即去除孤立的灰度值为1的噪声，至此获得撕裂区域的连通域，获取连通域内的所有像素点的灰度均值，该值称为撕裂的程度，用于表示撕裂是否严重，当撕裂程度大于阈值时，进行预警，防止撕裂进一步扩大而导致传送带表面出现明显裂口，影响物料的运输。
本发明根据传送带表面的热量分布对撕裂进行预警，在分析传送带表面的热量分布时充分考虑到物料堆积的影响、物料摩擦的影响以及撕裂区域的对传送带表面热量分布的影响，通过不同时间和位置的热量分布作为输入和输入，来构建撕裂异常检测网络（第二神经网络），进而能够最终确定撕裂区域和异常程度，保证了准确性，减少预警误报率。
实施例2：
本实施例提出一种输送机传送带撕裂预警装置，包括：
第一数据采集模块（第一相机），用于安装在输送机的传送带下侧，拍摄得到传送带在正常运行过程中某一传送带位置区域Li的实际热度分布图；
第二数据采集模块（第二相机），用于安装在所述传送带上方，拍摄得到传送带正常运行过程中某一传送带位置区域Li的物料表面热成像图；
第一神经网络预测模块，用于将所述的物料热成像图输入至训练好的第一神经网络，输出所述传送带位置区域Li的物料堆积热度分布图；
第二神经网络预测模块，用于将所述传送带位置区域Li的实际热度分布图和物料堆积热度分布图作为输入图像，输入至训练好的第二神经网络，输出传送带位置区域Li的摩擦产热特征图和撕裂区域关注图；
撕裂预警模块，用于对所述传送带位置区域Li的撕裂区域关注图进行处理，提取撕裂区域关注图中的连通域，确定连通域内像素点的灰度均值，当所述灰度均值大于设定阈值时，进行传送带位置区域Li的撕裂预警。
本实施例中的输送机传送带撕裂预警装置实现的具体过程对应的是实施例1中输送机传送带撕裂预警方法，具体实现过程参考实施例1的相关记载，本实施例不再赘述。
需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.输送机传送带撕裂预警方法，其特征在于，包括以下步骤：
步骤S1，利用安装在输送机的传送带下侧的第一相机，拍摄得到传送带在正常运行过程中某一传送带位置区域Li的实际热度分布图；
步骤S2，利用安装在传送带上方的第二相机，拍摄得到传送带正常运行过程中某一传送带位置区域Li的物料表面热成像图，将所述的物料热成像图输入至训练好的第一神经网络，输出所述传送带位置区域Li的物料堆积热度分布图；
步骤S3，将所述传送带位置区域Li的实际热度分布图和物料堆积热度分布图作为输入图像，输入至训练好的第二神经网络，输出传送带位置区域Li的摩擦产热特征图和撕裂区域关注图；
步骤S4，对所述传送带位置区域Li的撕裂区域关注图进行处理，提取撕裂区域关注图中的连通域，确定连通域内像素点的灰度均值，当所述灰度均值大于设定阈值时，进行传送带位置区域Li的撕裂预警。
2.根据权利要求1所述的输送机传送带撕裂预警方法，其特征在于，步骤S3中，第二神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的实际热度分布图和物料堆积热度分布图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的摩擦产热特征图和撕裂区域关注图。
3.根据权利要求2所述的输送机传送带撕裂预警方法，其特征在于，步骤S3中，第二神经网络的训练过程如下：
收集N个训练样本，每个训练样本包括传送带某个位置区域的实际热度分布图和物料堆积热度分布图，因此，N个训练样本对应N个位置区域的实际热度分布图和物料堆积热度分布图；
设置第二神经网络的损失函数如下：
LOSS=A+B+C
其中，LOSS为第二神经网络的损失函数值，A为根据网络输出的摩擦产热特征图计算得到的摩擦产热损失值，B为根据网络输出的撕裂区域关注图计算得到的撕裂区域损失值，C为重构损失值，
Figure DEST_PATH_IMAGE002
，其中，
Figure DEST_PATH_IMAGE004
为设定权重，
Figure DEST_PATH_IMAGE006
为网络输出传送带第i个位置区域的摩擦产热特征图，
Figure DEST_PATH_IMAGE008
为网络输出传送带第i个位置区域的撕裂区域关注图，
Figure DEST_PATH_IMAGE010
为训练样本中第i个位置区域的物料堆积热度分布图，
Figure DEST_PATH_IMAGE012
为训练样本中第i个位置区域的实际热度分布图，
Figure DEST_PATH_IMAGE014
表示传送带第i个位置区域的摩擦产热特征图、撕裂区域关注图、物料堆积热度分布图在整体上与实际热度分布图之间的欧式距离；
对第二神经网络进行反复训练，利用随机梯度下降算法更新第二神经网络的网络参数。
4.根据权利要求3所述的输送机传送带撕裂预警方法，其特征在于，所述第二神经网络的损失函数中，摩擦产热损失值A的计算公式如下：
Figure DEST_PATH_IMAGE016
式中，
Figure DEST_PATH_IMAGE018
表示将数据集中第j个数据输入到DNN网络之后，第二神经网络输出的结果中的摩擦产热特征图，j=1,2,…,i,…,N，
Figure 454250DEST_PATH_IMAGE006
表示将数据集中第i个数据输入到第二神经网络之后，网络输出的结果中的摩擦产热特征图；
Figure DEST_PATH_IMAGE020
为N个摩擦产热特征图
Figure 20623DEST_PATH_IMAGE018
的均值图像，即
Figure DEST_PATH_IMAGE022
，表示N个摩擦产热特征图
Figure 871904DEST_PATH_IMAGE018
上对应位置的灰度值求均值计算；
Figure DEST_PATH_IMAGE024
表示摩擦产热特征图
Figure 673987DEST_PATH_IMAGE006
与均值图像
Figure DEST_PATH_IMAGE026
之间的欧式距离，
Figure DEST_PATH_IMAGE028
表示所有
Figure 463082DEST_PATH_IMAGE018
的协方差矩阵的L2范数。
5.根据权利要求3所述的输送机传送带撕裂预警方法，其特征在于，所述第二神经网络的损失函数中，撕裂区域损失值B的计算公式如下：
Figure DEST_PATH_IMAGE030
式中，
Figure DEST_PATH_IMAGE032
为第j个数据输入第二神经网络后，网络输出的撕裂区预测特征值，
Figure DEST_PATH_IMAGE034
表示将数据集中第j个数据输入到第二神经网络后，网络输出结果中的撕裂区域关注图，
Figure DEST_PATH_IMAGE036
表示
Figure 347993DEST_PATH_IMAGE034
的L2范数；
Figure DEST_PATH_IMAGE038
为撕裂区域目标特征值，
Figure DEST_PATH_IMAGE040
均为每次训练需要更新的网络参数。
6.根据权利要求1所述的输送机传送带撕裂预警方法，其特征在于，步骤S2中，第一神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的物料表面热成像图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的物料堆积热度分布图。
7.根据权利要求6所述的输送机传送带撕裂预警方法，其特征在于，第一神经网络的训练样本包括：采集得到的传送带各个位置区域的物料表面热成像图，以及对应的标签，对应的标签即为传送带各个位置区域的物料堆积热度分布图。
8.输送机传送带撕裂预警装置，其特征在于，包括：
第一数据采集模块，用于安装在输送机的传送带下侧，拍摄得到传送带在正常运行过程中某一传送带位置区域Li的实际热度分布图；
第二数据采集模块，用于安装在传送带上方，拍摄得到传送带正常运行过程中某一传送带位置区域Li的物料表面热成像图；
第一神经网络预测模块，用于将所述的物料热成像图输入至训练好的第一神经网络，输出所述传送带位置区域Li的物料堆积热度分布图；
第二神经网络预测模块，用于将所述传送带位置区域Li的实际热度分布图和物料堆积热度分布图作为输入图像，输入至训练好的第二神经网络，输出传送带位置区域Li的摩擦产热特征图和撕裂区域关注图；
撕裂预警模块，用于对所述传送带位置区域Li的撕裂区域关注图进行处理，提取撕裂区域关注图中的连通域，确定连通域内像素点的灰度均值，当所述灰度均值大于设定阈值时，进行传送带位置区域Li的撕裂预警。
9.根据权利要求8所述的输送机传送带撕裂预警装置，其特征在于，第二神经网络为DNN网络，包括编码器和解码器，编码器用于输入传送带各个位置区域的实际热度分布图和物料堆积热度分布图，输出特征图；解码器用于输入特征图，输出传送带各个位置区域的摩擦产热特征图和撕裂区域关注图。
10.根据权利要求9所述的输送机传送带撕裂预警装置，其特征在于，第二神经网络的训练过程如下：
收集N个训练样本，每个训练样本包括传送带某个位置区域的实际热度分布图和物料堆积热度分布图，因此，N个训练样本对应N个位置区域的实际热度分布图和物料堆积热度分布图；
设置第二神经网络的损失函数如下：
LOSS=A+B+C
其中，LOSS为第二神经网络的损失函数值，A为根据网络输出的摩擦产热特征图计算得到的摩擦产热损失值，B为根据网络输出的撕裂区域关注图计算得到的撕裂区域损失值，C为重构损失值，
Figure 273355DEST_PATH_IMAGE002
，其中，
Figure 811783DEST_PATH_IMAGE004
为设定权重，
Figure 697962DEST_PATH_IMAGE006
为网络输出传送带第i个位置区域的摩擦产热特征图，
Figure 229306DEST_PATH_IMAGE008
为网络输出传送带第i个位置区域的撕裂区域关注图，
Figure 399388DEST_PATH_IMAGE010
为训练样本中第i个位置区域的物料堆积热度分布图，
Figure 593871DEST_PATH_IMAGE012
为训练样本中第i个位置区域的实际热度分布图，
Figure 482193DEST_PATH_IMAGE014
表示传送带第i个位置区域的摩擦产热特征图、撕裂区域关注图、物料堆积热度分布图整体上与实际热度分布图之间的欧式距离；
对第二神经网络进行反复训练，利用随机梯度下降算法更新网络参数。
CN202211044206.5A 2022-08-30 2022-08-30 输送机传送带撕裂预警方法与装置 Active CN115131738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211044206.5A CN115131738B (zh) 2022-08-30 2022-08-30 输送机传送带撕裂预警方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211044206.5A CN115131738B (zh) 2022-08-30 2022-08-30 输送机传送带撕裂预警方法与装置

Publications (2)

Publication Number Publication Date
CN115131738A true CN115131738A (zh) 2022-09-30
CN115131738B CN115131738B (zh) 2022-11-18

Family

ID=83386993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211044206.5A Active CN115131738B (zh) 2022-08-30 2022-08-30 输送机传送带撕裂预警方法与装置

Country Status (1)

Country Link
CN (1) CN115131738B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237359A (zh) * 2023-11-15 2023-12-15 天津市恒一机电科技有限公司 传送带撕裂检测方法、装置、存储介质和电子设备
CN117671607A (zh) * 2024-02-01 2024-03-08 宝鸡杭叉工程机械有限责任公司 基于计算机视觉的带式输送机异常实时检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109850518A (zh) * 2018-11-12 2019-06-07 太原理工大学 一种基于红外图像的实时矿用胶带预警撕裂检测方法
CN111517092A (zh) * 2020-06-03 2020-08-11 太原理工大学 一种传动带撕裂检测方法
CN113724258A (zh) * 2021-11-02 2021-11-30 山东中都机器有限公司 一种基于图像处理的传送带撕裂检测方法及系统
CN114926733A (zh) * 2022-05-13 2022-08-19 太原理工大学 一种改进区域卷积神经网络的传送带撕裂检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109850518A (zh) * 2018-11-12 2019-06-07 太原理工大学 一种基于红外图像的实时矿用胶带预警撕裂检测方法
CN111517092A (zh) * 2020-06-03 2020-08-11 太原理工大学 一种传动带撕裂检测方法
CN113724258A (zh) * 2021-11-02 2021-11-30 山东中都机器有限公司 一种基于图像处理的传送带撕裂检测方法及系统
CN114926733A (zh) * 2022-05-13 2022-08-19 太原理工大学 一种改进区域卷积神经网络的传送带撕裂检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237359A (zh) * 2023-11-15 2023-12-15 天津市恒一机电科技有限公司 传送带撕裂检测方法、装置、存储介质和电子设备
CN117237359B (zh) * 2023-11-15 2024-02-20 天津市恒一机电科技有限公司 传送带撕裂检测方法、装置、存储介质和电子设备
CN117671607A (zh) * 2024-02-01 2024-03-08 宝鸡杭叉工程机械有限责任公司 基于计算机视觉的带式输送机异常实时检测方法及系统
CN117671607B (zh) * 2024-02-01 2024-04-26 宝鸡杭叉工程机械有限责任公司 基于计算机视觉的带式输送机异常实时检测方法及系统

Also Published As

Publication number Publication date
CN115131738B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN115131738B (zh) 输送机传送带撕裂预警方法与装置
CN111094956B (zh) 用神经网络对热成像图像进行处理以鉴定保温层下腐蚀(cui)
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN116625438B (zh) 燃气管网安全在线监测系统及其方法
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
Brackenbury et al. Automated defect detection for masonry arch bridges
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN114078126A (zh) 一种基于机器学习的废钢评级方法及装置
CN117173187A (zh) 一种阀门故障智能检测系统
CN112881412A (zh) 一种废钢产品中非金属异物检测方法
Katsamenis et al. A few-shot attention recurrent residual U-Net for crack segmentation
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
Lee et al. Accelerating multi-class defect detection of building façades using knowledge distillation of DCNN-based model
Prasetio et al. Design of Defect Classification on Clay Tiles using Support Vector Machine (SVM)
CN111105847B (zh) 一种基于磁信号的Cr-Ni-Fe合金蠕变损伤早期及失效临界状态的判断与预警方法
Wang et al. Visual defect detection for substation equipment based on joint inspection data of camera and robot
Trofimov Multi-structural instrument for identifying surface defects on rails
CN112508946A (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
Tennakoon et al. Visual Inspection of Storm-Water Pipe Systems using Deep Convolutional Neural Networks.
Wu et al. Optimization of unmanned aerial vehicle inspection strategy for infrastructure based on model-enabled diagnostics and prognostics
Hou et al. A new approach for the detection of concrete cracks based on adaptive morphological filtering
CN115496931B (zh) 一种工业机器人健康监测方法及系统
Fan Evaluation of Machine Learning Methods for Image Classification: A Case Study of Facility Surface Damage
Kaur et al. Taguchi based Design of Sequential Convolution Neural Network for Classification of Defective Fasteners
Moon et al. A Study on a Prognostics and Health Management (PHM) Based on Fracture Mechanics Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant