CN109230351B - 一种皮带输送机运行异常的识别方法 - Google Patents

一种皮带输送机运行异常的识别方法 Download PDF

Info

Publication number
CN109230351B
CN109230351B CN201810999494.7A CN201810999494A CN109230351B CN 109230351 B CN109230351 B CN 109230351B CN 201810999494 A CN201810999494 A CN 201810999494A CN 109230351 B CN109230351 B CN 109230351B
Authority
CN
China
Prior art keywords
belt
image
detection system
detection device
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810999494.7A
Other languages
English (en)
Other versions
CN109230351A (zh
Inventor
吴喆峰
赵存会
王延辉
郭伟
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingying Digital Technology Co Ltd
Original Assignee
Jingying Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingying Digital Technology Co Ltd filed Critical Jingying Digital Technology Co Ltd
Priority to CN201810999494.7A priority Critical patent/CN109230351B/zh
Publication of CN109230351A publication Critical patent/CN109230351A/zh
Application granted granted Critical
Publication of CN109230351B publication Critical patent/CN109230351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/04—Control devices, e.g. for safety, warning or fault-correcting detecting slip between driving element and load-carrier, e.g. for interrupting the drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged

Landscapes

  • Image Analysis (AREA)
  • Control Of Conveyors (AREA)

Abstract

本发明公开了一种皮带输送机运行异常的识别方法，是通过设置在皮带输送机上对皮带输送机运行异常进行检测的物料堆积检测系统、皮带打滑检测系统、皮带跑偏检测系统及异物检测系统。本发明通过物料堆积检测系统、皮带打滑检测系统、皮带跑偏检测系统、异物检测系统实时检测皮带输送机的状态，在各个系统发现皮带输送机工作中的各种异常状态后，能够及时通知值班人员进行处理。本发明包括安全生产实时监控、安全事件预警、事故自动处置等技术监管手段，可以有效地对皮带机工作中的各种状态和异常情况进行监控和处置，如堆煤、打滑、跑偏、异物等，适用于煤矿、洗煤厂皮带输送机及其它皮带输送类设备的安全防护、节能降耗需求。

Description

一种皮带输送机运行异常的识别方法
技术领域
本发明属于皮带检测技术领域，具体涉及一种皮带输送机运行异常的识别方法。
背景技术
皮带输送机是煤矿生产运输的重要工具。现有预防皮带输送机事故主要通过定制作业规范，以制度监管为主。由于井下作业环境复杂、工作强度大、人为侥幸心理、技术控管手段缺乏等因素的存在，导致皮带输送机工作中，事故频发，给生产及人身安全带来极大损失。为此，深入剖析皮带事故发生的原因，科学采取生产管理和健全技术管理措施，主动控制皮带机事故发生，势在必行。
发明内容
本发明解决了现有技术的不足，提供了一种对皮带机工作中的各种状态和异常情况进行监控和处置的皮带输送机运行异常的视频识别方法。
本发明为了实现上述目的所采用的技术方案是：
一种皮带输送机运行异常的识别方法，是通过设置在皮带输送机上对皮带输送机运行异常进行检测的物料堆积检测系统、皮带打滑检测系统、皮带跑偏检测系统及异物检测系统；
所述物料堆积检测系统包括在每个皮带交叉处设有第一红外线传感器、第一图像传感器及物料堆积检测装置，所述第一图像传感器及第一红外线传感器分别与物料堆积检测装置连接，所述第一红外传感器发射的红外线与皮带运输方向一致，所述物料堆积检测装置实时追踪红外线的状态，当物料继续遮挡红外线时，启动第一图像传感器对物料堆积情况进行确认，产生报警并记录现场图像；
所述皮带打滑检测系统包括通过获取物体运动方向及速度的光学传感器、用于对异常情况进行现场识别与记录的皮带打滑检测的第二图像传感器和用于产生告警及异常处置的皮带打滑检测装置，所述光学传感器及第二图像传感器分别与皮带打滑检测装置连接，所述光学传感器同时测量物体的两个方向的速度、长度并传递给皮带打滑检测装置，皮带打滑检测装置在得到物体的速度及长度后，计算出皮带的运行速度，再与电机的运转速度进行比较，在皮带的运行速度小于电机的运转速度时，则判断出皮带有打滑、失速的现象并报警，同时启动第二图像传感器对皮带打滑及失速的现象进行确认并记录；
所述皮带跑偏检测系统是在皮带边缘和滚轴端点间投射两条红外线，在皮带运行过程中，皮带跑偏检测系统实时地检测，当皮带边缘触及到红外线时，便认定为皮带跑偏，系统自动记录并发布跑偏报警信息；
所述异物检测系统包括在皮带四周安全区域及危险区域处分别设有用于检测异物的第二红外线传感器、用于拍摄异物遮挡红外线的第三图像传感器、报警器及异物检测装置，所述第二红外线传感器、第三图像传感器及报警器分别与异物检测装置通过控制信号连接，所述异物检测装置在检测到异物遮挡红外线后,异物检测装置记录被遮挡的时间并报警，同时通过图像识别模块提取第三图像传感器内的异物遮挡视频后自动识别及记录违章行为，并对违章行为进行继续追踪，发出警示，第三图像传感器还实时地对危险区域内的对象进行检测，当检测到有异物时，将与皮带输送机的电源联动，并给相关值班人员发信息通知。
进一步地，所述物料堆积检测装置包括第一红外线状态监测端、第一图像传感器控制端、第一图像存储器；所述皮带打滑检测装置包括光学传感器控制端、第二图像传感器控制端、皮带控制端及第二图像存储器；所述皮带跑偏检测装置包括第二红外线状态监测端、第三图像存储器；所述异物检测装置包括第三红外线状态监测端、图像识别模块、报警器控制端及第四图像存储器。
进一步地，所述获取物体运动方向及速度是通过光学传感器的LED光发射口对着物体发射出激光，这些光在被测物体表面反射后通过透镜聚焦，再通过皮带打滑检测图像识别模块形成图像；接收到信号后传给信号处理器DSP，根据匹配算法计算出它的速度。
更进一步地，所述匹配算法包括以下步骤：设前后两帧图像分别为
Figure 633221DEST_PATH_IMAGE001
和
Figure 242057DEST_PATH_IMAGE002
，数据为32×32阵列，从第二帧图像
Figure 149970DEST_PATH_IMAGE002
的中心提取一个3×3的子集
Figure 724433DEST_PATH_IMAGE003
，将其叠放在第一帧图像
Figure 692389DEST_PATH_IMAGE001
，则在
Figure 788521DEST_PATH_IMAGE001
上有一个与之对应的子集
Figure 562442DEST_PATH_IMAGE004
，把子集
Figure 427630DEST_PATH_IMAGE003
在
Figure 628804DEST_PATH_IMAGE001
从左到右，从上到下逐元平移；在每一个平移后的新位置上比较T和
Figure 212232DEST_PATH_IMAGE001
上对应的子集
Figure 789844DEST_PATH_IMAGE004
的像素差，得到它们在不同位置的度量；搜索出相似程度最高的点，也就是像素差为零的点，即为最佳匹配点，该最佳匹配点被认为是第二帧图像
Figure 509538DEST_PATH_IMAGE002
的子集
Figure 383079DEST_PATH_IMAGE003
在第一帧图像
Figure 453803DEST_PATH_IMAGE001
中对应的原点，以该点最佳匹配点在第一帧
Figure 569526DEST_PATH_IMAGE001
的坐标减去该点在第二帧
Figure 409306DEST_PATH_IMAGE002
的坐标，差值即为两帧图像的位移，图像匹配是否成功，匹配速度是否够快，决定了测量的速度和精度，它取决于相似度量计算方法及序贯相似性检测匹配的方法。
优选的，所述相似度量计算方法及序贯相似性检测匹配的方法包括以下步骤：子集
Figure 952283DEST_PATH_IMAGE003
覆盖下的那块图像称为
Figure 510304DEST_PATH_IMAGE001
的子图
Figure 164139DEST_PATH_IMAGE005
，参考点
Figure 858425DEST_PATH_IMAGE006
为子图左上角的像素点在
Figure 339347DEST_PATH_IMAGE001
图像上的坐标，其取值范围为
Figure 119085DEST_PATH_IMAGE007
是
Figure 514294DEST_PATH_IMAGE005
在(i,j)处的灰度值，
Figure 390983DEST_PATH_IMAGE008
是子集
Figure 213446DEST_PATH_IMAGE003
在
Figure 542796DEST_PATH_IMAGE009
处的灰度值，
Figure 741696DEST_PATH_IMAGE010
和
Figure 472892DEST_PATH_IMAGE011
的取值范围为
Figure 466255DEST_PATH_IMAGE012
，公式(1)给出相似度量计算方法：
Figure 778507DEST_PATH_IMAGE013
公式(1)计算
Figure 515519DEST_PATH_IMAGE003
和
Figure 101221DEST_PATH_IMAGE005
的像素差，即
Figure 531065DEST_PATH_IMAGE006
处的相似度
Figure 835008DEST_PATH_IMAGE014
，
Figure 110131DEST_PATH_IMAGE015
值越小，相似程度越高，当
Figure 815919DEST_PATH_IMAGE015
为零时，图像完全匹配；求解最佳匹配点的问题可归结为搜索
Figure 151085DEST_PATH_IMAGE015
最小值的问题；从公式(1)求和的形式可知，可以在求和的过程中边计算与当前记录的最小值
Figure 443789DEST_PATH_IMAGE016
进行比较，只要当前计算的和超过了
Figure 522603DEST_PATH_IMAGE016
，就可以停止计算转入一下位置的搜索，这就是序贯相似性检测匹配方法，具体如下：设初始阀值
Figure 82898DEST_PATH_IMAGE016
为一个较大的数
1） 以
Figure 854545DEST_PATH_IMAGE001
上的扫描点
Figure 867500DEST_PATH_IMAGE017
为左上角获得与子集
Figure 750005DEST_PATH_IMAGE003
同样大小的子图
Figure 164806DEST_PATH_IMAGE005
；
2） 根据式(1)计算该点的相似度
Figure 107354DEST_PATH_IMAGE015
，边计算边比较
Figure 109071DEST_PATH_IMAGE015
和
Figure 529688DEST_PATH_IMAGE016
的大小；若在求和过程中，
Figure 64574DEST_PATH_IMAGE017
已经大于或等于
Figure 178024DEST_PATH_IMAGE016
，则不必要完成余下的计算，而是转向下一个扫描点，执行步骤1)，否则继续计算；
3） 若计算完成后，
Figure 103254DEST_PATH_IMAGE015
小于
Figure 389879DEST_PATH_IMAGE016
则
Figure 451376DEST_PATH_IMAGE018
，并记录该位置
Figure 798044DEST_PATH_IMAGE017
转向步骤1)；
在图像匹配过程中，除了匹配点以外，其他点所做的都是无用功，采用序贯相似性检测匹配策略进行搜索，不必在每个搜索位置上都做3×3次运算，大大缩短了计算时间，提高了匹配速度；搜索完成后，可得到最佳匹配点的坐标
Figure 210571DEST_PATH_IMAGE019
，由于子集
Figure 802351DEST_PATH_IMAGE003
提取于
Figure 983934DEST_PATH_IMAGE002
的中心，其左上角的坐标已知，将上述两个坐标比较，即可得到被测物料的运动方向及
Figure 235924DEST_PATH_IMAGE020
方向和
Figure 135747DEST_PATH_IMAGE021
方向位移。
进一步地，所述异物检测系统的图像识别模块包括异物检测模型，所述异物检测模型由基础网络及多分辨率检测网络组合而成。
随着AI技术的成熟和不断地普及，经过深研皮带输送机的工作原理以及对历史皮带运输事故的分析，在安全生产中提出一系列AI技术解决方案。本发明通过物料堆积检测系统、皮带打滑检测系统、皮带跑偏检测系统、异物检测系统实时检测皮带输送机的状态，在各个系统发现皮带输送机工作中的各种异常状态后，能够及时通知值班人员进行处理。本发明包括安全生产实时监控、安全事件预警、事故自动处置等技术监管手段。本发明可以有效地对皮带机工作中的各种状态和异常情况进行监控和处置，如堆煤、打滑、跑偏、异物等。本发明适用于煤矿、洗煤厂皮带输送机及其它皮带输送类设备的安全防护、节能降耗需求。
附图说明
现在参考附图对本发明作进一步描述，其中：
图1为物料堆积检测系统警示线俯视示意图；
图2为物料堆积检测系统流程图；
图3为皮带时速检测模型图；
图4为图像匹配算法示意图；
图5为皮带跑偏检测警示线俯视示意图；
图6为异物检测警示线俯视示意图；
附图标记说明：1、皮带，2、红外线，3、图像传感器，4、安全区域，5、危险区域，6、光学传感器，7、物料。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至6所示，一种皮带输送机运行异常的识别方法，是通过设置在皮带输送机上对皮带输送机运行异常进行检测的物料堆积检测系统、皮带打滑检测系统、皮带跑偏检测系统及异物检测系统；所述物料堆积检测系统包括在每个皮带1交叉处设有红外线传感器2、图像传感器（索尼IMX232）3及物料堆积检测装置，所述图像传感器（索尼IMX232）3及红外线传感器分别与物料堆积检测装置连接，红外线传感器2发射的红外线与皮带运输方向一致，所述物料堆积检测装置实时追踪红外线的状态，当物料继续遮挡红外线时，启动图像传感器（索尼IMX232）3对物料堆积情况进行确认，产生报警并记录现场图像；所述皮带打滑检测系统包括通过获取物体运动方向及速度的光学传感器（sw-lds50a/sw-lds70a）6、用于对异常情况进行现场识别与记录的皮带打滑检测的图像传感器（索尼IMX232）3和用于产生告警及异常处置的皮带打滑检测装置，所述光学传感器6及图像传感器3分别与皮带打滑检测装置连接，所述光学传感器6同时测量物体的两个方向的速度、长度并传递给皮带打滑检测装置，皮带打滑检测装置在得到物体的速度及长度后，计算出皮带的运行速度，再与电机的运转速度进行比较，在皮带的运行速度小于电机的运转速度时，则判断出皮带有打滑、失速的现象并报警，同时启动图像传感器（索尼IMX232）3对皮带打滑及失速的现象进行确认并记录；所述皮带跑偏检测系统是在皮带边缘和滚轴端点间投射两条红外线，在皮带运行过程中，皮带跑偏检测系统实时地检测，当皮带边缘触及到红外线时，便认定为皮带跑偏，系统自动记录并发布跑偏报警信息；所述异物检测系统包括在皮带的四周安全区域4及危险区域5处分别设有用于检测异物的红外线传感器2、用于拍摄异物遮挡红外线的图像传感器（索尼IMX232）3、报警器及异物检测装置，所述红外线2、图像传感器（索尼IMX232）3及报警器分别与异物检测装置通过控制信号连接，所述异物检测装置在检测到异物遮挡红外线后,异物检测装置记录被遮挡的时间并报警，同时通过图像识别模块提取图像传感器（索尼IMX232）3内的异物遮挡视频后自动识别及记录违章行为，并对违章行为进行继续追踪，发出警示，图像传感器（索尼IMX232）3还实时地对危险区域内的对象进行检测，当检测到有异物时，将与皮带输送机的电源联动，并给相关值班人员发信息通知。
进一步地，所述物料堆积检测装置包括红外线状态监测端、图像传感器控制端、图像存储器；所述皮带打滑检测装置包括光学传感器控制端、图像传感器控制端、皮带控制端及图像存储器；所述皮带跑偏检测装置包括红外线状态监测端、图像存储器；所述异物检测装置包括红外线状态监测端、图像识别模块、报警器控制端及图像存储器。
进一步地，所述获取物体运动方向及速度是通过光学传感器（sw-lds50a/sw-lds70a）6的LED光发射口对着物体发射出激光，这些光在被测物体表面反射后通过透镜聚焦，再通过皮带打滑检测图像识别模块形成图像；接收到信号后传给信号处理器DSP，根据匹配算法计算出它的速度。
更进一步地，所述匹配算法包括以下步骤：设前后两帧图像分别为
Figure 764174DEST_PATH_IMAGE001
和
Figure 65842DEST_PATH_IMAGE002
，数据为32×32阵列，从第二帧图像
Figure 488733DEST_PATH_IMAGE002
的中心提取一个3×3的子集
Figure 875852DEST_PATH_IMAGE003
，将其叠放在第一帧图像
Figure 827014DEST_PATH_IMAGE001
，则在
Figure 717609DEST_PATH_IMAGE001
上有一个与之对应的子集
Figure 576981DEST_PATH_IMAGE004
，把子集
Figure 185817DEST_PATH_IMAGE003
在
Figure 421626DEST_PATH_IMAGE001
从左到右，从上到下逐元平移；在每一个平移后的新位置上比较T和
Figure 432307DEST_PATH_IMAGE001
上对应的子集
Figure 462580DEST_PATH_IMAGE004
的像素差，得到它们在不同位置的度量；搜索出相似程度最高的点，也就是像素差为零的点，即为最佳匹配点，该最佳匹配点被认为是第二帧图像
Figure 558712DEST_PATH_IMAGE002
的子集
Figure 834098DEST_PATH_IMAGE003
在第一帧图像
Figure 699286DEST_PATH_IMAGE001
中对应的原点，以该点最佳匹配点在第一帧
Figure 900460DEST_PATH_IMAGE001
的坐标减去该点在第二帧
Figure 483888DEST_PATH_IMAGE002
的坐标，差值即为两帧图像的位移，图像匹配是否成功，匹配速度是否够快，决定了测量的速度和精度，它取决于相似度量计算方法及序贯相似性检测匹配的方法。
优选的，所述相似度量计算方法及序贯相似性检测匹配的方法包括以下步骤：子集
Figure 733604DEST_PATH_IMAGE003
覆盖下的那块图像称为
Figure 781194DEST_PATH_IMAGE001
的子图
Figure 90953DEST_PATH_IMAGE005
，参考点
Figure 223994DEST_PATH_IMAGE006
为子图左上角的像素点在
Figure 277401DEST_PATH_IMAGE001
图像上的坐标，其取值范围为
Figure 680963DEST_PATH_IMAGE007
是
Figure 161622DEST_PATH_IMAGE005
在(i,j)处的灰度值，
Figure 516380DEST_PATH_IMAGE008
是子集
Figure 373478DEST_PATH_IMAGE003
在
Figure 130081DEST_PATH_IMAGE009
处的灰度值，
Figure 781643DEST_PATH_IMAGE010
和
Figure 889276DEST_PATH_IMAGE011
的取值范围为
Figure 284485DEST_PATH_IMAGE012
，公式(1)给出相似度量计算方法：
Figure 397060DEST_PATH_IMAGE022
公式(1)计算
Figure 485102DEST_PATH_IMAGE003
和
Figure 814452DEST_PATH_IMAGE005
的像素差，即
Figure 13352DEST_PATH_IMAGE006
处的相似度
Figure 478968DEST_PATH_IMAGE014
，
Figure 737911DEST_PATH_IMAGE015
值越小，相似程度越高，当
Figure 554558DEST_PATH_IMAGE015
为零时，图像完全匹配；求解最佳匹配点的问题可归结为搜索
Figure 291569DEST_PATH_IMAGE015
最小值的问题；从公式(1)求和的形式可知，可以在求和的过程中边计算与当前记录的最小值
Figure 372877DEST_PATH_IMAGE016
进行比较，只要当前计算的和超过了
Figure 802721DEST_PATH_IMAGE016
，就可以停止计算转入一下位置的搜索，这就是序贯相似性检测匹配方法，具体如下：设初始阀值
Figure 841085DEST_PATH_IMAGE016
为一个较大的数
1） 以
Figure 381787DEST_PATH_IMAGE001
上的扫描点
Figure 87575DEST_PATH_IMAGE017
为左上角获得与子集
Figure 422742DEST_PATH_IMAGE003
同样大小的子图
Figure 213980DEST_PATH_IMAGE005
；
2） 根据式(1)计算该点的相似度
Figure 292794DEST_PATH_IMAGE015
，边计算边比较
Figure 354554DEST_PATH_IMAGE015
和
Figure 860621DEST_PATH_IMAGE016
的大小；若在求和过程中，
Figure 139156DEST_PATH_IMAGE017
已经大于或等于
Figure 21661DEST_PATH_IMAGE016
，则不必要完成余下的计算，而是转向下一个扫描点，执行步骤1)，否则继续计算；
3） 若计算完成后，
Figure 374145DEST_PATH_IMAGE015
小于
Figure 379010DEST_PATH_IMAGE016
则
Figure 816945DEST_PATH_IMAGE018
，并记录该位置
Figure 299879DEST_PATH_IMAGE017
转向步骤1)；
在图像匹配过程中，除了匹配点以外，其他点所做的都是无用功，采用序贯相似性检测匹配策略进行搜索，不必在每个搜索位置上都做3×3次运算，大大缩短了计算时间，提高了匹配速度；搜索完成后，可得到最佳匹配点的坐标
Figure 772448DEST_PATH_IMAGE019
，由于子集
Figure 620319DEST_PATH_IMAGE003
提取于
Figure 109331DEST_PATH_IMAGE002
的中心，其左上角的坐标已知，将上述两个坐标比较，即可得到被测物料的运动方向及
Figure 333639DEST_PATH_IMAGE020
方向和
Figure 660715DEST_PATH_IMAGE021
方向位移。
进一步地，所述异物检测系统的图像识别模块包括异物检测模型，所述异物检测模型由基础网络及多分辨率检测网络组合而成。
优选的，所述基础网络是VGG-16，网络输出19×19的特征，设有6个多分辨率检测层，为获得更高的分辨率，将VGG-16conv4_3也作为多分辨率检测层，各层的大小分别为:38×38×512,19×19×1024,10×10×512,5×5×256,3×3×256,1×1×256，多分辨率层由不同大小的卷积层实现，且CNN网络在越深的层，特征图feature map的尺寸会越来越小，在训练时，输入给分类器的数据包括第𝑛个检测层的特征映射、边界框ground-truth box中对象的类别，输出为对象属于某个类别的概率，输入给检测器的数据包括第𝑛个检测层的特征映射、边界框ground-truth box和先验框priori box的位置坐标，输出priori box与ground-truth的偏移量误差，因每个priori box和ground-truth box的交并比IoU相差都非常多，通过两种方法判定一个先验框为一个正样本：1)与ground-truth边界框intersection-over-union(IOU)重叠最高的先验框，或者2)一个先验框与任意一个ground-truth box的IOU大于0.7，一个ground-truth box可以作为多个先验的标签；如果一个非正样本与所有ground-truth boxes的IOU比率都低于0.3，则将先验框视为负样本，最后丢弃对训练没有贡献的，既不是正样本，又不是负样本的先验框，模型的训练方法是多任务最小化目标函数，但扩展到可以识别多个对象的类别，整个目标损失函数是检测损失(reg)和分类损失(cls)的加权和:
Figure 7383DEST_PATH_IMAGE023
Figure 419910DEST_PATH_IMAGE025
Figure 182329DEST_PATH_IMAGE027
The confidence loss is the softmax loss over multiple classesconfidences(c),and the weight term αis set to 1 by cross validation
Figure 426229DEST_PATH_IMAGE029
通过上面的误差函数对所有先验框生成的建议区域进行优化，但这将偏向负样本，因为它们的样本数量占据主导地位，因此在训练过程中，采用min-batch的方式，每次的方式，每次随机选择128个建议区域，并强制地将正、负样本的比例保持在1:1。如果一幅图像中的正样本少于64个，就用负样本小批量填充。我们随机初始化所有新的多分辨率检测层，使其参数服从均值是零，方差为0.1的高斯分布。基础网络层是通过预先训练ImageNet分类模型VGG-16来初始化的。
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。应当理解，以上的描述意图在于说明而非限制。例如，上述实施例(和/或其方面)可以彼此组合使用。此外，根据本发明的启示可以做出很多改型以适于具体的情形或材料而没有偏离本发明的范围。通过阅读上述描述，权利要求的范围和精神内的很多其它的实施例和改型对本领域技术人员是显而易见的。

Claims (6)

1.一种皮带输送机运行异常的识别方法，其特征在于，是通过设置在皮带输送机上对皮带输送机运行异常进行检测的物料堆积检测系统、皮带打滑检测系统、皮带跑偏检测系统及异物检测系统；
所述物料堆积检测系统包括在每个皮带交叉处设有第一红外线传感器、第一图像传感器及物料堆积检测装置，所述第一图像传感器及第一红外线传感器分别与物料堆积检测装置连接，所述第一红外传感器发射的红外线与皮带运输方向一致，所述物料堆积检测装置实时追踪红外线的状态，当物料继续遮挡红外线时，启动第一图像传感器对物料堆积情况进行确认，产生报警并记录现场图像；
所述皮带打滑检测系统包括通过获取物体运动方向及速度的光学传感器、用于对异常情况进行现场识别与记录的皮带打滑检测的第二图像传感器和用于产生告警及异常处置的皮带打滑检测装置，所述光学传感器及第二图像传感器分别与皮带打滑检测装置连接，所述光学传感器同时测量物体的两个方向的速度、长度并传递给皮带打滑检测装置，皮带打滑检测装置在得到物体的速度及长度后，计算出皮带的运行速度，再与电机的运转速度进行比较，在皮带的运行速度小于电机的运转速度时，则判断出皮带有打滑、失速的现象并报警，同时启动第二图像传感器对皮带打滑及失速的现象进行确认并记录；
所述皮带跑偏检测系统是在皮带边缘和滚轴端点间投射两条红外线，在皮带运行过程中，皮带跑偏检测系统实时地检测，当皮带边缘触及到红外线时，便认定为皮带跑偏，系统自动记录并发布跑偏报警信息；
所述异物检测系统包括在皮带四周安全区域及危险区域处分别设有用于检测异物的第二红外线传感器、用于拍摄异物遮挡红外线的第三图像传感器、报警器及异物检测装置，所述第二红外线传感器、第三图像传感器及报警器分别与异物检测装置通过控制信号连接，所述异物检测装置在检测到异物遮挡红外线后,异物检测装置记录被遮挡的时间并报警，同时通过图像识别模块提取第三图像传感器内的异物遮挡视频后自动识别及记录违章行为，并对违章行为进行继续追踪，发出警示，第三图像传感器还实时地对危险区域内的对象进行检测，当检测到有异物时，将与皮带输送机的电源联动，并给相关值班人员发信息通知。
2.根据权利要求1所述的皮带输送机运行异常的识别方法，其特征在于，所述物料堆积检测装置包括第一红外线状态监测端、第一图像传感器控制端、第一图像存储器；所述皮带打滑检测装置包括光学传感器控制端、第二图像传感器控制端、皮带控制端及第二图像存储器；所述皮带跑偏检测系统包括第二红外线状态监测端、第三图像存储器；所述异物检测装置包括第三红外线状态监测端、图像识别模块、报警器控制端及第四图像存储器。
3.根据权利要求1所述的皮带输送机运行异常的识别方法，其特征在于，所述获取物体运动方向及速度是通过光学传感器的LED光发射口对着物体发射出激光，这些光在被测物体表面反射后通过透镜聚焦，再通过皮带打滑检测图像识别模块形成图像；接收到信号后传给信号处理器DSP，根据匹配算法计算出它的速度。
4.根据权利要求3所述的皮带输送机运行异常的识别方法，其特征在于，所述匹配算法包括以下步骤：设前后两帧图像分别为
Figure DEST_PATH_IMAGE001
和
Figure 455849DEST_PATH_IMAGE002
，数据为32×32阵列，从第二帧图像
Figure 355671DEST_PATH_IMAGE002
的中心提取一个3×3的子集
Figure DEST_PATH_IMAGE003
，将其叠放在第一帧图像
Figure 610198DEST_PATH_IMAGE001
，则在
Figure 911866DEST_PATH_IMAGE001
上有一个与之对应的子集
Figure 210123DEST_PATH_IMAGE004
，把子集
Figure 597242DEST_PATH_IMAGE003
在
Figure 967044DEST_PATH_IMAGE001
从左到右，从上到下逐元平移；在每一个平移后的新位置上比较T和
Figure 44590DEST_PATH_IMAGE001
上对应的子集
Figure 841645DEST_PATH_IMAGE004
的像素差，得到它们在不同位置的度量；搜索出相似程度最高的点，也就是像素差为零的点，即为最佳匹配点，该最佳匹配点被认为是第二帧图像
Figure 450481DEST_PATH_IMAGE002
的子集
Figure 561656DEST_PATH_IMAGE003
在第一帧图像
Figure 572337DEST_PATH_IMAGE001
中对应的原点，以该点最佳匹配点在第一帧
Figure 540293DEST_PATH_IMAGE001
的坐标减去该点在第二帧
Figure 636425DEST_PATH_IMAGE002
的坐标，差值即为两帧图像的位移，图像匹配是否成功，匹配速度是否够快，决定了测量的速度和精度，它取决于相似度量计算方法及序贯相似性检测匹配的方法。
5.根据权利要求4所述的皮带输送机运行异常的识别方法，其特征在于，所述相似度量计算方法及序贯相似性检测匹配的方法包括以下步骤：子集
Figure 33515DEST_PATH_IMAGE003
覆盖下的那块图像称为
Figure 898703DEST_PATH_IMAGE001
的子图
Figure DEST_PATH_IMAGE005
，参考点
Figure 975243DEST_PATH_IMAGE006
为子图左上角的像素点在
Figure 558672DEST_PATH_IMAGE001
图像上的坐标，其取值范围为
Figure DEST_PATH_IMAGE007
是
Figure 995338DEST_PATH_IMAGE005
在(i,j)处的灰度值，
Figure 980612DEST_PATH_IMAGE008
是子集
Figure 290370DEST_PATH_IMAGE003
在
Figure DEST_PATH_IMAGE009
处的灰度值，
Figure 298777DEST_PATH_IMAGE010
和
Figure DEST_PATH_IMAGE011
的取值范围为
Figure 352184DEST_PATH_IMAGE012
，公式(1)给出相似度量计算方法：
Figure DEST_PATH_IMAGE013
公式(1)计算
Figure 880380DEST_PATH_IMAGE003
和
Figure 361040DEST_PATH_IMAGE005
的像素差，即
Figure 653481DEST_PATH_IMAGE006
处的相似度
Figure 448261DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
值越小，相似程度越高，当
Figure 142548DEST_PATH_IMAGE015
为零时，图像完全匹配；求解最佳匹配点的问题可归结为搜索
Figure 981060DEST_PATH_IMAGE015
最小值的问题；从公式(1)求和的形式可知，可以在求和的过程中边计算与当前记录的最小值
Figure 26376DEST_PATH_IMAGE016
进行比较，只要当前计算的和超过了
Figure 421585DEST_PATH_IMAGE016
，就可以停止计算转入一下位置的搜索，这就是序贯相似性检测匹配方法，具体如下：设初始阀值
Figure 970378DEST_PATH_IMAGE016
为一个较大的数
1） 以
Figure 996103DEST_PATH_IMAGE001
上的扫描点
Figure DEST_PATH_IMAGE017
为左上角获得与子集
Figure 263136DEST_PATH_IMAGE003
同样大小的子图
Figure 153382DEST_PATH_IMAGE005
；
2） 根据式(1)计算该点的相似度
Figure 556681DEST_PATH_IMAGE015
，边计算边比较
Figure 815624DEST_PATH_IMAGE015
和
Figure 569954DEST_PATH_IMAGE016
的大小；若在求和过程中，
Figure 244649DEST_PATH_IMAGE017
已经大于或等于
Figure 768034DEST_PATH_IMAGE016
，则不必要完成余下的计算，而是转向下一个扫描点，执行步骤1)，否则继续计算；
3） 若计算完成后，
Figure 197878DEST_PATH_IMAGE015
小于
Figure 173925DEST_PATH_IMAGE016
则
Figure 901578DEST_PATH_IMAGE018
，并记录该位置
Figure 545049DEST_PATH_IMAGE017
转向步骤1)；
在图像匹配过程中，除了匹配点以外，其他点所做的都是无用功，采用序贯相似性检测匹配策略进行搜索，不必在每个搜索位置上都做3×3次运算，大大缩短了计算时间，提高了匹配速度；搜索完成后，可得到最佳匹配点的坐标
Figure DEST_PATH_IMAGE019
，由于子集
Figure 880215DEST_PATH_IMAGE003
提取于
Figure 546820DEST_PATH_IMAGE002
的中心，其左上角的坐标已知，将上述两个坐标比较，即可得到被测物料的运动方向及
Figure 625634DEST_PATH_IMAGE020
方向和
Figure DEST_PATH_IMAGE021
方向位移。
6.根据权利要求1所述的皮带输送机运行异常的识别方法，其特征在于，所述异物检测系统的图像识别模块包括异物检测模型，所述异物检测模型由基础网络及多分辨率检测网络组合而成。
CN201810999494.7A 2018-08-30 2018-08-30 一种皮带输送机运行异常的识别方法 Active CN109230351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810999494.7A CN109230351B (zh) 2018-08-30 2018-08-30 一种皮带输送机运行异常的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810999494.7A CN109230351B (zh) 2018-08-30 2018-08-30 一种皮带输送机运行异常的识别方法

Publications (2)

Publication Number Publication Date
CN109230351A CN109230351A (zh) 2019-01-18
CN109230351B true CN109230351B (zh) 2020-06-16

Family

ID=65069662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810999494.7A Active CN109230351B (zh) 2018-08-30 2018-08-30 一种皮带输送机运行异常的识别方法

Country Status (1)

Country Link
CN (1) CN109230351B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN110040470B (zh) * 2019-05-21 2021-04-13 精英数智科技股份有限公司 一种人工智能视频识别皮带跑偏的监测方法
CN110422586B (zh) * 2019-07-30 2021-04-06 精英数智科技股份有限公司 一种皮带运输机工作状态监测方法、装置及设备
CN110514669B (zh) * 2019-07-31 2022-05-03 辽宁科技大学 一种皮带输送机多区域洒料检测系统及方法
CN110422589B (zh) * 2019-08-02 2020-12-29 精英数智科技股份有限公司 一种煤矿转载机堆煤安全报警方法、装置、设备、介质
CN110619625B (zh) * 2019-08-26 2021-06-18 精英数智科技股份有限公司 一种监测皮带运行状态的方法、装置、系统及存储介质
CN110896447B (zh) * 2019-10-09 2020-12-01 六安荣耀创新智能科技有限公司 通信信号内容差异即时检测平台
CN111311636A (zh) * 2020-02-09 2020-06-19 天津博宜特科技有限公司 基于目标跟踪的皮带机带速检测方法
CN111294566A (zh) * 2020-03-10 2020-06-16 华能国际电力股份有限公司汕头电厂 传输带跑偏检测预警系统
CN111846840B (zh) * 2020-06-02 2021-12-10 中铝智能科技发展有限公司 一种皮带设备运行全生命周期监控系统与方法
CN111683227A (zh) * 2020-06-18 2020-09-18 中冶东方工程技术有限公司 一种基于视频异常监测的皮带操作智能辅助方法和系统
CN113936352A (zh) * 2020-07-08 2022-01-14 上海外高桥第二发电有限责任公司 燃料输送皮带的工作环境的巡检方法、系统及轨道机器人
CN112820022B (zh) * 2021-01-05 2023-02-28 北京三快在线科技有限公司 售货机取货仓防堆积装置
CN112801965A (zh) * 2021-01-21 2021-05-14 中南大学 一种基于卷积神经网络的烧结皮带异物监测方法及系统
CN113063791A (zh) * 2021-03-23 2021-07-02 南通大学 一种基于图像处理的布匹缺陷识别方法
CN113160187B (zh) * 2021-04-27 2022-02-15 圣名科技(广州)有限责任公司 一种设备的故障检测方法及装置
CN113283395B (zh) * 2021-06-28 2024-03-29 西安科技大学 一种运煤皮带转接处堵塞异物的视频检测方法
CN113682576B (zh) * 2021-08-19 2023-04-07 红云红河烟草(集团)有限责任公司 一种高速包装机同步齿形输送带走位的实时检测系统
CN113674259B (zh) * 2021-08-26 2024-03-05 中冶赛迪信息技术(重庆)有限公司 一种皮带机打滑检测方法、系统、电子设备及介质
CN113780199A (zh) * 2021-09-15 2021-12-10 江苏迪赛司自动化工程有限公司 一种双视成像装置和皮带运输异物目标智能识别方法
CN113989251B (zh) * 2021-11-02 2022-05-24 河南中平自动化股份有限公司 一种矿用煤矸分选智能控制系统及方法
CN115965858A (zh) * 2022-12-27 2023-04-14 贵州烟叶复烤有限责任公司 一种识别传送带上货物堆积的方法及装置
CN116612423B (zh) * 2023-03-20 2024-05-03 华洋通信科技股份有限公司 一种煤矿运输系统ai视频识别方法
CN116812492B (zh) * 2023-04-28 2024-01-30 天宇正清科技有限公司 一种传送带故障分析的方法、装置、电子设备及介质
CN117671607B (zh) * 2024-02-01 2024-04-26 宝鸡杭叉工程机械有限责任公司 基于计算机视觉的带式输送机异常实时检测方法及系统
CN117800039B (zh) * 2024-02-23 2024-05-14 太原理工大学 带式输送机皮带跑偏检测系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10226663A1 (de) * 2002-06-14 2003-12-24 Sick Ag Verfahren zum Auffinden von Gegenständen auf einer Trägerebene
CN2795136Y (zh) * 2005-01-31 2006-07-12 武汉钢铁(集团)公司 皮带运输机散装物料激光监视器
JP5531458B2 (ja) * 2008-08-01 2014-06-25 株式会社リコー 速度検出装置及び多色画像形成装置
CN201980728U (zh) * 2011-03-18 2011-09-21 鞍山市普天冶金成套设备有限公司 皮带输送机综合保护器
CN102923467B (zh) * 2012-11-05 2016-03-23 淮南中煤电子有限责任公司 带式输送机保护装置
CN203237722U (zh) * 2013-05-08 2013-10-16 中国神华能源股份有限公司 皮带机回程皮带异物检测设备
CN104418040A (zh) * 2013-09-09 2015-03-18 孙慧 一种煤矿胶带运输监控系统及方法
CN104670840B (zh) * 2014-12-24 2017-02-22 辽宁巨峰科技有限公司 一种散装物料输送带运行监测装置
CN107300722A (zh) * 2017-07-18 2017-10-27 孙天宇 一种机场跑道异物检测系统

Also Published As

Publication number Publication date
CN109230351A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109230351B (zh) 一种皮带输送机运行异常的识别方法
CN111661590B (zh) 矿用带式输送机输送带撕裂损伤检测方法
Duran et al. Pipe inspection using a laser-based transducer and automated analysis techniques
Bonnin-Pascual et al. On the use of robots and vision technologies for the inspection of vessels: A survey on recent advances
CN111461107A (zh) 用于识别感兴趣区的材料搬运方法、装置和系统
Chitale et al. Pothole detection and dimension estimation system using deep learning (yolo) and image processing
CN109188550A (zh) 一种皮带输送机异物检测系统
Szkilnyk et al. Vision based fault detection of automated assembly equipment
Kumar et al. A deep learning based automated structural defect detection system for sewer pipelines
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
CN110910363A (zh) 基于机器视觉和深度学习的虚焊检测方法、系统及介质
AlNaimi et al. IoT based on-the-fly visual defect detection in railway tracks
CN116309277A (zh) 基于深度学习的钢材检测方法及系统
Gal Automatic obstacle detection for USV’s navigation using vision sensors
Jenefa et al. Real-Time Rail Safety: A Deep Convolutional Neural Network Approach for Obstacle Detection on Tracks
Li et al. Rail surface defect detection based on deep learning
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
CN117115249A (zh) 一种集装箱锁孔自动识别定位系统及方法
Guclu et al. Development of vision-based autonomous UAV for railway tracking
CN108401142B (zh) 一种流水线上的工件计数装置及方法
Wang et al. Design of belt sprinkler monitoring system based on image processing technology
CN117557570B (zh) 一种轨道车辆异常检测方法及系统
CN115564720A (zh) 一种基于三维扫描和机器视觉的带钢缺陷检测方法及系统
JP7034529B1 (ja) 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
Benkhoui et al. Automatic Crack Segmentation in Pavements using a Dilated Encoder-Decoder Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 030012 Fifth Floor of Venture and Innovation Building No. 6 Wuluo Street, Shanxi Demonstration Area, Taiyuan City, Shanxi Province

Applicant after: Elite Digital Intelligence Technology Co., Ltd.

Address before: 030032 the five level of innovation and innovation building, 6 Wu Luo street, Shanxi demonstration area, Taiyuan, Shanxi.

Applicant before: Shanxi Jingying Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant