CN114940343B - 一种基于深度学习的双链刮板输送机异常检测方法 - Google Patents

一种基于深度学习的双链刮板输送机异常检测方法 Download PDF

Info

Publication number
CN114940343B
CN114940343B CN202210568678.4A CN202210568678A CN114940343B CN 114940343 B CN114940343 B CN 114940343B CN 202210568678 A CN202210568678 A CN 202210568678A CN 114940343 B CN114940343 B CN 114940343B
Authority
CN
China
Prior art keywords
scraper
chain
temporary
sequence model
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210568678.4A
Other languages
English (en)
Other versions
CN114940343A (zh
Inventor
顾毅
丁发展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202210568678.4A priority Critical patent/CN114940343B/zh
Publication of CN114940343A publication Critical patent/CN114940343A/zh
Application granted granted Critical
Publication of CN114940343B publication Critical patent/CN114940343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G19/00—Conveyors comprising an impeller or a series of impellers carried by an endless traction element and arranged to move articles or materials over a supporting surface or underlying material, e.g. endless scraper conveyors
    • B65G19/18—Details
    • B65G19/20—Traction chains, ropes, or cables
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G19/00—Conveyors comprising an impeller or a series of impellers carried by an endless traction element and arranged to move articles or materials over a supporting surface or underlying material, e.g. endless scraper conveyors
    • B65G19/18—Details
    • B65G19/22—Impellers, e.g. push-plates, scrapers; Guiding means therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/06—Control devices, e.g. for safety, warning or fault-correcting interrupting the drive in case of driving element breakage; Braking or stopping loose load-carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0275—Damage on the load carrier
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/10—Greenhouse gas [GHG] capture, material saving, heat recovery or other energy efficient measures, e.g. motor control, characterised by manufacturing processes, e.g. for rolling metal or metal working

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的双链刮板输送机异常检测方法，涉及图像处理技术领域，该方法包括：启动检测预热流程对预热图像进行处理，输出刮板序列模型及预热检测状态，该模型包括刮板ID及初始刮板倾角；若预热检测状态正常，则启动自适应巡检流程对采集的巡检图像进行处理，包括：建立临时刮板序列模型，该模型包括临时刮板ID及相应的临时刮板倾角；将临时刮板序列模型与刮板序列模型进行匹配，判断匹配后的临时刮板倾角中是否存在整体增量倾角；若存在整体增量倾角，则输出链条跳链异常警告，否则输送机无故障。上述方法基于图像处理技术实现对链条断链、跳链、链条/刮板歪斜磨损等异常情况检测，做到实时预警，减少生产损失。

Description

一种基于深度学习的双链刮板输送机异常检测方法
技术领域
本发明涉及图像处理技术领域，尤其是一种基于深度学习的双链刮板输送机异常检测方法。
背景技术
在采煤厂、洗煤厂中，刮板输送机常用于运送煤和物料，成为现代化采煤工艺中不可缺少的主要设备。刮板输送机能保持连续运转，生产就能正常进行，否则，整个采煤、洗煤工作面就会呈现停产状态，使整个生产中断。因此对其进行异常检测工作是维持生产正常运转的必要环节。
在运送煤块时，若刮板运输机的链条和链轮之间存在煤块或其他杂物占据了链条和链轮的咬合位置，链条运转半径突然增大，后面的链条提前错位咬合链轮，则会发生链条跳链；当两侧链条松紧不一致、刮板中心线与链轮中轴线出现偏斜、不平行时，也会导致发生链条跳链。
双链刮板运输机在负载太大、工作面不平直时易发生链条断裂；链条长时间和中间槽及链轮发生摩擦，链条强度下降发生疲劳损时也会发生链条断裂。双链刮板输送机运行中刮板向一侧发生歪斜，表明链条断裂。
刮板输送机跳链、断链、刮板折弯等异常时有发生，这些异常的发生时间存在相对大的随机性，人工检查难以做到24小时不间断监控，一旦发生异常，将会使整个生产系统停摆，引起严重生产损失。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于深度学习的双链刮板输送机异常检测方法，本发明的技术方案如下：
一种基于深度学习的双链刮板输送机异常检测方法，该方法基于视觉检测机构实现，该机构靠近机头链轮部位设置在双链刮板运输机的上方，包括工控机、面板光源、相机以及与工控机相连的显示屏和相机、光源控制器，相机位于面板光源的中孔位置处，用于拍摄双链刮板运输机上行部分的两侧链条及相接的刮板；
该方法具体包括如下步骤：
启动双链刮板运输机，并对链条及所有刮板进行一轮人工视检，确认链条状态良好、初始刮板倾角小于最大容错倾角；其中，刮板倾角为刮板与水平方向之间的夹角，水平方向与运输方向垂直；
基于获取的预热图像及刮板总数值，启动检测预热流程对预热图像进行处理，输出刮板序列模型及预热检测状态；刮板序列模型包括刮板ID及相应的初始刮板倾角；
若预热检测状态正常，包括链条及刮板正常，则启动自适应巡检流程对采集的巡检图像进行处理，包括：
基于与检测预热流程相同的方法建立临时刮板序列模型，临时刮板序列模型包括临时刮板ID及相应的临时刮板倾角；将临时刮板序列模型与作为基准的刮板序列模型进行匹配，判断匹配后的临时刮板倾角中是否存在整体增量倾角；若存在整体增量倾角，则输出链条跳链异常警告，否则输送机无故障。
其进一步的技术方案为，启动检测预热流程对预热图像进行处理，输出刮板序列模型及预热检测状态，包括：
建立刮板序列模型框架，包含从1至N排序的刮板ID，N为刮板总数值；
触发视觉检测机构，将抓拍图像作为预热图像输出；
将预热图像送入链条-刮板图像分割算法，输出刮板区域切片图集合、左侧链条区域切片图和右侧链条区域切片图；
将左侧链条区域切片图和右侧链条区域切片图送入链条异常检测算法，输出链条状态检测结果，包括链条正常、链条断链、链条歪斜超限和链条磨损超限；当得到除了链条正常的检测结果时，输出相应状态的链条异常警告作为预热检测状态；
将刮板区域切片图集合送入刮板区域完整性检测算法，输出第一刮板区域完整切片图、刮板区域左段缺失切片图或刮板区域右段缺失切片图；将刮板区域左段缺失切片图与刮板区域右段缺失切片图匹配拼接成第二刮板区域完整切片图；
将第一或第二刮板区域完整切片图送入刮板异常检测算法，输出刮板状态检测结果，包括刮板正常、刮板歪斜超限、刮板折弯超限和刮板破损超限；当得到刮板折弯超限或刮板破损超限的检测结果时，输出相应状态的刮板异常警告作为预热检测状态；当得到刮板正常的检测结果时，在刮板序列模型框架的当前刮板ID下加入切片图对应的初始刮板倾角；重复执行触发视觉检测机构，直到框架中的刮板ID数等于刮板总数值时，输出形成的刮板序列模型，模型中的初始刮板倾角按照抓拍时序顺序排列。
其进一步的技术方案为，基于与检测预热流程相同的方法建立临时刮板序列模型，包括：
距离上次巡检，当到达设置的监控采样间隔值时，启动本次自适应巡检流程；
建立临时刮板序列模型框架，包含从1至N排序的临时刮板ID；
执行触发视觉检测机构到输出形成的临时刮板序列模型的步骤，不同点在于：将抓拍图像作为巡检图像；当得到刮板正常的检测结果时，在临时刮板序列模型框架的当前临时刮板ID下加入切片图对应的临时刮板倾角。
其进一步的技术方案为，将临时刮板序列模型与作为基准的刮板序列模型进行匹配，包括：
初始化差异度评分字典，差异度评分字典包括锚点IDn及对应的评分，其中下标n＝1、2、……N，N为刮板总数值；
令n＝1初始化锚点，加载临时刮板序列模型和刮板序列模型；
以锚点IDn为界，将临时刮板序列模型划分成两部分，第一部分的ID顺序为从临时刮板ID1至锚点IDn，第二部分的ID顺序为从锚点IDn+1至临时刮板IDn；
将第一部分合并到第二部分的尾部重组临时刮板序列模型；
求取重组模型中每个临时刮板ID下的临时刮板倾角与刮板序列模型中对应位置的每个刮板ID下的初始刮板倾角之间的差值的绝对值；
求取所有刮板的倾角差值绝对值的总和，作为锚点IDn对应的评分，并写入差异度评分字典；
令n＝n+1，重新执行以锚点IDn为界的步骤，直至n＞N时，取差异度评分字典中最小评分对应的锚点IDn_min；
以锚点IDn_min为界，将临时刮板序列模型划分重组，得到与刮板序列模型匹配对齐后的临时刮板序列模型，其ID顺序为：从锚点IDn_min+1至临时刮板IDn、从临时刮板ID1至锚点IDn_min。
其进一步的技术方案为，判断匹配后的临时刮板倾角中是否存在整体增量倾角，包括：
加载匹配对齐后的临时刮板序列模型和刮板序列模型；
求取匹配模型中的每个临时刮板ID下的临时刮板倾角与刮板序列模型中对应位置的每个刮板ID下的初始刮板倾角之间的差值的绝对值；
对所有刮板的倾角差值绝对值进行聚类分析，设簇的个数k＝1，输出聚类质心；
若聚类质心大于设置的增量倾角最大容错值，则说明刮板的整体增量倾角超限，输出存在整体增量倾角；否则，说明刮板的整体增量倾角未超限，输出不存在整体增量倾角。
其进一步的技术方案为，链条异常检测算法包括：
分别判断左侧链条区域切片图和右侧链条区域切片图是否为空，若是，则输出链条断链作为链条状态检测结果；否则，对于两类链条切片图，分别执行：
计算链条区域外边缘轮廓点数组，根据该数组计算链条区域外接矩形，计算矩形长向中心线与运输方向之间的夹角；若夹角大于设定的链条倾角容错极限，则输出链条歪斜超限作为链条状态检测结果；否则，将链条切片图送入链条二分类卷积神经网络，输出链条正常或链条磨损超限作为链条状态检测结果。
其进一步的技术方案为，刮板区域完整性检测算法包括：
对于每个刮板区域切片图，计算刮板区域外边缘轮廓点数组，计算该数组中沿运输方向上的最小值和最大值；
若最小值为零，则说明刮板的左段区域不完整，刮板区域切片图为刮板区域左段缺失切片图；若最大值等于原抓拍图像高度，则说明刮板的右段区域不完整，刮板区域切片图为刮板区域右段缺失切片图；若最小值大于零，且最大值小于原抓拍图像高度，则刮板区域切片图为第一刮板区域完整切片图。
其进一步的技术方案为，刮板异常检测算法包括：
将第一或第二刮板区域完整切片图送入刮板三分类卷积神经网络，输出刮板折弯超限、刮板破损超限或刮板外观正常；
对于刮板外观正常检测结果，计算刮板区域外边缘轮廓点数组，根据该数组计算刮板区域外接矩形，计算矩形长向中心线与水平方向之间的夹角；
若夹角大于最大容错倾角，则输出刮板歪斜超限作为刮板状态检测结果；否则输出刮板正常作为刮板状态检测结果，并将夹角作为初始刮板倾角或临时刮板倾角；其中刮板正常指刮板水平或存在一定倾斜。
其进一步的技术方案为，将刮板区域左段缺失切片图与刮板区域右段缺失切片图匹配拼接成第二刮板区域完整切片图，包括：
建立待合并刮板列表，将刮板区域右段缺失切片图放入待合并刮板列表中；
在待合并刮板列表中搜索并提取与刮板区域左段缺失切片图相对应的刮板区域右段缺失切片图进行刮板区域补全，匹配拼接成第二刮板区域完整切片图。
其进一步的技术方案为，链条-刮板图像分割算法基于图像语义分割卷积神经网络实现，网络以MobileNet V3为主干网络，结构上采用Deep Layer Aggregation结构进行拓展，实现对输送机的上行链条区域和上行刮板区域的语义分割检测。
本发明的有益技术效果是：
该方法先在检测预热流程中建立刮板序列模型，作为后续自适应巡检流程的匹配基准，且在预热流程中基于图像处理技术初步判别出是否出现链条断链、链条歪斜超限、链条磨损超限、刮板歪斜超限、刮板折弯超限和刮板破损超限这些异常情况；当进入自适应巡检流程时，基于与预热流程相同的方法建立临时刮板序列模型，并按照匹配基准重组对齐该临时刮板序列模型，通过比较两者的倾角差值绝对值是否超出设定的限制值，得出链条是否还存在跳链异常；当出现异常时，视觉检测机构实时通知工作人员及时进行异常处理，最大程度降低生产损失。
附图说明
图1是本申请提供的双链刮板输送机的机头链轮部位的示意图。
图2是本申请提供的视觉检测机构的示意图。
图3是本申请提供的刮板倾角的示意图。
图4是本申请提供的链条跳链时出现整体增量倾角的示意图。
图5是本申请提供的双链刮板输送机异常检测方法流程图。
图6是本申请提供的检测预热流程图。
图7是本申请提供的自适应巡检流程图。
图8是本申请提供的原始抓拍图像。
图9是本申请提供的链条异常检测算法的流程图。
图10是本申请提供的链条异常检测算法中夹角计算对应步骤的示意图，其中：(a)为链条区域切片图，(b)为链条外边缘轮廓点，(c)为轮廓点的外接矩形，(d)为夹角图。
图11是本申请提供的刮板区域完整性检测算法的流程图。
图12是本申请提供的刮板异常检测算法的流程图。
图13是本申请提供的刮板序列匹配算法的流程图。
图14是本申请提供的刮板倾角分析算法的流程图。
图15是本申请提供的倾角-ID序列图，其中：(a)为根据重组对齐后的临时刮板序列模型与刮板序列模型绘制的倾角-ID序列图，(b)为两个模型倾角差值绝对值的倾角-ID序列图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请提供了一种基于深度学习的双链刮板输送机异常检测方法，该方法基于视觉检测机构实现。结合图1、图2所示，该机构靠近机头链轮部位a设置在双链刮板运输机的上方，包括支架1、工控机、面板光源2、相机3以及与工控机相连的显示屏4、警示灯5和相机、光源控制器。支架1搭建在靠近机头链轮部位处，面板光源2、相机3及警示灯5设置在支架1的顶部，且相机3位于面板光源2的中孔位置处，用于拍摄双链刮板运输机上行部分的两侧链条6及相接的刮板7。工控机、显示屏4和相机、光源控制器均放置在工装结构8中，且工装结构8设置在支架1的侧边。显示屏4用于实时显示当前位置的刮板及链条的异常警告信息，警示灯5用于根据异常等级进行声光警报，提醒操作人员进行故障排除。在图1中，9代表双链刮板运输机下行部分的两侧链条，10代表下行部分的刮板。
刮板输送机在使用一段时候后，部分刮板会出现折弯、磨损、断裂等故障，通常操作员会使用备用刮板替换掉故障刮板，然而备用的非原装刮板11的形态与原装刮板12可能存在一定差异度，导致刮板装置在链条中后，出现一定程度的初始刮板倾角θ_org，如图3所示，若在可接受的倾角范围内，则刮板可以正常使用。当一侧链条发生跳链时，左右链条将会一前一后拉扯其间的刮板，造成所有刮板发生倾斜，出现整体增量倾角θ_err，如图4所示。
如图5所示，双链刮板输送机异常检测方法包括如下步骤：
步骤501：启动双链刮板运输机，并由操作员对链条及所有刮板进行一轮人工视检，确认链条状态良好、初始刮板倾角θ_org小于最大容错倾角θorg_max。其中，刮板倾角为刮板与水平方向之间的夹角，水平方向与运输方向垂直。
步骤502：读取电机转速数值、刮板总数值和监控采样间隔值，基于电机转速数值设置相机的拍摄帧率。
其中，监控采样间隔指间隔设定时长开启一次自适应巡检流程，采样间隔可以根据设备的老化程度进行调整，新的设备由于不易出现故障，可以间隔久一点进行检测，比如30分钟。
步骤503：基于获取的预热图像及刮板总数值，启动检测预热流程对预热图像进行处理，输出刮板序列模型及预热检测状态。
其中，刮板序列模型包括刮板ID及相应的初始刮板倾角θ_org。
步骤504：若预热检测状态正常，包括链条及刮板正常，则进入步骤505；若预热检测状态异常，则显示屏输出相应的异常状态警告、警示灯触发警报。
其中，预热检测状态异常包括链条断链、链条歪斜超限、链条磨损超限、刮板歪斜超限、刮板折弯超限和刮板破损超限。
步骤505：启动自适应巡检流程对采集的巡检图像进行处理，包括：
步骤551：基于与检测预热流程相同的方法建立临时刮板序列模型。
其中，临时刮板序列模型包括临时刮板ID及相应的临时刮板倾角。
步骤552：将临时刮板序列模型与作为基准的刮板序列模型进行匹配。
步骤553：判断匹配后的临时刮板倾角中是否存在整体增量倾角θ_err，若存在整体增量倾角θ_err，则显示屏输出链条跳链异常警告、警示灯触发警报，否则输送机无故障。
在本实施例中，为了将非原装刮板的初始倾角θ_org与链条跳链造成的不可接受的整体增量倾角θ_err区分开来，需要在预热阶段对所有刮板建立序列模型。在自适应巡检阶段，以刮板序列模型为基准进行异常诊断。
如图6所示，上述步骤503中的启动检测预热流程对预热图像进行处理，输出刮板序列模型及预热检测状态，具体包括如下步骤：
步骤601：建立刮板序列模型框架，包含从1至N排序的刮板ID，N为刮板总数值。
步骤602：触发视觉检测机构，将抓拍图像作为预热图像输出。
如图8所示，通过将相机镜头焦平面设置在[上行链条-上行刮板]水平面，上行链条和刮板将清晰地呈现在图像中，下行链条和下行刮板由于远离相机成像平面，成像模糊，能够较好地与前景区分开来。
步骤603：将预热图像送入链条-刮板图像分割算法，输出刮板区域轮廓图、左侧链条区域轮廓图和右侧链条区域轮廓图；根据轮廓图在预热图像中剪裁切片，输出刮板区域切片图集合、左侧链条区域切片图和右侧链条区域切片图。
步骤604：将左侧链条区域切片图和右侧链条区域切片图送入链条异常检测算法，输出链条状态检测结果，包括链条正常、链条断链、链条歪斜超限和链条磨损超限。当得到除了链条正常的检测结果时，输出相应状态的链条异常警告作为预热检测状态。
步骤605：将刮板区域切片图集合送入刮板区域完整性检测算法，输出第一刮板区域完整切片图、刮板区域左段缺失切片图或刮板区域右段缺失切片图。
步骤606：将刮板区域左段缺失切片图与刮板区域右段缺失切片图匹配拼接成第二刮板区域完整切片图，包括：
步骤661：建立待合并刮板列表，将刮板区域右段缺失切片图放入待合并刮板列表中。
步骤662：在待合并刮板列表中搜索并提取与刮板区域左段缺失切片图相对应的刮板区域右段缺失切片图进行刮板区域补全，匹配拼接成第二刮板区域完整切片图。
步骤607：将第一或第二刮板区域完整切片图送入刮板异常检测算法，输出刮板状态检测结果，包括刮板正常、刮板歪斜超限、刮板折弯超限和刮板破损超限。当得到刮板折弯超限或刮板破损超限的检测结果时，输出相应状态的刮板异常警告作为预热检测状态；当得到刮板正常的检测结果时，在刮板序列模型框架的当前刮板ID下加入切片图对应的初始刮板倾角。
步骤608：重复执行步骤602，直到框架中的刮板ID数等于刮板总数值时，输出形成的刮板序列模型(参见表1)，模型中的初始刮板倾角θ_org按照抓拍时序顺序排列。
表1.刮板序列模型
如表1所示，由于原装刮板与两侧链条契合良好，因此在预热阶段其状态正常，倾角为0。
需要说明的是，步骤603和步骤605不表示前后执行顺序，也可以对调执行顺序，即先检测刮板、后检测链条。
如图7所示，上述步骤551中的基于与检测预热流程相同的方法建立临时刮板序列模型，具体包括如下步骤：
步骤700：距离上次巡检，当到达设置的监控采样间隔值时，启动本次自适应巡检流程。
步骤701：建立临时刮板序列模型框架，包含从1至N排序的临时刮板ID。
从步骤702开始，执行与上述步骤602-步骤608的相同方法，输出形成的临时刮板序列模型(参见表2)，模型中的临时刮板倾角θ_cur按照抓拍时序顺序排列。
在步骤702-步骤708中，不同于步骤602-步骤608的方法在于：(1)将抓拍图像作为巡检图像；(2)当得到刮板正常的检测结果时，在临时刮板序列模型框架的当前临时刮板ID下加入切片图对应的临时刮板倾角。
表2.临时刮板序列模型
需要注意的是，由于每次巡检的开始时间由监控采样间隔值决定，因此临时刮板序列模型与刮板序列模型在时序上有一定的错位，因此需要将临时刮板序列模型与作为基准的刮板序列模型进行匹配对齐，具体匹配方法后面会具体说明。
对于步骤603/703提及的链条-刮板图像分割算法，是基于图像语义分割卷积神经网络实现，设置网络输入尺寸为512*512，网络以MobileNet V3为主干网络，结构上采用Deep Layer Aggregation结构进行拓展，实现对输送机的上行链条区域(包括左链条和右链条)和上行刮板区域的语义分割检测。
如图9所示，上述步骤604/704中的将左侧链条区域切片图和右侧链条区域切片图送入链条异常检测算法，输出链条状态检测结果，具体包括如下步骤：
步骤901：分别判断左侧链条区域切片图和右侧链条区域切片图是否为空，若是，则输出链条断链作为链条状态检测结果。否则，对于两类链条切片图，如图10-(a)所示，分别执行步骤902。
步骤902：计算链条区域外边缘轮廓点数组，如图10-(b)所示。
步骤903：根据该数组计算链条区域外接矩形，如图10-(c)所示。
步骤904：计算矩形长向中心线与运输方向之间的夹角，如图10-(d)阴影区域所示。
步骤905：若夹角大于设定的链条倾角容错极限，则输出链条歪斜超限作为链条状态检测结果。
否则，将链条切片图送入链条二分类卷积神经网络，输出链条正常或链条磨损超限作为链条状态检测结果。其中链条二分类卷积神经网络采用现有的二分类卷积神经网络实现。
如图11所示，上述步骤605/705具体包括如下步骤：
步骤1101：对于每个刮板区域切片图，计算刮板区域外边缘轮廓点数组。
步骤1102：计算该数组中沿运输方向上(即刮板短边方向y轴)的最小值y_min和最大值y_max。
步骤1103：结合图8所示，若y_min＝0，则说明刮板的左段区域不完整，刮板区域切片图为刮板区域右侧切片图。
若y_min＝h，h为原抓拍图像高度，则说明刮板的右段区域不完整，刮板区域切片图为刮板区域左段缺失切片图。
若y_min＞0&&y_min＜h，则刮板区域切片图为第一刮板区域完整切片图。
如图12所示，上述步骤607/707中的将第一或第二刮板区域完整切片图送入刮板异常检测算法，输出刮板状态检测结果，具体包括如下步骤：
步骤1201：将第一或第二刮板区域完整切片图送入刮板三分类卷积神经网络，输出刮板折弯超限、刮板破损超限或刮板外观正常。对于刮板外观正常检测结果，进入步骤1202。
步骤1202：计算刮板区域外边缘轮廓点数组。
步骤1203：根据该数组计算刮板区域外接矩形。
步骤1204：计算矩形长向中心线与水平方向之间的夹角。
步骤1205：若夹角大于最大容错倾角θorg_max，则输出刮板歪斜超限作为刮板状态检测结果。
否则输出刮板正常作为刮板状态检测结果，其中刮板正常指刮板水平(即倾角为0)或存在一定倾斜(在可接受范围内)。对于步骤607，将夹角作为初始刮板倾角θ_org，对于步骤707，将夹角作为临时刮板倾角θ_cur。
如图13所示，上述步骤552具体包括如下步骤：
步骤1301：初始化差异度评分字典，差异度评分字典包括锚点IDn及对应的评分Score n，其中下标n＝1、2、……N。
步骤1302：令n＝1初始化锚点，加载临时刮板序列模型和刮板序列模型。
步骤1303：以锚点IDn为界，将临时刮板序列模型划分成两部分，第一部分的ID顺序为从临时刮板ID1至锚点IDn，第二部分的ID顺序为从锚点IDn+1至临时刮板IDn。
步骤1304：将第一部分合并到第二部分的尾部重组临时刮板序列模型。
步骤1305：求取重组模型中每个临时刮板ID下的临时刮板倾角与刮板序列模型中对应位置的每个刮板ID下的初始刮板倾角之间的差值的绝对值。
步骤1306：求取所有刮板的倾角差值绝对值的总和，作为锚点IDn对应的评分Score n，并写入差异度评分字典。
步骤1307：令n＝n+1，重新执行步骤1303，直至n＞N时，取差异度评分字典中最小评分对应的锚点IDn_min。
步骤1308：以锚点IDn_min为界，将临时刮板序列模型划分重组，得到与刮板序列模型匹配对齐后的临时刮板序列模型，如图15-(a)所示。其ID顺序为：从锚点IDn_min+1至临时刮板IDn、从临时刮板ID1至锚点IDn_min。
如图14所示，上述步骤553中的判断匹配后的临时刮板倾角中是否存在整体增量倾角θ_err，具体包括如下步骤：
步骤1401：加载匹配对齐后的临时刮板序列模型和刮板序列模型。
步骤1402：求取匹配模型中的每个临时刮板ID下的临时刮板倾角与刮板序列模型中对应位置的每个刮板ID下的初始刮板倾角之间的差值的绝对值，与相应的刮板ID组成刮板倾角差值序列，如图15-(b)所示。
步骤1403：对所有刮板的倾角差值绝对值进行聚类分析，设簇的个数k＝1，输出聚类质心δ_center。
步骤1404：若δ_center＞δ_serial_max，其中δ_serial_max为设置的增量倾角最大容错值，则说明刮板的整体增量倾角超限，输出存在整体增量倾角。
否则，说明刮板的整体增量倾角未超限，输出不存在整体增量倾角。
本申请提出的双链刮板输送机异常检测方法，先在检测预热流程中建立刮板序列模型，作为后续自适应巡检流程的匹配基准，且在预热流程中基于图像处理技术初步判别出是否出现链条断链、链条歪斜超限、链条磨损超限、刮板歪斜超限、刮板折弯超限和刮板破损超限这些异常情况；当进入自适应巡检流程时，基于与预热流程相同的方法建立临时刮板序列模型，并按照匹配基准重组对齐该临时刮板序列模型，通过比较两者的倾角差值绝对值是否超出设定的限制值，得出链条是否还存在跳链异常；当出现异常时，视觉检测机构实时通知工作人员及时进行异常处理，最大程度降低生产损失。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述方法基于视觉检测机构实现，该机构靠近机头链轮部位设置在双链刮板运输机的上方，包括工控机、面板光源、相机以及与所述工控机相连的显示屏和相机、光源控制器，所述相机位于所述面板光源的中孔位置处，用于拍摄双链刮板运输机上行部分的两侧链条及相接的刮板；
所述方法包括：
启动所述双链刮板运输机，并对链条及所有刮板进行一轮人工视检，确认链条状态良好、初始刮板倾角小于最大容错倾角；其中，刮板倾角为所述刮板与水平方向之间的夹角，所述水平方向与运输方向垂直；
基于获取的预热图像及刮板总数值，启动检测预热流程对所述预热图像进行处理，输出刮板序列模型及预热检测状态；所述刮板序列模型包括刮板ID及相应的初始刮板倾角；
若所述预热检测状态正常，包括链条及刮板正常，则启动自适应巡检流程对采集的巡检图像进行处理，包括：
基于与所述检测预热流程相同的方法建立临时刮板序列模型，所述临时刮板序列模型包括临时刮板ID及相应的临时刮板倾角；将所述临时刮板序列模型与作为基准的所述刮板序列模型进行匹配，判断匹配后的临时刮板倾角中是否存在整体增量倾角；若存在所述整体增量倾角，则输出链条跳链异常警告，否则输送机无故障；
其中，将所述临时刮板序列模型与作为基准的所述刮板序列模型进行匹配，包括：
初始化差异度评分字典，所述差异度评分字典包括锚点IDn及对应的评分，其中下标n=1、2、……N，N为所述刮板总数值；
令n=1初始化锚点，加载所述临时刮板序列模型和刮板序列模型；
以所述锚点IDn为界，将所述临时刮板序列模型划分成两部分，第一部分的ID顺序为从临时刮板ID1至所述锚点IDn，第二部分的ID顺序为从锚点IDn+1至临时刮板IDn；
将所述第一部分合并到所述第二部分的尾部重组临时刮板序列模型；
求取重组模型中每个临时刮板ID下的临时刮板倾角与所述刮板序列模型中对应位置的每个刮板ID下的初始刮板倾角之间的差值的绝对值；
求取所有刮板的倾角差值绝对值的总和，作为所述锚点IDn对应的评分，并写入所述差异度评分字典；
令n=n+1，重新执行以所述锚点IDn为界的步骤，直至n＞N时，取所述差异度评分字典中最小评分对应的锚点IDn_min；
以所述锚点IDn_min为界，将所述临时刮板序列模型划分重组，得到与所述刮板序列模型匹配对齐后的临时刮板序列模型，其ID顺序为：从锚点IDn_min+1至临时刮板IDn、从临时刮板ID1至所述锚点IDn_min。
2.根据权利要求1所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述启动检测预热流程对所述预热图像进行处理，输出刮板序列模型及预热检测状态，包括：
建立刮板序列模型框架，包含从1至N排序的刮板ID，N为刮板总数值；
触发所述视觉检测机构，将抓拍图像作为预热图像输出；
将所述预热图像送入链条-刮板图像分割算法，输出刮板区域切片图集合、左侧链条区域切片图和右侧链条区域切片图；
将所述左侧链条区域切片图和右侧链条区域切片图送入链条异常检测算法，输出链条状态检测结果，包括链条正常、链条断链、链条歪斜超限和链条磨损超限；当得到除了所述链条正常的检测结果时，输出相应状态的链条异常警告作为预热检测状态；
将所述刮板区域切片图集合送入刮板区域完整性检测算法，输出第一刮板区域完整切片图、刮板区域左段缺失切片图或刮板区域右段缺失切片图；将所述刮板区域左段缺失切片图与刮板区域右段缺失切片图匹配拼接成第二刮板区域完整切片图；
将第一或第二刮板区域完整切片图送入刮板异常检测算法，输出刮板状态检测结果，包括刮板正常、刮板歪斜超限、刮板折弯超限和刮板破损超限；当得到所述刮板折弯超限或刮板破损超限的检测结果时，输出相应状态的刮板异常警告作为预热检测状态；当得到所述刮板正常的检测结果时，在所述刮板序列模型框架的当前刮板ID下加入切片图对应的初始刮板倾角；重复执行所述触发所述视觉检测机构，直到框架中的刮板ID数等于所述刮板总数值时，输出形成的刮板序列模型，模型中的初始刮板倾角按照抓拍时序顺序排列。
3.根据权利要求2所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述基于与所述检测预热流程相同的方法建立临时刮板序列模型，包括：
距离上次巡检，当到达设置的监控采样间隔值时，启动本次自适应巡检流程；
建立临时刮板序列模型框架，包含从1至N排序的临时刮板ID；
执行所述触发所述视觉检测机构到输出形成的临时刮板序列模型的步骤，不同点在于：将所述抓拍图像作为巡检图像；当得到刮板正常的检测结果时，在所述临时刮板序列模型框架的当前临时刮板ID下加入切片图对应的临时刮板倾角。
4.根据权利要求1所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述判断匹配后的临时刮板倾角中是否存在整体增量倾角，包括：
加载匹配对齐后的临时刮板序列模型和所述刮板序列模型；
求取匹配模型中的每个临时刮板ID下的临时刮板倾角与所述刮板序列模型中对应位置的每个刮板ID下的初始刮板倾角之间的差值的绝对值；
对所有刮板的倾角差值绝对值进行聚类分析，设簇的个数k=1，输出聚类质心；
若所述聚类质心大于设置的增量倾角最大容错值，则说明刮板的整体增量倾角超限，输出存在整体增量倾角；否则，说明刮板的整体增量倾角未超限，输出不存在所述整体增量倾角。
5.根据权利要求2或3所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述链条异常检测算法包括：
分别判断所述左侧链条区域切片图和右侧链条区域切片图是否为空，若是，则输出所述链条断链作为链条状态检测结果；否则，对于两类链条切片图，分别执行：
计算链条区域外边缘轮廓点数组，根据该数组计算链条区域外接矩形，计算矩形长向中心线与所述运输方向之间的夹角；若所述夹角大于设定的链条倾角容错极限，则输出所述链条歪斜超限作为链条状态检测结果；否则，将链条切片图送入链条二分类卷积神经网络，输出所述链条正常或链条磨损超限作为链条状态检测结果。
6.根据权利要求2或3所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述刮板区域完整性检测算法包括：
对于每个刮板区域切片图，计算刮板区域外边缘轮廓点数组，计算该数组中沿所述运输方向上的最小值和最大值；
若所述最小值为零，则说明刮板的左段区域不完整，所述刮板区域切片图为刮板区域左段缺失切片图；若所述最大值等于原抓拍图像高度，则说明刮板的右段区域不完整，所述刮板区域切片图为刮板区域右段缺失切片图；若所述最小值大于零，且所述最大值小于原抓拍图像高度，则所述刮板区域切片图为第一刮板区域完整切片图。
7.根据权利要求2或3所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述刮板异常检测算法包括：
将第一或第二刮板区域完整切片图送入刮板三分类卷积神经网络，输出所述刮板折弯超限、刮板破损超限或刮板外观正常；
对于刮板外观正常检测结果，计算刮板区域外边缘轮廓点数组，根据该数组计算刮板区域外接矩形，计算矩形长向中心线与所述水平方向之间的夹角；
若所述夹角大于最大容错倾角，则输出刮板歪斜超限作为刮板状态检测结果；否则输出刮板正常作为刮板状态检测结果，并将所述夹角作为所述初始刮板倾角或临时刮板倾角；其中所述刮板正常指刮板水平或存在一定倾斜。
8.根据权利要求2或3所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述将所述刮板区域左段缺失切片图与刮板区域右段缺失切片图匹配拼接成第二刮板区域完整切片图，包括：
建立待合并刮板列表，将所述刮板区域右段缺失切片图放入所述待合并刮板列表中；
在所述待合并刮板列表中搜索并提取与所述刮板区域左段缺失切片图相对应的刮板区域右段缺失切片图进行刮板区域补全，匹配拼接成第二刮板区域完整切片图。
9.根据权利要求2或3所述的基于深度学习的双链刮板输送机异常检测方法，其特征在于，所述链条-刮板图像分割算法基于图像语义分割卷积神经网络实现，网络以MobileNetV3为主干网络，结构上采用Deep Layer Aggregation 结构进行拓展，实现对输送机的上行链条区域和上行刮板区域的语义分割检测。
CN202210568678.4A 2022-05-24 2022-05-24 一种基于深度学习的双链刮板输送机异常检测方法 Active CN114940343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210568678.4A CN114940343B (zh) 2022-05-24 2022-05-24 一种基于深度学习的双链刮板输送机异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210568678.4A CN114940343B (zh) 2022-05-24 2022-05-24 一种基于深度学习的双链刮板输送机异常检测方法

Publications (2)

Publication Number Publication Date
CN114940343A CN114940343A (zh) 2022-08-26
CN114940343B true CN114940343B (zh) 2023-09-22

Family

ID=82909252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210568678.4A Active CN114940343B (zh) 2022-05-24 2022-05-24 一种基于深度学习的双链刮板输送机异常检测方法

Country Status (1)

Country Link
CN (1) CN114940343B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117142009B (zh) * 2023-10-30 2024-03-15 西安重装蒲白煤矿机械有限公司 一种基于图卷积网络的刮板输送机健康状态评估方法
CN117464083A (zh) * 2023-12-27 2024-01-30 酷佧切削技术(四川)有限公司 一种干切冷锯自动切割的智慧测控系统、方法及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8317654D0 (en) * 1983-06-29 1983-08-03 Donet N I Ugolny Inst Angle scraper chain face conveyor
CN204489904U (zh) * 2015-03-13 2015-07-22 青岛四洲电力设备有限公司 一种刮板输渣机刮板倾斜检测装置
CN107777288A (zh) * 2017-11-06 2018-03-09 中国矿业大学 一种刮板输送机断链实时监测系统及监测方法
CN107944342A (zh) * 2017-10-27 2018-04-20 天津美腾科技有限公司 一种基于机器视觉的刮板机异常状态检测系统
CN108045844A (zh) * 2018-01-05 2018-05-18 内蒙古科技大学 自平衡式矿用刮板机
CN208150376U (zh) * 2018-04-03 2018-11-27 华电煤业集团有限公司 一种刮板机防倾斜保护装置
CN110950005A (zh) * 2019-11-22 2020-04-03 常州联力自动化科技有限公司 一种单摄像头刮板输送机溜槽位置矫正方法及系统
CN111717616A (zh) * 2020-07-02 2020-09-29 徐州宏远通信科技有限公司 一种基于图像识别的刮板输送机斜链检测方法及控制系统
CN111924427A (zh) * 2020-07-16 2020-11-13 精英数智科技股份有限公司 一种刮板输送机飘链故障识别方法、装置及电子设备
CN113979017A (zh) * 2021-10-08 2022-01-28 辽宁工程技术大学 一种刮板输送机故障在线监测方法和装置
CN114212483A (zh) * 2022-01-04 2022-03-22 精英数智科技股份有限公司 一种基于cv算法的刮板输送机部件故障识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018247224B2 (en) * 2017-10-17 2022-07-14 Joy Global Underground Mining Llc Sensor systems and methods for detecting conveyor tension in a mining system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8317654D0 (en) * 1983-06-29 1983-08-03 Donet N I Ugolny Inst Angle scraper chain face conveyor
CN204489904U (zh) * 2015-03-13 2015-07-22 青岛四洲电力设备有限公司 一种刮板输渣机刮板倾斜检测装置
CN107944342A (zh) * 2017-10-27 2018-04-20 天津美腾科技有限公司 一种基于机器视觉的刮板机异常状态检测系统
CN107777288A (zh) * 2017-11-06 2018-03-09 中国矿业大学 一种刮板输送机断链实时监测系统及监测方法
CN108045844A (zh) * 2018-01-05 2018-05-18 内蒙古科技大学 自平衡式矿用刮板机
CN208150376U (zh) * 2018-04-03 2018-11-27 华电煤业集团有限公司 一种刮板机防倾斜保护装置
CN110950005A (zh) * 2019-11-22 2020-04-03 常州联力自动化科技有限公司 一种单摄像头刮板输送机溜槽位置矫正方法及系统
CN111717616A (zh) * 2020-07-02 2020-09-29 徐州宏远通信科技有限公司 一种基于图像识别的刮板输送机斜链检测方法及控制系统
CN111924427A (zh) * 2020-07-16 2020-11-13 精英数智科技股份有限公司 一种刮板输送机飘链故障识别方法、装置及电子设备
CN113979017A (zh) * 2021-10-08 2022-01-28 辽宁工程技术大学 一种刮板输送机故障在线监测方法和装置
CN114212483A (zh) * 2022-01-04 2022-03-22 精英数智科技股份有限公司 一种基于cv算法的刮板输送机部件故障识别方法及装置

Also Published As

Publication number Publication date
CN114940343A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN114940343B (zh) 一种基于深度学习的双链刮板输送机异常检测方法
CN109230351B (zh) 一种皮带输送机运行异常的识别方法
US9483820B2 (en) Method and system for detecting a damaged component of a machine
CN115272980B (zh) 一种基于机器视觉的运输皮带表面检测方法及系统
CN113658136A (zh) 一种基于深度学习的传送带缺陷检测方法
CN113646801B (zh) 缺陷图像的缺陷检测方法、装置及计算机可读存储介质
JP6574592B2 (ja) ベルト探傷装置
US10118770B2 (en) Electronic component mounter and electronic component mounting system
CN115432396A (zh) 一种皮带撕裂破损检测装置及方法
CN112799372A (zh) 显示方法、学习完毕模型的生成方法、装置以及程序
JP7317352B2 (ja) メッシュベルト検査装置およびメッシュベルト検査方法
JP2021084797A (ja) 異常検出装置
CN111604280A (zh) 一种口罩坏件剔除方法、设备及存储介质
CN115504187B (zh) 一种矿用皮带智能调速和保护系统及控制方法
CN116246206A (zh) 一种基于标志物边缘检测的输煤系统溢煤识别系统
CN214398635U (zh) 输送带撕裂监测装置和带有撕裂监测装置的输送线
CN115231205A (zh) 一种刮板运输机的故障监测方法及系统
CN115601736A (zh) 一种机场飞行区道面异物协同检测装置
CN115417067A (zh) 一种基于双目线激光相机的皮带跑偏监测系统及方法
CN205771840U (zh) 玻璃板制造装置
CN212768242U (zh) 一种传输机皮带损伤状况的光电一体智能检测装置
CN114323638A (zh) 基于计算机视觉的输送带打滑检测方法、系统及装置
CN116630316B (zh) 一种基于视频分析的皮带疲劳检测报警方法及报警系统
CN210953857U (zh) 一种产品作业流程监测系统
JP4756299B2 (ja) 表面欠陥検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant