CN110991286A - 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法 - Google Patents

基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法 Download PDF

Info

Publication number
CN110991286A
CN110991286A CN201911160515.7A CN201911160515A CN110991286A CN 110991286 A CN110991286 A CN 110991286A CN 201911160515 A CN201911160515 A CN 201911160515A CN 110991286 A CN110991286 A CN 110991286A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
electric shovel
image
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911160515.7A
Other languages
English (en)
Inventor
杨小彬
王逍遥
裴艳宇
马志奇
侯鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN201911160515.7A priority Critical patent/CN110991286A/zh
Publication of CN110991286A publication Critical patent/CN110991286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法，该系统包括红外日夜两用网络摄像机、摄像头支架、红外补光灯、无线路由器、计算机、显示器。其中计算机用于处理储存图像数据，并对图像样本处理、标记形成规范化的电铲铲斗图像样本库。并且计算机搭建有卷积神经网络模型。所述卷积神经网络模型经过训练后，可以对图像中电铲铲齿的缺损进行识别，得到缺损信息。本发明可以准确、快速检测出电铲铲齿缺陷，通过视频终端显示或声光报警，及时提醒电铲司机或工人进行隐患排查，减少铲齿缺陷对生产过程造成的损害，进而提高生产效率。

Description

基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法
技术领域
本发明属于工程故障检测技术领域，尤其涉及一种基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法。
背景技术
露天煤矿矿用电铲在挖煤过程中，电铲铲斗在复杂物理力学环境中长时间作业，会出现铲齿断裂及铲斗局部脱落现象，脱落的部分混入煤炭中装入卡车，卡车直接运煤至破碎站。当脱落部件大于300mm时会造成破碎机或电机故障，影响生产的正常运行，导致严重的经济损失和人力物力浪费，为了从源头消除这种隐患，有必要进行电铲铲斗实时状态检测研究。
目前，露天矿对于铲斗缺失类金属混入煤炭流中的筛选存在以下问题：
1）铲斗脱落部件为锰钢材料，常用磁选方法不起作用；
2）破碎站处煤流量大而且速度较快，现有的技术即使能探测到脱落部件也不能及时将其清理出煤流；
3）由于卡车运煤不会经由传送带送入破碎机，因而无法用大功率电磁铁或金属探测仪检测锰钢断裂件；
4）人工检测铲斗零件不但影响采掘进度，而且检测的准确率难以保证。
综上所述现有的检测技术及办法存在技术上一个时间滞后的问题和没有可操作性的问题。
发明内容
本发明的目的是为了解决上述问题，提供一种基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法。
本发明的技术方案是：一种基于卷积神经网络的电铲铲斗缺陷自动识别装置，其特征是：该装置包括设置在铲斗工作区域的红外日夜两用网络摄像机、红外补光灯；还包括位于控制区域的计算机、显示器，网络摄像机通过通信网络与计算机连接传输图像数据，所述的计算机内搭建有卷积神经网络模型；所述的卷积神经网络模型经过训练后，可以对图像中电铲铲齿的缺损进行识别，得到缺损信息。
优选的，所述的网络包括位于铲斗工作区域的第一无线路由器和位于控制区域的第二无线路由器连接组成；所述的网络摄像机与第一无线路由器连接，计算机与第二无线路由器连接。
优选的，所述的计算机用于储存图像数据，并对图像样本处理、标记形成规范化的电铲铲斗图像样本库。
优选的，所述的网络摄像机通过摄像机支架安装在铲斗工作区域。
优选的，所述的卷积神经网络模型的主体部分至少包括卷积特征提取器、区域建议网络、ROI池化层及全连接分类器四部分；
所述卷积特征提取器由卷积层和池化层重复堆叠形成，其功能在于提取输入卷积神经网络的图像的特征，得到特征图供后续部分处理；
所述区域建议网络用于图像前景后景分割，并提供检测目标可能的位置；
所述ROI池化层根据卷积特征提取器产生的特征图和区域建议网络的分割结果生成新的特征图，供全连接分类器处理；
所述全连接分类器由若干层全连接层堆叠而成，作用在于接收ROI池化层产生的特征图，并完成最终的目标分类和目标定位；
所述卷积神经网络模型的训练使用反向传播算法实现；
所述卷积神经网络模型可以对图像数据和人工神经网络模型文献进行读取、传递、测试及储存。
一种基于卷积神经网络的电铲铲斗缺陷自动识别方法，包括以下步骤：
步骤S101：数据采集
启动系统，确保系统各部分正常工作；红外日夜两用网络摄像机采集铲齿图像通过通信网络传输给传给计算机；通过操作计算机对图像中电铲铲齿缺陷位置进行标定并添加对应标签，得到数据集；
步骤S102：训练得到模型
计算机加载卷积神经网络模型，将数据集送入模型进行训练得到卷积神经网络预测模型；
步骤S103：实时识别
红外日夜两用网络摄像机实时采集现场电铲铲齿图像，通过通信网络送入计算机卷积神经网络预测模型进行预测，得到预测结果和预测概率；
步骤S104：计算机将预测结果和预测概率通过通信网络传至报警设备。
本发明的有益效果是：
本发明可以准确、快速检测出电铲铲齿缺陷，通过视频终端显示或声光报警，及时提醒电铲司机或工人进行隐患排查，减少铲齿缺陷对生产过程造成的损害，进而提高生产效率。具体来说，一方面本发明基于卷积神经网络模型编写的程序，能够快速、高准确度地识别电铲铲斗缺陷并给出识别结果；另一方面红外补光灯可以自动补光，不受光线等外界因素影响即可以进行图像采集。
附图说明
图1为基于卷积神经网络的电铲铲斗缺陷自动识别装置的布置示意图；
图2为基于卷积神经网络的电铲铲斗缺陷自动识别方法的流程示意图。
图中标号：1.红外日夜两用网络摄像机，2.红外补光灯，.摄像头支架，4.第一无线路由器甲，5.第二无线路由器，6.第三无线路由器，7.计算机，8.显示器，9.电铲铲斗。
具体实施方式
实施例一：参见图1，图中一种基于卷积神经网络的电铲铲斗缺陷自动识别装置，该装置包括设置在铲斗工作区域的红外日夜两用网络摄像机、红外补光灯；还包括位于控制区域的计算机、显示器，网络摄像机通过通信网络与计算机连接传输图像数据，所述的计算机内搭建有卷积神经网络模型；所述的卷积神经网络模型经过训练后，可以对图像中电铲铲齿的缺损进行识别，得到缺损信息。红外补光灯可以自动补光，不受光线等外界因素影响即可以进行图像采集。所述的网络包括位于铲斗工作区域的第一无线路由器和位于控制区域的第二无线路由器连接组成；所述的网络摄像机与第一无线路由器连接，计算机与第二无线路由器连接。当然还可以采用其他通讯网络进行传输图像数据，比如采用现用的移动通信网络也可以，3G和4G均可。所述的计算机用于储存图像数据，并对图像样本处理、标记形成规范化的电铲铲斗图像样本库。所述的网络摄像机通过摄像机支架安装在铲斗工作区域。以不影响电铲铲斗正常工作为标准。
实施例二：参见图1和2，一种基于卷积神经网络的电铲铲斗缺陷自动识别方法，装置采用实施例一所述的装置，该方法包括以下步骤：
步骤S101：数据采集
启动系统，确保系统各部分正常工作；红外日夜两用网络摄像机采集铲齿图像通过通信网络传输给传给计算机；通过操作计算机对图像中电铲铲齿缺陷位置进行标定并添加对应标签，得到数据集；
步骤S102：训练得到模型
计算机加载卷积神经网络模型，将数据集送入模型进行训练得到卷积神经网络预测模型；
步骤S103：实时识别
红外日夜两用网络摄像机实时采集现场电铲铲齿图像，通过通信网络送入计算机卷积神经网络预测模型进行预测，得到预测结果和预测概率；
步骤S104：计算机将预测结果和预测概率通过通信网络传至报警设备，该报警设备为图1中与第三路由器连接的显示器，报警设备也可以采用其他声光报警装置用以提醒。
计算机对图像进行以下步骤的处理：对图像预处理及标注，进行裁剪、旋转、翻转等操作，给与对应标签，并进行手动标定缺陷位置。将图像数据集送入卷积神经网络进行训练，得到预测模型。将红外日夜两用网络摄像机实时采集的电铲铲斗的图像传至计算机进行预测，并给出预测概率，还可以通过第二路由器送至第三路由器，由第三路由器传输至显示器上。
对图像预处理及标注，使用基于Python Opencv库开发的程序，对样本图片进行翻转、明暗度变化、加噪声等处理，该程序基于生成对抗网络（Generative AdversarialNetworks，GAN）对图片进行处理，模拟多工况环境下的铲齿特征图像。对训练样本图片中电铲铲齿缺失的部分进行标注，将需要被识别出来的部分的像素坐标信息和标签（label）类别信息形成txt文件，再将txt文件转化为程序可识别的xml文件，作为数据样本库。
所述卷积神经网络模型基于Python语言下的Keras框架和OpenCV库进行开发，其主体部分由卷积特征提取器、区域建议网络、ROI池化层及全连接分类器四部分构成。所述卷积特征提取器由卷积层和池化层重复堆叠形成，其功能在于提取输入卷积神经网络的图像的特征，得到特征图供后续部分处理。所述区域建议网络用于图像前景后景分割，并提供检测目标可能的位置。所述ROI池化层根据卷积特征提取器产生的特征图和区域建议网络的分割结果生成新的特征图，供全连接分类器处理。所述全连接分类器由若干层全连接层堆叠而成，作用在于接收ROI池化层产生的特征图，并完成最终的目标分类和目标定位。所述卷积神经网络模型的训练使用反向传播算法实现。所述卷积神经网络模型可以对图像数据和人工神经网络模型文献进行读取、传递、测试及储存。
使用数据样本库对卷积神经网络模型进行训练、测试，根据测试结果调整模型的训练率等超参数，直到模型准确度达到预期的要求即可将模型保存为电铲铲斗状态监测设备可调用的H5文件。
所述计算机调用训练得到的卷积神经网络模型，对图像中铲齿的缺损进行识别，得到缺损点数目及位置、概率等信息。
由上述本发明提供的技术方案可以看出，本发明实例提供的一种基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法，通过采集现场电铲铲斗的图像数据，进行图像预处理及标注后，送入计算机上的卷积神经网络模型处理训练，训练完成后，实时采集图像，送入该卷积神经网络模型进行图像识别、预测，将电铲铲斗可能的缺损信息传递到显示器上，最终实现对电铲铲斗缺陷的自动识别报警。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进与润饰，这些改进与润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于卷积神经网络的电铲铲斗缺陷自动识别装置，其特征是：该装置包括设置在铲斗工作区域的红外日夜两用网络摄像机、红外补光灯；还包括位于控制区域的计算机、显示器，网络摄像机通过通信网络与计算机连接传输图像数据，所述的计算机内搭建有卷积神经网络模型；所述的卷积神经网络模型经过训练后，可以对图像中电铲铲齿的缺损进行识别，得到缺损信息。
2.根据权利要求1所述的基于卷积神经网络的电铲铲斗缺陷自动识别装置，其特征在于：所述的网络包括位于铲斗工作区域的第一无线路由器和位于控制区域的第二无线路由器连接组成；所述的网络摄像机与第一无线路由器连接，计算机与第二无线路由器连接。
3.根据权利要求1所述的基于卷积神经网络的电铲铲斗缺陷自动识别装置，其特征在于：所述的计算机用于储存图像数据，并对图像样本处理、标记形成规范化的电铲铲斗图像样本库。
4.根据权利要求1所述的基于卷积神经网络的电铲铲斗缺陷自动识别装置，其特征在于：所述的网络摄像机通过摄像机支架安装在铲斗工作区域。
5.根据权利要求1所述的基于卷积神经网络的电铲铲斗缺陷自动识别装置，其特征在于：所述的卷积神经网络模型的主体部分至少包括卷积特征提取器、区域建议网络、ROI池化层及全连接分类器四部分；
所述卷积特征提取器由卷积层和池化层重复堆叠形成，其功能在于提取输入卷积神经网络的图像的特征，得到特征图供后续部分处理；
所述区域建议网络用于图像前景后景分割，并提供检测目标可能的位置；
所述ROI池化层根据卷积特征提取器产生的特征图和区域建议网络的分割结果生成新的特征图，供全连接分类器处理；
所述全连接分类器由若干层全连接层堆叠而成，作用在于接收ROI池化层产生的特征图，并完成最终的目标分类和目标定位；
所述卷积神经网络模型的训练使用反向传播算法实现；
所述卷积神经网络模型可以对图像数据和人工神经网络模型文献进行读取、传递、测试及储存。
6.一种基于卷积神经网络的电铲铲斗缺陷自动识别方法，包括以下步骤：
步骤S101：数据采集
启动系统，确保系统各部分正常工作；红外日夜两用网络摄像机采集铲齿图像通过通信网络传输给传给计算机；通过操作计算机对图像中电铲铲齿缺陷位置进行标定并添加对应标签，得到数据集；
步骤S102：训练得到模型
计算机加载卷积神经网络模型，将数据集送入模型进行训练得到卷积神经网络预测模型；
步骤S103：实时识别
红外日夜两用网络摄像机实时采集现场电铲铲齿图像，通过通信网络送入计算机卷积神经网络预测模型进行预测，得到预测结果和预测概率；
步骤S104：计算机将预测结果和预测概率通过通信网络传至报警设备。
CN201911160515.7A 2019-11-23 2019-11-23 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法 Pending CN110991286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911160515.7A CN110991286A (zh) 2019-11-23 2019-11-23 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911160515.7A CN110991286A (zh) 2019-11-23 2019-11-23 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法

Publications (1)

Publication Number Publication Date
CN110991286A true CN110991286A (zh) 2020-04-10

Family

ID=70086223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911160515.7A Pending CN110991286A (zh) 2019-11-23 2019-11-23 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法

Country Status (1)

Country Link
CN (1) CN110991286A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739029A (zh) * 2020-06-12 2020-10-02 鞍钢集团矿业有限公司 基于深度学习卷积神经网络的电铲斗齿脱落检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201108A1 (en) * 2003-08-26 2008-08-21 Siemens Corporation System and Method for Distributed Reporting of Machine Performance
CA2885557A1 (en) * 2012-09-21 2014-03-27 Siemens Industry, Inc. A method and system for preemptively determining a load weight for mining excavation equipment
CN108055449A (zh) * 2018-01-26 2018-05-18 北京久鼎恒通科技发展有限公司 热像仪和基于热成像的斗齿监控系统
CN207854020U (zh) * 2018-01-26 2018-09-11 北京久鼎恒通科技发展有限公司 热像仪和基于热成像的斗齿监控系统
CN110175985A (zh) * 2019-04-22 2019-08-27 国网江苏省电力有限公司电力科学研究院 碳纤维复合芯导线损伤检测方法、装置及计算机存储介质
CN110409528A (zh) * 2019-07-25 2019-11-05 中国航空工业集团公司西安飞行自动控制研究所 一种挖掘机铲斗轨迹自动控制装置、方法和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201108A1 (en) * 2003-08-26 2008-08-21 Siemens Corporation System and Method for Distributed Reporting of Machine Performance
CA2885557A1 (en) * 2012-09-21 2014-03-27 Siemens Industry, Inc. A method and system for preemptively determining a load weight for mining excavation equipment
CN104769396A (zh) * 2012-09-21 2015-07-08 西门子工业公司 用于抢先确定开采挖掘设备的载荷重量的方法和系统
CN108055449A (zh) * 2018-01-26 2018-05-18 北京久鼎恒通科技发展有限公司 热像仪和基于热成像的斗齿监控系统
CN207854020U (zh) * 2018-01-26 2018-09-11 北京久鼎恒通科技发展有限公司 热像仪和基于热成像的斗齿监控系统
CN110175985A (zh) * 2019-04-22 2019-08-27 国网江苏省电力有限公司电力科学研究院 碳纤维复合芯导线损伤检测方法、装置及计算机存储介质
CN110409528A (zh) * 2019-07-25 2019-11-05 中国航空工业集团公司西安飞行自动控制研究所 一种挖掘机铲斗轨迹自动控制装置、方法和计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
周丹主编: "《保安防范技术》", 31 July 2007 *
宋立远: "《应用物理》", 31 August 2006 *
宗殿瑞等: "《机电工程基础》", 28 February 2009 *
李健和等: "《警察实用知识全书》", 30 September 1995 *
陈海虹等: "《机器学习原理及应用》", 31 July 2017 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739029A (zh) * 2020-06-12 2020-10-02 鞍钢集团矿业有限公司 基于深度学习卷积神经网络的电铲斗齿脱落检测方法
CN111739029B (zh) * 2020-06-12 2023-11-14 鞍钢集团矿业有限公司 基于深度学习卷积神经网络的电铲斗齿脱落检测方法

Similar Documents

Publication Publication Date Title
CN110390691B (zh) 一种基于深度学习的矿石尺度测量方法及应用系统
US7020307B2 (en) Rock fragmentation analysis system
KR20200013148A (ko) 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
CN113129468B (zh) 基于无人机的地下管廊巡检方法
CN113159061B (zh) 一种基于实例分割的实际隧道围岩碴片识别方法
CN110441320B (zh) 一种煤矸石检测方法、装置及系统
CN113942805A (zh) 煤块运输监控方法及装置
CN113487570A (zh) 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN112560941A (zh) 基于图像检测的煤矸识别方法
CN113788051A (zh) 列车在站运行状态监测分析系统
CN111652873A (zh) 基于迁移学习的永磁自卸除铁器弃铁输送带断裂检测方法
CN110991286A (zh) 基于卷积神经网络的电铲铲斗缺陷自动识别装置及方法
CN113569943B (zh) 一种基于深度神经网络的渣片大块预警方法、系统及装置
Feng et al. Improved SOLOv2 detection method for shield tunnel lining water leakages
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN113343852A (zh) 一种电力作业现场人员行为检测方法、系统及装置
CN110969081B (zh) 基于多模块划分的kl散度的输电线路外力破坏检测方法
CN112446884A (zh) 一种激光点云中输电线的定位方法、装置及终端设备
CN113205133B (zh) 一种基于多任务学习的隧道水渍智能识别方法
CN115759497A (zh) 一种轨道交通智慧车站自动巡检的方法与系统
CN112150453B (zh) 一种铁路货车摇枕弹簧折断故障自动检测方法
CN111723861B (zh) 一种用于煤矿控制挡板的煤矸石百分比识别方法
CN114359779A (zh) 一种基于深度学习的皮带撕裂检测方法
CN113705334A (zh) 监管工程渣土车的方法、装置、车载终端和车辆
CN114445326A (zh) 光伏面板异常检测方法、检测装置及计算机可读存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410