CN113408361A - 一种基于深度学习的矿用输送带大块物料检测方法及系统 - Google Patents

一种基于深度学习的矿用输送带大块物料检测方法及系统 Download PDF

Info

Publication number
CN113408361A
CN113408361A CN202110571900.1A CN202110571900A CN113408361A CN 113408361 A CN113408361 A CN 113408361A CN 202110571900 A CN202110571900 A CN 202110571900A CN 113408361 A CN113408361 A CN 113408361A
Authority
CN
China
Prior art keywords
target frame
pred
truth
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110571900.1A
Other languages
English (en)
Other versions
CN113408361B (zh
Inventor
张晓光
蔺康
徐桂云
吕志伟
陈德明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ren'an Hi Tech Co ltd
China University of Mining and Technology CUMT
Original Assignee
Jiangsu Ren'an Hi Tech Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ren'an Hi Tech Co ltd, China University of Mining and Technology CUMT filed Critical Jiangsu Ren'an Hi Tech Co ltd
Priority to CN202110571900.1A priority Critical patent/CN113408361B/zh
Publication of CN113408361A publication Critical patent/CN113408361A/zh
Application granted granted Critical
Publication of CN113408361B publication Critical patent/CN113408361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/042—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Conveyors (AREA)

Abstract

本发明公开了一种基于深度学习的矿用输送带大块物料检测方法及系统，该方法包括：防爆监控装置采集物料图像作为样本集；对预处理后的图像进行目标标记，并将标记结果分类为训练集、验证集和测试集；构建基于深度学习的目标检测网络模型；训练网络模型达到收敛状态，得到训练好的块状物料检测模型；将测试集图像输入训练好的块状物料检测模型中，判断输送带中是否出现了块状物料；判断块状物料是否为大块物料；若检测到大块物料，软件平台记录此时的异常信息，并控制报警设备发出报警信号。本发明克服了传统图像检测方法对物料目标和其运输背景因灰度十分相近而难以准确区分的缺陷，能够对监控区域进行实时监控，不需要人进行巡视，减少人力成本。

Description

一种基于深度学习的矿用输送带大块物料检测方法及系统
技术领域
本发明涉及煤矿智能化技术领域，具体涉及一种基于深度学习的矿用输送带大块物料检测方法及系统。
背景技术
我国是以煤为主要能源的国家，煤炭是我国能源消费的主体且短期内不会改变，煤炭工业能否健康、稳定发展事关我国能源安全和经济可持续发展。带式输送机是煤炭运输的关键设备，在煤炭运输中起着至关重要的作用。一旦带式输送机出现故障不能正常运转，煤矿的正常生产就将受到严重影响。输送带作为整个带式运输机系统的核心部件并且价格昂贵(据统计约占带式运输机运行成本的40％以上)，由于矿井下环境复杂恶劣，输送带上面的物料大小不一，再加上皮带本身的强度问题，在生产中很容易出现跑偏、打滑、断带以及纵向撕带的事故。这些事故的出现不仅会影响安全生产，而且会造成十分惨重的经济损失。
对这些输送带事故分析可以看出，输送带纵向撕裂在输送带损害中较易发生，并危害最为突出。其中，大部分的输送带纵撕问题是由于大块物料(如大块煤、大块矸石、锚杆等)进入运煤皮带系统对输送带压砸造成的。截至目前，大部分的输送带安全防护研究都是集中在输送带的纵向撕裂检测。输送带纵撕检测虽然能够检测出输送带纵撕的早期阶段并作出响应，减小输送带纵撕对矿井生产过程的影响，但是却不能在根本上预防输送带纵撕的发生。因此从输送带纵撕事故的原因出发，如果能在大块物料进入输送带运输系统的早期阶段，精确识别出大块物料并将其从系统中取出，则可以极大的预防其对输送带运输系统的损害，预防输送带纵撕，保障输送带运输系统的安全稳定运行。
此外，随着工业4.0的不断推进，煤炭综合自动化的不断进步，基于机器视觉的图像检测技术逐渐成为新的发展方向。机器视觉是一种利用光学元件、图像传感器等设备，自动对物体进行图像采集和相关处理的先进技术，其处理结果可以用于控制各种机械设备的工作情况。与各种传统技术相比，机器视觉技术具有非接触、经济、灵活、可靠等优点。如能在带式输送机运输系统中研究一种基于深度学习的矿用输送带大块物料检测方法对带式输送机进行大块物料检测，则可实现煤矿矿井带式输送机智能化监测的功能。同时，增加的输送带图像检测功能降低了岗位工人的劳动强度，提高了报警装置的灵敏度及准确性，保证了安全生产；另外，通过新增摄像机，岗位工人也可直接观察运输情况，更有利于观察与操作。
发明内容
针对大块物料对输送带运输系统的损害问题，本发明提出一种基于深度学习的矿用输送带大块物料检测方法及系统。
为了实现上述技术目的，本发明采用如下技术方案：
一种基于深度学习的矿用输送带大块物料检测方法，包括如下步骤：
S1：通过防爆监控装置实时采集现场的输送带物料图像作为样本集；
S2：筛选出样本集中有块状物体的图像，对筛选后的图像进行预处理，然后对预处理后的图像进行目标标记，并将标记结果分类为训练集、验证集和测试集；
S3：构建基于深度学习的目标检测网络模型YOLOv3；
S4：将步骤S2中的训练集和验证集图像输入YOLOv3网络模型进行训练并对其参数进行微调，直至网络模型达到收敛状态，得到训练好的块状物料检测模型；
S5：将步骤S2中的测试集图像输入训练好的块状物料检测模型中，若图像中检测到的目标置信度Cconf大于80％，则说明输送带中出现了块状物料；
S6：判断块状物料是否为大块物料；
S7：若检测到大块物料，软件平台记录此时的异常信息，并控制报警设备发出报警信号。
优选地，步骤S1中防爆监控装置能够适应煤矿井下场景中对图像质量、流畅性的要求，而且监控画面能够完整获取到输送带的宽度部分。
优选地，步骤S2中，筛选出样本集中有块状物体的图像，对筛选后的图像进行检测区域截取，然后采用labelimg软件对检测区域截取后的图像进行目标矩形框标记，得到目标的坐标信息并存储在xml文件中，最后将标记结果分类为训练集、验证集和测试集。
优选地，步骤S4中，网络模型达到收敛状态的判定依据为训练集和验证集的loss函数达到收敛状态。
优选地，步骤S5中，目标置信度
Figure BDA0003083023440000021
其中，
Figure BDA0003083023440000022
为预测目标框Bpred和真实目标框Btruth的交集和并集之间的比值，Pr(object)表示预测目标框Bpred中是否存在检测目标，存在其值为1，反之则为0。
优选地，预测目标框Bpred和真实目标框Btruth的交集计算方法如下：
预测目标框Bpred位置和大小为(x1,y1,w1,h1)，真实目标框Btruth位置和大小为(x2,y2,w2,h2)，其中，x、y分别表示目标框中心点的横、纵坐标，w表示目标框的宽度，h表示目标框的高度；下标1、2分别对应预测目标框Bpred和真实目标框Btruth；
Figure BDA0003083023440000031
其中，wpxmin为预测目标框Bpred横坐标下界，wpxmax为预测目标框Bpred横坐标上界；
Figure BDA0003083023440000032
其中，wtxmin为真实目标框Btruth横坐标下界，wtxmax真实目标框Btruth横坐标上界；
计算wpxmin和wtxmin的最大值wx1，wx1＝max(wpxmin,wtxmin)；计算wpxmax和wtxmax的最小值wx2，wx2＝min(wpxmax,wtxmax)；若wx2-wx1<0，则此时Bpred和Btruth的横坐标没有交集，反之则说明Bpred和Btruth的横坐标存在交集；
Figure BDA0003083023440000033
其中，wpymin为预测目标框Bpred纵坐标下界，wpymax为预测目标框Bpred纵坐标上界；
Figure BDA0003083023440000034
其中，wtymin为真实目标框Btruth纵坐标下界，wtymax真实目标框Btruth纵坐标上界；
计算wpymin和wtymin的最大值wy1，wy1＝max(wpymin,wtymin)；计算wpymax和wtymax的最小值wy2，wy2＝min(wpymax,wtymax)；若wy2-wy1<0，则此时Bpred和Btruth的纵坐标没有交集，反之则说明Bpred和Btruth的纵坐标存在交集；
进而求得Bpred和Btruth的相交区域。
优选地，步骤S6判断块状物料是否为大块物料的方法如下：对防爆监控装置进行标定，得到物料目标实际尺寸与图像尺寸之间的关系；之后计算块状物料的长、宽，只要长、宽有一个量超过预定阈值，则可以判定为大块物料。
优选地，得到物料实际尺寸与图像尺寸之间的关系的具体步骤如下：得到一个在输送带上正常运行的物料的实际尺寸为L1；通过防爆监控装置将其摄取后得到该物料的图像，计算出该物体在图像中的尺寸为M1；在此后的计算中，只需计算出新物料的图像尺寸M，便可以根据公式
Figure BDA0003083023440000035
得到实际的物料尺寸L。
本发明还提出一种矿用输送带大块物料检测的系统，包括大块物料检测模块、信息显示模块、数据管理模块、报警控制模块、系统设置模块，所述大块物料检测模块对矿用输送带上的大块物料进行检测，并将检测结果进行存储；所述信息显示模块将防爆监控装置采集到的视频内容实时显示在软件平台界面上，并显示防爆监控装置是否配置成功、数据管理功能是否正常、系统报警与控制功能是否开启、大块物料检测模块检测到的异常信息结果；所述数据管理模块通过Mysql数据库管理软件完成数据通讯、数据处理、数据查询和数据统计；所述报警模块根据大块物料的异常状况，发出声光报警信息或者控制输送带的启停；所述系统设置模块对防爆监控装置的设备名称、IP地址、检测类型及用户的账号密码信息进行设置，用于监控检测装置及用户的登录操作。
与现有技术相比，本发明的有益效果：
(1)本发明能能够对监控区域进行实时监控，不需要人进行巡视，减少人力成本；并且当输送带中出现大块物料时，能够在第一时间发出警报提醒现场工作人员，具有及时性和有效性优点。
(2)本发明克服了传统图像检测方法对物料目标和其运输背景因灰度十分相近而难以准确区分的缺陷，提出的一种基于深度学习的矿用输送带大块物料检测方法对预防矿用输送带纵撕和纵撕扩大、维持带式运输机安全运行、确保煤矿企业稳定生产具有重要的社会意义和经济价值，并具有广阔的市场推广前景。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域中的普通技术人员来说，在不付出创造性劳动的前提下，还可根据这些附图获得其他附图。
图1为本发明检测方法流程图；
图2(a)为YOLOv3网络模型训练集loss函数；
图2(b)为YOLOv3网络模型验证集loss函数；
图3为YOLOv3网络模型中Bpred和Btruth的交集类型；
图4为YOLOv3网络模型中Bpred和Btruth交集计算方法；
图5为检测系统总体设计框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
1.一种基于深度学习的矿用输送带大块物料检测方法，其特征在于，包括如下步骤：
S1：通过防爆监控装置实时采集现场的输送带物料图像作为样本集；
选取的防爆监控装置能够适应煤矿井下场景中对图像质量、流畅性的不同要求，并且安装位置要满足监控画面能够完整获取到输送带的宽度部分。具体的选取和安装参数如下：防爆监控装置拍摄的图片分辨率为1920×1080、支持TCP/IP、HTTP、FTP等大多数网络协议、传输速率为10/100Mbps、水平视场角为89°、帧率为25fps、快门速度为1/3秒至1/100,000秒。实际输送带宽度为1.2m，受煤矿工作现场空间狭小所制，防爆监控装置安装在输送带正上方1.55m处，可得到防爆监控装置摄取的图片真实长度约为3.1m×1.75m。输送带运行速度为4m/s。
S2：筛选出样本集中有块状物体的图像，对筛选后的图像进行检测区域截取，然后采用labelimg软件对检测区域截取后的图像进行目标矩形框标记，得到目标的坐标信息并存储在xml文件中，最后将标记结果分类为训练集、验证集和测试集。具体的过程如下：
筛选的图像取自不同的获取时间和不同的输送带位置；
图像的检测区域截取采用矩形区域截取的方式，矩形区域的左上角点和右下角点分别为(0,442)和(1080,1548)，得到的图像分辨率为1106×1080；
将检测区域截取后的图像导入到labelimg软件，通过画矩形框的方式将图像中明显存在的块状物料目标进行标出，并将其类别名称设置为block，最后以PASCALVOC的格式对数据进行存储，得到保存着原始图像和标注框等各种信息的XML文件；
实验中通过标注一共获得的块状物料目标检测数据集样本数量为784，其中，训练集的样本数量和验证集的样本数量设置为9:1，将训练集样本数量设置为540，则验证集样本数量为60，测试集样本数量为184。
S3：构建基于深度学习的目标检测网络模型YOLOv3；
构建YOLOv3的检测流程为首先将原始图像的尺寸大小进行重新调整，将所得的图像在YOLOv3网络结构中进行输入；之后运行YOLOv3网络，得到预测了目标的位置大小、置信度以及所属的种类信息的边界框；最后对获得的边界框进行筛选，将多余的预测结果信息进行清除，得到最终的目标检测结果。
S4：将步骤S2中的训练集和验证集图像输入YOLOv3网络模型进行训练并对其参数进行微调，直至网络模型达到收敛状态，得到训练好的块状物料检测模型；网络模型达到收敛状态的判定依据为训练集和验证集的loss函数达到收敛状态。具体的实现过程如下：
实验平台所用计算机配置为AMDR7-3800XCPU，内存32G，RTX2070GPU，显存16G，操作系统为Windows10，编程语言为python3.8，深度学习框架为pytorch；
训练的Epochs设置为100，前50个Epochs冻结预训练模型的参数，只对最后一层分类层进行训练，后50个Epochs对所有参数进行更新，前50个Epochs的batchsize设置为8，后50个Epochs的batchsize为4，前50个Epochs设置学习率lr为0.001，后50个Epochs设置学习率lr为0.0001；
对YOLOv3模型进行训练时，如图2所示，训练集和验证集的loss函数都稳定的呈下降趋势，最终两个loss函数都能降到5以下。
S5：将步骤S2中的测试集图像输入训练好的块状物料检测模型中，若图像中检测到的目标置信度Cconf大于80％，则说明输送带中出现了块状物料。
目标置信度
Figure BDA0003083023440000061
其中，
Figure BDA0003083023440000062
为预测目标框Bpred和真实目标框Btruth的交集和并集之间的比值，Pr(object)表示预测目标框Bpred中是否存在检测目标，存在其值为1，反之则为0。
如图3所示，预测目标框Bpred和真实目标框Btruth之间按照相对位置可能会出现完全包含、部分相交、互不相交等情况。如图4所示，预测目标框Bpred和真实目标框Btruth的交集计算方法如下：
预测目标框Bpred位置和大小为(x1,y1,w1,h1)，真实目标框Btruth位置和大小为(x2,y2,w2,h2)，其中，x、y分别表示目标框中心点的横、纵坐标，w表示目标框的宽度，h表示目标框的高度；下标1、2分别对应预测目标框Bpred和真实目标框Btruth；
Figure BDA0003083023440000063
其中，wpxmin为预测目标框Bpred横坐标下界，wpxmax为预测目标框Bpred横坐标上界；
Figure BDA0003083023440000064
其中，wtxmin为真实目标框Btruth横坐标下界，wtxmax真实目标框Btruth横坐标上界；
计算wpxmin和wtxmin的最大值wx1，wx1＝max(wpxmin,wtxmin)；计算wpxmax和wtxmax的最小值wx2，wx2＝min(wpxmax,wtxmax)；若wx2-wx1<0，则此时Bpred和Btruth的横坐标没有交集，反之则说明Bpred和Btruth的横坐标存在交集；
Figure BDA0003083023440000065
其中，wpymin为预测目标框Bpred纵坐标下界，wpymax为预测目标框Bpred纵坐标上界；
Figure BDA0003083023440000071
其中，wtymin为真实目标框Btruth纵坐标下界，wtymax真实目标框Btruth纵坐标上界；
计算wpymin和wtymin的最大值wy1，wy1＝max(wpymin,wtymin)；计算wpymax和wtymax的最小值wy2，wy2＝min(wpymax,wtymax)；若wy2-wy1<0，则此时Bpred和Btruth的纵坐标没有交集，反之则说明Bpred和Btruth的纵坐标存在交集；进而求得Bpred和Btruth的相交区域。
S6：判断块状物料是否为大块物料；步骤S6判断块状物料是否为大块物料的方法如下：对防爆监控装置进行标定，得到物料目标实际尺寸与图像尺寸之间的关系；之后计算块状物料的长、宽，只要长、宽有一个量超过预定阈值，则可以判定为大块物料。得到物料实际尺寸与图像尺寸之间的关系的具体步骤如下：得到一个在输送带上正常运行的物料的实际尺寸为L1；通过防爆监控装置将其摄取后得到该物料的图像，计算出该物体在图像中的尺寸为M1；在此后的计算中，只需计算出新物料的图像尺寸M，便可以根据公式
Figure BDA0003083023440000072
得到实际的物料尺寸L。
S7：若检测到大块物料，软件平台记录此时的异常信息，并控制报警设备发出报警信号。
本发明还提供一种矿用输送带大块物料检测的系统，如图5所示，包括大块物料检测模块、信息显示模块、数据管理模块、报警控制模块、系统设置模块，所述大块物料检测模块采用步骤S1-S6的检测步骤对矿用输送带上的大块物料进行检测，并将检测结果进行存储；所述信息显示模块将防爆监控装置采集到的视频内容实时显示在软件平台界面上，并显示防爆监控装置是否配置成功、数据管理功能是否正常、系统报警与控制功能是否开启、大块物料检测模块检测到的异常信息结果；所述数据管理模块通过Mysql数据库管理软件完成数据通讯、数据处理、数据查询和数据统计；所述报警模块根据大块物料的异常状况，发出声光报警信息或者控制输送带的启停；所述系统设置模块对防爆监控装置的设备名称、IP地址、检测类型及用户的账号密码信息进行设置，用于监控检测装置及用户的登录操作。

Claims (9)

1.一种基于深度学习的矿用输送带大块物料检测方法，其特征在于，包括如下步骤：
S1：通过防爆监控装置实时采集现场的输送带物料图像作为样本集；
S2：筛选出样本集中有块状物体的图像，对筛选后的图像进行预处理，然后对预处理后的图像进行目标标记，并将标记结果分类为训练集、验证集和测试集；
S3：构建基于深度学习的目标检测网络模型YOLOv3；
S4：将步骤S2中的训练集和验证集图像输入YOLOv3网络模型进行训练并对其参数进行微调，直至网络模型达到收敛状态，得到训练好的块状物料检测模型；
S5：将步骤S2中的测试集图像输入训练好的块状物料检测模型中，若图像中检测到的目标置信度Cconf大于80％，则说明输送带中出现了块状物料；
S6：判断块状物料是否为大块物料；
S7：若检测到大块物料，软件平台记录此时的异常信息，并控制报警设备发出报警信号。
2.根据权利要求1所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：步骤S1中防爆监控装置能够适应煤矿井下场景中对图像质量、流畅性的要求，而且监控画面能够完整获取到输送带的宽度部分。
3.根据权利要求1所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：步骤S2中，筛选出样本集中有块状物体的图像，对筛选后的图像进行检测区域截取，然后采用labelimg软件对检测区域截取后的图像进行目标矩形框标记，得到目标的坐标信息并存储在xml文件中，最后将标记结果分类为训练集、验证集和测试集。
4.根据权利要求1所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：步骤S4中，网络模型达到收敛状态的判定依据为训练集和验证集的loss函数达到收敛状态。
5.根据权利要求1所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：步骤S5中，目标置信度
Figure FDA0003083023430000011
其中，
Figure FDA0003083023430000012
为预测目标框Bpred和真实目标框Btruth的交集和并集之间的比值，Pr(object)表示预测目标框Bpred中是否存在检测目标，存在其值为1，反之则为0。
6.根据权利要求5所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：预测目标框Bpred和真实目标框Btruth的交集计算方法如下：
预测目标框Bpred位置和大小为(x1,y1,w1,h1)，真实目标框Btruth位置和大小为(x2,y2,w2,h2)，其中，x、y分别表示目标框中心点的横、纵坐标，w表示目标框的宽度，h表示目标框的高度；下标1、2分别对应预测目标框Bpred和真实目标框Btruth；
Figure FDA0003083023430000021
其中，wpxmin为预测目标框Bpred横坐标下界，wpxmax为预测目标框Bpred横坐标上界；
Figure FDA0003083023430000022
其中，wtxmin为真实目标框Btruth横坐标下界，wtxmax真实目标框Btruth横坐标上界；
计算wpxmin和wtxmin的最大值wx1，wx1＝max(wpxmin,wtxmin)；计算wpxmax和wtxmax的最小值wx2，wx2＝min(wpxmax,wtxmax)；若wx2-wx1<0，则此时Bpred和Btruth的横坐标没有交集，反之则说明Bpred和Btruth的横坐标存在交集；
Figure FDA0003083023430000023
其中，wpymin为预测目标框Bpred纵坐标下界，wpymax为预测目标框Bpred纵坐标上界；
Figure FDA0003083023430000024
其中，wtymin为真实目标框Btruth纵坐标下界，wtymax真实目标框Btruth纵坐标上界；
计算wpymin和wtymin的最大值wy1，wy1＝max(wpymin,wtymin)；计算wpymax和wtymax的最小值wy2，wy2＝min(wpymax,wtymax)；若wy2-wy1<0，则此时Bpred和Btruth的纵坐标没有交集，反之则说明Bpred和Btruth的纵坐标存在交集；
进而求得Bpred和Btruth的相交区域。
7.根据权利要求1所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：步骤S6判断块状物料是否为大块物料的方法如下：对防爆监控装置进行标定，得到物料目标实际尺寸与图像尺寸之间的关系；之后计算块状物料的长、宽，只要长、宽有一个量超过预定阈值，则判定为大块物料。
8.根据权利要求7所述的基于深度学习的矿用输送带大块物料检测方法，其特征在于：得到物料实际尺寸与图像尺寸之间的关系的具体步骤如下：得到一个在输送带上正常运行的物料的实际尺寸为L1；通过防爆监控装置将其摄取后得到该物料的图像，计算出该物体在图像中的尺寸为M1；在此后的计算中，只需计算出新物料的图像尺寸M，便可以根据公式
Figure FDA0003083023430000025
得到实际的物料尺寸L。
9.一种基于权利要求1所述的方法进行矿用输送带大块物料检测的系统，其特征在于：包括大块物料检测模块、信息显示模块、数据管理模块、报警控制模块、系统设置模块，所述大块物料检测模块采用权利要求1中步骤S1-S6的检测步骤对矿用输送带上的大块物料进行检测，并将检测结果进行存储；所述信息显示模块将防爆监控装置采集到的视频内容实时显示在软件平台界面上，并显示防爆监控装置是否配置成功、数据管理功能是否正常、系统报警与控制功能是否开启、大块物料检测模块检测到的异常信息结果；所述数据管理模块通过Mysql数据库管理软件完成数据通讯、数据处理、数据查询和数据统计；所述报警模块根据大块物料的异常状况，发出声光报警信息或者控制输送带的启停；所述系统设置模块对防爆监控装置的设备名称、IP地址、检测类型及用户的账号密码信息进行设置，用于监控检测装置及用户的登录操作。
CN202110571900.1A 2021-05-25 2021-05-25 一种基于深度学习的矿用输送带大块物料检测方法及系统 Active CN113408361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571900.1A CN113408361B (zh) 2021-05-25 2021-05-25 一种基于深度学习的矿用输送带大块物料检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571900.1A CN113408361B (zh) 2021-05-25 2021-05-25 一种基于深度学习的矿用输送带大块物料检测方法及系统

Publications (2)

Publication Number Publication Date
CN113408361A true CN113408361A (zh) 2021-09-17
CN113408361B CN113408361B (zh) 2023-09-19

Family

ID=77674944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571900.1A Active CN113408361B (zh) 2021-05-25 2021-05-25 一种基于深度学习的矿用输送带大块物料检测方法及系统

Country Status (1)

Country Link
CN (1) CN113408361B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113942805A (zh) * 2021-12-22 2022-01-18 西安华创马科智能控制系统有限公司 煤块运输监控方法及装置
CN114033372A (zh) * 2021-10-25 2022-02-11 北京天玛智控科技股份有限公司 煤矿综采工作面的控制方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
CN112699967A (zh) * 2021-01-18 2021-04-23 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN112699967A (zh) * 2021-01-18 2021-04-23 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROBERT KRÓL等: "Testing belt conveyor resistance to motion in underground mine conditions", pages 1 - 14, Retrieved from the Internet <URL:《网页在线公开：https://sci-hub.st/https://doi.org/10.1080/17480930.2016.1187967》> *
赵苓等: "基于图像分析的多参数物料检测系统研究", 《机电工程》, vol. 31, no. 3, pages 295 - 300 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114033372A (zh) * 2021-10-25 2022-02-11 北京天玛智控科技股份有限公司 煤矿综采工作面的控制方法和装置
CN114033372B (zh) * 2021-10-25 2024-02-23 北京天玛智控科技股份有限公司 煤矿综采工作面的控制方法和装置
CN113942805A (zh) * 2021-12-22 2022-01-18 西安华创马科智能控制系统有限公司 煤块运输监控方法及装置
CN113942805B (zh) * 2021-12-22 2022-03-25 西安华创马科智能控制系统有限公司 煤块运输监控方法及装置

Also Published As

Publication number Publication date
CN113408361B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN101751744B (zh) 一种烟雾检测和预警方法
CN113408361A (zh) 一种基于深度学习的矿用输送带大块物料检测方法及系统
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
KR102207393B1 (ko) 인공지능을 이용한 교통정보센터 cctv 도로 상황 감시 시스템
GB2601937A (en) Method and system for managing a crane and/or construction site
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN115248873B (zh) 一种基于数据融合的电缆隧道安全监测方法及系统
CN103871129A (zh) 一种矿用井口无人值守安检控制系统
CN107220969A (zh) 产品灯位的测试方法及检测系统
CN111878174B (zh) 一种高速铁路隧道衬砌掉块视频监测方法和装置
CN111914656A (zh) 一种人员行为检测方法、装置、电子设备及存储介质
CN113256269A (zh) 一种基于bim、云计算及大数据技术的工程管理系统
CN112866647A (zh) 一种基于智慧社区的物业智能化管理系统
CN113888824A (zh) 基于拓扑空间关系的矿井违规越界行为识别及报警方法、装置
CN116009024A (zh) 一种基于bim技术的附着式升降脚手架监测模拟应用系统
CN113435278A (zh) 一种基于yolo的行吊安全检测方法及系统
CN111445160A (zh) 一种基于人工智能视频分析的自伴混凝土质量管理方法
CN107657682A (zh) 一种基于增强现实技术的变电巡检方法
CN116994066A (zh) 一种基于改进的目标检测模型的尾绳检测系统
CN117252353A (zh) 一种盾构施工管理平台及管理方法
CN116563761A (zh) 一种综采工作面监测方法、装置、设备、程序产品及系统
CN116993665A (zh) 一种基于计算机视觉的建筑工程作业面施工进度的智能检测方法
CN113673377A (zh) 火电厂煤堆多目标自燃点识别和定位模型构建和工作方法
CN117496445B (zh) 一种建筑施工设备故障预测方法、设备及介质
CN116563969B (zh) 一种设备巡检方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant