CN116385959A - 一种基于深度学习的皮带通廊全域烟雾实时检测方法 - Google Patents
一种基于深度学习的皮带通廊全域烟雾实时检测方法 Download PDFInfo
- Publication number
- CN116385959A CN116385959A CN202310229095.3A CN202310229095A CN116385959A CN 116385959 A CN116385959 A CN 116385959A CN 202310229095 A CN202310229095 A CN 202310229095A CN 116385959 A CN116385959 A CN 116385959A
- Authority
- CN
- China
- Prior art keywords
- smoke
- camera
- belt corridor
- group
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000011897 real-time detection Methods 0.000 title abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012423 maintenance Methods 0.000 claims abstract description 9
- 239000000428 dust Substances 0.000 claims abstract description 5
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 230000001960 triggered effect Effects 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000012546 transfer Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的皮带通廊全域烟雾实时检测方法，包括如下步骤：采用人工烟雾模拟皮带通廊火灾情况，制作YOLOv5烟雾检测模型的训练集；并采集皮带通廊在有灰尘、阳光或墙壁的图像作为对抗样本数据集；利用训练集和对抗样本数据集对模型进行训练；将皮带通廊全域内的摄像机进行分组，并按组进行轮询抓图采集；将采集到的图像集合送入YOLOv5烟雾检测模型，检测是否存在烟雾标签，如果检测到烟雾标签，则增加对该摄像机检测频率，以进一步确认是否发生火灾；如果发生火灾则触发烟雾报警，并将报警信息以微信消息的方式推送至维护人员，以及时采取应对措施。本发明实现了皮带通廊内烟雾的全天实时监测，为皮带通廊区域的安全检测提供了保障。
Description
技术领域
本发明涉及安全风险监测信息化技术领域，尤其是一种基于深度学习的皮带通廊烟雾检测方法。
背景技术
皮带通廊、转运站是常用的原材料转运装置，一般为密闭空间，尤其皮带通廊长度可达几公里、覆盖范围可能为整个厂区。皮带通廊、转运站存在电机设备和皮带等可能发生燃烧的设备，由于皮带通廊、转运站覆盖范围大，无法实现全区域实时检测，目前在关键位置增加了摄像机，但是摄像机数目众多，即便采用监控大屏也无法在发生火灾时及时发现着火位置，为了应对这一问题，本项目采用机器视觉实时采集实时分析摄像机数据，检测烟雾信息，实时报警，避免火势扩大，减少设备损失。
发明内容
本发明要解决的技术问题是针对现有技术的不足而提供一种基于深度学习的皮带通廊全域烟雾实时检测方法，实现皮带通廊全域的全天实时烟雾检测。
为解决上述技术问题，本发明的内容包括：
一种基于深度学习的皮带通廊全域烟雾实时检测方法，包括如下步骤：
S1：采用人工烟雾模拟皮带通廊火灾情况，采集大量烟雾数据集，作为YOLOv5烟雾检测模型的训练集；并采集皮带通廊在有灰尘、阳光或墙壁的图像作为对抗样本数据集；
S2：利用步骤S1得到的训练集和对抗样本数据集对YOLOv5烟雾检测模型进行训练，得到优化的烟雾检测模型；
S3：将皮带通廊全域内的摄像机进行分组，并按组进行轮询抓图采集；
S4：将步骤S3抓图采集到的图像集合送入YOLOv5烟雾检测模型，检测是否存在烟雾标签，如果检测到烟雾标签，则增加对该摄像机检测频率，以进一步确认是否发生火灾；
S5：如果发生火灾则触发烟雾报警，并将报警信息推送至维护人员。
进一步的，所述步骤S3具体包括以下步骤：
确定每个分组内可添加摄像机的数目；
将每个分组内的摄像机划分为常规频率检测部分和高频检测部分，常规频率检测部分存放未检测到异常标签的摄像机，每一次大循环仅检测一次；高频检测部分存放检测到异常标签的所有摄像机，每一次大循环检测的次数等于当前总的分组数，当前总的分组数等于总摄像机数除以每组常规频率检测部分摄像机个数。
进一步的，所述步骤S3中，按组进行轮询抓图，组内采用多线程对该组每一个摄像机进行同时抓图，组内某摄像机抓图时间超过3s，则自动放弃本轮该摄像机的数据采集。
进一步的，同时启动该组内所有摄像机抓图线程，并在主线程启动计时操作，判断摄像机是否完成抓图操作；当某一摄像机完成抓图后，计数加1；当计时时间<3s且计数总数等于本组内摄像机个数时，完成本步操作并跳转到步骤S4；当计时时间>＝3s且计数总数小于本组内摄像机个数时，强制结束未完成抓图采集的摄像机线程，并跳转到步骤S4。
进一步的，所述步骤4中，如果检测到烟雾标签，则查询该摄像机前两次循环是否同样检测到烟雾标签，如果连续三次循环检测到烟雾，则将该像机判定为异常摄像机，并将该摄像机添加到高频检测部分；若高频检测组内的摄像机三分钟内依旧连续三次检测到烟雾标签则发出烟雾报警信号，产生报警信号后连续50次未检测到烟雾标签后，则将该摄像机移回常规频率检测部分；若三分钟内未能连续三次检测到烟雾标签，则将该摄像机移回常规频率检测部分。
进一步的，所述步骤S5中，将报警信息和报警图片通过HTTP协议推送至企业微信群，以通知维护人员。
本发明的有益效果是：
(一)本发明使用计算机视觉技术和深度学习方法实现了皮带通廊内烟雾的检测，YOLOv5烟雾检测模型识别精度高，检测速度快；本发明解决了人工监控效率低，火情发现不及时的问题。
(二)本发明可同时处理大量摄像机的图像数据，同时不明显增加网络负荷，以最低的计算机资源使用量，实现高效的烟雾检测功能，成本低廉，易于推广。
(三)本发明将机器视觉图像处理与社交软件相结合，将实时报警信息及时上报，以便维护人员及时采取措施，避免火势扩大，减少设备损失。
附图说明
图1为本发明基于深度学习的皮带通廊全域烟雾实时检测方法流程图。
具体实施方式
为便于理解本发明，下面结合附图和具体实施方式对本发明作进一步详细的说明。本领域技术人员应该明了，所述实施例仅仅是帮助理解本发明，不应视为对本发明的具体限制。
如图1所示，本发明提供了一种基于深度学习的皮带通廊全域烟雾实时检测方法，包括如下步骤：
步骤S1：为了收集大量皮带通廊内烟雾视频，采用人工烟雾模拟皮带通廊火灾情况，采集大量烟雾数据集，作为YOLOv5烟雾检测模型的训练集；并采集皮带通廊在有灰尘、阳光或墙壁等与烟雾较为类似的图像作为对抗样本数据集。
构成烟雾检测识别的YOLOv5模型是基于深度学习的，利用该模型的目标检测功能达到烟雾检测定位的目的，模型也可换为FasterR-CNN、SSD等其他深度学习模型。
步骤S2：利用步骤S1得到的训练集和对抗样本数据集对YOLOv5烟雾检测模型进行训练，得到优化的烟雾检测模型。
步骤S3：由于一般皮带通廊距离长、覆盖范围广，需要使用大量的摄像机进行监控，为了既能够满足网络压力和计算机计算资源，又不会影响检出结果准确率，将皮带通廊全域内的摄像机进行分组，并按组进行轮询抓图采集；
步骤S3中，按组进行轮询抓图，组内采用多线程对该组每一个摄像机进行同时抓图，组内某摄像机抓图时间超过3s，则自动放弃本轮该摄像机的数据采集，以确保所有摄像机的轮询时间，本发明能够在满足网络负荷和计算机计算机资源的前提下提高抓图效率。
具体的：在满足网络通讯压力和满足计算机资源的前提下，确定每个分组内可添加摄像机的数目；将每个分组内的摄像机划分为常规频率检测部分和高频检测部分，常规频率检测部分存放未检测到异常标签的摄像机，每一次大循环仅检测一次；高频检测部分存放检测到异常标签的所有摄像机，每一次大循环检测的次数等于当前总的分组数，当前总的分组数等于总摄像机数除以每组常规频率检测部分摄像机个数。
组内采用多线程对该组每一个摄像机进行同时抓图，组内某摄像机抓图时间超过3s，则自动放弃本轮该摄像机的数据采集，具体处理为：同时启动该组内所有摄像机抓图线程，并在主线程启动计时操作，判断摄像机是否完成抓图操作；当某一摄像机完成抓图后，计数加1；当计时时间<3s且计数总数等于本组内摄像机个数时，完成本步操作并跳转到步骤S4；当计时时间>＝3s且计数总数小于本组内摄像机个数时，强制结束未完成抓图采集的摄像机线程，并跳转到步骤S4，放弃未完成抓图采集的摄像机的本轮图像检测，保证全部像机的循环扫描周期。
步骤S4：将步骤S3抓图采集到的图像集合送入YOLOv5烟雾检测模型，检测是否存在烟雾标签，如果检测到烟雾标签，对检测结果进行规则过滤；如果依然存在烟雾标签，则增加对该摄像机检测频率，以进一步确认是否发生火灾。
具体的，步骤S4中，如果检测到烟雾标签，则查询该摄像机前两次循环是否同样检测到烟雾标签，如果连续三次循环检测到烟雾，则将该像机判定为异常摄像机，并将该摄像机添加到高频检测部分，提高检测频率；若高频检测组内的摄像机三分钟内依旧连续三次检测到烟雾标签则发出烟雾报警信号，产生报警信号后连续50次未检测到烟雾标签后，则将该摄像机移回常规频率检测部分；若三分钟内未能连续三次检测到烟雾标签，则将该摄像机移回常规频率检测部分。
步骤S5：如果发生火灾则触发烟雾报警，并将报警信息推送至维护人员。
步骤S5中，如果发生火灾则触发烟雾报警，并将报警信息以微信消息的方式推送至维护人员，以及时采取应对措施。
实施例：离线板收集烟雾训练集并进行模型的训练
(一)现场摄像头的安装
获取现有监控网络内皮带通廊区域监控摄像机的IP信息，其它未覆盖区域加装部分监控摄像机。
(二)烟雾数据集的制作
在现场采用人工模拟烟雾的方式获取图像数据集，并选取不同角度、不同烟雾阶段的约3000张烟雾图片进行标注，使用标注软件LabelImg将图像标注为一类“烟雾标签”，标注名称为“smoke”；标注时尽量将标注框恰好框住有明显烟雾特征的图像目标，在标注完成一张图片后，LabelImg会生成一个“.xml”文件，其中包含烟雾类别、标注框的尺寸和坐标的信息。
(三)对抗样本数据集的制作
通过监控摄像机采集现场皮带通廊内有灰尘、阳光、墙壁等与烟雾相似度较高的图片，并选取不同时段的约1000张图片进行标注，使用标注软件LabelImg将图像标注为一类“烟雾相似图片”，标注名称为“dust”、“sunshine”“wall”；标注时尽量将标注框恰好框住有明显烟雾特征的图像目标，在标注完成一张图片后，LabelImg会生成一个“.xml”文件，其中包含烟雾类别、标注框的尺寸和坐标的信息。
实施例：在线烟雾检测
首先对所有摄像机进行分组，然后进行逐一登录摄像机用户；登陆完成后按组进行轮询采集、检测，按照本发明方法进行烟雾报警判断，对产生的报警信息进行微信推送。对于长期采集不到图像和登录失败的摄像机进行重复登录和微信推送，确保设备的正常运行。
本发明解决了皮带通廊区域由于监控数目众多，对监控人员精力投入大，火情发现不及时等问题。使用机器视觉图像处理与社交软件相结合的方式，将实时报警信息及时上报，以便维护人员及时采取措施，避免火势扩大，减少设备损失。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于深度学习的皮带通廊全域烟雾实时检测方法，其特征在于，所述方法包括如下步骤：
S1：采用人工烟雾模拟皮带通廊火灾情况，采集大量烟雾数据集，作为YOLOv5烟雾检测模型的训练集；并采集皮带通廊在有灰尘、阳光或墙壁的图像作为对抗样本数据集；
S2：利用步骤S1得到的训练集和对抗样本数据集对YOLOv5烟雾检测模型进行训练，得到优化的烟雾检测模型；
S3：将皮带通廊全域内的摄像机进行分组，并按组进行轮询抓图采集；
S4：将步骤S3抓图采集到的图像集合送入YOLOv5烟雾检测模型，检测是否存在烟雾标签，如果检测到烟雾标签，则增加对该摄像机检测频率，以进一步确认是否发生火灾；
S5：如果发生火灾则触发烟雾报警，并将报警信息推送至维护人员。
2.根据权利要求1所述的一种基于深度学习的皮带通廊全域烟雾实时检测方法，其特征在于：所述步骤S3具体包括以下步骤：
确定每个分组内可添加摄像机的数目；
将每个分组内的摄像机划分为常规频率检测部分和高频检测部分，常规频率检测部分存放未检测到异常标签的摄像机，每一次大循环仅检测一次；高频检测部分存放检测到异常标签的所有摄像机，每一次大循环检测的次数等于当前总的分组数，当前总的分组数等于总摄像机数除以每组常规频率检测部分摄像机个数。
3.根据权利要求1所述的一种基于深度学习的皮带通廊全域烟雾实时检测方法，其特征在于：所述步骤S3中，按组进行轮询抓图，组内采用多线程对该组每一个摄像机进行同时抓图，组内某摄像机抓图时间超过3s，则自动放弃本轮该摄像机的数据采集。
4.根据权利要求3所述的一种基于深度学习的皮带通廊全域烟雾实时检测方法，其特征在于：同时启动该组内所有摄像机抓图线程，并在主线程启动计时操作，判断摄像机是否完成抓图操作；当某一摄像机完成抓图后，计数加1；当计时时间<3s且计数总数等于本组内摄像机个数时，完成本步操作并跳转到步骤S4；当计时时间>=3s且计数总数小于本组内摄像机个数时，强制结束未完成抓图采集的摄像机线程，并跳转到步骤S4。
5.根据权利要求1所述的一种基于深度学习的皮带通廊全域烟雾实时检测方法，其特征在于：所述步骤4中，如果检测到烟雾标签，则查询该摄像机前两次循环是否同样检测到烟雾标签，如果连续三次循环检测到烟雾，则将该像机判定为异常摄像机，并将该摄像机添加到高频检测部分；若高频检测组内的摄像机三分钟内依旧连续三次检测到烟雾标签则发出烟雾报警信号，产生报警信号后连续50次未检测到烟雾标签后，则将该摄像机移回常规频率检测部分；若三分钟内未能连续三次检测到烟雾标签，则将该摄像机移回常规频率检测部分。
6.根据权利要求1所述的一种基于深度学习的皮带通廊全域烟雾实时检测方法，其特征在于：所述步骤S5中，将报警信息和报警图片通过HTTP协议推送至企业微信群，以通知维护人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310229095.3A CN116385959A (zh) | 2023-03-10 | 2023-03-10 | 一种基于深度学习的皮带通廊全域烟雾实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310229095.3A CN116385959A (zh) | 2023-03-10 | 2023-03-10 | 一种基于深度学习的皮带通廊全域烟雾实时检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385959A true CN116385959A (zh) | 2023-07-04 |
Family
ID=86968442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310229095.3A Pending CN116385959A (zh) | 2023-03-10 | 2023-03-10 | 一种基于深度学习的皮带通廊全域烟雾实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385959A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765680A (zh) * | 2024-02-22 | 2024-03-26 | 中国矿业大学深圳研究院 | 森林火险监测预警方法、装置、设备和存储介质 |
-
2023
- 2023-03-10 CN CN202310229095.3A patent/CN116385959A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765680A (zh) * | 2024-02-22 | 2024-03-26 | 中国矿业大学深圳研究院 | 森林火险监测预警方法、装置、设备和存储介质 |
| CN117765680B (zh) * | 2024-02-22 | 2024-05-03 | 中国矿业大学深圳研究院 | 森林火险监测预警方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110025847A1 (en) | Service management using video processing | |
| CN102842211B (zh) | 一种基于图像识别的输电线路防外力监控预警系统及方法 | |
| CN112562112A (zh) | 自动巡检方法及系统 | |
| CN106331657A (zh) | 人群聚集及移动的视频分析检测方法及系统 | |
| CN111080775A (zh) | 一种基于人工智能的服务器巡检方法及系统 | |
| CN103731643A (zh) | 一种视频监控网络质量巡检方法及系统 | |
| CN102572508A (zh) | 一种视频故障诊断系统及方法 | |
| CN107920223B (zh) | 一种对象行为检测方法及装置 | |
| CN102073844A (zh) | 智能监控系统和方法 | |
| CN116385959A (zh) | 一种基于深度学习的皮带通廊全域烟雾实时检测方法 | |
| CN111476964A (zh) | 一种远程森林防火监控系统与方法 | |
| CN105929392A (zh) | 一种雷达与视频等多系统联动的海上平台系统 | |
| CN109117771B (zh) | 一种基于锚节点的图像中暴力事件检测系统及方法 | |
| CN109509190A (zh) | 视频监控图像筛选方法、装置、系统及存储介质 | |
| CN114494916A (zh) | 一种基于YOLO和DeepSORT的黑颈鹤监测追踪方法 | |
| CN114724378B (zh) | 一种基于深度学习的车辆追踪统计系统及方法 | |
| CN110704268B (zh) | 一种视频图像自动化测试方法及装置 | |
| CN108073854A (zh) | 一种现场巡检的检测方法及装置 | |
| CN109977962A (zh) | 一种光缆故障隐患自动识别方法与系统 | |
| CN115002448A (zh) | 应用于安防监控的视频图像质量诊断方法及系统 | |
| CN111787311B (zh) | 一种安防监控摄像机的故障检测系统及方法 | |
| CN209845008U (zh) | 基于片上系统的集群监控系统 | |
| CN111553497A (zh) | 一种多媒体终端的设备工作状态检测方法及装置 | |
| CN111147512A (zh) | 一种以太网摄像机远程控制系统 | |
| CN110580748A (zh) | 基于图像处理的承重支架日常巡查和评估系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |