CN112668535A - 基于YOLOv3模型的煤矿猴车违规检测与预警方法 - Google Patents
基于YOLOv3模型的煤矿猴车违规检测与预警方法 Download PDFInfo
- Publication number
- CN112668535A CN112668535A CN202110009775.5A CN202110009775A CN112668535A CN 112668535 A CN112668535 A CN 112668535A CN 202110009775 A CN202110009775 A CN 202110009775A CN 112668535 A CN112668535 A CN 112668535A
- Authority
- CN
- China
- Prior art keywords
- image
- yolov3
- monkey
- monkey vehicle
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000282693 Cercopithecidae Species 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000003245 coal Substances 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于YOLOv3模型的煤矿井下猴车违规检测与预警方法，该方法包络以下步骤：煤矿井下安装摄像头设置10米的矩形框作为安全距离，实时采集视频；自适应伽马变换图像增强算法预处理矿井图像；利用改进的YOLOv3网络检测乘坐猴车的矿工，记录输出人数；最后通过输出人数判断是否违规，若安全距离内输出人数不大于1，猴车继续运行；若输出人数大于1，说明规定间距内猴车数量大于1，违规发出警报。本发明通过图像增强算法处理矿井非均匀图像、利用YOLOv3深度学习模型实时检测猴车运行，旨在解决目前煤矿采用监工人员现场监督或全程观看视频的方式来监视猴车运行，效率低下，检测极易延误的技术问题，从而达到减员增效、提高煤矿智能化水平的目的。
Description
技术领域
本发明涉及本发明涉及一种基于YOLOv3模型的煤矿猴车违规检测与预警方法，属于计算机视觉图像处理技术领域。
背景技术
随着矿井开采深度的延伸、煤炭开采工作量增大，井下猴车斜巷运送人员在各大煤矿得到了广泛的应用，对井下辅助运输起到重要作用。猴车是匀速运行的，矿工按规定间距乘坐猴车，可以保证猴车间距从而保障自身安全，而猴车间距较小的违规乘车易导致人员掉绳，威胁安全。
目前煤矿普遍采用监工人员现场监督或全程观看视频的方式来监视猴车运行，效率低下，检测极易延误，难以满足工业实时检测需要。
煤矿井下环境复杂、视觉条件差、使用人工照明，导致获取的视频图像呈现亮度不均匀，不利于下一步违规检测特征提取，导致检测效果差。
发明内容
针对现有技术的不足，本发明提供了一种基于YOLOv3模型的煤矿猴车违规检测与预警方法，以解决现有技术中监工人员现场监督或全程观看视频的方式来监视猴车运行，工作量大，效率低下，检测极易延误的技术问题。
为解决上述技术问题，本发明采用下述技术方案实现：
一种基于YOLOv3模型的煤矿猴车违规检测与预警方法，包括下述步骤：
步骤a1、获取实时视频
使用KBA127矿用防爆型摄像机在三甲煤矿工人乘坐猴车处实时拍摄视频，采集上下班时间工人集中不同亮度的场景；
步骤a2、收集图像数据集
将视频数据按照每相邻2帧截成8800张图像，用图像裁剪工具裁剪为320*320尺寸；
步骤a3、图像预处理
利用自适应伽马变换算法对不同光照条件下的图像进行预处理，输入图像的灰度值V in ，获得输出图像的灰度值V out ；
步骤a4、标注数据集
用图像裁剪工具将预处理后的图像裁剪为320*320统一尺寸，使用YOLO_Mark标注工具手工标注乘坐猴车的矿工，添加people标签；
步骤a5、训练YOLOv3模型
选取6600张标注好的数据集作为训练集，初始学习率设置为0.0005，权重衰减系数设置为0.0005，对YOLOv3模型进行训练；
步骤a6、YOLOv3模型检测猴车违规
将实时拍摄到的井下视频图像输入预先训练好的YOLOv3模型，检测出视频中规定距离内乘坐猴车的矿工人数，向矿工人数大于1的猴车发出警报信号。
进一步地，在所述步骤a3中，采用自适应伽马变换对不同光照条件的矿井图像预处理，输入图像的灰度值V in ，输出图像的灰度值V out ，具体为：
式中：V in 表示输入图像的灰度值，V out 表示输出图像的灰度值，
和
为常数。
进一步地，伽马变换指数
与图像的亮度倾向指数值相关，图像亮度倾向指数计算公式：
式中，
和
分别表示图像的最大和最小亮度值，表示图像平均亮度的对数值。M表示像素的总数目，
表示像素点(x,y)的亮度值，
为使对数
不为0的一个数，根据公式得到图像三个通道的亮度倾向指数
。
进一步地，伽马变换指数
与图像的亮度倾向指数值相关，呈正相关，具体为：
。式中a,b是常数。经实验当a=10.52，b=-6.08时，得到的伽马变换参数是最优的，将a，b值代入得到
，然后分别带入图像分量中得到变换后的图像灰度值。
进一步地，所述YOLOv3网络模型采用改进的YOLOv3网络。包络：修改YOLOv3网络的分类器；在YOLOv3网络的残差块中添加SENet模块。与现有技术相比，本发明的优点和有益效果是：本发明通过自适应伽马变换调整井下图像亮度一致，利用标注工具手工标注并构建了大型猴车数据集，然后在YOLOv3网络中嵌入了SENet网络模块作为注意力机制，再将实时获取的视频图像输入预先训练好的YOLOv3网络，检测乘坐猴车的矿工，显示输出人数，向人数大于1的猴车发出预警信号。
本发明创造性地在煤矿猴车违规检测中创新性地引入深度学习技术，利用卷积神经网络准确实时地判断乘坐猴车的人数并进行预警，增强了煤矿智能化水平，达到减员增效、降低生产成本的目的。
附图说明
图1为本发明方法实施例的流程示意图。
图2本发明方法实施例中所述YOLOv3网络的结构示意图。
图3为SENet模块的结构示意图。
图4为YOLOv3网络中嵌入SENet模块的结构示意图。
具体实施方式
为了更清楚的说明本方案的技术特点，下面结合附图对本发明进行详细阐述。
本发明提出了一种基于YOLOv3模型的煤矿猴车违规检测与预警方法，如图1
所示，是本发明方法实施例的流程示意图，包括如下步骤：
步骤1，图像预处理。
本发明是针对煤矿井下猴车检测的技术方案，井下视觉条件差、使用人工照明，导致图像亮度不均匀，不利于下一步目标检测，因而需要对采集的训练图像进行预处理，在得到从煤矿井下实时视频图像数据后，主要做以下工作。
首先，将获得的视频数据按每相邻2帧截成8800张图像，选取6600张图像用于YOLOv3模型的训练。
接着，利用自适应伽马变换算法对亮度过亮和过暗的图像进行预处理，通过对输入图像特定区域灰度值进行拉伸，使输出图像灰度值与输入图像灰度值呈指数关系，其表达式如下：
式中：V in 表示输入图像的灰度值，V out 表示输出图像的灰度值，
和
为常数。
更具体地，伽马变换指数与图像的亮度倾向指数值相关，图像亮度倾向指数计算公式： 
，
式中，
和
分别表示图像的最大和最小亮度值，表示图像平均亮度的对数值。M表示像素的总数目，
表示像素点(x,y)的亮度值，
为使对数
不为0的一个数，根据公式得到图像三个通道的亮度倾向指数
。
更具体地，伽马变换指数
与图像的亮度倾向指数值相关，呈正相关，具体为：
。式中a,b是常数。经实验当a=10.52，b=-6.08时，得到的伽马变换参数是最优的，将a，b值代入得到
，然后分别带入图像分量中得到变换后的图像灰度值。
最后，对增强后的图像数据集进行标记，给每张图片中乘坐猴车的矿工添加一个标签，从而让YOLOv3模型能够识别。
步骤2，YOLOv3网络模型。
本实施例中，使用YOLOv3网络作为目标检测模型，它是 YOLO 系列的最后一个版本，YOLOv3以Darknet-53作为基础网络，主要由一系列的3×3和1×1卷积层、残差结构构成。其中卷积层用来提取图像的特征，通过调整卷积步长控制特征图的输出尺寸。每个卷积层后增加批标准化和Leaky ReLU激活层降低差异性、加速收敛和避免过拟合。它还运用特征金字塔网络多尺度的思想，通过步长为2的上采样提取深层特征，保证维度与将要融合的特征层维度相同的情况下进行拼接操作，以此来获得更多、更全面的图像特点，并传输至三种不同尺寸的特征图进行相应物体的置信度和区域坐标预测。具体如图2所示，是本发明方法实施例中的YOLOv3网络结构示意图。本发明方法实施例的一个重要技术特征在于，对Yolov3网络进行了修改，主要包含以下两步。
（1）修改YOLOv3网络的分类器，因为YOLOv3网络在COCO数据集中有80个类别，若表示输出特征图的网格数，则输出张量为
。本发明检测的是乘坐猴车的矿工一个类别，修改YOLOv3的分类器，得到输出维度
。
（2）在YOLOv3网络中嵌入SENet（Squeeze-and- Networks）模块，它赢得了最后一届ImageNet 2017竞赛分类任务的冠军，SENet主要通过对特征通道间的相关性进行显式建模，选择性地强化重要特征来提升目标检测的准确率。SENet模块由全局信息嵌入（Squeeze）和自适应重新校准（Excitation）两部分组成，Squeeze操作通过全局平均池化得到一维序列，让低层网络也能利用全局信息。Excitation操作引入两个全连接层和非线性层捕捉通道的依赖关系，学习得到每个通道的权重。具体如图3所示，是本发明方法实施例中的SENet网络结构示意图。在YOLOv3中1*1和3*3卷积组合后会有一个残差块（Residualblock），因此，选择将SE模块嵌入到YOLOv3的残差块中作为注意力机制，在有效利用全局信息的同时提高检测精度，具体如图4所示，是本发明方法实施例中YOLOv3网络嵌入SENet模块的结构示意图。
步骤3，训练YOLOv3网络模型。
将步骤1中标记有标签的图片样本投入Yolov3网络进行训练，通过不断的迭代可以得到训练的权重，在权重文件下输入测试数据集进行验证。
步骤4，将实时获取的视频图像输入训练好的Yolov3网络模型，标记出乘坐猴车的矿工，记录输出人数；若安全距离内输出人数不大于1，猴车继续运行；若输出人数大于1，违规发出警报。
本发明方法实施例创新性地引入深度学习这一新兴技术，利用深度学习准确地判断出视频中乘坐猴车的矿工是否按规定间距乘车并进行预警，达到了减员增效、降低生产成本的目的。
Claims (6)
1.一种基于YOLOv3模型的煤矿井下猴车违规检测与预警方法，其特征在于，所述方法包络如下步骤：
步骤a1、获取实时视频
使用KBA127矿用防爆型摄像机在三甲煤矿工人乘坐猴车处实时拍摄视频，采集上下班时间工人集中不同亮度的场景；
步骤a2、收集图像数据集
将视频数据按照每相邻2帧截成8800张图像，用图像裁剪工具裁剪为320*320尺寸；
步骤a3、图像预处理
利用自适应伽马变换算法对不同光照条件下的图像进行预处理，输入图像的灰度值V in ，获得输出图像的灰度值V out ；
步骤a4、标注数据集
用图像裁剪工具将预处理后的图像裁剪为320*320统一尺寸，使用YOLO_Mark标注工具手工标注乘坐猴车的矿工，添加people标签；
步骤a5、训练YOLOv3模型
选取6600张标注好的数据集作为训练集，初始学习率设置为0.0005，权重衰减系数设置为0.0005，对YOLOv3模型进行训练；
步骤a6、YOLOv3模型检测猴车违规
将实时拍摄到的井下视频图像输入预先训练好的YOLOv3模型，检测出视频中规定距离内乘坐猴车的矿工人数，向矿工人数大于1的猴车发出警报信号。
2.根据权利要求1所述的方法，其特征在于，在所述步骤a3中，采用自适应伽马变换对不同光照条件的矿井图像预处理，输入图像的灰度值V in ，输出图像的灰度值V out ，具体为：
式中：V in 表示输入图像的灰度值，V out 表示输出图像的灰度值，
和
为常数。
3.根据权利要求2所述的方法，其特征在于，伽马变换指数
与图像的亮度倾向指数值相关，图像亮度倾向指数计算公式：
式中，
和
分别表示图像的最大和最小亮度值，表示图像平均亮度的对数值。M表示像素的总数目，
表示像素点(x,y)的亮度值，
为使对数
不为0的一个数，根据公式得到图像三个通道的亮度倾向指数
。
4.根据权利要求3所述的方法，其特征在于伽马变换指数
与图像的亮度倾向指数值相关，呈正相关，具体为：
。式中a,b是常数。经实验当a=10.52，b=-6.08时，得到的伽马变换参数是最优的，将a，b值代入得到
，然后分别带入图像分量中得到变换后的图像灰度值。
5.根据权利要求1所述的方法，其特征在于，所述YOLOv3网络模型采用改进的YOLOv3网络。
6.根据权利要求5所述的方法，其特征在于，所述改进的YOLOv3网络，包络：修改YOLOv3网络的分类器；在YOLOv3网络的残差块中添加SENet模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110009775.5A CN112668535A (zh) | 2021-01-05 | 2021-01-05 | 基于YOLOv3模型的煤矿猴车违规检测与预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110009775.5A CN112668535A (zh) | 2021-01-05 | 2021-01-05 | 基于YOLOv3模型的煤矿猴车违规检测与预警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112668535A true CN112668535A (zh) | 2021-04-16 |
Family
ID=75413104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110009775.5A Pending CN112668535A (zh) | 2021-01-05 | 2021-01-05 | 基于YOLOv3模型的煤矿猴车违规检测与预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668535A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420716A (zh) * | 2021-07-16 | 2021-09-21 | 南威软件股份有限公司 | 基于改进Yolov3算法的违规行为识别预警的方法 |
-
2021
- 2021-01-05 CN CN202110009775.5A patent/CN112668535A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420716A (zh) * | 2021-07-16 | 2021-09-21 | 南威软件股份有限公司 | 基于改进Yolov3算法的违规行为识别预警的方法 |
| CN113420716B (zh) * | 2021-07-16 | 2023-07-28 | 南威软件股份有限公司 | 基于改进Yolov3算法的违规行为识别预警的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
| CN111241959B (zh) | 一种通过工地视频流检测未佩戴安全帽人员的方法 | |
| CN109657592B (zh) | 一种智能挖掘机的人脸识别方法 | |
| US20200117907A1 (en) | Method for detecting violent incident in video based on hypergraph transition | |
| CN115311241B (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| Yu et al. | Railway obstacle detection algorithm using neural network | |
| CN107220603A (zh) | 基于深度学习的车辆检测方法及装置 | |
| CN111582129A (zh) | 一种盾构机司机工作状态实时监测报警方法及装置 | |
| CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
| CN111310592B (zh) | 一种基于场景分析和深度学习的检测方法 | |
| CN110569843A (zh) | 一种矿井目标智能检测与识别方法 | |
| CN111626170A (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
| CN110909672A (zh) | 一种基于双流卷积神经网络和svm的抽烟动作识别方法 | |
| CN104574351A (zh) | 一种基于视频处理的车位检测方法 | |
| CN109635717A (zh) | 一种基于深度学习的矿用行人检测方法 | |
| CN106570440A (zh) | 基于图像分析的人数统计方法和人数统计装置 | |
| CN117612249A (zh) | 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置 | |
| CN112668535A (zh) | 基于YOLOv3模型的煤矿猴车违规检测与预警方法 | |
| CN113688759A (zh) | 一种基于深度学习的安全帽识别方法 | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| CN116977904A (zh) | 一种基于YOLOv5的快速识别大场景多人工衣检测方法 | |
| CN116994066A (zh) | 一种基于改进的目标检测模型的尾绳检测系统 | |
| CN116385962A (zh) | 基于机器视觉的廊道内人员监控系统及其方法 | |
| CN116798117A (zh) | 一种基于视频理解的矿井下异常动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210416 |