CN116452976A - 一种煤矿井下安全检测方法 - Google Patents

一种煤矿井下安全检测方法 Download PDF

Info

Publication number
CN116452976A
CN116452976A CN202310339817.0A CN202310339817A CN116452976A CN 116452976 A CN116452976 A CN 116452976A CN 202310339817 A CN202310339817 A CN 202310339817A CN 116452976 A CN116452976 A CN 116452976A
Authority
CN
China
Prior art keywords
image
coal mine
detection
safety
underground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310339817.0A
Other languages
English (en)
Inventor
陈茂川
窦涛
吴昊翰
冯强
苟太平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Aerospace Electro & Hydraulic Control Co ltd
Original Assignee
Sichuan Aerospace Electro & Hydraulic Control Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Aerospace Electro & Hydraulic Control Co ltd filed Critical Sichuan Aerospace Electro & Hydraulic Control Co ltd
Priority to CN202310339817.0A priority Critical patent/CN116452976A/zh
Publication of CN116452976A publication Critical patent/CN116452976A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种煤矿井下安全检测方法，包括采用基于张量最小二乘法对煤矿井下工况监测图像进行图像增强以及复原处理，并加入暗通道、亮通道以及CLAHE算法进行调整，得到清晰图像；利用清晰图像数据集训练煤矿井下基于改进的YOLOv5目标检测模型，并进行检测识别得到目标检测信息；利用单目测距模型求取检测目标之间的实际距离，并基于实际距离作出安全决策判断。本发明改善了图像质量，工作人员可以更清晰关注煤矿井下工作面采煤作业时的采煤设备工作情况；为工作面智能化检测提供图像基础，减少检测出现漏检、误检情况；提高护帮板、采煤机的齿轮以及工作人员的检测准确率，提高了采煤设备以及工作人员安全，提升了煤矿智能化水平。

Description

一种煤矿井下安全检测方法
技术领域
本发明属于煤矿井下安全检测技术领域，尤其涉及一种煤矿井下安全检测方法。
背景技术
煤矿是人类在富含煤炭的矿区开采煤炭资源的区域，在国家能源消费结构中占据着极其重要的地位。视频监测技术作为维护煤矿安全的重要手段，已经应用到煤矿安全检测的过程中。但现阶段国内外很多煤矿企业采用的煤矿井下视频监控系统不具有智能性，煤矿井下安全监控系统只是记录大量的数据，不能够识别不同的人或物体以及判断监控画面图像中的异常情况。因此，基于机器视觉的矿井下综采工作面安全检测技术的研究是迫切和必要的。
目前为实现煤矿安全检测需要涉及的方法主要包含图像增强、目标检测等，这些算法通常是对应于具体的应用而设计的，目标行为的不确定性以及环境的变化等原因使得基于机器视觉的安全检测算法变得不可移植以及复杂，尤其煤尘和水雾较多、光照不均匀的情况下，当前安全检测方法实现的效果并不理想。
发明内容
针对现有技术中的上述不足，本发明提供的一种煤矿井下安全检测方法，该方法主要涉及图像增强、目标检测以及安全距离决策判断，本发明改善了图像质量，工作人员可以更清晰关注煤矿井下工作面采煤作业时的采煤设备工作情况；为工作面智能化检测提供图像基础，减少检测出现漏检、误检情况；提高护帮板、采煤机的齿轮以及工作人员的检测准确率，提高了采煤设备以及工作人员安全，提升了煤矿智能化水平。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种煤矿井下安全检测方法，包括以下步骤：
S1、采用基于张量最小二乘法对煤矿井下工况监测图像进行图像增强以及复原处理，并加入暗通道、亮通道以及CLAHE算法进行调整，得到清晰图像；
S2、利用清晰图像数据集训练改进的YOLOv5目标检测模型，并利用改进的YOLOv5目标检测模型进行检测识别，得到目标检测信息；
S3、根据目标检测信息，利用单目测距模型求取检测目标之间的实际距离，并基于该实际距离作出安全决策判断。
进一步地，所述步骤S1包括以下步骤：
S101、将煤矿井下工况监测图像转成张量形式；
S102、利用最小二乘法将尺度参数调整后的煤矿井下工况监测图像同输入图像进行相减处理，直至相减结果小于预设的阈值，迭代平滑煤矿井下工况监测图像噪声，其中，迭代过程中输入图像为经过尺度参数调整去噪后的图像；
S103、利用多尺度边缘分解，对去噪后的煤矿井下工况监测图像进行迭代处理，获取目标细节，并将每一次迭代的煤矿井下工况监测图像作为下一级的基底图像；
S104、将经过最小二乘法去噪、多尺度边缘分解操作后的煤矿井下工况监测，加入暗通道、亮通道以及CLAHE算法进行调整，其中，暗通道对煤矿井下工况监测图像去尘，亮通道改善暗通道导致的煤矿井下工况监测图像偏暗以及CLAHE算法进行光照均匀处理；
S105、对处理后的煤矿井下工况监测图像进行质量评估，若达到预设效果，得到清晰图像，并进入步骤S2，否则，返回步骤S101。
再进一步地，所述步骤S2包括以下步骤：
S201、对清晰图像进行标注；
S202、将标注后的数据集按比例分为训练集、验证集和测试集，并利用训练集、验证集和测试集对改进后的YOLOv5网络进行训练，得到改进的YOLOv5目标检测模型；
S203、利用改进的YOLOv5目标检测模型对矿井实际场景中目标进行检测识别，获取目标检测信息。
再进一步地，所述YOLOV5网络的改进具体为：
A1、采用多尺度池化模块放入YOLOv5网络的骨干网络尾部；
A2、使用k-means聚类算法自适应计算anchor box；
A3、通过减少网络卷积层和使用深度可分离卷积，对YOLOv5网络进行轻量化改造。
再进一步地，所述步骤S203包括以下步骤：
S2031、将清晰图像输入至改进的YOLOv5目标检测模型，进行图像增强处理以及使煤矿井下工况监测图像缩放至满足要求的数据集；
S2032、基于步骤S2031处理的结果，利用k-means算法生成的锚框；
S2033、对生成的锚框进行聚类，并对聚类后的锚框进行卷积操作，得到若干个特征图；
S2034、将获取的特征图输入至特征融合网络，进行特征融合处理，得到预测结果；
S2035、根据预测结果，识别出矿井实际场景中目标检测信息。
再进一步地，所述步骤S3包括以下步骤：
S301、根据几何运算获取摄像头倾俯角、安装高度以及通过对相机镜头进行畸变校正，得到相机的内外参数以及畸变参数；
S302、根据步骤S301获取的信息构建单目测距模型，并将目标检测信息放入至单目测距模型中；
S303、根据目标检测信息以及坐标系转换得到检测目标在世界坐标系中的位置；
S304、根据各目标的位置，通过欧式距离计算检测目标间的实际距离，并判断实际距离是否小于预设的安全阈值，若是，则检测目标安全，否则，发出警报，控制运行的采煤设备停止工作。
再进一步地，所述坐标系转换具体为：
其中，(Xw,Yw,Zw)表示世界坐标系中与相机坐标中对应的坐标点，R表示旋转量，T表示平移量，(Xc,Yc,Zc)表示相机坐标系上的与图像坐标相对应的坐标点，f表示焦距，dx、dy分别表示横向和纵向像素在感光板上的单位物理长度，(u0,v0)表示图像中心的像素坐标，(u,v)表示像素坐标系的坐标，(x,y)表示图像坐标系的坐标。
本发明的有益效果：
(1)为解决由煤矿环境条件复杂造成获取的图像质量差，以及导致检测时经常出现误检、漏检，造成人员受伤、设备损坏等问题，本发明将通过对图像进行增强、去噪，同时通过选用实时有效的检测算法获取的目标数据信息进行安全决策判断，确保机器设备以及工作人员处于安全状态。
(2)为改善矿井下煤尘、水雾以及光照不均等对图像质量的影响，本发明首先将图片改成张量的形式，图片作为整体统一调整尺度参数，不再单独处理各通道；基于最小二乘法将每次调整参数前后的图片相减，不断迭代平滑原始图像去除噪声；同时加入多尺度边缘分解不断迭代的方式获取更多细节，每一次迭代出来的图像作为下一级的基底，前后两次图像相减获取新的细节；最后加入暗通道、亮通道以及CLAHE算法进行微调。其中暗通道对图像进一步去尘，亮通道改善暗通道导致的整体图像偏暗，以及CLAHE算法进行光照均匀处理,提高图像整体质量。
(3)为避免矿井下护帮板收缩不及时导致采煤机碰撞以及人员疏忽引起危险事故发生，本发明采用基于YOLOv5系列算法实时检测采煤机的截齿、护帮板以及工作人员状态，避免发生事故。根据矿井实际场景安全需求，需要改进基于YOLOv5系列的算法以满足目标检测的快速性和高精度需求。本发明通过采用多尺度池化结构、K-means聚类算法自适应计算以及对网络轻量化改造等方法，实现目标检测精度和速度的需求。
(4)为更准确判断工作人员以及采煤相关设备是否处于安全状态，本发明采用单目测距的方法，结合图像成像原理和成像点与目标点的几何关系，获取人员与设备、设备与设备间的像素距离，并通过换算公式转换为实际距离，最后将获取的目标实际距离同煤矿中危险区域参考标准进行对比，若小于安全距离则判定危险，并给出警报提示，否则安全，提高了安全检测。
附图说明
图1为本发明的方法流程图。
图2为本实施例中彩色图像的三维张量形式示意图。
图3图像预处理流程图。
图4为本实施例中煤矿井下根据煤矿目标特点进行改进的目标检测网络流程结构图。
图5为本实施例中金空间金字塔池化层和多尺度空间金字塔池化层结构示意图。
图6为本实施例中普通卷积网络与深度可分离卷积网络结构示意图。
图7为改进YOLOV5网络进行目标检测简易过程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1所示，本发明提供了一种煤矿井下安全检测方法，其实现方法如下：
S1、采用基于张量最小二乘法对煤矿井下工况监测图像进行图像增强以及复原处理，并加入暗通道、亮通道以及CLAHE算法进行调整，得到清晰图像，其实现方法如下：
S101、将煤矿井下工况监测图像转成张量形式；
S102、利用最小二乘法将尺度参数调整后的煤矿井下工况监测图像同输入图像进行相减处理，直至相减结果小于预设的阈值，迭代平滑煤矿井下工况监测图像噪声，其中，迭代过程中输入图像为经过尺度参数调整去噪后的图像；
S103、利用多尺度边缘分解，对去噪后的煤矿井下工况监测图像进行迭代处理，获取目标细节，并将每一次迭代的煤矿井下工况监测图像作为下一级的基底图像；
S104、将经过最小二乘法去噪、多尺度边缘分解操作后的煤矿井下工况监测，加入暗通道、亮通道以及CLAHE算法进行调整，其中，暗通道对煤矿井下工况监测图像去尘，亮通道改善暗通道导致的煤矿井下工况监测图像偏暗以及CLAHE算法进行光照均匀处理；
S105、对处理后的煤矿井下工况监测图像进行质量评估，若达到预设效果，得到清晰图像，并进入步骤S2，否则，返回步骤S101；
S2、利用清晰图像数据集训练改进的YOLOv5目标检测模型，并利用改进的YOLOv5目标检测模型进行检测识别，得到目标检测信息，其实现方法如下：
S201、对清晰图像进行标注；
S202、将标注后的数据集按比例分为训练集、验证集和测试集，并利用训练集、验证集和测试集对改进后的YOLOv5网络进行训练，得到改进的YOLOv5目标检测模型；
S203、利用改进的YOLOv5目标检测模型对矿井实际场景中目标进行检测识别，获取目标检测信息，其具体为：
S2031、将清晰图像输入至改进的YOLOv5目标检测模型，进行图像增强处理以及使煤矿井下工况监测图像缩放至满足要求的数据集；
S2032、基于步骤S2031处理的结果，利用k-means算法生成的锚框；
S2033、对生成的锚框进行聚类，并对聚类后的锚框进行卷积操作，得到若干个特征图；
S2034、将获取的特征图输入至特征融合网络，进行特征融合处理，得到预测结果；
S2035、根据预测结果，识别出矿井实际场景中目标检测信息。
本实施例中，将图像增强、复原后的图像输入到改进后的YOLOv5算法模型中，对数据进行增强以及使图像缩放至符合数据集的要求；利用k-means算法对生成的锚框；将聚类后锚框送入卷积层进行卷积，获取多个特征图；将卷积获得的特征图输入到特征融合网络，并进行特征融合，得到预测结果，然后进行解码、非极大值抑制等后处理操作，最终识别出图像中存在物体的类别及位置信息。
所述YOLOV5网络的改进具体为：
A1、采用多尺度池化模块放入YOLOv5网络的骨干网络尾部；
A2、使用k-means聚类算法自适应计算anchor box；
A3、通过减少网络卷积层和使用深度可分离卷积，对YOLOv5网络进行轻量化改造；
S3、根据目标检测信息，利用单目测距模型求取检测目标之间的实际距离，并基于该实际距离作出安全决策判断，其实现方法如下：
S301、根据几何运算获取摄像头倾俯角、安装高度以及通过对相机镜头进行畸变校正，得到相机的内外参数以及畸变参数；
S302、根据步骤S301获取的信息构建单目测距模型，并将目标检测信息放入至单目测距模型中；
S303、根据目标检测信息以及坐标系转换得到检测目标在世界坐标系中的位置；
S304、根据各目标的位置，通过欧式距离计算检测目标间的实际距离，并判断实际距离是否小于预设的安全阈值，若是，则检测目标安全，否则，发出警报，控制运行的采煤设备停止工作。
本实施例中，为解得实际距离需要进行以下几个方面求解：像素坐标系转换到世界坐标系的转换和相机内外参数。
本实施例中，像素坐标系是以像素来表示各个像素位置信息的，但是它不能够表达出图像中物体的物理大小，因此需要进行坐标系之间的转换。主要经过像素坐标系-图像坐标系-相机坐标系-世界坐标系。
其中图像坐标系的坐标(x,y)与像素坐标系的坐标(u,v)之间的关系可以表示为：
(u0,v0)表示图像中心的像素坐标，dx、dy分别表示横向和纵向像素在感光板上的单位物理长度。写成齐次坐标矩阵的形式为：
图像坐标系变换到相机坐标系将其写成齐次坐标矩阵的形式为：
(Xc,Yc,Zc)表示相机坐标系上的与图像坐标相对应的坐标点，f为焦距。
相机坐标系变换到世界坐标系表达式：
其中，(Xw,Yw,Zw)相机内外参数世界坐标系中与相机坐标中对应的坐标点，R表示相机内外参数旋转量，T表示相机内外参数平移量。
结合式(2)、式(3)、式(4)得到像素坐标系到世界坐标系的转换式：
其中，式中未知参数Zc表示物体到光学中心的距离。这样针对图像上的一个点，就可以利用上述公式结合相机内外参数求解出具体的距离值。
本实施例中，对于相机内外参数，相机内外参数对图像矫正和测距具有重要意义。上式(5)等号右端第一项为相机的外参数，等号右端第二项表示为相机内参数，内参属于相机内在属性。式中未知参数Zc表示物体到光学中心的距离。同时也说明了，在相机标定的过程中，如果物体相对于相机的位置不同，那么需要对于每一个位置都需要去进行相机标定。
本实施例中，由于煤矿环境特殊，影响图像质量的原因主要集中以下几个方面：首先采煤机在切割煤层时会产生大量粉尘；其次作业产生的粉尘与喷洒的水会凝结吸附在监控设备上；再次工作人员的头灯会使照射部分亮度高于其他区域；最后喷雾降尘之后的一段时间内，井下的雾气不能消散。以上四个因素会造成采集的图像不清晰、对比度不足、细节信息无法展现等，严重影响图像的观测效果及信息提取。为获取清晰图像，本发明通过图像增强和图像去噪算法进行多算法融合的图像增强、复原操作，其中，煤矿井下工况监测图像是通过截取监控视频中有效视频并进行视频取帧获取的。
本实施例中，井下运动目标通常都携带有光源如矿灯、头灯等。它严重干扰着监控视频采集图像的效果，如果不对强光照射形成的光斑做特殊的处理，它将会被误认为是运动目标，造成信息分析错误，对决策判断不利。对图像增强算法进行初步研究时，使用常见算法限制对比度的自适应直方图均衡(Contrast Limited Adaptive HistogramEqualization，CLAHE)和伽马变化算法对图像进行增强和去噪处理。在对图像增强、图像去噪算法进行初步了解后，本发明采用张量最小二乘法，在此基础上有选择地增加Gamma算法、CLAHE算法以及暗通道等其他算法。首先将图片改成张量(如图2所示)的形式，图片作为整体统一调整尺度参数，不再单独处理各通道，基于最小二乘法将每次调整参数相邻前后的图片相减，不断迭代平滑原始图像去除噪声，同时加入多尺度边缘分解不断迭代的方式获取更多细节，每一次迭代出来的图像作为下一级的基底，前后两次图像相减获取新的细节，最后加入暗通道、亮通道以及CLAHE算法进行微调。其中暗通道对图像进一步去尘，亮通道改善暗通道导致的整体图像偏暗，以及CLAHE算法进行光照均匀处理,提高图像整体质量。这些算法在处理图像过程中可根据处理结果进行调整。
本实施例中，需要对增强后的图片进行评价。图像的质量评价主要包括主观和客观两种评价方式。主观评价，就是通过人的视觉系统来判断图像的清晰度，这种方法简单、方便。但是人的视觉系统有时也会存在误区，而且，图像在发生微小的变化时，人眼是不容易观察出来的。客观评价是通过算法分析得到图像的各种特征信息数据来判断图像的质量。这些特征信息主要包括对比度、信息熵、平均梯度、亮度、方差等。特征信息的数据可以直观地显示出图像的变化程度。所以，后期在图像进行改进的过程中，需要对每次改进的效果进行对比，以数据的形式更加直观表达算法。
图像质量评估指标：
图像质量客观评价用于比较待评图像与参考图像之间的差异以及分析待评图像的失真程度，从而得到待评图像的质量评估。常见的方法为峰值信噪比(Peak-Signal toNoise Ratio,PSNR)、均方误差(Mean Square Error,MSE)、结构相似度(StructuralSimilarity，SSIM)和特征结构相似度(Feature Similarity Index，FSIM)。
均方误差(Mean Squared Error,MSE)通过取两幅图像的均方差来计算“平均误差”，是一种较方便简单的图像质量评价方法，可以评价数据间的差异程度。
峰值信噪比(Peak Signal to Noise Ratio，PSNR)一种广泛使用的客观图像质量评价标准。取原始图像与失真图像间的均方差对数值(其中为每个采样值的比特数，8位图通常取255)。
图像的结构信息能够反映场景中物体的结构，与图像的亮度及对比度独立。它们的亮度、对比度和结构的相似度表示为：
综合这三种相似性准则得到SSIM，表示为：
FSIM主要利用低层视觉特性中的相位一致性(Phase Congruency，PC)，而相位一致性具有相对不变性的特点，因此以图像的梯度强度(Gradient Magnitude，GM)当作次要特征来计算对比度信息。最终使用相位一致性特征加权相似度图和梯度相似度图加权综合得到图像质量。
本实施例中，为避免矿井下护帮板收缩不及时导致采煤机碰撞以及人员疏忽引起危险事故发生，本发明采用基于改进的YOLOV5算法实时检测采煤机的截齿、护帮板以及工作人员状态，避免发生事故。通过使用图像增强、复原操作后的清晰图像来制作检测数据集，并将此检测数据集放入YOLOV5网络(煤矿井下检测模型)进行训练得到矿井下采煤设备与工作人员检测网络，最后通过此检测网络对矿井实际场景进行检测识别。
本实施例中，针对煤矿井下环境复杂、检测目标过小或者遮挡情况，需要改进网络减少误检、漏检情况的发生(如图4所示)。同时需要提高检测速度，避免因检测不及时造成安全事故的发生。因此根据煤矿实际应用需求，主要从目标检测速度和检测精度两个角度进行改进，以达到对小目标采煤机的截齿、护帮板以及工作人员的检测和对矿井下安全状态实时性检测的需求。
本实施例中，针对矿井下采煤机的截齿、护帮板以及工作人员目标大小不一以及距离摄像头远造成目标过小，本发明采用多尺度池化模块放入骨干网络的尾部，提高网络对小目标的检测能力；由于本发明所使用的数据集各目标尺寸分为较为分散，因此需要利用使用k-means聚类算法自适应计算，来进一步提高网络对矿井下设备和人员的检测能力；最后，矿井下的安全状态需要实时监控，YOLOv5网络(煤矿井下检测模型对该项目十分重要，所以通过轻量化手段对YOLOv5网络(煤矿井下检测模型)轻量化可以很好的减小网络参数从而提高检测速度。
以下为三个改进点的具体分析：
①为提高检测精度，可以针对小目标采取多尺度池化结构。采用不同大小的池化核对输入图像进行池化，能够对不同大小的目标进行较好的识别。如图5所示，图5(a)为空间金字塔池化层，图5(b)为多尺度空间金字塔池化层，将多尺度空间金字塔池化层图5(b)替换掉原骨干网络中的金字塔池化层图5(a)，实现对不同大小的多目标进行检测，避免对过大或者过小目标的漏检。此外，对于离监控设备近的目标会过大，可以通过改变感受野的大小，一次获取更多信息。如图5所示，可以看到多尺度池化层比原池化层拥有的池化尺寸变多，同时兼顾大尺寸目标和小尺寸目标，能够更好的改善矿井下小目标漏检情况。
②使用k-means聚类算法自适应计算anchor box。
在实际目标识别环境中，目标实际尺寸和默认anchor box尺寸存在差异，而且本发明是对三个目标进行检测，如果使用默认anchor box尺寸可能会导致损失函数下降方向发生偏离。使用k-means聚类算法可有效解决上述问题，对网络生成的预选框进行先验，筛选出符合检测内容的大小和位置的框，对后续的分类和回归任务进行加强，能够有效的检测出小目标物体以及提高算法的检测精度。k-means聚类算法得流程如下：
输入样本集，聚类的簇树k，最大迭代次数N；输出是簇划分；
B1、从数据集D中随机选择k个样本作为初始的k个质心向量：；
B2、对于n=1,2,...,N
a）将簇划分C初始化为；
b）对于i=1,2...m,计算样本和各个质心向量/>的距离：，将/>标记最小的为/>所对应的类别/>。此时更新/>；
c）对于j=1,2,...,k,对中所有的样本点重新计算新的质心/>；
d）如果所有的k个质心向量都没有发生变化，则转到步骤B3；
B3、输出簇划分。
③检测网络的轻量化
此外针对提高检测速度，对网络进行轻量化改造，满足煤矿工业对实时性的要求，主要体现在网络卷积层的减少和深度可分离卷积的使用。深度可分离卷积神经网络是卷积神经网络的一个变种，可以对卷积神经网络进行替代。对于普通的卷积网络，如图6(a)所示，由卷积层、批归一化操作与激活函数构成的。对于深度可分离卷积网络，它是由一个3x3深度可分离的卷积层，批归一化，激活函数，1x1普通卷积层，批归一化，激活函数构成。在卷积神经网络中，将图6(b)替换图6(a)，那么卷积神经网络就成为了深度可分离卷积网络。
本实施例中，对于普通的卷积神经网络，输出通道是和所有的输入通道有关的。在深度可分离卷积网络里，输出通道只与单个输入通道有关。将深度可分离卷积替换掉原网络中卷积层，实现网络轻量化，从而达到煤矿工业对实时性的要求。如图7所示，经过图像增强、复原的图像输入到改进的YOLOV5目标检测网络中，先通过卷积层对整幅图像进行特征提取，然后对提取的特征进行多尺度池化，一方面不断的对图像提取特征消去冗余信息，另一方面针对不同尺寸目标获取更清晰特征。不断交叠进行卷积、池化，接着将获取的特征输入到全连接层中，然后通过加入的k-means聚类算法自适应anchor更加准确地的输出检测结果(护帮板、截齿或者工作人员)网络中。最后使用轻量化操作针对骨干网络进行轻量化，提高检测网络的检测速度。对于改进网络输出的准确率以及该网络检测速度将分别通过mAP、FPS指标进行分析。
本实施例中，常用的目标检测评估标准包括检测精度和检测速度。
检测精度：
检测精度通常是用来衡量在测试集合中，模型对图像中目标的预测能力。评估模型的全局准确程度的情况下，可以使用准确率(Accuracy)表示，利用检测对的样本数除以所有的样本数，即
该评估参数无法包含太多信息，不能全面评价一个模型性能。因此，需要根据具体检测任务，设定更加精细的评估标准。针对目标检测任务，检测精度包含目标分类精度(即精确率)和背景误差(查全率)。平均精度(Average Precision，AP)和mean AveragePrecision(mAP)：AP为Precision-recall曲线与坐标轴包围的面积，通常AP值越高表示模型检测效果越好。mAP为多个类别检测精度的平均值，即对每个类的AP再求平均得到的就是mAP的值，值域在[0，1]之间，其值越大表明模型检测效果越好。
检测速度：
针对同一个测试视频流，按照同等实验条件下每秒钟处理的帧数作为检测速度评估标准，简写为FPS。本发明使用检测速度评估端到端实时检测模型的处理效率，在较高的检测精度和查全率下，检测速度的提升对于实际场景中目标检测有极大的应用价值。
本实施例中，结合图像成像原理和成像点与目标点的几何关系，获取人员与设备、设备与设备间的像素距离，并通过换算公式转换为实际距离，最后将获取的目标实际距离同煤矿中危险区域参考标准进行对比，若小于安全距离则判定危险，否则安全。这个过程就是在建立距离决策模型，从而能够更好地维护人员与设备、设备与设备间的安全。

Claims (7)

1.一种煤矿井下安全检测方法，其特征在于，包括以下步骤：
S1、采用基于张量最小二乘法对煤矿井下工况监测图像进行图像增强以及复原处理，并加入暗通道、亮通道以及CLAHE算法进行调整，得到清晰图像；
S2、利用清晰图像数据集训练改进的YOLOv5目标检测模型，并利用改进的YOLOv5目标检测模型进行检测识别，得到目标检测信息；
S3、根据目标检测信息，利用单目测距模型求取检测目标之间的实际距离，并基于该实际距离作出安全决策判断。
2.根据权利要求1所述的煤矿井下安全检测方法，其特征在于，所述步骤S1包括以下步骤：
S101、将煤矿井下工况监测图像转成张量形式；
S102、利用最小二乘法将尺度参数调整后的煤矿井下工况监测图像同输入图像进行相减处理，直至相减结果小于预设的阈值，迭代平滑煤矿井下工况监测图像噪声，其中，迭代过程中输入图像为经过尺度参数调整去噪后的图像；
S103、利用多尺度边缘分解，对去噪后的煤矿井下工况监测图像进行迭代处理，获取目标细节，并将每一次迭代的煤矿井下工况监测图像作为下一级的基底图像；
S104、将经过最小二乘法去噪、多尺度边缘分解操作后的煤矿井下工况监测，加入暗通道、亮通道以及CLAHE算法进行调整，其中，暗通道对煤矿井下工况监测图像去尘，亮通道改善暗通道导致的煤矿井下工况监测图像偏暗以及CLAHE算法进行光照均匀处理；
S105、对处理后的煤矿井下工况监测图像进行质量评估，若达到预设效果，得到清晰图像，并进入步骤S2，否则，返回步骤S101。
3.根据权利要求2所述的煤矿井下安全检测方法，其特征在于，所述步骤S2包括以下步骤：
S201、对清晰图像进行标注；
S202、将标注后的数据集按比例分为训练集、验证集和测试集，并利用训练集、验证集和测试集对改进后的YOLOv5网络进行训练，得到改进的YOLOv5目标检测模型；
S203、利用改进的YOLOv5目标检测模型对矿井实际场景中目标进行检测识别，获取目标检测信息。
4.根据权利要求3所述的煤矿井下安全检测方法，其特征在于，所述YOLOv5网络的改进具体为：
A1、采用多尺度池化模块放入YOLOv5网络的骨干网络尾部；
A2、使用k-means聚类算法自适应计算anchor box；
A3、通过减少网络卷积层和使用深度可分离卷积，对YOLOv5网络进行轻量化改造。
5.根据权利要求4所述的煤矿井下安全检测方法，其特征在于，所述步骤S203包括以下步骤：
S2031、将清晰图像输入至改进的YOLOv5目标检测模型，进行图像增强处理以及使煤矿井下工况监测图像缩放至满足要求的数据集；
S2032、基于步骤S2031处理的结果，利用k-means算法生成的锚框；
S2033、对生成的锚框进行聚类，并对聚类后的锚框进行卷积操作，得到若干个特征图；
S2034、将获取的特征图输入至特征融合网络，进行特征融合处理，得到预测结果；
S2035、根据预测结果，识别出矿井实际场景中目标检测信息。
6.根据权利要求5所述的煤矿井下安全检测方法，其特征在于，所述步骤S3包括以下步骤：
S301、根据几何运算获取摄像头倾俯角、安装高度以及通过对相机镜头进行畸变校正，得到相机的内外参数以及畸变参数；
S302、根据步骤S301获取的信息构建单目测距模型，并将目标检测信息放入至单目测距模型中；
S303、根据目标检测信息以及坐标系转换得到检测目标在世界坐标系中的位置；
S304、根据各目标的位置，通过欧式距离计算检测目标间的实际距离，并判断实际距离是否小于预设的安全阈值，若是，则检测目标安全，否则，发出警报，控制运行的采煤设备停止工作。
7.根据权利要求6所述的煤矿井下安全检测方法，其特征在于，所述坐标系转换具体为：
其中，(Xw,Yw,Zw)表示世界坐标系中与相机坐标中对应的坐标点，R表示旋转量，T表示平移量，(Xc,Yc,Zc)表示相机坐标系上的与图像坐标相对应的坐标点，f表示焦距，dx、dy分别表示横向和纵向像素在感光板上的单位物理长度，(u0,v0)表示图像中心的像素坐标，(u,v)表示像素坐标系的坐标，(x,y)表示图像坐标系的坐标。
CN202310339817.0A 2023-03-31 2023-03-31 一种煤矿井下安全检测方法 Pending CN116452976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310339817.0A CN116452976A (zh) 2023-03-31 2023-03-31 一种煤矿井下安全检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310339817.0A CN116452976A (zh) 2023-03-31 2023-03-31 一种煤矿井下安全检测方法

Publications (1)

Publication Number Publication Date
CN116452976A true CN116452976A (zh) 2023-07-18

Family

ID=87129562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310339817.0A Pending CN116452976A (zh) 2023-03-31 2023-03-31 一种煤矿井下安全检测方法

Country Status (1)

Country Link
CN (1) CN116452976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152419A (zh) * 2023-10-11 2023-12-01 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152419A (zh) * 2023-10-11 2023-12-01 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统
CN117152419B (zh) * 2023-10-11 2024-03-29 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统

Similar Documents

Publication Publication Date Title
CN111951237B (zh) 外观视觉检测方法
CN106856002B (zh) 一种无人机拍摄图像质量评价方法
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
JP5551595B2 (ja) 滑走路監視システムおよび方法
CN107808161B (zh) 一种基于光视觉的水下目标识别方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN110059634B (zh) 一种大场景人脸抓拍方法
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端
Zhao et al. Principal curvature for infrared small target detection
CN116452976A (zh) 一种煤矿井下安全检测方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN112132870B (zh) 森林火灾早期烟雾检测方法
CN116703864A (zh) 基于偏振成像和集成学习的路面病害自动检测系统及方法
CN116363578A (zh) 一种基于视觉的船舶封闭舱室人员监测方法和系统
CN113066077B (zh) 火焰检测方法及装置
CN104820818A (zh) 一种移动物体的快速识别方法
Qiao et al. Visibility enhancement for underwater robots based on an improved underwater light model
CN112767446A (zh) 一种提高红外图像跟踪的目标跟踪准确率的图像跟踪系统
CN109886133A (zh) 一种基于光学遥感图像的船只检测方法及系统
Stojanović et al. Improved dehazing techniques for maritime surveillance image enhancement
CN118379049B (zh) 一种基于智能ai协同的通信管线维护系统
CN115237159B (zh) 一种采用无人机的电线巡检方法
Wang et al. ClearSight: Deep Learning-Based Image Dehazing for Enhanced UAV Road Patrol

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination