CN115331264A - 一种基于神经网络的矿山工人安全识别管理方法 - Google Patents
一种基于神经网络的矿山工人安全识别管理方法 Download PDFInfo
- Publication number
- CN115331264A CN115331264A CN202211250179.7A CN202211250179A CN115331264A CN 115331264 A CN115331264 A CN 115331264A CN 202211250179 A CN202211250179 A CN 202211250179A CN 115331264 A CN115331264 A CN 115331264A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- pixel point
- depth
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000007726 management method Methods 0.000 title claims abstract description 15
- 239000000779 smoke Substances 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000000428 dust Substances 0.000 claims abstract description 23
- 238000005315 distribution function Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000002834 transmittance Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 239000002689 soil Substances 0.000 description 4
- 239000004071 soot Substances 0.000 description 4
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 238000004901 spalling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 206010003497 Asphyxia Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- UCKMPCXJQFINFW-UHFFFAOYSA-N Sulphide Chemical compound [S-2] UCKMPCXJQFINFW-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 231100001267 hazard identification Toxicity 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种基于神经网络的矿山工人安全识别管理方法,该方法获取矿井环境的RGB图像、深度图像和红外热图;获取深度图像对应的附近深度上限值以及红外热图的光源位置的光源向量;基于光源向量构建RGB图像中每个像素点的高斯分布函数以得到蒙版图像;根据蒙版图像的暗通道图像确认RGB图像中存在烟尘时,利用含烟尘图像形成模型获取除烟尘图像,利用除烟尘图像、深度图像和红外热图对安全识别神经网络进行训练,进而进行安全识别。本发明通过对被烟尘遮挡的图像进行复原,提高了后续安全识别神经网络的训练效果,使得矿井的安全识别结果更加准确。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于神经网络的矿山工人安全识别管理方法。
背景技术
矿山是重要的能源和金属开采地,但采矿的作业流程复杂、矿井环境恶劣,一直是事故高发率最高的行业之一,因此进行矿山工人安全识别和应急管理是至关重要的。矿山安全事故发生的原因主要是矿工的不安全行为,或者矿山中的自然灾害,最常发生的事故类型是冒顶片帮,冒顶片帮后续还可能造成密闭空间的矿山工人窒息、掩埋等危险。
冒顶片帮是指矿井开挖、衬砌过程中因开挖或支护不当,顶部或侧壁大面积垮塌造成伤害的事故。在矿山压力作用下变形,矿井顶部垮落称为冒顶,作业面、巷道侧壁破坏而脱落的现象称为片帮,二者常同时发生。
目前对于矿井的安全识别方法是采集矿井内的图像,将图像输入训练好的神经网络中,以确认矿井是否有安全隐患,是否发生安全事故,但是矿井环境会存在烟尘干扰导致采集的图像不清楚,进而使得神经网络判断的结果存在误差,影响矿石工人的安全隐患识别结果。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于神经网络的矿山工人安全识别管理方法,所采用的技术方案具体如下:
获取每个采样时刻下矿井环境的RGB图像、深度图像和红外热图;基于分水岭算法获取深度图像对应的附近深度上限值;将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量,光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度;
将RGB图像转化为LAB图像,根据光源中心点的坐标和像素点的坐标计算LAB图像中每个像素点与光源位置的距离,获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源;利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数,将最小距离输入高斯分布函数得到对应像素点的调整值;利用调整值对每个像素点的L值进行更新得到蒙版图像;
获取蒙版图像的暗通道图像;当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时,利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像,所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的;将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本,获取至少两个设定时段下的训练样本对安全识别神经网络进行训练,利用训练好的安全识别神经网络进行矿山工人的安全识别。
进一步的,所述基于分水岭算法获取深度图像对应的附近深度上限值的方法,包括:
利用分水岭算法将深度图像分为多个子区域,根据每个像素点的深度值计算每个子区域的平均深度值;将平均深度值最大所对应的子区域作为重点区域,将重点区域中的最大深度值作为附近深度上限值。
进一步的,所述利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数的方法,包括:
分别计算目标光源对应的包围框的宽度的平方和高度的平方,将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差;结合预设的期望和方差得到对应像素点的高斯分布函数,则高斯分布函数为:,其中,为以常数e为底数的指数函数;为预设的期望;为方差;为最小距离;为最小距离对应的调整值;为常数。
进一步的,所述利用调整值对每个像素点的L值进行更新得到蒙版图像的方法,包括:
当像素点的L值大于或等于该像素点的调整值时,将该像素点的L值更新为像素点的L值与对应的调整值的差值;当像素点的L值小于该像素点的调整值时,将该像素点的L值更新为0,将每个像素点的L值更新后的LAB图像转化为RGB图像,转化后的RGB图像为蒙版图像。
进一步的,所述由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘的方法,包括:
选取暗通道图像中灰度值最小的预设数量的像素点,计算这些像素点的平均灰度值,当平均灰度值小于或等于阈值时,确认RGB图像中存在烟尘。
进一步的,所述含烟尘图像形成模型的构建方法为:
选取蒙版图像的暗通道图像中最高亮的设定数量的像素点作为目标像素点,获取目标像素点对应在蒙版图像中的RGB通道的最亮点,对最亮点的值计算平均值作为大气光值;
结合RGB图像中每个像素点的RGB值以及大气光值获取空气烟尘的散射率,则空气烟尘的散射率的计算公式为:
其中,为任意一个像素点所对应的空气烟尘的散射率;表示RGB图像的任意一个像素点的RGB值;为以任意一个像素点为中心所对应的局部窗口;为像素点在R通道的值;为像素点在G通道的值;为像素点在B通道的值;为最小值函数;为大气光值;为第c个值;
结合RGB图像中每个像素点对应在深度图像中的深度值以及附近深度上限值获取透射率,则透射率的计算公式为:
结合大气光值、空气烟尘的散射率和透射率构建含烟尘图像形成模型,则含烟尘图像形成模型为:
本发明实施例至少具有如下有益效果:本方案采集矿井内的RGB图像、深度图像和红外热图,以通过RGB图像判断巷道是否改变、深度图像辅助判断是否有土层的移动、红外热图判断矿山工人的存在;获取深度图像的对应的附近深度上限值以及红外热图中光源位置的光源向量;为了对RGB图像进行抗干扰处理,基于光源位置与RGB图像中每个像素点之间的距离以对每个像素点进行光源蒙版,进而得到蒙版图像,利用蒙版图像的暗通道图像和附近深度上限值构建含烟尘图像形成模型,以得到RGB图像的除烟尘图像,使得被烟尘遮挡的图像得到了清晰的复原,进而提高了后续安全识别神经网络的训练效果,并且能够使得安全识别神经网络对矿井的安全识别结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于神经网络的矿山工人安全识别管理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于神经网络的矿山工人安全识别管理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明所针对的具体场景为:实时检测稀有金属开采的矿井巷道中的安全隐患和安全事故,其中矿井巷道的安全识别设置为全天监控的,主要识别的安全状况分为两种情况:第一种是监控区域内无人作业时,及时发现无人察觉的冒顶片帮,以预警可能发生的坍塌事故,杜绝安全隐患;第二种是监控区域内有人作业时,发生冒顶片帮后,可能造成矿工被掩埋,及时识别安全事故,通知有关人员,争取宝贵的营救时间。
下面结合附图具体的说明本发明所提供的一种基于神经网络的矿山工人安全识别管理方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于神经网络的矿山工人安全识别管理方法的步骤流程图,该方法包括以下步骤:
步骤S001,获取每个采样时刻下矿井环境的RGB图像、深度图像和红外热图;基于分水岭算法获取深度图像对应的附近深度上限值;将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量,光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度。
具体的,构建监控装置,由多个传感器组成,包括RGBD相机和红外热成像相机,利用RGBD相机和红外热成像相机分别采集每个采样时刻下的RGB图像、深度图像和红外热图。其中,RGB图像和深度图像都是由RGBD相机获取的,此处特意分开,便于后续的图像处理,且RGB图像A需要经过白平衡处理,以统一多个监控摄像头画面的色彩组成。
需要说明的是,RGB图像主要判断巷道是否改变;深度图像的每一个像素点代表该位置与监控设备的距离,设定深度的取值下限,为,防止作为分母时为0,辅助判断是否有土层的移动;红外热图的每一个像素点代表该位置的温度值,主要判断矿山工人的存在。
因为监控是安装在矿井巷道的上方的,有利于识别巷道侧壁的深度变化,因此使用分水岭算法,将深度图像分为了n个子区域,分别记为,其中n为正整数。将深度图像中的每个像素点的深度值记为,根据每个像素点的深度值分别计算每个子区域的平均深度值,选取平均深度值最大的子区域作为重点区域,将重点区域中的最大深度值作为附近深度上限值,为后续步骤做铺垫。
构建光源判别神经网络,其网络结构为ResNet50,其中光源判别网络的训练过程为:采集矿井巷道工作状态下的红外热图组成数据集;安排大数据标注专家用特定的像素值标注出光源区域,例如光源区域的像素值为0,其他区域的像素值为1;将数据集的80%作为训练集、20%作为测试集,使用均方差损失函数,优化器使用Adam,经过训练最终得到检测效果良好的光源判别神经网络。
将红外热图输入训练好的光源判别神经网络中,得到至少一个的光源位置的光源向量,即第i个光源位置的光源向量为,其中为第i个光源位置的光源中心点的坐标,为第i个光源位置对应的包围框的宽度,为第i个光源位置对应的包围框的高度。
步骤S002,将RGB图像转化为LAB图像,根据光源中心点的坐标和像素点的坐标计算LAB图像中每个像素点与光源位置之间的距离,获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源;利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数,将最小距离输入高斯分布函数得到对应像素点的调整值;利用调整值对每个像素点的L值进行更新得到蒙版图像。
具体的,在采矿作业时,大型机械会产生灰尘,挖掘和爆破时也容易产生烟尘,主要有炮烟中的或燃油设备产生的有色氮氧化物和硫化物,它们漂浮在空气中,会对光线进行散射,类似雾霾的效果,严重干扰摄像头的识别效果,如果发生冒顶片帮,部分泥土的冲击也会产生扬尘,因此,对RGB图像进行抗干扰处理是非常有必要的。
对RGB图像进行光源蒙版,以获取对应的蒙版图像,具体过程如下:
首先将RGB图像转化为LAB图像,RGB图像A的每一个像素点的RGB值转化为了LAB值,L通道是明度,取值范围为;A值和B值是两个维度的色彩通道对应的值;然后对LAB图像中的每个像素点的L值进行光源蒙版。
以LAB图像中的像素点为例,其坐标为,根据光源中心点的坐标和像素点的坐标计算像素点与第j个光源位置之间的距离,获取像素点与每个光源位置之间的距离,选取最小距离对应的光源位置作为目标光源,同时记目标光源与像素点之间的最小距离为。
利用目标光源对应的包围框的宽度和高度构建像素点的高斯分布函数,将最小距离输入高斯分布函数得到像素点的调整值:分别计算目标光源对应的包围框的宽度的平方和高度的平方,将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差,即方差;结合预设的期望和方差得到对应像素点的高斯分布函数,则高斯分布函数为:,其中,为以常数e为底数的指数函数;为预设的期望,取值范围为,本方案中经验取值为80;为方差,决定了高斯蒙版的覆盖范围;为最小距离;为最小距离对应的调整值;为常数,将像素点对应的最小距离代入该像素点的高斯分布函数中,得到像素点的调整值。
利用调整值对每个像素点的L值进行更新,则更新公式为:
基于更新公式得到LAB图像中每个像素点的更新后的L值,进而将更新后的LAB图像转化为RGB图像,则转化后的RGB图像为蒙版图像。
步骤S003,获取蒙版图像的暗通道图像;当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时,利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像,所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的;将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本,获取至少两个设定时段下的训练样本对安全识别神经网络进行训练,利用训练好的安全识别神经网络进行矿山工人的安全识别。
具体的,由于在绝大多数的非高亮度的局部区域中,某一些像素点总会有至少一个颜色通道具有很低的值,而在RGB图像无烟尘时,暗通道图像中的像素点对应的值接近0,图像出现大量黑色,因此获取蒙版图像的暗通道图像,以根据暗通道图像中每个像素点的灰度值判断RGB图像中是否存在烟尘,其中暗通道图像的获取方法为公知技术,本方案不再赘述。
选取暗通道图像中灰度值最小的预设数量的像素点,计算这些像素点的平均灰度值,当平均灰度值小于或等于阈值时,则说明暗通道图像中的偏白色像素点偏多,反应了蒙版图像中有较多的烟尘,进而确认RGB图像中存在烟尘,因此需要对RGB图像进行烟尘去除,以排除烟尘干扰,其中本方案中预设数量为10%,阈值取经验值120。
构建含烟尘图像形成模型:
简化为:
其中,大气光值的获取方法为:选取蒙版图像对应的暗通道图像中最高亮的0.1%个像素点,由暗通道先验条件保证了挑选出来的像素不会受到自然图像景物的干扰,然后找到暗通道图像对应蒙版图像的这0.1%个像素点的RGB通道的最亮点,将这0.1%个像素点的最亮点的值求平均值作为大气光值,具体使用公知技术即可。
基于暗通道图像的获取方法,构建RGB图像与除烟尘图像之间的第一关系式:
原始的去雾算法的条件过于理想,在透射率中引入深度值,物体离得越远,越容易受到烟尘的漫反射的干扰,接受到的信号,不仅包含衰减的物体的反射光,还包含光源经过烟尘反射到摄像头中的光,因此基于该特征构建深度图像与除烟尘图像之间的第二关系式:
利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像。
构建安全识别神经网络,其网络的主体结构为U-net,其中安全识别神经网络的训练过程为:为了保证安全识别神经网络的可复用性,需要对监控装置的数据流进行单位划分,即将实时获取的监控视频数据按照每2秒为一个片段,每两个片段的偏移量为1秒,例如,第一个片段为0-2秒,第二个片段为1-3秒,将每个片段中的除烟尘图像、深度图像和红外热图组成一个训练样本,将至少两个片段对应的训练样本组成训练集;安排大数据标注专家用特定的像素值对每个片段对应的训练样本进行标注,即发生冒顶01、发生片帮02、矿工异常消失03以及正常04;该网络的损失函数为交叉熵损失函数,优化器使用Adam,经过训练最终得到识别效果良好的安全识别神经网络。
将实时片段中的除烟尘图像、深度图像和红外热图输入训练好的安全识别神经网络中,输出对应的识别结果,当识别结果为发生冒顶01或发生片帮02时,提醒安全人员进行检查;当识别结果为矿工异常消失03时,则立即发出警报,进行及时救援。
综上所述,本发明实施例获取矿井环境的RGB图像、深度图像和红外热图;基于分水岭算法获取深度图像对应的附近深度上限值;将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量;将RGB图像转化为LAB图像,计算LAB图像中每个像素点与光源位置的距离,获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源;利用目标光源构建对应像素点的高斯分布函数得到调整值;利用调整值对每个像素点的L值进行更新得到蒙版图像;获取蒙版图像的暗通道图像;当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时,利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像,利用除烟尘图像、深度图像和红外热图对安全识别神经网络进行训练,利用训练好的安全识别神经网络进行矿山工人的安全识别。本发明通过对被烟尘遮挡的图像进行复原,提高了后续安全识别神经网络的训练效果,使得矿井的安全识别结果更加准确。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于神经网络的矿山工人安全识别管理方法,其特征在于,该方法包括以下步骤:
获取每个采样时刻下矿井环境的RGB图像、深度图像和红外热图;基于分水岭算法获取深度图像对应的附近深度上限值;将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量,光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度;
将RGB图像转化为LAB图像,根据光源中心点的坐标和像素点的坐标计算LAB图像中每个像素点与光源位置的距离,获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源;利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数,将最小距离输入高斯分布函数得到对应像素点的调整值;利用调整值对每个像素点的L值进行更新得到蒙版图像;
获取蒙版图像的暗通道图像;当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时,利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像,所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的;将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本,获取至少两个设定时段下的训练样本对安全识别神经网络进行训练,利用训练好的安全识别神经网络进行矿山工人的安全识别。
2.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法,其特征在于,所述基于分水岭算法获取深度图像对应的附近深度上限值的方法,包括:
利用分水岭算法将深度图像分为多个子区域,根据每个像素点的深度值计算每个子区域的平均深度值;将平均深度值最大所对应的子区域作为重点区域,将重点区域中的最大深度值作为附近深度上限值。
4.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法,其特征在于,所述利用调整值对每个像素点的L值进行更新得到蒙版图像的方法,包括:
当像素点的L值大于或等于该像素点的调整值时,将该像素点的L值更新为像素点的L值与对应的调整值的差值;当像素点的L值小于该像素点的调整值时,将该像素点的L值更新为0,将每个像素点的L值更新后的LAB图像转化为RGB图像,转化后的RGB图像为蒙版图像。
5.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法,其特征在于,所述由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘的方法,包括:
选取暗通道图像中灰度值最小的预设数量的像素点,计算这些像素点的平均灰度值,当平均灰度值小于或等于阈值时,确认RGB图像中存在烟尘。
6.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法,其特征在于,所述含烟尘图像形成模型的构建方法为:
选取蒙版图像的暗通道图像中最高亮的设定数量的像素点作为目标像素点,获取目标像素点对应在蒙版图像中的RGB通道的最亮点,对最亮点的值计算平均值作为大气光值;
结合RGB图像中每个像素点的RGB值以及大气光值获取空气烟尘的散射率,则空气烟尘的散射率的计算公式为:
其中,为任意一个像素点所对应的空气烟尘的散射率;表示RGB图像的任意一个像素点的RGB值;为以任意一个像素点为中心所对应的局部窗口;为像素点在R通道的值;为像素点在G通道的值;为像素点在B通道的值;为最小值函数;为大气光值;为第c个值;
结合RGB图像中每个像素点对应在深度图像中的深度值以及附近深度上限值获取透射率,则透射率的计算公式为:
结合大气光值、空气烟尘的散射率和透射率构建含烟尘图像形成模型,则含烟尘图像形成模型为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211250179.7A CN115331264B (zh) | 2022-10-13 | 2022-10-13 | 一种基于神经网络的矿山工人安全识别管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211250179.7A CN115331264B (zh) | 2022-10-13 | 2022-10-13 | 一种基于神经网络的矿山工人安全识别管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115331264A true CN115331264A (zh) | 2022-11-11 |
CN115331264B CN115331264B (zh) | 2023-01-31 |
Family
ID=83914107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211250179.7A Active CN115331264B (zh) | 2022-10-13 | 2022-10-13 | 一种基于神经网络的矿山工人安全识别管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115331264B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861996A (zh) * | 2023-02-16 | 2023-03-28 | 青岛新比特电子科技有限公司 | 基于物联感知与ai神经网络的数据采集方法及系统 |
CN116843184A (zh) * | 2023-07-27 | 2023-10-03 | 中国公路工程咨询集团有限公司 | 基于神经网络的公路施工重大风险源识别方法及预警系统 |
CN117853825A (zh) * | 2024-03-07 | 2024-04-09 | 大连傲盈科技有限公司 | 一种公路施工状态监测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899844A (zh) * | 2015-06-30 | 2015-09-09 | 北京奇艺世纪科技有限公司 | 一种图像去雾方法及装置 |
CN106408510A (zh) * | 2016-09-08 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种获取人脸图像的美颜蒙版的方法及系统 |
CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
US20200394767A1 (en) * | 2019-06-17 | 2020-12-17 | China University Of Mining & Technology, Beijing | Method for rapidly dehazing underground pipeline image based on dark channel prior |
CN112699858A (zh) * | 2021-03-24 | 2021-04-23 | 中国人民解放军国防科技大学 | 无人平台烟尘雾感知方法、系统、计算机设备及存储介质 |
CN112950589A (zh) * | 2021-03-03 | 2021-06-11 | 桂林电子科技大学 | 一种多尺度卷积神经网络的暗通道先验去雾算法 |
CN113689372A (zh) * | 2021-08-26 | 2021-11-23 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备、存储介质及程序产品 |
CN114219976A (zh) * | 2021-11-04 | 2022-03-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备、存储介质及计算机产品 |
-
2022
- 2022-10-13 CN CN202211250179.7A patent/CN115331264B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899844A (zh) * | 2015-06-30 | 2015-09-09 | 北京奇艺世纪科技有限公司 | 一种图像去雾方法及装置 |
CN106408510A (zh) * | 2016-09-08 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种获取人脸图像的美颜蒙版的方法及系统 |
CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
US20200394767A1 (en) * | 2019-06-17 | 2020-12-17 | China University Of Mining & Technology, Beijing | Method for rapidly dehazing underground pipeline image based on dark channel prior |
CN112950589A (zh) * | 2021-03-03 | 2021-06-11 | 桂林电子科技大学 | 一种多尺度卷积神经网络的暗通道先验去雾算法 |
CN112699858A (zh) * | 2021-03-24 | 2021-04-23 | 中国人民解放军国防科技大学 | 无人平台烟尘雾感知方法、系统、计算机设备及存储介质 |
CN113689372A (zh) * | 2021-08-26 | 2021-11-23 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备、存储介质及程序产品 |
CN114219976A (zh) * | 2021-11-04 | 2022-03-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备、存储介质及计算机产品 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861996A (zh) * | 2023-02-16 | 2023-03-28 | 青岛新比特电子科技有限公司 | 基于物联感知与ai神经网络的数据采集方法及系统 |
CN115861996B (zh) * | 2023-02-16 | 2023-05-09 | 青岛新比特电子科技有限公司 | 基于物联感知与ai神经网络的数据采集方法及系统 |
CN116843184A (zh) * | 2023-07-27 | 2023-10-03 | 中国公路工程咨询集团有限公司 | 基于神经网络的公路施工重大风险源识别方法及预警系统 |
CN116843184B (zh) * | 2023-07-27 | 2024-02-20 | 中国公路工程咨询集团有限公司 | 基于神经网络的公路施工重大风险源识别方法及预警系统 |
CN117853825A (zh) * | 2024-03-07 | 2024-04-09 | 大连傲盈科技有限公司 | 一种公路施工状态监测方法 |
CN117853825B (zh) * | 2024-03-07 | 2024-05-28 | 大连傲盈科技有限公司 | 一种公路施工状态监测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115331264B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115331264B (zh) | 一种基于神经网络的矿山工人安全识别管理方法 | |
CN102663869B (zh) | 基于视频监控平台的室内火灾检测方法 | |
EP2984640B1 (en) | Fire detection system | |
CN103400111B (zh) | 基于视频检测技术的高速公路隧道火灾事件检测方法 | |
CN101751744B (zh) | 一种烟雾检测和预警方法 | |
CN101373553B (zh) | 一种在动态场景中能免疫误报的早期烟雾视频检测方法 | |
CN103150549B (zh) | 一种基于烟雾早期运动特征的公路隧道火灾检测方法 | |
US20070280504A1 (en) | Detection of environmental conditions in a sequence of images | |
CN105788142A (zh) | 一种基于视频图像处理的火灾检测系统及检测方法 | |
CN101315701B (zh) | 运动目标图像分割方法 | |
CN103473772B (zh) | 一种马赛克图像的检测方法和装置 | |
CN101872526A (zh) | 基于可编程摄像技术的烟火智能识别方法 | |
CN103106766A (zh) | 林火识别方法与系统 | |
CN103324910A (zh) | 一种基于视频检测的火灾报警方法 | |
CN112784821A (zh) | 基于YOLOv5的工地行为安全检测识别方法及系统 | |
CN112282819A (zh) | 基于视觉的综采工作面人员目标安全监控方法及系统 | |
CN116434533A (zh) | 一种基于5g的ai智慧公路隧道综合监测平台 | |
CN111507300B (zh) | 一种保护区内打桩、钻探行为的快速识别方法 | |
KR102614856B1 (ko) | 군중 난류 위험 예측 시스템 및 방법 | |
CN112668478A (zh) | 一种井盖监控方法、装置、电子设备和存储介质 | |
CN113014894B (zh) | 一种基于人工智能的石油井下作业安全盯控方法 | |
KR102178202B1 (ko) | 신호등 검출 방법 및 장치 | |
CN113923414A (zh) | 三段式隧道视觉综合监测调控系统 | |
KR101936004B1 (ko) | 지능형 보행자 검출 방법 | |
KR101054649B1 (ko) | 터널 내 실시간 화재 감시 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |