CN115331264A - 一种基于神经网络的矿山工人安全识别管理方法 - Google Patents

一种基于神经网络的矿山工人安全识别管理方法 Download PDF

Info

Publication number
CN115331264A
CN115331264A CN202211250179.7A CN202211250179A CN115331264A CN 115331264 A CN115331264 A CN 115331264A CN 202211250179 A CN202211250179 A CN 202211250179A CN 115331264 A CN115331264 A CN 115331264A
Authority
CN
China
Prior art keywords
image
value
pixel point
depth
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211250179.7A
Other languages
English (en)
Other versions
CN115331264B (zh
Inventor
何建新
辛光明
刘岩
吕景河
刘恺宁
葛尊磊
郭延通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd
Original Assignee
Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd filed Critical Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd
Priority to CN202211250179.7A priority Critical patent/CN115331264B/zh
Publication of CN115331264A publication Critical patent/CN115331264A/zh
Application granted granted Critical
Publication of CN115331264B publication Critical patent/CN115331264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于神经网络的矿山工人安全识别管理方法，该方法获取矿井环境的RGB图像、深度图像和红外热图；获取深度图像对应的附近深度上限值以及红外热图的光源位置的光源向量；基于光源向量构建RGB图像中每个像素点的高斯分布函数以得到蒙版图像；根据蒙版图像的暗通道图像确认RGB图像中存在烟尘时，利用含烟尘图像形成模型获取除烟尘图像，利用除烟尘图像、深度图像和红外热图对安全识别神经网络进行训练，进而进行安全识别。本发明通过对被烟尘遮挡的图像进行复原，提高了后续安全识别神经网络的训练效果，使得矿井的安全识别结果更加准确。

Description

一种基于神经网络的矿山工人安全识别管理方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于神经网络的矿山工人安全识别管理方法。
背景技术
矿山是重要的能源和金属开采地，但采矿的作业流程复杂、矿井环境恶劣，一直是事故高发率最高的行业之一，因此进行矿山工人安全识别和应急管理是至关重要的。矿山安全事故发生的原因主要是矿工的不安全行为，或者矿山中的自然灾害，最常发生的事故类型是冒顶片帮，冒顶片帮后续还可能造成密闭空间的矿山工人窒息、掩埋等危险。
冒顶片帮是指矿井开挖、衬砌过程中因开挖或支护不当，顶部或侧壁大面积垮塌造成伤害的事故。在矿山压力作用下变形，矿井顶部垮落称为冒顶，作业面、巷道侧壁破坏而脱落的现象称为片帮，二者常同时发生。
目前对于矿井的安全识别方法是采集矿井内的图像，将图像输入训练好的神经网络中，以确认矿井是否有安全隐患，是否发生安全事故，但是矿井环境会存在烟尘干扰导致采集的图像不清楚，进而使得神经网络判断的结果存在误差，影响矿石工人的安全隐患识别结果。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于神经网络的矿山工人安全识别管理方法，所采用的技术方案具体如下：
获取每个采样时刻下矿井环境的RGB图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量，光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度；
将RGB图像转化为LAB图像，根据光源中心点的坐标和像素点的坐标计算LAB图像中每个像素点与光源位置的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数，将最小距离输入高斯分布函数得到对应像素点的调整值；利用调整值对每个像素点的L值进行更新得到蒙版图像；
获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时，利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像，所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的；将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本，获取至少两个设定时段下的训练样本对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。
进一步的，所述基于分水岭算法获取深度图像对应的附近深度上限值的方法，包括：
利用分水岭算法将深度图像分为多个子区域，根据每个像素点的深度值计算每个子区域的平均深度值；将平均深度值最大所对应的子区域作为重点区域，将重点区域中的最大深度值作为附近深度上限值。
进一步的，所述利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数的方法，包括：
分别计算目标光源对应的包围框的宽度的平方和高度的平方，将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差；结合预设的期望和方差得到对应像素点的高斯分布函数，则高斯分布函数为：
Figure 234102DEST_PATH_IMAGE001
，其中，
Figure 40778DEST_PATH_IMAGE002
为以常数e为底数的指数函数；
Figure 95452DEST_PATH_IMAGE003
为预设的期望；
Figure 964051DEST_PATH_IMAGE004
为方差；
Figure 653527DEST_PATH_IMAGE005
为最小距离；
Figure 519852DEST_PATH_IMAGE006
为最小距离对应的调整值；
Figure 796244DEST_PATH_IMAGE007
为常数。
进一步的，所述利用调整值对每个像素点的L值进行更新得到蒙版图像的方法，包括：
当像素点的L值大于或等于该像素点的调整值时，将该像素点的L值更新为像素点的L值与对应的调整值的差值；当像素点的L值小于该像素点的调整值时，将该像素点的L值更新为0，将每个像素点的L值更新后的LAB图像转化为RGB图像，转化后的RGB图像为蒙版图像。
进一步的，所述由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘的方法，包括：
选取暗通道图像中灰度值最小的预设数量的像素点，计算这些像素点的平均灰度值，当平均灰度值小于或等于阈值时，确认RGB图像中存在烟尘。
进一步的，所述含烟尘图像形成模型的构建方法为：
选取蒙版图像的暗通道图像中最高亮的设定数量的像素点作为目标像素点，获取目标像素点对应在蒙版图像中的RGB通道的最亮点，对最亮点的值计算平均值作为大气光值；
结合RGB图像中每个像素点的RGB值以及大气光值获取空气烟尘的散射率，则空气烟尘的散射率的计算公式为：
Figure 468534DEST_PATH_IMAGE008
其中，
Figure 626500DEST_PATH_IMAGE009
为任意一个像素点所对应的空气烟尘的散射率；
Figure 945617DEST_PATH_IMAGE010
表示RGB图像的任意一个像素点的RGB值；
Figure 224151DEST_PATH_IMAGE011
为以任意一个像素点为中心所对应的局部窗口；
Figure 418241DEST_PATH_IMAGE012
为像素点在R通道的值；
Figure 833042DEST_PATH_IMAGE013
为像素点在G通道的值；
Figure 588639DEST_PATH_IMAGE014
为像素点在B通道的值；
Figure 557732DEST_PATH_IMAGE015
为最小值函数；
Figure 151918DEST_PATH_IMAGE016
为大气光值；
Figure 375220DEST_PATH_IMAGE017
为第c个值；
结合RGB图像中每个像素点对应在深度图像中的深度值以及附近深度上限值获取透射率，则透射率的计算公式为：
Figure 816566DEST_PATH_IMAGE018
其中，
Figure 100002_DEST_PATH_IMAGE019
为任意一个像素点所对应的透射率；
Figure 522223DEST_PATH_IMAGE020
为附近深度上限值；
Figure 258448DEST_PATH_IMAGE021
为RGB图像中任意一个像素点对应在深度图像中的深度值；
结合大气光值、空气烟尘的散射率和透射率构建含烟尘图像形成模型，则含烟尘图像形成模型为：
Figure 913420DEST_PATH_IMAGE022
其中，
Figure 338716DEST_PATH_IMAGE023
表示除烟尘图像中的任意一个像素点的值。
本发明实施例至少具有如下有益效果：本方案采集矿井内的RGB图像、深度图像和红外热图，以通过RGB图像判断巷道是否改变、深度图像辅助判断是否有土层的移动、红外热图判断矿山工人的存在；获取深度图像的对应的附近深度上限值以及红外热图中光源位置的光源向量；为了对RGB图像进行抗干扰处理，基于光源位置与RGB图像中每个像素点之间的距离以对每个像素点进行光源蒙版，进而得到蒙版图像，利用蒙版图像的暗通道图像和附近深度上限值构建含烟尘图像形成模型，以得到RGB图像的除烟尘图像，使得被烟尘遮挡的图像得到了清晰的复原，进而提高了后续安全识别神经网络的训练效果，并且能够使得安全识别神经网络对矿井的安全识别结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于神经网络的矿山工人安全识别管理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于神经网络的矿山工人安全识别管理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明所针对的具体场景为：实时检测稀有金属开采的矿井巷道中的安全隐患和安全事故，其中矿井巷道的安全识别设置为全天监控的，主要识别的安全状况分为两种情况：第一种是监控区域内无人作业时，及时发现无人察觉的冒顶片帮，以预警可能发生的坍塌事故，杜绝安全隐患；第二种是监控区域内有人作业时，发生冒顶片帮后，可能造成矿工被掩埋，及时识别安全事故，通知有关人员，争取宝贵的营救时间。
下面结合附图具体的说明本发明所提供的一种基于神经网络的矿山工人安全识别管理方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于神经网络的矿山工人安全识别管理方法的步骤流程图，该方法包括以下步骤：
步骤S001，获取每个采样时刻下矿井环境的RGB图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量，光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度。
具体的，构建监控装置，由多个传感器组成，包括RGBD相机和红外热成像相机，利用RGBD相机和红外热成像相机分别采集每个采样时刻下的RGB图像、深度图像和红外热图。其中，RGB图像和深度图像都是由RGBD相机获取的，此处特意分开，便于后续的图像处理，且RGB图像A需要经过白平衡处理，以统一多个监控摄像头画面的色彩组成。
需要说明的是，RGB图像主要判断巷道是否改变；深度图像的每一个像素点代表该位置与监控设备的距离，设定深度的取值下限，为
Figure 62827DEST_PATH_IMAGE024
，防止作为分母时为0，辅助判断是否有土层的移动；红外热图的每一个像素点代表该位置的温度值，主要判断矿山工人的存在。
因为监控是安装在矿井巷道的上方的，有利于识别巷道侧壁的深度变化，因此使用分水岭算法，将深度图像分为了n个子区域，分别记为
Figure 356405DEST_PATH_IMAGE025
，其中n为正整数。将深度图像中的每个像素点的深度值记为
Figure 616617DEST_PATH_IMAGE026
，根据每个像素点的深度值分别计算每个子区域的平均深度值，选取平均深度值最大的子区域作为重点区域，将重点区域中的最大深度值作为附近深度上限值
Figure 714279DEST_PATH_IMAGE020
，为后续步骤做铺垫。
构建光源判别神经网络，其网络结构为ResNet50，其中光源判别网络的训练过程为：采集矿井巷道工作状态下的红外热图组成数据集；安排大数据标注专家用特定的像素值标注出光源区域，例如光源区域的像素值为0，其他区域的像素值为1；将数据集的80%作为训练集、20%作为测试集，使用均方差损失函数，优化器使用Adam，经过训练最终得到检测效果良好的光源判别神经网络。
将红外热图输入训练好的光源判别神经网络中，得到至少一个的光源位置的光源向量，即第i个光源位置的光源向量为
Figure 676419DEST_PATH_IMAGE027
，其中
Figure 321158DEST_PATH_IMAGE028
为第i个光源位置的光源中心点的坐标，
Figure 622826DEST_PATH_IMAGE029
为第i个光源位置对应的包围框的宽度，
Figure 560564DEST_PATH_IMAGE030
为第i个光源位置对应的包围框的高度。
步骤S002，将RGB图像转化为LAB图像，根据光源中心点的坐标和像素点的坐标计算LAB图像中每个像素点与光源位置之间的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数，将最小距离输入高斯分布函数得到对应像素点的调整值；利用调整值对每个像素点的L值进行更新得到蒙版图像。
具体的，在采矿作业时，大型机械会产生灰尘，挖掘和爆破时也容易产生烟尘，主要有炮烟中的或燃油设备产生的有色氮氧化物和硫化物，它们漂浮在空气中，会对光线进行散射，类似雾霾的效果，严重干扰摄像头的识别效果，如果发生冒顶片帮，部分泥土的冲击也会产生扬尘，因此，对RGB图像进行抗干扰处理是非常有必要的。
对RGB图像进行光源蒙版，以获取对应的蒙版图像，具体过程如下：
首先将RGB图像转化为LAB图像，RGB图像A的每一个像素点的RGB值转化为了LAB值，L通道是明度，取值范围为
Figure 10000DEST_PATH_IMAGE031
；A值和B值是两个维度的色彩通道对应的值；然后对LAB图像中的每个像素点的L值进行光源蒙版。
以LAB图像中的像素点
Figure 192851DEST_PATH_IMAGE032
为例，其坐标为
Figure 411343DEST_PATH_IMAGE033
，根据光源中心点的坐标和像素点的坐标计算像素点
Figure 844948DEST_PATH_IMAGE032
与第j个光源位置之间的距离
Figure 266833DEST_PATH_IMAGE034
，获取像素点
Figure 502643DEST_PATH_IMAGE032
与每个光源位置之间的距离，选取最小距离对应的光源位置作为目标光源，同时记目标光源与像素点
Figure 824908DEST_PATH_IMAGE032
之间的最小距离为
Figure 589602DEST_PATH_IMAGE005
。
利用目标光源对应的包围框的宽度和高度构建像素点
Figure 764363DEST_PATH_IMAGE032
的高斯分布函数，将最小距离输入高斯分布函数得到像素点
Figure 538284DEST_PATH_IMAGE032
的调整值：分别计算目标光源对应的包围框的宽度的平方和高度的平方，将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差，即方差
Figure 983565DEST_PATH_IMAGE035
；结合预设的期望和方差得到对应像素点的高斯分布函数，则高斯分布函数为：
Figure 919160DEST_PATH_IMAGE001
，其中，
Figure 50058DEST_PATH_IMAGE002
为以常数e为底数的指数函数；
Figure 627670DEST_PATH_IMAGE003
为预设的期望，取值范围为
Figure 924528DEST_PATH_IMAGE031
，本方案中经验取值为80；
Figure 968707DEST_PATH_IMAGE004
为方差，决定了高斯蒙版的覆盖范围；
Figure 836169DEST_PATH_IMAGE005
为最小距离；
Figure 437046DEST_PATH_IMAGE006
为最小距离对应的调整值；
Figure 339143DEST_PATH_IMAGE007
为常数，将像素点
Figure 128457DEST_PATH_IMAGE032
对应的最小距离
Figure 748795DEST_PATH_IMAGE005
代入该像素点的高斯分布函数中，得到像素点
Figure 950100DEST_PATH_IMAGE032
的调整值
Figure 972283DEST_PATH_IMAGE036
。
基于像素点
Figure 935428DEST_PATH_IMAGE032
的调整值的获取方法，获取LAB图像中每个像素点的调整值。
利用调整值对每个像素点的L值进行更新，则更新公式为：
Figure 777482DEST_PATH_IMAGE037
其中，
Figure 985741DEST_PATH_IMAGE038
为像素点的更新后的L值；
Figure 862430DEST_PATH_IMAGE039
为像素点的原始L值。
基于更新公式得到LAB图像中每个像素点的更新后的L值，进而将更新后的LAB图像转化为RGB图像，则转化后的RGB图像为蒙版图像。
步骤S003，获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时，利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像，所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的；将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本，获取至少两个设定时段下的训练样本对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。
具体的，由于在绝大多数的非高亮度的局部区域中，某一些像素点总会有至少一个颜色通道具有很低的值，而在RGB图像无烟尘时，暗通道图像中的像素点对应的值接近0，图像出现大量黑色，因此获取蒙版图像的暗通道图像，以根据暗通道图像中每个像素点的灰度值判断RGB图像中是否存在烟尘，其中暗通道图像的获取方法为公知技术，本方案不再赘述。
选取暗通道图像中灰度值最小的预设数量的像素点，计算这些像素点的平均灰度值，当平均灰度值小于或等于阈值时，则说明暗通道图像中的偏白色像素点偏多，反应了蒙版图像中有较多的烟尘，进而确认RGB图像中存在烟尘，因此需要对RGB图像进行烟尘去除，以排除烟尘干扰，其中本方案中预设数量为10%，阈值取经验值120。
构建含烟尘图像形成模型：
Figure 999407DEST_PATH_IMAGE040
简化为：
Figure 532019DEST_PATH_IMAGE041
其中，
Figure 543969DEST_PATH_IMAGE010
表示RGB图像的任意一个像素点的RGB值；
Figure 275164DEST_PATH_IMAGE023
表示除烟尘图像中的任意一个像素点的RGB值；
Figure 580113DEST_PATH_IMAGE019
为任意一个像素点所对应的透射率；
Figure 396759DEST_PATH_IMAGE016
为大气光值；
Figure 9137DEST_PATH_IMAGE009
为任意一个像素点所对应的空气烟尘的散射率。
由于物体材质和空气烟尘组成的不同，透射率
Figure 594839DEST_PATH_IMAGE019
和空气烟尘的散射率
Figure 91196DEST_PATH_IMAGE009
也不相等，因此结合蒙版图像和附近深度上限值计算含烟尘图像形成模型中的透射率
Figure 395139DEST_PATH_IMAGE019
、空气烟尘的散射率
Figure 748891DEST_PATH_IMAGE009
和大气光值
Figure 189099DEST_PATH_IMAGE016
。
其中，大气光值
Figure 101430DEST_PATH_IMAGE016
的获取方法为：选取蒙版图像对应的暗通道图像中最高亮的0.1%个像素点，由暗通道先验条件保证了挑选出来的像素不会受到自然图像景物的干扰，然后找到暗通道图像对应蒙版图像的这0.1%个像素点的RGB通道的最亮点，将这0.1%个像素点的最亮点的值求平均值作为大气光值
Figure 361510DEST_PATH_IMAGE016
，具体使用公知技术即可。
空气烟尘的散射率
Figure 518953DEST_PATH_IMAGE009
的获取方法为：
基于暗通道图像的获取方法，构建RGB图像与除烟尘图像之间的第一关系式：
Figure 813668DEST_PATH_IMAGE042
其中，
Figure 899829DEST_PATH_IMAGE011
为以任意一个像素点为中心所对应的局部窗口；
Figure 178363DEST_PATH_IMAGE012
为像素点在R通道的值；
Figure 873918DEST_PATH_IMAGE013
为像素点在G通道的值；
Figure 288719DEST_PATH_IMAGE014
为像素点在B通道的值；
Figure 542852DEST_PATH_IMAGE015
为最小值函数；
Figure 43103DEST_PATH_IMAGE017
为第c个值。
根据先验条件：除了光源区域，一张自然图像的暗通道总是非常低甚至趋于零，得到第一条件式
Figure 542349DEST_PATH_IMAGE043
，因此将第一条件式代入第一关系式中，简化得到空气烟尘的散射率
Figure 811656DEST_PATH_IMAGE009
的计算公式为：
Figure 437023DEST_PATH_IMAGE008
透射率
Figure 424570DEST_PATH_IMAGE019
的获取方法为：
原始的去雾算法的条件过于理想，在透射率中引入深度值，物体离得越远，越容易受到烟尘的漫反射的干扰，接受到的信号，不仅包含衰减的物体的反射光，还包含光源经过烟尘反射到摄像头中的光，因此基于该特征构建深度图像与除烟尘图像之间的第二关系式：
Figure 461927DEST_PATH_IMAGE044
根据先验条件：在靠近摄像头的侧壁区域的深通道总是非常低甚至趋于零，得到第二条件式
Figure 851320DEST_PATH_IMAGE045
和
Figure 181677DEST_PATH_IMAGE046
,因此将第二条件式代入第二关系式中，简化得到透射率
Figure 922099DEST_PATH_IMAGE019
的计算公式为：
Figure DEST_PATH_IMAGE047
其中，
Figure 825464DEST_PATH_IMAGE021
为RGB图像中任意一个像素点对应在深度图像中的深度值。
利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像。
构建安全识别神经网络，其网络的主体结构为U-net，其中安全识别神经网络的训练过程为：为了保证安全识别神经网络的可复用性，需要对监控装置的数据流进行单位划分，即将实时获取的监控视频数据按照每2秒为一个片段，每两个片段的偏移量为1秒，例如，第一个片段为0-2秒，第二个片段为1-3秒，将每个片段中的除烟尘图像、深度图像和红外热图组成一个训练样本，将至少两个片段对应的训练样本组成训练集；安排大数据标注专家用特定的像素值对每个片段对应的训练样本进行标注，即发生冒顶01、发生片帮02、矿工异常消失03以及正常04；该网络的损失函数为交叉熵损失函数，优化器使用Adam，经过训练最终得到识别效果良好的安全识别神经网络。
将实时片段中的除烟尘图像、深度图像和红外热图输入训练好的安全识别神经网络中，输出对应的识别结果，当识别结果为发生冒顶01或发生片帮02时，提醒安全人员进行检查；当识别结果为矿工异常消失03时，则立即发出警报，进行及时救援。
综上所述，本发明实施例获取矿井环境的RGB图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量；将RGB图像转化为LAB图像，计算LAB图像中每个像素点与光源位置的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源构建对应像素点的高斯分布函数得到调整值；利用调整值对每个像素点的L值进行更新得到蒙版图像；获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时，利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像，利用除烟尘图像、深度图像和红外热图对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。本发明通过对被烟尘遮挡的图像进行复原，提高了后续安全识别神经网络的训练效果，使得矿井的安全识别结果更加准确。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于神经网络的矿山工人安全识别管理方法，其特征在于，该方法包括以下步骤：
获取每个采样时刻下矿井环境的RGB图像、深度图像和红外热图；基于分水岭算法获取深度图像对应的附近深度上限值；将红外热图输入光源判别神经网络得到至少一个的光源位置的光源向量，光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高度；
将RGB图像转化为LAB图像，根据光源中心点的坐标和像素点的坐标计算LAB图像中每个像素点与光源位置的距离，获取每个像素点的最小距离以及最小距离对应的光源位置作为目标光源；利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数，将最小距离输入高斯分布函数得到对应像素点的调整值；利用调整值对每个像素点的L值进行更新得到蒙版图像；
获取蒙版图像的暗通道图像；当由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘时，利用含烟尘图像形成模型获取RGB图像对应的除烟尘图像，所述含烟尘图像形成模型是基于蒙版图像和附近深度上限值构建的；将设定时段内的除烟尘图像、深度图像和红外热图组成一个训练样本，获取至少两个设定时段下的训练样本对安全识别神经网络进行训练，利用训练好的安全识别神经网络进行矿山工人的安全识别。
2.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法，其特征在于，所述基于分水岭算法获取深度图像对应的附近深度上限值的方法，包括：
利用分水岭算法将深度图像分为多个子区域，根据每个像素点的深度值计算每个子区域的平均深度值；将平均深度值最大所对应的子区域作为重点区域，将重点区域中的最大深度值作为附近深度上限值。
3.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法，其特征在于，所述利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数的方法，包括：
分别计算目标光源对应的包围框的宽度的平方和高度的平方，将宽度的平方和高度的平方的和的二分之一作为高斯分布函数的方差；结合预设的期望和方差得到对应像素点的高斯分布函数，则高斯分布函数为：
Figure 146256DEST_PATH_IMAGE001
，其中，
Figure 731958DEST_PATH_IMAGE002
为以常数e为底数的指数函数；
Figure 178114DEST_PATH_IMAGE003
为预设的期望；
Figure 482057DEST_PATH_IMAGE004
为方差；
Figure 68765DEST_PATH_IMAGE005
为最小距离；
Figure 40132DEST_PATH_IMAGE006
为最小距离对应的调整值；
Figure 922768DEST_PATH_IMAGE007
为常数。
4.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法，其特征在于，所述利用调整值对每个像素点的L值进行更新得到蒙版图像的方法，包括：
当像素点的L值大于或等于该像素点的调整值时，将该像素点的L值更新为像素点的L值与对应的调整值的差值；当像素点的L值小于该像素点的调整值时，将该像素点的L值更新为0，将每个像素点的L值更新后的LAB图像转化为RGB图像，转化后的RGB图像为蒙版图像。
5.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法，其特征在于，所述由暗通道图像中每个像素点的灰度值确认RGB图像中存在烟尘的方法，包括：
选取暗通道图像中灰度值最小的预设数量的像素点，计算这些像素点的平均灰度值，当平均灰度值小于或等于阈值时，确认RGB图像中存在烟尘。
6.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法，其特征在于，所述含烟尘图像形成模型的构建方法为：
选取蒙版图像的暗通道图像中最高亮的设定数量的像素点作为目标像素点，获取目标像素点对应在蒙版图像中的RGB通道的最亮点，对最亮点的值计算平均值作为大气光值；
结合RGB图像中每个像素点的RGB值以及大气光值获取空气烟尘的散射率，则空气烟尘的散射率的计算公式为：
Figure 979586DEST_PATH_IMAGE008
其中，
Figure 124913DEST_PATH_IMAGE009
为任意一个像素点所对应的空气烟尘的散射率；
Figure 950787DEST_PATH_IMAGE010
表示RGB图像的任意一个像素点的RGB值；
Figure 535483DEST_PATH_IMAGE011
为以任意一个像素点为中心所对应的局部窗口；
Figure 548439DEST_PATH_IMAGE012
为像素点在R通道的值；
Figure 742528DEST_PATH_IMAGE013
为像素点在G通道的值；
Figure 157329DEST_PATH_IMAGE014
为像素点在B通道的值；
Figure 912927DEST_PATH_IMAGE015
为最小值函数；
Figure 413178DEST_PATH_IMAGE016
为大气光值；
Figure 148309DEST_PATH_IMAGE017
为第c个值；
结合RGB图像中每个像素点对应在深度图像中的深度值以及附近深度上限值获取透射率，则透射率的计算公式为：
Figure 683196DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
为任意一个像素点所对应的透射率；
Figure 672012DEST_PATH_IMAGE020
为附近深度上限值；
Figure 862822DEST_PATH_IMAGE021
为RGB图像中任意一个像素点对应在深度图像中的深度值；
结合大气光值、空气烟尘的散射率和透射率构建含烟尘图像形成模型，则含烟尘图像形成模型为：
Figure 398714DEST_PATH_IMAGE022
其中，
Figure 69998DEST_PATH_IMAGE023
表示除烟尘图像中的任意一个像素点的值。
CN202211250179.7A 2022-10-13 2022-10-13 一种基于神经网络的矿山工人安全识别管理方法 Active CN115331264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211250179.7A CN115331264B (zh) 2022-10-13 2022-10-13 一种基于神经网络的矿山工人安全识别管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211250179.7A CN115331264B (zh) 2022-10-13 2022-10-13 一种基于神经网络的矿山工人安全识别管理方法

Publications (2)

Publication Number Publication Date
CN115331264A true CN115331264A (zh) 2022-11-11
CN115331264B CN115331264B (zh) 2023-01-31

Family

ID=83914107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211250179.7A Active CN115331264B (zh) 2022-10-13 2022-10-13 一种基于神经网络的矿山工人安全识别管理方法

Country Status (1)

Country Link
CN (1) CN115331264B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861996A (zh) * 2023-02-16 2023-03-28 青岛新比特电子科技有限公司 基于物联感知与ai神经网络的数据采集方法及系统
CN116843184A (zh) * 2023-07-27 2023-10-03 中国公路工程咨询集团有限公司 基于神经网络的公路施工重大风险源识别方法及预警系统
CN117853825A (zh) * 2024-03-07 2024-04-09 大连傲盈科技有限公司 一种公路施工状态监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899844A (zh) * 2015-06-30 2015-09-09 北京奇艺世纪科技有限公司 一种图像去雾方法及装置
CN106408510A (zh) * 2016-09-08 2017-02-15 厦门美图之家科技有限公司 一种获取人脸图像的美颜蒙版的方法及系统
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
US20200394767A1 (en) * 2019-06-17 2020-12-17 China University Of Mining & Technology, Beijing Method for rapidly dehazing underground pipeline image based on dark channel prior
CN112699858A (zh) * 2021-03-24 2021-04-23 中国人民解放军国防科技大学 无人平台烟尘雾感知方法、系统、计算机设备及存储介质
CN112950589A (zh) * 2021-03-03 2021-06-11 桂林电子科技大学 一种多尺度卷积神经网络的暗通道先验去雾算法
CN113689372A (zh) * 2021-08-26 2021-11-23 北京字节跳动网络技术有限公司 图像处理方法、设备、存储介质及程序产品
CN114219976A (zh) * 2021-11-04 2022-03-22 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备、存储介质及计算机产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899844A (zh) * 2015-06-30 2015-09-09 北京奇艺世纪科技有限公司 一种图像去雾方法及装置
CN106408510A (zh) * 2016-09-08 2017-02-15 厦门美图之家科技有限公司 一种获取人脸图像的美颜蒙版的方法及系统
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
US20200394767A1 (en) * 2019-06-17 2020-12-17 China University Of Mining & Technology, Beijing Method for rapidly dehazing underground pipeline image based on dark channel prior
CN112950589A (zh) * 2021-03-03 2021-06-11 桂林电子科技大学 一种多尺度卷积神经网络的暗通道先验去雾算法
CN112699858A (zh) * 2021-03-24 2021-04-23 中国人民解放军国防科技大学 无人平台烟尘雾感知方法、系统、计算机设备及存储介质
CN113689372A (zh) * 2021-08-26 2021-11-23 北京字节跳动网络技术有限公司 图像处理方法、设备、存储介质及程序产品
CN114219976A (zh) * 2021-11-04 2022-03-22 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备、存储介质及计算机产品

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861996A (zh) * 2023-02-16 2023-03-28 青岛新比特电子科技有限公司 基于物联感知与ai神经网络的数据采集方法及系统
CN115861996B (zh) * 2023-02-16 2023-05-09 青岛新比特电子科技有限公司 基于物联感知与ai神经网络的数据采集方法及系统
CN116843184A (zh) * 2023-07-27 2023-10-03 中国公路工程咨询集团有限公司 基于神经网络的公路施工重大风险源识别方法及预警系统
CN116843184B (zh) * 2023-07-27 2024-02-20 中国公路工程咨询集团有限公司 基于神经网络的公路施工重大风险源识别方法及预警系统
CN117853825A (zh) * 2024-03-07 2024-04-09 大连傲盈科技有限公司 一种公路施工状态监测方法
CN117853825B (zh) * 2024-03-07 2024-05-28 大连傲盈科技有限公司 一种公路施工状态监测方法

Also Published As

Publication number Publication date
CN115331264B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN115331264B (zh) 一种基于神经网络的矿山工人安全识别管理方法
CN102663869B (zh) 基于视频监控平台的室内火灾检测方法
EP2984640B1 (en) Fire detection system
CN103400111B (zh) 基于视频检测技术的高速公路隧道火灾事件检测方法
CN101751744B (zh) 一种烟雾检测和预警方法
CN101373553B (zh) 一种在动态场景中能免疫误报的早期烟雾视频检测方法
CN103150549B (zh) 一种基于烟雾早期运动特征的公路隧道火灾检测方法
US20070280504A1 (en) Detection of environmental conditions in a sequence of images
CN105788142A (zh) 一种基于视频图像处理的火灾检测系统及检测方法
CN101315701B (zh) 运动目标图像分割方法
CN103473772B (zh) 一种马赛克图像的检测方法和装置
CN101872526A (zh) 基于可编程摄像技术的烟火智能识别方法
CN103106766A (zh) 林火识别方法与系统
CN103324910A (zh) 一种基于视频检测的火灾报警方法
CN112784821A (zh) 基于YOLOv5的工地行为安全检测识别方法及系统
CN112282819A (zh) 基于视觉的综采工作面人员目标安全监控方法及系统
CN116434533A (zh) 一种基于5g的ai智慧公路隧道综合监测平台
CN111507300B (zh) 一种保护区内打桩、钻探行为的快速识别方法
KR102614856B1 (ko) 군중 난류 위험 예측 시스템 및 방법
CN112668478A (zh) 一种井盖监控方法、装置、电子设备和存储介质
CN113014894B (zh) 一种基于人工智能的石油井下作业安全盯控方法
KR102178202B1 (ko) 신호등 검출 방법 및 장치
CN113923414A (zh) 三段式隧道视觉综合监测调控系统
KR101936004B1 (ko) 지능형 보행자 검출 방법
KR101054649B1 (ko) 터널 내 실시간 화재 감시 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant