CN114973320A - 一种基于深度信息的煤矿井下人员检测方法 - Google Patents

一种基于深度信息的煤矿井下人员检测方法 Download PDF

Info

Publication number
CN114973320A
CN114973320A CN202210537728.2A CN202210537728A CN114973320A CN 114973320 A CN114973320 A CN 114973320A CN 202210537728 A CN202210537728 A CN 202210537728A CN 114973320 A CN114973320 A CN 114973320A
Authority
CN
China
Prior art keywords
personnel
coal mine
prediction
underground
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210537728.2A
Other languages
English (en)
Inventor
邹筱瑜
黄涛
潘杰
王忠宾
闫海峰
谭超
司垒
康明霞
吴红霖
王清峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202210537728.2A priority Critical patent/CN114973320A/zh
Publication of CN114973320A publication Critical patent/CN114973320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度信息的煤矿井下人员检测方法，包括以下步骤：(1)确定煤矿井下人员检测平均精度最高的训练模型参数；(2)读取深度相机中深度信息并将其转化成深度图；(3)进行数据预处理；(4)利用步骤(3)预处理的数据搭建基于YOLOV3的煤矿井下人员检测网络架构；(5)将训练模型参数导入到煤矿井下人员检测网络架构；(6)得到人员预测边界框集合M；(7)得到煤矿井下人员预测框的绝对位置和尺寸，不受光照影响，能够通过深度信息中提取出工作人员的特征，并最终可应用于实际矿井机电装备工作区域现场，确保煤矿井下机电装备的正常运行以及其工作区域附近的人员的生命安全。

Description

一种基于深度信息的煤矿井下人员检测方法
技术领域
本发明涉及煤矿井下人员检测的技术领域，具体涉及一种基于深度信息的煤矿井下人员检测方法。
背景技术
煤矿井下机电装备，如：采煤机、钻孔机器人、带式输送机等，日趋重型化及智能化。装备运行过程具有一定危险性与不确定性，其工作区域附近通常禁止矿工靠近。通过智能目标检测技术，精确检测矿井机电装备工作区域的人员，是解决自动目标跟踪、危险区域入侵检测等问题的必要基础。对于预防安全事故的发生及保障煤矿设备的正常运行至关重要。
现有的煤矿井下人员检测方法比较依赖图像采集传感器的性能，对光照强度要求高，在光照强度低、光照分布不均的煤矿井下环境下不大适应，容易受到影响，容易出现如下问题：1)煤矿井下全天候人工照明，人工照明不同于自然光，照明度明显较低，并且光照分布不均，会导致图像传感器采集的彩色图像具有不清晰、成像效果差等特点。同时井下人员安全服通常为深色系，与低光照下煤矿井下环境颜色相似，采集的图像中人员的辨识度低。2)伴随着井下人员的活动，其头上佩戴的安全帽头灯的光线照射会加剧煤矿井下环境的光照分布不均匀程度，并且容易使彩色图像中产生光斑、模糊。
发明内容
针对上述存在的技术不足，本发明的目的是提供一种基于深度信息的煤矿井下人员检测方法，该方法不受光照影响，在光照强度低、光照分布不均的煤矿井下环境下，能够通过深度信息中提取出工作人员的特征，并最终可应用于实际矿井机电装备工作区域现场，确保煤矿井下机电装备的正常运行以及其工作区域附近的人员的生命安全。
为解决上述技术问题，本发明采用如下技术方案：
本发明提供一种基于深度信息的煤矿井下人员检测方法，包括以下步骤：
(1)构建煤矿井下人员的训练检测模型，并确定煤矿井下人员检测平均精度最高的训练模型参数；
(2)读取深度相机中深度信息并将其转化成深度图；
(3)对步骤(2)中的深度图进行数据预处理；
(4)利用步骤(3)预处理的数据搭建基于YOLOV3的煤矿井下人员检测网络架构；
(5)将步骤(1)确定的训练模型参数导入到步骤(4)搭建的煤矿井下人员检测网络架构；
(6)使用非极大值抑制NMS算法去除多余的人员候选，输出人员预测边界框，得到人员预测边界框集合M；
(7)读取步骤(6)中的人员预测边界框集合M，得到煤矿井下人员预测框的绝对位置和尺寸。
优选地，步骤(1)具体包括：
(1.1)采集煤矿井下环境的工作人员的深度信息：采集工作人员在深度相机下拍摄的姿势和所处煤矿井下位置的深度信息，所述深度信息为二维数据矩阵X(I×J)；深度相机下拍摄的姿势包括行走、站立、侧靠、蹲，位置信息包括距离相机的距离；
(1.2)利用步骤(1.1)采集的深度信息构建训练模型的煤矿井下人员检测数据集：首先将采集的深度信息转换成灰度图，即深度图D(I×J)，然后利用样本标注工具在深度图中标注人员位置信息，将深度图和生成的标注文件分别保存作为样本集；将样本集分为训练集、验证集和测试集，构建标准的煤矿井下人员检测数据集；深度信息转换成灰度图的转换公式为：
Figure BDA0003647118730000031
式中：max_depth为深度相机的最大测量深度；
(1.3)对步骤(1.2)中的数据集进行预处理：对获得的深度图进行随机扩展、水平和垂直翻转和随机裁剪以扩充数据；对深度图进行减均值、除以标准差的标准化处理和归一化处理；
(1.4)利用步骤(1.3)处理好的数据搭建基于YOLOV3的煤矿井下人员检测网络架构：采用裁剪的Darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取；裁剪的Darknet-53网络结构由52个卷积层和Residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化Batch Normalization和Leaky Relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
(1.5)过滤人员候选框：使用非极大值抑制NMS算法去除多余的人员候选，输出人员预测边界框，包括以下步骤：
(1.51)将k个人员候选框放入集合N中、设置一个人员预测边界框集合M；
(1.52)将集合N的候选框按照置信度高低排序，选出置信度最高的候选框Bconfmax从集合N中移除，放入集合M；
(1.53)将集合N中的所有候选框与Bconfmax计算交并比即IOU，交并比的计算公式如式(2)所示，其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合N中移除；
Figure BDA0003647118730000032
(1.54)重复(1.52)和(1.53)直到集合N为空，得到最终的人员预测边界框集合M；
(1.6)构建损失函数：损失函数为：
Figure BDA0003647118730000041
式中：S是深度图输入模型后形成的网格的行数和列数；B为每个网格包含的预测框数；
Figure BDA0003647118730000042
是判断第i个网格单元中第j个预测框是否有需要检测的煤矿井下人员；xi，yi，wi，hi，ci为真实框的位置，尺寸和置信度；
Figure BDA0003647118730000043
Figure BDA0003647118730000044
为预测框的绝对位置和尺寸相对于网格中心位置和先验框尺寸的相对值；
Figure BDA0003647118730000045
为预测框的置信度；
Figure BDA0003647118730000046
为真实框的类别概率；
Figure BDA0003647118730000047
为预测框的类别概率；
(1.7)根据步骤(1.6)的损失函数配置训练参数，训练检测模型；
(1.8)对步骤(1.7)中的训练检测模型进行实验验证，挑选出煤矿井下人员检测平均精度最高的模型作为训练的最优模型参数。
优选地，步骤(2)中的深度信息为二维数据矩阵X(I×J)，采用如下公式：
Figure BDA0003647118730000048
将X(I×J)转换为灰度图，即深度图D(I×J)。
优选地，步骤(3)中的数据预处理包括：对深度图进行减均值、除以标准差的标准化处理和归一化处理。
优选地，步骤(4)具体包括：采用裁剪的Darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取；裁剪的Darknet-53网络结构由52个卷积层和Residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化Batch Normalization和Leaky Relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框。
优选地，步骤(6)具体包括：
(6.1)将k个人员候选框放入集合N中、设置一个人员预测边界框集合M；(6.2)将集合N的候选框按照置信度高低排序，选出置信度最高的候选框Bconfmax从集合N中移除，放入集合M；
(6.3)将集合N中的所有候选框与Bconfmax计算交并比即IOU，并设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合N中移除；
交并比的计算公式如下：
Figure BDA0003647118730000051
式中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；
(6.4)重复步骤(6.2)和(6.3)直至集合N为空，得到最终的人员预测边界框集合M。
本发明的有益效果在于：
本发明解决了在光照强度低、光照分布不均的煤矿井下环境下普通彩色图像中难以识别人员的问题，而且提高了近距离人员的检测精度，同时实时性好，为自动目标跟踪、危险区域入侵检测等问题的解决打下基础，有助于预防安全事故的发生及保障煤矿设备的正常运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述基于深度信息的煤矿井下人员检测方法的流程图。
图2是本发明所述基于深度信息的煤矿井下人员检测网络架构。
图3是本发明所述煤矿井下人员的深度图像。
图4是本发明具体实施例中的本发明方法的人员检测结果与基于普通彩色图像的YOLOv3算法的人员检测结果的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图4所示，本实施例提供一种基于深度信息的煤矿井下人员检测方法，包括训练部分和检测应用部分。
该方法的训练部分包括以下步骤：
(1)采集煤矿井下环境的工作人员的深度信息：采集工作人员在深度相机下拍摄的姿势和所处煤矿井下位置的深度信息，深度信息为二维数据矩阵X(I×J)；其中，拍摄的工作人员姿势包括行走、站立、侧靠、蹲，工作人员的位置信息包括距离相机的距离；
(2)构建训练模型的煤矿井下人员检测数据集：首先将采集的深度信息转换成灰度图，即深度图D(I×J)，转换的公式如式(1)，其中max_depth为深度相机的最大测量深度；然后利用样本标注工具在深度图中标注人员位置信息，将深度图和生成的标注文件分别保存作为样本集；将样本集分为训练集、验证集和测试集，构建标准的煤矿井下人员检测数据集；
Figure BDA0003647118730000061
(3)数据预处理：其一、对获得的深度图进行随机扩展、水平和垂直翻转和随机裁剪以扩充数据；其二、对深度图进行减均值、除以标准差的标准化处理和归一化处理；
(4)搭建基于YOLOV3的煤矿井下人员检测网络架构：采用裁剪的Darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取，如图2所示；裁剪的Darknet-53网络结构由52个卷积层和Residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化Batch Normalization和Leaky Relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
(5)过滤人员候选框：使用非极大值抑制NMS算法去除多余的人员候选，输出人员预测边界框，该步骤由以下子步骤来实现：
(5.1)将k个人员候选框放入集合N中、设置一个人员预测边界框集合M；(5.2)将集合N的候选框按照置信度高低排序，选出置信度最高的候选框Bconfmax从集合N中移除，放入集合M；
(5.3)将集合N中的所有候选框与Bconfmax计算交并比即IOU，交并比的计算公式如式(2)所示，其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合N中移除；
Figure BDA0003647118730000071
(5.4)重复步骤(5.2)和(5.3)直到集合N为空，得到最终的人员预测边界框集合M；
(6)构建损失函数：YOLOv3模型损失函数由预测框预测误差、置信度损失和分类损失组成；预测框损失由中心坐标损失，宽高尺寸损失两部分组成；置信度损失由有目标预测框置信度损失和无目标预测框置信度损失两部分组成；损失函数完整公式如式(3)所示，公式中第一项为中心坐标损失，第二项为宽高尺寸损失，第三项为有目标预测框置信度损失，第四项为无目标预测框置信度损失，最后一项是分类损失；其中S是深度图输入模型后形成的网格的行数和列数；B为每个网格包含的预测框数；
Figure BDA0003647118730000072
是判断第i个网格单元中第j个预测框是否有需要检测的煤矿井下人员；xi，yi，wi，hi，ci为真实框的位置，尺寸和置信度；
Figure BDA0003647118730000073
为预测框的绝对位置和尺寸相对于网格中心位置和先验框尺寸的相对值；
Figure BDA0003647118730000081
为预测框的置信度；
Figure BDA0003647118730000082
为真实框的类别概率；
Figure BDA0003647118730000083
为预测框的类别概率；
Figure BDA0003647118730000084
(7)根据步骤(6)构建的损失函数配置训练参数，训练检测模型；
(8)对步骤(7)中的训练检测模型进行实验，挑选出在验证集中煤矿井下人员检测平均精度即AP最好的模型作为训练的最优模型参数，用于检测应用部分。
该方法的检测应用阶段包括以下步骤：
(1)读取数据：从深度相机中读取深度信息，其为二维数据矩阵X(I×J)；将其转换成灰度图，即深度图D(I×J)，转换的公式如式(1)，
Figure BDA0003647118730000085
其中max_depth为深度相机的最大测量深度；
(2)数据预处理：对深度图进行减均值、除以标准差的标准化处理和归一化处理；
(3)搭建基于YOLOV3的煤矿井下人员检测网络架构：采用裁剪的Darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取，如图2所示；裁剪的Darknet-53网络结构由52个卷积层和Residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化Batch Normalization和Leaky Relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
(4)导入模型：将训练部分得到的最优的模型的参数导入煤矿井下人员检测网络中；
(5)过滤人员候选框：使用非极大值抑制NMS算法去除多余的人员候选，输出人员预测边界框，该步骤由以下子步骤来实现：
(5.1)将k个人员候选框放入集合N中、设置一个人员预测边界框集合M；
(5.2)将集合N的候选框按照置信度高低排序，选出置信度最高的候选框
Bconfmax从集合N中移除，放入集合M；
(5.3)将集合N中的所有候选框与Bconfmax计算交并比即IOU，交并比的计算公式如式(2)所示，
Figure BDA0003647118730000091
其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合N中移除；
(5.4)重复步骤(5.2)和(5.3)直到集合N为空，得到最终的人员预测边界框集合M。
(6)输出检测结果：读取人员预测边界框集合M，得到煤矿井下人员预测框的绝对位置和尺寸。
本实施例所提出的基于深度信息的煤矿井下人员检测方法不受光照影响，可以应用于光照强度低、光照分布不均的煤矿井下环境下，并且与基于普通彩色图像的YOLOv3相比，检测的平均精度更高，实时性更好，与基于普通彩色图像的YOLOv3算法的人员检测结果的对比如图4及下表所示。
方法 输入尺寸 AP AP50 FPS
基于普通彩色图的方法 416x416 21.5 53.9 112
基于深度图的方法 416x416 64.9 88.7 118
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于深度信息的煤矿井下人员检测方法，其特征在于，包括以下步骤：
(1)构建煤矿井下人员的训练检测模型，并确定煤矿井下人员检测平均精度最高的训练模型参数；
(2)读取深度相机中深度信息并将其转化成深度图；
(3)对步骤(2)中的深度图进行数据预处理；
(4)利用步骤(3)预处理的数据搭建基于YOLOV3的煤矿井下人员检测网络架构；
(5)将步骤(1)确定的训练模型参数导入到步骤(4)搭建的煤矿井下人员检测网络架构；
(6)使用非极大值抑制NMS算法去除多余的人员候选，输出人员预测边界框，得到人员预测边界框集合M；
(7)读取步骤(6)中的人员预测边界框集合M，得到煤矿井下人员预测框的绝对位置和尺寸。
2.如权利要求1所述的一种基于深度信息的煤矿井下人员检测方法，其特征在于，步骤(1)具体包括：
(1.1)采集煤矿井下环境的工作人员的深度信息：采集工作人员在深度相机下拍摄的姿势和所处煤矿井下位置的深度信息，所述深度信息为二维数据矩阵X(I×J)；深度相机下拍摄的姿势包括行走、站立、侧靠、蹲，位置信息包括距离相机的距离；
(1.2)利用步骤(1.1)采集的深度信息构建训练模型的煤矿井下人员检测数据集：首先将采集的深度信息转换成灰度图，即深度图D(I×J)，然后利用样本标注工具在深度图中标注人员位置信息，将深度图和生成的标注文件分别保存作为样本集；将样本集分为训练集、验证集和测试集，构建标准的煤矿井下人员检测数据集；深度信息转换成灰度图的转换公式为：
Figure FDA0003647118720000021
式中：max_depth为深度相机的最大测量深度；
(1.3)对步骤(1.2)中的数据集进行预处理：对获得的深度图进行随机扩展、水平和垂直翻转和随机裁剪以扩充数据；对深度图进行减均值、除以标准差的标准化处理和归一化处理；
(1.4)利用步骤(1.3)处理好的数据搭建基于YOLOV3的煤矿井下人员检测网络架构：采用裁剪的Darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取；裁剪的Darknet-53网络结构由52个卷积层和Residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化Batch Normalization和Leaky Relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框；
(1.5)过滤人员候选框：使用非极大值抑制NMS算法去除多余的人员候选，输出人员预测边界框，包括以下步骤：
(1.51)将k个人员候选框放入集合N中、设置一个人员预测边界框集合M；
(1.52)将集合N的候选框按照置信度高低排序，选出置信度最高的候选框Bconfmax从集合N中移除，放入集合M；
(1.53)将集合N中的所有候选框与Bconfmax计算交并比即IOU，交并比的计算公式如式(2)所示，其中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合N中移除；
Figure FDA0003647118720000022
(1.54)重复(1.52)和(1.53)直到集合N为空，得到最终的人员预测边界框集合M；
(1.6)构建损失函数：损失函数为：
Figure FDA0003647118720000031
式中：S是深度图输入模型后形成的网格的行数和列数；B为每个网格包含的预测框数；
Figure FDA0003647118720000032
是判断第i个网格单元中第j个预测框是否有需要检测的煤矿井下人员；xi，yi，wi，hi，ci为真实框的位置，尺寸和置信度；
Figure FDA0003647118720000033
Figure FDA0003647118720000034
为预测框的绝对位置和尺寸相对于网格中心位置和先验框尺寸的相对值；
Figure FDA0003647118720000035
为预测框的置信度；
Figure FDA0003647118720000036
为真实框的类别概率；
Figure FDA0003647118720000037
为预测框的类别概率；
(1.7)根据步骤(1.6)的损失函数配置训练参数，训练检测模型；
(1.8)对步骤(1.7)中的训练检测模型进行实验验证，挑选出煤矿井下人员检测平均精度最高的模型作为训练的最优模型。
3.如权利要求1所述的一种基于深度信息的煤矿井下人员检测方法，其特征在于，步骤(2)中的深度信息为二维数据矩阵X(I×J)，采用如下公式：
Figure FDA0003647118720000038
将X(I×J)转换为灰度图，即深度图D(I×J)。
4.如权利要求1所述的一种基于深度信息的煤矿井下人员检测方法，其特征在于，步骤(3)中的数据预处理包括：对深度图进行减均值、除以标准差的标准化处理和归一化处理。
5.如权利要求1所述的一种基于深度信息的煤矿井下人员检测方法，其特征在于，步骤(4)具体包括：采用裁剪的Darknet-53卷积神经网络作为主干网络对输入的图像进行特征提取；裁剪的Darknet-53网络结构由52个卷积层和Residual结构组成，卷积核大小为3x3和1x1两种，每个卷积层均通过批归一化Batch Normalization和Leaky Relu激活函数操作；预测头采用卷积层和上采样层进行多尺度特征融合和人员预测，输出k个人员候选框。
6.如权利要求1所述的一种基于深度信息的煤矿井下人员检测方法，其特征在于，步骤(6)具体包括：
(6.1)将k个人员候选框放入集合N中、设置一个人员预测边界框集合M；
(6.2)将集合N的候选框按照置信度高低排序，选出置信度最高的候选框Bconfmax从集合N中移除，放入集合M；
(6.3)将集合N中的所有候选框与Bconfmax计算交并比即IOU，并设置阈值，若交并比值大于设置的阈值，则将对应候选框从集合N中移除；
交并比的计算公式如下：
Figure FDA0003647118720000041
式中，分子表示两个边界框的并集部分面积，分母表示两个边界框交集部分面积；
(6.4)重复步骤(6.2)和(6.3)直至集合N为空，得到最终的人员预测边界框集合M。
CN202210537728.2A 2022-05-17 2022-05-17 一种基于深度信息的煤矿井下人员检测方法 Pending CN114973320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537728.2A CN114973320A (zh) 2022-05-17 2022-05-17 一种基于深度信息的煤矿井下人员检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537728.2A CN114973320A (zh) 2022-05-17 2022-05-17 一种基于深度信息的煤矿井下人员检测方法

Publications (1)

Publication Number Publication Date
CN114973320A true CN114973320A (zh) 2022-08-30

Family

ID=82983684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537728.2A Pending CN114973320A (zh) 2022-05-17 2022-05-17 一种基于深度信息的煤矿井下人员检测方法

Country Status (1)

Country Link
CN (1) CN114973320A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680545A (zh) * 2023-08-02 2023-09-01 西安核音智言科技有限公司 一种基于马尔科夫随机场的煤矿出井人员预测方法
CN116778410A (zh) * 2023-06-08 2023-09-19 西安博深安全科技股份有限公司 一种基于深度学习的煤矿井下作业人员检测和跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893944A (zh) * 2016-03-29 2016-08-24 陕西师范大学 深度信息静态手势分割方法
CN109934121A (zh) * 2019-02-21 2019-06-25 江苏大学 一种基于YOLOv3算法的果园行人检测方法
CN111860689A (zh) * 2020-07-31 2020-10-30 中国矿业大学 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法
CN113705521A (zh) * 2021-09-05 2021-11-26 吉林大学第一医院 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法
CN114299409A (zh) * 2022-03-07 2022-04-08 中煤科工开采研究院有限公司 一种基于图像识别和深度信息的井下人员定位方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893944A (zh) * 2016-03-29 2016-08-24 陕西师范大学 深度信息静态手势分割方法
CN109934121A (zh) * 2019-02-21 2019-06-25 江苏大学 一种基于YOLOv3算法的果园行人检测方法
CN111860689A (zh) * 2020-07-31 2020-10-30 中国矿业大学 一种基于相位一致性和轻量卷积神经网络的煤矸识别方法
CN113705521A (zh) * 2021-09-05 2021-11-26 吉林大学第一医院 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法
CN114299409A (zh) * 2022-03-07 2022-04-08 中煤科工开采研究院有限公司 一种基于图像识别和深度信息的井下人员定位方法与装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778410A (zh) * 2023-06-08 2023-09-19 西安博深安全科技股份有限公司 一种基于深度学习的煤矿井下作业人员检测和跟踪方法
CN116680545A (zh) * 2023-08-02 2023-09-01 西安核音智言科技有限公司 一种基于马尔科夫随机场的煤矿出井人员预测方法
CN116680545B (zh) * 2023-08-02 2023-10-20 西安核音智言科技有限公司 一种基于马尔科夫随机场的煤矿出井人员预测方法

Similar Documents

Publication Publication Date Title
Huang et al. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery
CN114973320A (zh) 一种基于深度信息的煤矿井下人员检测方法
Meng et al. Morphology-based building detection from airborne LIDAR data
CN112101159B (zh) 多时相林业遥感影像变化监测方法
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN105761271A (zh) 核安全壳表面缺陷自动检测方法及系统
CN112149514B (zh) 一种施工作业人员的安全着装检测方法及系统
Zhou et al. Seed-based approach for automated crack detection from pavement images
CN108038424A (zh) 一种适用于高空作业的视觉自动化检测方法
CN114581764B (zh) 基于深度学习算法的地下结构裂纹病害判别方法
CN117522149B (zh) 一种隧道安全风险识别方法、装置和安全管理平台
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
Itakura et al. Estimating tree structural parameters via automatic tree segmentation from LiDAR point cloud data
Anders et al. Rule set transferability for object-based feature extraction: An example for cirque mapping
CN117809297B (zh) 基于三维重建的输电线路危险源智能识别方法
Meria Development of automatic industrial waste detection system for leather products using artificial intelligence
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN116893428B (zh) 基于激光点云的森林资源调查与监测方法及系统
CN110929739B (zh) 一种自动化的不透水面范围遥感迭代提取方法
CN117875549A (zh) 一种基于图像识别的建筑遗产保护评估系统和方法
CN115713787A (zh) 一种行人检测方法、计算机设备及存储介质
CN116543223A (zh) 神经网络优化的下层树木检测方法
CN113066041A (zh) 一种基于栈稀疏自编码深度学习的路面裂缝检测方法
Ke et al. Individual tree crown detection and delineation from high spatial resolution imagery using active contour and hill-climbing methods
Cal High-resolution object-based building extraction using PCA of LiDAR nDSM and aerial photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220830