CN113449675A - 一种煤矿人员越界检测方法 - Google Patents

Abstract

本发明公开了一种煤矿人员越界检测方法，具体为：首先，建立煤矿人员数据集；读取摄像头实时视频图像，获取界面内用户鼠标点击坐标绘制安全敏感区域边界；之后，将实时图像输入人员检测模型进行计算；最后，计算目标框与安全敏感区域的重合程度IOU，当获取越界行为信号，变换目标框颜色并输出报警信号。本发明的方法，能够有效的解决煤矿人员越界检测的问题，误报率低，实用性高，有利于保障煤炭的安全生产。

Description

一种煤矿人员越界检测方法

技术领域

本发明属于安全监控技术领域，具体涉及一种煤矿人员越界检测方法。

背景技术

由于煤矿环境错综复杂，且有大量工作人员在矿井一线工作，生产不确定的因素多，危险性极高，每年全国都会发生多起矿井事故，这直接威胁矿工的生命安全。所以应当对处于危险区域的工作人员进行检测与跟踪，监测是否出现安全敏感区域越界等情况，发现问题并及时处理，从而降低安全风险。

但现有人工监测效率低下、安全隐患大；传感器检测操作复杂，耗时费力；中国专利(申请号：201710833558.1，公开号：CN107705326A)公开了一种安全敏感区域的越界入侵检测方法，通过背景减除法检测运动目标，向量叉积法判断越界行为，这种方法能够筛选监控区域中的越界事件，但存在因背景像素变化剧烈而干扰影响大等问题；中国专利(申请号：202010979709.6，公开号：CN112417946A)公开了电力施工现场指定区域的越界检测方法及系统，通过YOLOv3检测人员，利用缠绕法判断越界行为，这种方法虽然提高了越界判断的速度，但人员检测速度慢、越界阈值设定局限性大、危险区域形状要求严格，降低了实用性。因此，有必要提出进一步改进方案。

发明内容

本发明的目的是提供一种煤矿人员越界检测方法，解决了现有基于图像法因背景像素变化剧烈而干扰影响大的问题。

本发明所采用的技术方案是，一种煤矿人员越界检测方法，具体按照以下步骤实施：

步骤1，建立煤矿人员数据集；

步骤2，读取摄像头实时视频图像，获取界面内安全敏感区域边界；

步骤3，将实时图像输入人员检测模型中进行计算，得到目标框位置信息；

步骤4，计算目标框与安全敏感区域的重合程度；

步骤5，获取越界行为信号，将目标框颜色由绿色安全色变为红色警告色，保存当前检测图像并输出报警信号。

本发明的特点还在于，

步骤1中，具体过程如下：

步骤101，采集多场景多姿态煤矿人员监控视频，将人员视频逐帧拆分，得到原始煤矿人员图像数据；

步骤102，利用labellmg图像标注软件对煤矿人员图像数据集进行标注，将标注好的煤矿人员图像数据集按照比例划分为训练集和测试集，训练集和测试集数据比例为9：1，煤矿人员图像数据集中图像总数不小于1000张。

步骤2中，具体过程如下：

步骤201，读取监控摄像头实时视频图像，统一调整图像大小为416×416×3；

步骤202，显示视频图像界面，利用鼠标响应事件获取界面内用户鼠标点击坐标，输出列表boundary；

鼠标响应事件：当界面内有鼠标点击发生，构建boundary列表依次存储鼠标的点击坐标，存储形式为boundary[(m₁，n₁)，(m₂，n₂)…(m_i，n_i)]；

步骤203，利用步骤202存储的boundary列表坐标信息将相邻边界点坐标依次连接，绘制边界线后得到封闭的安全敏感区域，设置颜色为蓝色，输出标志好安全敏感区域的视频图像。

步骤3中，具体过程如下：

步骤301，构建煤矿人员检测模型；

人员检测模型网络结构由改进CSPDarknet53-tiny、PANet构成，对原YOLOv4-tiny中的CSPDarknet53-tiny的残差块结构后加入结合通道注意力和空间注意力的CBAM块，将特征融合网络改进为PANet并加入52×52×128的特征层进行特征融合，得到最终的人员检测模型；

基于步骤102得到的煤矿人员图像数据集存入人员检测模型中进行训练，batch设置为16，前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重；

步骤302，将步骤203中得到的视频图像导入训练好的模型中进行检测；

步骤303，获取模型计算的特征层预测结果，分别为(N，13，13，3，6)、(N，26，26，3，6)，其中N为batch数，13、26分别为两个尺度的预测网格数，3表示默认的锚框种类数，最后一维度6存储目标框位置信息，包括目标框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度w、高度h、置信度和分类结果。

步骤4中，具体过程如下：

步骤401，获取步骤303中人员检测模型输出的目标框位置信息，并将目标框位置信息转换为目标框顶点坐标信息列表[(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)]，转换过程如下：

x₁＝x_offset-0.5w，y₁＝y_offset-0.5h，x₂＝x_offset-0.5w，y₂＝y_offset+0.5h，x₃＝x_offset+0.5w，y₃＝y_offset+0.5h，x₄＝x_offset+0.5w，y₄＝y_offset-0.5h；

步骤402，根据目标框顶点坐标信息列表和安全敏感区域边界点坐标列表boundary分别建立多边形闭合区域，计算目标框与安全敏感区域的交并比IOU值；

步骤403，判断步骤402计算的交并比IOU值是否大于0，若大于0，则说明目标框与安全敏感区域有重合部分，人员出现越界行为，则进入步骤5；若小于0，则说明目标框与安全敏感区域无重合部分，人员未出现越界行为，则进入步骤303检测下一帧图像，直至所有的图像检测完毕。

本发明的有益效果是，本发明通过目标检测、注意力机制、目标框IOU检测煤矿人员越界闯入行为，解决了基于图像法受干扰影响大等问题，解决了传统目标检测法具有场景局限性、危险区域形状要求严格、检测效率低等问题，有效避免了越界异常事件的漏报，降低了安全隐患，具有重要的现实意义。

附图说明

图1为本发明一种煤矿人员越界检测方法的流程图；

图2为本发明一种煤矿人员越界检测方法中人员越界行为判定流程图；

图3为本发明一种煤矿人员越界检测方法中使用的人员检测模型结构图；

图4为本发明一种煤矿人员越界检测方法中安全敏感区域标定图；

图5为本发明一种煤矿人员越界检测方法中人员越界入侵检测图；

图6为本发明一种煤矿人员越界检测方法中越界判定计算IOU示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种煤矿人员越界检测方法，如图1所示，具体按照以下步骤实施：

步骤1，建立煤矿人员数据集，具体过程如下：

步骤101，采集多场景多姿态煤矿人员监控视频，将人员视频逐帧拆分，得到原始煤矿人员图像数据；

步骤102，利用labellmg图像标注软件对煤矿人员图像数据集进行标注，将标注好的煤矿人员图像数据集按照比例划分为训练集和测试集，训练集和测试集数据比例为9：1，煤矿人员图像数据集中图像总数不小于1000张；

步骤2，读取摄像头实时视频图像，获取界面内安全敏感区域边界，具体过程如下：

步骤201，读取监控摄像头实时视频图像，统一调整图像大小为416×416×3；

步骤202，显示视频图像界面，通过opencv开源库构建鼠标响应事件用于获取鼠标点击坐标；当用户使用鼠标在图像界面内对安全敏感区域的边界顶点进行点击时，利用鼠标响应事件获取界面内用户鼠标点击坐标，输出列表boundary；

鼠标响应事件：当界面内有鼠标点击发生，构建boundary列表依次存储鼠标的点击坐标，存储形式为boundary[(m₁，n₁)，(m₂，n₂)…(m_i，n_i)]；

步骤203，利用步骤202存储的boundary列表坐标信息将相邻边界点坐标依次连接，绘制边界线后得到封闭的安全敏感区域，设置颜色为蓝色，输出标志好安全敏感区域的视频图像；

步骤3，将实时图像输入人员检测模型中进行计算，具体过程如下：

步骤301，构建煤矿人员检测模型；

人员检测模型是基于改进YOLOv4-tiny目标检测模型，人员检测模型网络结构由改进CSPDarknet53-tiny、PANet构成，对原YOLOv4-tiny中的CSPDarknet53-tiny的残差块结构后加入结合通道注意力和空间注意力的CBAM块，来提高煤矿复杂环境中人员目标的显著度；将特征融合网络改进为PANet并加入52×52×128的特征层进行特征融合，得到最终的人员检测模型；

改进CSPDarknet53-tiny网络结构由特征提取单元1、特征提取单元2、特征提取单元3、特征提取单元4、特征提取单元5、特征提取单元6、全连接层、分类器构成；

特征提取单元1卷积步长为2，卷积核大小为3×3，通道数为32，激活函数为LeakyReLU；特征提取单元2卷积步长为2，卷积核大小为3×3，通道数为64，激活函数为LeakyReLU；特征提取单元3卷积步长为2，卷积核大小为3×3，通道数为32，激活函数为LeakyReLU；特征提取单元3由1个输出52×52×128的残差块、CBAM块组成；特征提取单元4由1个输出26×26×256的残差块、CBAM块组成；特征提取单元5由1个输出13×13×512的残差块、CBAM块组成；特征提取单元6卷积步长为1，卷积核大小为3×3，通道数为512，激活函数为LeakyReLU；分类器为Softmax；

残差块由四层构成，第一层卷积步长为1，卷积核大小3×3，输出残差边1；第二层卷积步长为1，卷积核大小3×3，通道数减半，输出残差边2；第三层卷积步长为1，卷积核大小3×3，整合残差边2；第四层卷积步长为1，卷积核大小1×1，整合残差边1，最大池化进行高和宽的压缩；

CBAM块由二层构成，第一层通道注意力机制，通过平均池化加最大池化输出，激活函数为sigmoid；第二层空间注意力机制，对通道维度计算均值和最大值，连接均值和最大值，通过卷积核大小为7×7，步长为1，通道为1的卷积后输出，激活函数为sigmoid；

通道注意力机制计算公式：

其中σ()表示sigmoid函数，MLP表示共享网络，AvgPool表示平均池化，MaxPool表示最大池化，

和

分别表示平均集合特征和最大集合特征，W₀和W₁表示不同的共享网络权重；

空间注意力机制计算公式：

其中σ()表示sigmoid函数，f^7×7表示卷积核为7×7的卷积操作，AvgPool表示平均池化，MaxPool表示最大池化，

和

分别表示平均集合特征和最大集合特征；

sigmoid激活函数公式：

LeakyRelu激活函数公式：

其中α＝0.1；

PANet融合网络结构由特征融合层1、特征融合层2、特征融合层3构成，具体包括：

特征融合层1连接特征提取单元4，通过连接层1，经过3次卷积块、下采样后进入连接层3；特征融合层2连接特征提取单元5，通过连接层2，分成2条支路，支路1通过上采样后进入连接层1，支路2经过3次卷积块进入连接层3，再通过下采样进入连接层4；特征融合层3连接特征提取单元6，经过3次卷积块后分成2条支路，支路1通过上采样后进入连接层2，支路2进入连接层4；3次卷积块分别为1×1卷积、3×3卷积、1×1卷积，激活函数为LeakyRelu。

基于步骤102得到的煤矿人员图像数据集存入人员检测模型中进行训练，batch设置为16，前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重；

步骤302，将步骤203中得到的视频图像导入训练好的模型中进行检测；

步骤303，获取模型计算的特征层预测结果，分别为(N，13，13，3，6)、(N，26，26，3，6)，其中N为batch数，13、26分别为两个尺度的预测网格数，3表示默认的锚框种类数，最后一维度6存储目标框信息，包括目标框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度w、高度h、置信度和分类结果。

步骤4，计算目标框与安全敏感区域的重合程度，如图2所示，具体过程如下：

步骤401，获取步骤303中人员检测模型输出的目标框位置信息，并将目标框位置信息转换为目标框顶点坐标信息列表[(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)]，转换过程如下：

(x₁＝x_offset-0.5w，y₁＝y_offset-0.5h)，(x₂＝x_offset-0.5w，y₂＝y_offset+0.5h)，(x₃＝x_offset+0.5w，y₃＝y_offset+0.5h)，(x₄＝x_offset+0.5w，y₄＝y_offset-0.5h)；

获取步骤202中的安全敏感区域边界点坐标信息，安全敏感区域边界点坐标列表为boundary[(m₁，n₁)，(m₂，n₂)…(m_i，n_i)]；

步骤402，根据目标框顶点坐标信息列表和安全敏感区域边界点坐标列表boundary分别建立多边形闭合区域，计算目标框与安全敏感区域的交并比IOU值；

IOU计算公式：

其中A、B分别为目标框面积以及安全敏感区域面积，A∩B为A和B的重合区域面积，A∪B为A和B并集的面积；

步骤403，判断步骤402计算的交并比IOU值是否大于0，若大于0，则说明目标框与安全敏感区域有重合部分，人员出现越界行为，则进入步骤5；若小于0，则说明目标框与安全敏感区域无重合部分，人员未出现越界行为，则进入步骤303检测下一帧图像，直至所有的图像检测完毕；

步骤5，获取越界行为信号，将目标框颜色由绿色安全色变为红色警告色，保存当前检测图像并输出报警信号。

本发明通过构建鼠标响应函数，对输入视频图像界面内获取用户鼠标点击坐标；当用户使用鼠标在图像界面内对安全敏感区域边界顶点进行点击，实时获取界面内用户鼠标点击坐标，构建boundary列表依次存储鼠标的点击坐标，存储形式为boundary[(m₁，n₁)，(m₂，n₂)…(m_i，n_i)]，并利用坐标信息依次绘制边界线，得到封闭的安全敏感区域，输出标志好安全敏感区域的视频图像用于后续检测。

本发明通过改变原有YOLOv4-tiny网络结构，如图3所示，对原YOLOv4-tiny中的CSPDarknet53-tiny的残差块结构后加入结合通道注意力和空间注意力的CBAM块，来提高煤矿复杂环境中人员目标的显著度；将特征融合网络改进为PANet并加入52×52×128的特征层进行特征融合，加大网络对于浅层特征的利用效率，得到更加符合煤矿工作人员特征的网络模型，在保证检测速度的同时提高了检测精度，有利于煤矿人员越界闯入的实时检测。

本发明提出一种煤矿人员越界检测方法，如图4所示，首先通过获取实时人员目标检测框信息，用户在图像显示界面绘制安全敏感区域边界，再将目标框与安全敏感区域分别构建闭合多边形，通过计算二者区域交并比IOU数值判断当前视频图像内人员是否存在越界行为，若大于0，则说明目标框与安全敏感区域有重合部分，人员出现越界行为，将目标框颜色由绿色安全色变为红色警告色，保存当前检测图像并输出报警信号，如图5所示；若小于0，则说明目标框与安全敏感区域无重合部分，人员未出现越界行为。

本发明利用交并比IOU判定煤矿人员越界闯入情况，如图6所示，IOU是通过两个边框的交集面积比上两个边框的并集面积来计算边框之间的相关性。传统越界检测通过计算人员目标框中心点与安全敏感区域边界的距离来判定是否出现越界行为，但是阈值的设定随着场景、空间维度的变化而不具有泛化性，容易造成误报警情况的发生，而将IOU方法作为越界判定的依据不仅解决了距离阈值重复设定的繁琐问题，还能克服场景变化所带来的干扰影响，大幅提高了人员越界检测的准确率。

Claims (5)

1.一种煤矿人员越界检测方法，其特征在于，具体按照以下步骤实施：

步骤1，建立煤矿人员数据集；

步骤2，读取摄像头实时视频图像，获取界面内安全敏感区域边界；

步骤3，将实时图像输入人员检测模型中进行计算，得到目标框位置信息；

步骤4，计算目标框与安全敏感区域的重合程度；

步骤5，获取越界行为信号，将目标框颜色由绿色安全色变为红色警告色，保存当前检测图像并输出报警信号。

2.根据权利要求1所述的一种煤矿人员越界检测方法，其特征在于，所述步骤1中，具体过程如下：

步骤101，采集多场景多姿态煤矿人员监控视频，将人员视频逐帧拆分，得到原始煤矿人员图像数据；

步骤102，利用labellmg图像标注软件对煤矿人员图像数据集进行标注，将标注好的煤矿人员图像数据集按照比例划分为训练集和测试集，训练集和测试集数据比例为9：1，煤矿人员图像数据集中图像总数不小于1000张。

3.根据权利要求2所述的一种煤矿人员越界检测方法，其特征在于，所述步骤2中，具体过程如下：

步骤201，读取监控摄像头实时视频图像，统一调整图像大小为416×416×3；

步骤202，显示视频图像界面，利用鼠标响应事件获取界面内用户鼠标点击坐标，输出列表boundary；

鼠标响应事件：当界面内有鼠标点击发生，构建boundary列表依次存储鼠标的点击坐标，存储形式为boundary[(m₁，n₁)，(m₂，n₂)…(m_i，n_i)]；

步骤203，利用步骤202存储的boundary列表坐标信息将相邻边界点坐标依次连接，绘制边界线后得到封闭的安全敏感区域，设置颜色为蓝色，输出标志好安全敏感区域的视频图像。

4.根据权利要求3所述的一种煤矿人员越界检测方法，其特征在于，所述步骤3中，具体过程如下：

步骤301，构建煤矿人员检测模型；

人员检测模型网络结构由改进CSPDarknet53-tiny、PANet构成，对原YOLOv4-tiny中的CSPDarknet53-tiny的残差块结构后加入结合通道注意力和空间注意力的CBAM块，将特征融合网络改进为PANet并加入52×52×128的特征层进行特征融合，得到最终的人员检测模型；

基于步骤102得到的煤矿人员图像数据集存入人员检测模型中进行训练，batch设置为16，前200轮训练的学习率设置为0.001，后100轮学习率设置为0.0001，通过300轮训练获取最优模型权重；

步骤302，将步骤203中得到的视频图像导入训练好的模型中进行检测；

步骤303，获取模型计算的特征层预测结果，分别为(N，13，13，3，6)、(N，26，26，3，6)，其中N为batch数，13、26分别为两个尺度的预测网格数，3表示默认的锚框种类数，最后一维度6存储目标框位置信息，包括目标框中心点横坐标偏移量x_offset、纵坐标偏移量y_offset、宽度w、高度h、置信度和分类结果。

5.根据权利要求4所述的一种煤矿人员越界检测方法，其特征在于，所述步骤4中，具体过程如下：

步骤401，获取步骤303中人员检测模型输出的目标框位置信息，并将目标框位置信息转换为目标框顶点坐标信息列表[(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)]，转换过程如下：

x₁＝x_offset-0.5w，y₁＝y_offset-0.5h，x₂＝x_offset-0.5w，y₂＝y_offset+0.5h，x₃＝x_offset+0.5w，y₃＝y_offset+0.5h，x₄＝x_offset+0.5w，y₄＝y_offset-0.5h；

步骤402，根据目标框顶点坐标信息列表和安全敏感区域边界点坐标列表boundary分别建立多边形闭合区域，计算目标框与安全敏感区域的交并比IOU值；

步骤403，判断步骤402计算的交并比IOU值是否大于0，若大于0，则说明目标框与安全敏感区域有重合部分，人员出现越界行为，则进入步骤5；若小于0，则说明目标框与安全敏感区域无重合部分，人员未出现越界行为，则进入步骤303检测下一帧图像，直至所有的图像检测完毕。

Images