CN115331177A - 一种矿山场景下智能告警方法、可读介质及告警终端 - Google Patents

一种矿山场景下智能告警方法、可读介质及告警终端 Download PDF

Info

Publication number
CN115331177A
CN115331177A CN202211186388.XA CN202211186388A CN115331177A CN 115331177 A CN115331177 A CN 115331177A CN 202211186388 A CN202211186388 A CN 202211186388A CN 115331177 A CN115331177 A CN 115331177A
Authority
CN
China
Prior art keywords
target
representing
module
feature map
cbam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211186388.XA
Other languages
English (en)
Inventor
陈岩
王书堂
徐学来
朱华卿
许云晓
张广鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Chihao Electric Power Technology Co ltd
Original Assignee
Jinan Chihao Electric Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Chihao Electric Power Technology Co ltd filed Critical Jinan Chihao Electric Power Technology Co ltd
Priority to CN202211186388.XA priority Critical patent/CN115331177A/zh
Publication of CN115331177A publication Critical patent/CN115331177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开一种矿山场景下智能告警方法、可读介质及告警终端，属于基于特定计算模型计算机系统的技术领域，包括：采集含有违规现象的图像；基于YOLOV5网络结构增加卷积注意力机制模块CBAM构建YOLOV5‑CBAM目标检测模型；对所述的YOLOV5‑CBAM模型进行训练，获得YOLOV5‑CBAM目标检测模型，基于所述的测试集，对所述的YOLOV5‑CBAM目标检测模型进行评估，获得评估合格的目标检测模型；基于YOLOV5‑CBAM目标检测模型检测结果，结合DeepSort目标跟踪模型对人员进行跟踪，获得人员的跟踪ID，设置上下电梯人员跟踪ID撞线区域，保证人员统计的可靠性。

Description

一种矿山场景下智能告警方法、可读介质及告警终端
技术领域
本发明公开一种矿山场景下智能告警方法、可读介质及告警终端，属于基于特定计算模型计算机系统的技术领域。
背景技术
我国煤矿资源丰富，分布范围较广，采矿工作危险系数较高，矿山场景下人员违规现象会给采矿工作带来安全隐患，为保障工作人员安全，生产能够顺利进行，各矿山正在逐步完善安全监控系统，使其发挥自身的作用。面对海量的监控数据，依靠人工查看监控数据的方法，容易受主观因素影响，无法满足实际应用需求。近年来，基于人工智能的计算机视觉技术开始应用于各行各业，在智能矿山监控领域采用人工智能方式进行人员违规现象的自动检测。
为此，相关技术领域多采用YOLOV5算法对待测目标进行检测：例如，中国专利文献CN113269073A公开一种基于YOLOV5算法的船舶多目标追踪方法，整体基于训练后的YOLOV5检测模型，经DeepSort算法处理，生成追踪模型；对生成的DeepSort追踪模型进行实时性验证。该专利文献能够实现对海上船舶的检测及多目标跟踪，检测精度高、实时性好、速度快。
但是针对矿山场景，监拍装置在采集图像时会受到光线的影响，而且矿山场景下人员较集中，人员在行进过程中会出现目标遮挡、目标尺度变化问题，从而造成目标检测模型在目标识别过程中难以达到较高精度；目标跟踪模型在人员密集且容易出现人员遮挡的场景，存在人员遮挡重新出现后人员重识别困难问题，导致人流统计可靠性降低；
综上，针对矿山场景的复杂性，如何提供一种准确、有效的违规现象告警方法是亟待解决的问题。
发明内容
针对现有技术的不足，本发明公开一种矿山场景下智能告警方法。
本发明还公开了上述告警方法对应的计算机可读介质。
本发明还公开一种实现上述告警方法的终端。
发明概述：
本发明通过监拍装置获取实时视频，采用目标检测模型告警人员违规现象；结合目标检测和目标跟踪模型对上下电梯人员进行跟踪，实现上下电梯人流统计。本发明有效提高人员违规现象告警精度，保证统计上下电梯人员数量的可靠性，有效避免违规现象引发的隐患事故。且本发明的准确性和实时性均满足矿山场景下违规现象告警的实际需求。
本发明详细的技术方案如下：
一种矿山场景下智能告警方法，其特征在于，包括：
S1：采集含有违规现象的图像，对采集到的违规现象图像进行预处理，基于预处理后的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
S2：基于YOLOV5网络结构增加卷积注意力机制模块CBAM构建YOLOV5-CBAM目标检测模型；通过通道与空间维度上的注意力特征融合提高网络特征提取能力，优化网络损失函数进一步提高目标检测模型精度；
S3：基于所述的训练集和验证集，对所述的YOLOV5-CBAM模型进行训练，获得YOLOV5-CBAM目标检测模型，基于所述的测试集，对所述的YOLOV5-CBAM目标检测模型进行评估，获得评估合格的目标检测模型；
S4：基于YOLOV5-CBAM目标检测模型检测结果，结合DeepSort目标跟踪模型对人员进行跟踪，获得人员的跟踪ID，设置上下电梯人员跟踪ID撞线区域，保证人员统计的可靠性。
根据本发明优选的，所述步骤S1中所采集到的违规现象图像包括：
含有违规现象的图像包括：含有违规现象的网络爬取图像和监拍装置拍摄的矿山场景图像，将以上两种数据进行合并，并使用LabelImg软件对图像中的违规现象进行矩形标注，在将标注好的数据集按照8：1：1的比例划分训练集、验证集和测试集，为后续模型训练做数据准备。
根据本发明优选的，基于YOLOV5网络结构增加卷积注意力机制模块CBAM，构建YOLOV5+CBAM目标检测模型的方法包括：
S21：YOLOV5网络结构包括Backbone模块、Neck模块、Prediction模块；在所述Backbone模块中的最后一个C3结构后增加CBAM模块，CBAM模块包括通道注意力模块和空间注意力模块；
S22：在步骤S21所述的C3结构输出H×W×C特征图F，H×W为特征图高宽，C为特征图的通道数，通道注意力模块和空间注意力模块采用串联的方式作用于特征图F；
S23：将步骤S22所述的H×W×C特征图F作为通道注意力模块的输入，基于特征图的高度和宽度对特征图F进行全局最大池化和全局平均池化，生成两个1×1×C特征图，两个特征图分别经过一个两层的神经网络MLP，将神经网络MLP输出的两个特征图特征进行加和操作，生成通道注意力权重，然后通过 Sigmoid 激活函数获得归一化通道注意力权重，通过乘法操作将归一化通道注意力权重作用于原始输入特征图，输出H×W×C通道注意力特征图
Figure 843331DEST_PATH_IMAGE001
：
Figure 917467DEST_PATH_IMAGE002
（I）
Figure 678749DEST_PATH_IMAGE003
（II）
Figure 145634DEST_PATH_IMAGE004
（Ⅲ）
在公式（I）-（II）中，
Figure 308762DEST_PATH_IMAGE005
表示归一化通道注意力权重；
Figure 553798DEST_PATH_IMAGE006
表示通道注意力模块的输入特征图；
Figure 333535DEST_PATH_IMAGE007
分别表示平均池化操作和最大池化操作；MLP表示多层感知机网络；
Figure 197586DEST_PATH_IMAGE008
表示Sigmoid激活函数；
Figure 356166DEST_PATH_IMAGE009
表示特征图在高度和宽度维度上的平均池化操作输出特征图；
Figure 913050DEST_PATH_IMAGE010
表示特征图在高度和宽度维度上的最大池化操作输出特征图；
Figure 914504DEST_PATH_IMAGE011
表示多层感知机的权重；
S24：将通道注意力模块输出的H×W×C通道注意力特征图作为空间注意力模块的输入，基于特征图的通道维度对特征图
Figure 706879DEST_PATH_IMAGE012
进行全局最大池化和全局平均池化，生成两个H×W×1特征图，将所述的两个特征图在通道维度进行拼接，通过7×7 的卷积层生成空间注意力权重，然后通过 Sigmoid 激活函数获得归一化空间注意力权重，通过乘法操作将归一化通道注意力权重作用于空间注意力模块的输入特征图，输出H×W×C空间注意力特征图
Figure 579020DEST_PATH_IMAGE013
：
Figure 447750DEST_PATH_IMAGE014
（IV）
Figure 670921DEST_PATH_IMAGE015
（V）
在公式（IV）、（V）中，
Figure 1408DEST_PATH_IMAGE016
表示归一化空间注意力权重；
Figure 259214DEST_PATH_IMAGE017
表示通道注意力模块输出特征图；
Figure 423479DEST_PATH_IMAGE018
表示特征图在通道维度上的平均池化操作输出特征图；
Figure 743733DEST_PATH_IMAGE019
表示特征图在通道维度上的最大池化操作输出特征图；
Figure 753278DEST_PATH_IMAGE020
表示卷积核为7×7的卷积操作；
Figure 990224DEST_PATH_IMAGE021
表示
Figure 59811DEST_PATH_IMAGE022
特征图在通道维度上的拼接操作；
S25：使用CIoU作为YOLOV5+CBAM目标检测模型的损失函数，以减小模型预测目标矩形框和真实目标矩形框的距离，加快模型的收敛速度，CIoU损失函数计算公式：
Figure 257574DEST_PATH_IMAGE023
（VI）
在公式（VI）中，b表示模型预测矩形框中心坐标；b gt 表示真实矩形框中心坐标；ρ （·）表示欧氏距离；c表示两个矩形框的最小外接矩形对角线长度；α、ν均为预测框长宽比拟合目标框的长宽比的影响因子：α表示总体权衡参数，ν表示衡量长宽比一致性的参数；w gt 表示模型预测矩形框的宽度；h gl 表示模型预测矩形框的高度；w表示真实矩形框的宽度；h表示真实矩形框的宽度；IoU表示目标真实矩形框和模型预测矩形框的交并比；CIoU Loss 表示预测结果和真实结果的距离。
根据本发明优选的，所述步骤S3中评估合格的目标检测模型的方法，包括：使用mAP、FPS作为评价指标对标检测模型进行评估；其中，mAP为全类平均精度，表示所有检测类别的平均正确率加权平均；FPS为每秒传输帧数，表示每秒检测图像的张数，满足评估要求进行现场应用。
根据本发明优选的，在模型训练中，扩充矿山环境的复杂场景图片，以增加数据集中样本的数据量和多样性，扩充矿山环境的复杂场景图片的方法包括：调整图像的饱和度、明度、Mixup和Mosaic等数据增强方法。
根据本发明优选的，所述步骤S4的具体方法包括：
S41：设置目标检测模型目标置信度阈值：
筛选高于目标置信度阈值的待跟踪目标信息作为DeepSort模型的输入，DeepSort模型根据目标特征相似度进行视频前后帧中目标匹配，使前后帧中相同目标赋予相同的跟踪ID；
S42：当视频帧为第一帧时，将第一帧视频图像中高于目标置信度阈值的目标作为DeepSort目标跟踪模型的初始值，假设第一帧视频图片中有N个高于目标置信度阈值的目标，则DeepSort目标跟踪模型的初始值分别为ID-1,ID-2…ID-N；
当视频帧为非第一帧时，使用卡尔曼滤波预测前一帧中目标在当前帧的位置信息x’，卡尔曼滤波公式为：
x’=Cx（VII）
在公式（VII）中，x表示目标的位置信息，由目标框的中心坐标cx,cy，宽高比r，高h，以及各自的速度变化值组成，x向量表示为[cx, cy, r, h, vx, vy, vr, vh]；C表示状态转移矩阵；
S43：将前一帧的预测位置信息与当前帧的目标检测位置信息进行匹配：
当上一帧的预测位置信息和当前帧的目标检测位置信息匹配时，则目标检测模型输出的目标框赋值匹配的目标跟踪ID；
当目标检测位置信息没有找到匹配的预测位置信息时，则目标检测模型输出的目标框增加新的目标跟踪ID，同时删除失配的目标跟踪ID；
S44：设置目标跟踪ID上下电梯撞线区域A、B：
当目标跟踪ID从A区域进入B区域时，则表示人员上电梯，人数加1；
当目标跟踪ID从B区域进入A区域时，则表示人员下电梯，人数加1。
加载有上述告警方法的计算机可读介质，其特征在于，其上存储有计算机程序用于执行上述告警方法。
一种实现上述告警方法的终端，其特征在于，包括：目标检测模块、目标跟踪模块和人流统计模块；所述的目标检测模块用于执行步骤S1至步骤S3；所述目标跟踪模块用于执行步骤S41至步骤S43；所述人流统计模块用于执行步骤S44。
本发明的技术优势在于：
1）本发明所述基于人工智能的矿山场景下智能告警方法，针对矿山场景易受光线影响和人员密集造成的目标遮挡问题，基于YOLOV5结构增加卷积注意力机制模块CBAM构建YOLOV5+CBAM目标检测模型，通过通道与空间维度上的注意力特征融合增强特征图中的有用特征,并且抑制无用特征，提高网络特征提取能力，优化网络损失函数进一步提高目标检测模型精度。
2）本发明基于自组建数据集，通过数据增强方式模拟矿山环境的复杂场景图片，增加数据集中样本的多样性，从而提高目标模型的准确率。
3）本发明针对矿山场景人员密集造成人员遮挡问题，采用人头检测和人头跟踪方式减少遮挡问题造成的影响，灵活设置人员上下电梯撞线区域，提升人流统计的可靠性。
附图说明
图1是本发明所述方法的流程图。
具体实施方式
下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。
实施例1、
如图1所示。
一种矿山场景下智能告警方法，包括：
S1：采集含有违规现象的图像，对采集到的违规现象图像进行预处理，基于预处理后的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
S2：基于YOLOV5网络结构增加卷积注意力机制模块CBAM构建YOLOV5-CBAM目标检测模型；通过通道与空间维度上的注意力特征融合提高网络特征提取能力，优化网络损失函数进一步提高目标检测模型精度；
S3：基于所述的训练集和验证集，对所述的YOLOV5-CBAM模型进行训练，获得YOLOV5-CBAM目标检测模型，基于所述的测试集，对所述的YOLOV5-CBAM目标检测模型进行评估，获得评估合格的目标检测模型；
S4：基于YOLOV5-CBAM目标检测模型检测结果，结合DeepSort目标跟踪模型对人员进行跟踪，获得人员的跟踪ID，设置上下电梯人员跟踪ID撞线区域，保证人员统计的可靠性。
所述步骤S1中所采集到的违规现象图像包括：
含有违规现象的图像包括：含有违规现象的网络爬取图像和监拍装置拍摄的矿山场景图像，将以上两种数据进行合并，并使用LabelImg软件对图像中的违规现象进行矩形标注，在将标注好的数据集按照8：1：1的比例划分训练集、验证集和测试集，为后续模型训练做数据准备；其中，数据集中含有8个类别：head（头）、helmet_head（头戴安全帽）、hat_head（头戴工帽）、phone（玩手机）、coat（未穿工装）、uniform（穿戴工装）、sleep（人员睡岗）、body（人员）。
基于YOLOV5网络结构增加卷积注意力机制模块CBAM，构建YOLOV5+CBAM目标检测模型的方法包括：
S21：YOLOV5网络结构包括Backbone模块、Neck模块、Prediction模块；在所述Backbone模块中的最后一个C3结构后增加CBAM模块，CBAM模块包括通道注意力模块和空间注意力模块；
S22：在步骤S21所述的C3结构输出H×W×C特征图F，H×W为特征图高宽，C为特征图的通道数，通道注意力模块和空间注意力模块采用串联的方式作用于特征图F；
S23：将步骤S22所述的H×W×C特征图F作为通道注意力模块的输入，基于特征图的高度和宽度对特征图F进行全局最大池化和全局平均池化，生成两个1×1×C特征图，两个特征图分别经过一个两层的神经网络MLP，将神经网络MLP输出的两个特征图特征进行加和操作，生成通道注意力权重，然后通过 Sigmoid 激活函数获得归一化通道注意力权重，通过乘法操作将归一化通道注意力权重作用于原始输入特征图，输出H×W×C通道注意力特征图
Figure 946176DEST_PATH_IMAGE024
：
Figure 912995DEST_PATH_IMAGE025
（I）
Figure 12538DEST_PATH_IMAGE026
（II）
Figure 963176DEST_PATH_IMAGE027
（Ⅲ）
在公式（I）-（II）中，
Figure 314523DEST_PATH_IMAGE028
表示归一化通道注意力权重；
Figure 276794DEST_PATH_IMAGE029
表示通道注意力模块的输入特征图；
Figure 688184DEST_PATH_IMAGE030
和
Figure 860539DEST_PATH_IMAGE031
分别表示平均池化操作和最大池化操作；MLP表示多层感知机网络；
Figure 874632DEST_PATH_IMAGE032
表示Sigmoid激活函数；
Figure 816043DEST_PATH_IMAGE033
表示特征图在高度和宽度维度上的平均池化操作输出特征图；
Figure 273700DEST_PATH_IMAGE034
表示特征图在高度和宽度维度上的最大池化操作输出特征图；
Figure 667772DEST_PATH_IMAGE035
表示多层感知机的权重；
S24：将通道注意力模块输出的H×W×C通道注意力特征图作为空间注意力模块的输入，基于特征图的通道维度对特征图
Figure 626501DEST_PATH_IMAGE012
进行全局最大池化和全局平均池化，生成两个H×W×1特征图，将所述的两个特征图在通道维度进行拼接，通过7×7 的卷积层生成空间注意力权重，然后通过 Sigmoid 激活函数获得归一化空间注意力权重，通过乘法操作将归一化通道注意力权重作用于空间注意力模块的输入特征图，输出H×W×C空间注意力特征图
Figure 547053DEST_PATH_IMAGE036
：
Figure 565824DEST_PATH_IMAGE037
（IV）
Figure 316699DEST_PATH_IMAGE038
（V）
在公式（IV）、（V）中，
Figure 547961DEST_PATH_IMAGE039
表示归一化空间注意力权重；
Figure 323018DEST_PATH_IMAGE040
表示通道注意力模块输出特征图；
Figure 512691DEST_PATH_IMAGE041
表示特征图在通道维度上的平均池化操作输出特征图；
Figure 881356DEST_PATH_IMAGE042
表示特征图在通道维度上的最大池化操作输出特征图，
Figure 57253DEST_PATH_IMAGE043
表示卷积核为7×7的卷积操作；
Figure 562184DEST_PATH_IMAGE044
表示
Figure 922758DEST_PATH_IMAGE045
特征图在通道维度上的拼接操作；
S25：使用CIoU作为YOLOV5+CBAM目标检测模型的损失函数，以减小模型预测目标矩形框和真实目标矩形框的距离，加快模型的收敛速度，CIoU损失函数计算公式：
Figure 903353DEST_PATH_IMAGE046
（VI）
在公式（VI）中，b表示模型预测矩形框中心坐标；b gt 表示真实矩形框中心坐标；ρ （·）表示欧氏距离；c表示两个矩形框的最小外接矩形对角线长度；α、ν均为预测框长宽比拟合目标框的长宽比的影响因子：α表示总体权衡参数，ν表示衡量长宽比一致性的参数；w gt 表示模型预测矩形框的宽度；h gl 表示模型预测矩形框的高度；w表示真实矩形框的宽度；h表示真实矩形框的宽度；IoU表示目标真实矩形框和模型预测矩形框的交并比；CIoU Loss 表示预测结果和真实结果的距离。
所述步骤S3中评估合格的目标检测模型的方法，包括：使用mAP、FPS作为评价指标对标检测模型进行评估；其中，mAP为全类平均精度，表示所有检测类别的平均正确率加权平均；FPS为每秒传输帧数，表示每秒检测图像的张数，满足评估要求进行现场应用，在本实施例中，目标检测模型精度指标mAP为0.96，实时性指标FPS为40帧，满足精度和实时性要求。
在模型训练中，扩充矿山环境的复杂场景图片，以增加数据集中样本的数据量和多样性，扩充矿山环境的复杂场景图片的方法包括：调整图像的饱和度、明度、Mixup和Mosaic等数据增强方法，其中，采用概率为0.5的饱和度、概率为0.6的明度、概率为0.2的Mixup和概率为0.8的Mosaic对训练数据集进行数据增强，增加样本的数据量和多样性，利用数据集中的训练集和验证集对YOLOV5+CBAM网络进行训练，获得YOLOV5+CBAM模型权重文件。
所述步骤S4的具体方法包括：
S41：设置目标检测模型目标置信度阈值：
筛选高于目标置信度阈值的待跟踪目标信息作为DeepSort模型的输入，DeepSort模型根据目标特征相似度进行视频前后帧中目标匹配，使前后帧中相同目标赋予相同的跟踪ID；
S42：当视频帧为第一帧时，将第一帧视频图像中高于目标置信度阈值的目标作为DeepSort目标跟踪模型的初始值，假设第一帧视频图片中有N个高于目标置信度阈值的目标，则DeepSort目标跟踪模型的初始值分别为ID-1,ID-2…ID-N；
当视频帧为非第一帧时，使用卡尔曼滤波预测前一帧中目标在当前帧的位置信息x’，卡尔曼滤波公式为：
x’=Cx（VII）
在公式（VII）中，x表示目标的位置信息，由目标框的中心坐标cx,cy，宽高比r，高h，以及各自的速度变化值组成，x向量表示为[cx, cy, r, h, vx, vy, vr, vh]；C表示状态转移矩阵；
S43：将前一帧的预测位置信息与当前帧的目标检测位置信息进行匹配：
当前一帧的预测位置信息和当前帧的目标检测位置信息匹配时，则目标检测模型输出的目标框赋值匹配的目标跟踪ID；
当目标检测位置信息没有找到匹配的预测位置信息时，则目标检测模型输出的目标框增加新的目标跟踪ID；
同时删除失配的目标跟踪ID；
在本实施例中，标注出在工作场景中工作人员的穿戴情况：在下井电梯门口左侧的人员影像被识别出“body（人员）、helmet_head（头戴安全帽）和uniform（穿戴工装）”、在下井电梯门口右侧的人员影像被识别出“body（人员）、helmet_head（头戴安全帽）和uniform（穿戴工装）”、在轨道两侧的四人均被识别为“body（人员）、helmet_head（头戴安全帽）和uniform（穿戴工装）”，因此，全部人员都是符合工作穿戴要求的，即：头戴安全帽和穿戴工装。
标注出在工作场景中工作人员的穿戴情况：在设备监控室内，在最左侧站立的人员影像被识别出“body（人员）、helmet_head（头戴安全帽）、uniform（穿戴工装）和phone（玩手机）”，由此根据场景的工作人员行为规范，此工作人员所做出的玩手机的行为不合规；在监控操作台侧的两位工作人员，左侧工作人员影像被识别出“body（人员）、hat_head（头戴工帽）”、uniform（穿戴工装）和sleep（人员睡岗）”，由此根据场景的工作人员行为规范，此工作人员所做出的人员睡岗的行为不合规；右侧工作人员影像被识别出“body（人员）、hat_head（头戴工帽）、uniform（穿戴工装）”，由此根据场景的工作人员行为规范，此工作人员的行为符合规范。
S44：设置目标跟踪ID上下电梯撞线区域A、B：
当目标跟踪ID从A区域进入B区域时，则表示人员上电梯，人数加1；
当目标跟踪ID从B区域进入A区域时，则表示人员下电梯，人数加1。
在本实施例中，将未戴安全帽、头戴安全帽、未戴工帽、头戴工帽作为跟踪目标输入到DeepSort模型，DeepSort为每个目标框生成一个跟踪ID，在监控设备拍摄的视频中电梯出口位置设置人员上下电梯撞线区域，每个目标框设置一个撞线检测点，目标框撞线检测点设置原则：撞线检测点的x坐标设置为对应目标框左上角x坐标值，撞线检测点的y坐标设置为对应目标框左上角y坐标值加上目标框高度的0.6倍，该位置便于进行撞线检测。目标框的撞线检测点从A区域进入B区域表示人员上电梯人数加1，上电梯记为UP，目标框的撞线检测点从B区域进入A区域表示人员下电梯人数加1，下电梯记为DOWN。每个电梯分别设置电梯乘坐规定人员数量，当超过规定人员数量时，进行告警。
实施例2、
加载有实施例1所述告警方法的计算机可读介质，其特征在于，其上存储有计算机程序用于执行上述告警方法。
实施例3、
一种实现上述告警方法的终端，包括：目标检测模块、目标跟踪模块和人流统计模块；所述的目标检测模块用于执行步骤S1至步骤S3；所述目标跟踪模块用于执行步骤S41至步骤S43；所述人流统计模块用于执行步骤S44。

Claims (8)

1.一种矿山场景下智能告警方法，其特征在于，包括：
S1：采集含有违规现象的图像，对采集到的违规现象图像进行预处理，基于预处理后的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
S2：基于YOLOV5网络结构增加卷积注意力机制模块CBAM构建YOLOV5-CBAM目标检测模型；
S3：基于所述的训练集和验证集，对所述的YOLOV5-CBAM模型进行训练，获得YOLOV5-CBAM目标检测模型，基于所述的测试集，对所述的YOLOV5-CBAM目标检测模型进行评估，获得评估合格的目标检测模型；
S4：基于YOLOV5-CBAM目标检测模型检测结果，结合DeepSort目标跟踪模型对人员进行跟踪，获得人员的跟踪ID，设置上下电梯人员跟踪ID撞线区域。
2.根据权利要求1所述一种矿山场景下智能告警方法，其特征在于，所述步骤S1中所采集到的违规现象图像包括：
含有违规现象的图像包括：含有违规现象的网络爬取图像和监拍装置拍摄的矿山场景图像，将以上两种数据进行合并，并使用LabelImg软件对图像中的违规现象进行矩形标注。
3.根据权利要求1所述一种矿山场景下智能告警方法，其特征在于，基于YOLOV5网络结构增加卷积注意力机制模块CBAM，构建YOLOV5+CBAM目标检测模型的方法包括：
S21：YOLOV5网络结构包括Backbone模块、Neck模块、Prediction模块；在所述Backbone模块中的最后一个C3结构后增加CBAM模块，CBAM模块包括通道注意力模块和空间注意力模块；
S22：在步骤S21所述的C3结构输出H×W×C特征图F，H×W为特征图高宽，C为特征图的通道数，通道注意力模块和空间注意力模块采用串联的方式作用于特征图F；
S23：将步骤S22所述的H×W×C特征图F作为通道注意力模块的输入，基于特征图的高度和宽度对特征图F进行全局最大池化和全局平均池化，生成两个1×1×C特征图，两个特征图分别经过一个两层的神经网络MLP，将神经网络MLP输出的两个特征图特征进行加和操作，生成通道注意力权重，然后通过 Sigmoid 激活函数获得归一化通道注意力权重，通过乘法操作将归一化通道注意力权重作用于原始输入特征图，输出H×W×C通道注意力特征图
Figure 739335DEST_PATH_IMAGE001
：
Figure 273216DEST_PATH_IMAGE002
（I）
Figure 641881DEST_PATH_IMAGE003
（II）
Figure 535887DEST_PATH_IMAGE004
（Ⅲ）
在公式（I）-（II）中，
Figure 306397DEST_PATH_IMAGE005
表示归一化通道注意力权重；
Figure 5320DEST_PATH_IMAGE006
表示通道注意力模块的输入特征图；
Figure 861280DEST_PATH_IMAGE007
和
Figure 496661DEST_PATH_IMAGE008
分别表示平均池化操作和最大池化操作；MLP表示多层感知机网络；
Figure 980732DEST_PATH_IMAGE009
表示Sigmoid激活函数；
Figure 246628DEST_PATH_IMAGE010
表示特征图在高度和宽度维度上的平均池化操作输出特征图；
Figure 934093DEST_PATH_IMAGE011
表示特征图在高度和宽度维度上的最大池化操作输出特征图；
Figure 576427DEST_PATH_IMAGE012
表示多层感知机的权重；
S24：将通道注意力模块输出的H×W×C通道注意力特征图作为空间注意力模块的输入，基于特征图的通道维度对特征图
Figure 180583DEST_PATH_IMAGE013
进行全局最大池化和全局平均池化，生成两个H×W×1特征图，将所述的两个特征图在通道维度进行拼接，通过7×7 的卷积层生成空间注意力权重，然后通过 Sigmoid 激活函数获得归一化空间注意力权重，通过乘法操作将归一化通道注意力权重作用于空间注意力模块的输入特征图，输出H×W×C空间注意力特征图
Figure 414118DEST_PATH_IMAGE014
：
Figure 979092DEST_PATH_IMAGE015
（IV）
Figure 34904DEST_PATH_IMAGE016
（V）
在公式（IV）、（V）中，
Figure 103354DEST_PATH_IMAGE017
表示归一化空间注意力权重；
Figure 835687DEST_PATH_IMAGE018
表示通道注意力模块输出特征图；
Figure 887956DEST_PATH_IMAGE019
表示特征图在通道维度上的平均池化操作输出特征图；
Figure 403251DEST_PATH_IMAGE020
表示特征图在通道维度上的最大池化操作输出特征图，
Figure 732732DEST_PATH_IMAGE021
表示卷积核为7×7的卷积操作；
Figure 511333DEST_PATH_IMAGE022
表示
Figure 909953DEST_PATH_IMAGE023
特征图在通道维度上的拼接操作；
S25：使用CIoU作为YOLOV5+CBAM目标检测模型的损失函数，CIoU损失函数计算公式：
Figure 432201DEST_PATH_IMAGE024
（VI）
在公式（VI）中，b表示模型预测矩形框中心坐标；b gt 表示真实矩形框中心坐标；ρ（·）表示欧氏距离；c表示两个矩形框的最小外接矩形对角线长度；α、ν均为预测框长宽比拟合目标框的长宽比的影响因子：α表示总体权衡参数，ν表示衡量长宽比一致性的参数；w gt 表示模型预测矩形框的宽度；h gl 表示模型预测矩形框的高度；w表示真实矩形框的宽度；h表示真实矩形框的宽度；IoU表示目标真实矩形框和模型预测矩形框的交并比；CIoU Loss 表示预测结果和真实结果的距离。
4.根据权利要求1所述一种矿山场景下智能告警方法，其特征在于，所述步骤S3中评估合格的目标检测模型的方法，包括：使用mAP、FPS作为评价指标对标检测模型进行评估；其中，mAP为全类平均精度，表示所有检测类别的平均正确率加权平均；FPS为每秒传输帧数，表示每秒检测图像的张数。
5.根据权利要求1所述一种矿山场景下智能告警方法，其特征在于，在模型训练中，扩充矿山环境的复杂场景图片。
6.根据权利要求1所述一种矿山场景下智能告警方法，其特征在于，所述步骤S4的具体方法包括：
S41：设置目标检测模型目标置信度阈值：
筛选高于目标置信度阈值的待跟踪目标信息作为DeepSort模型的输入，DeepSort模型根据目标特征相似度进行视频前后帧中目标匹配，使前后帧中相同目标赋予相同的跟踪ID；
S42：当视频帧为第一帧时，将第一帧视频图像中高于目标置信度阈值的目标作为DeepSort目标跟踪模型的初始值，假设第一帧视频图片中有N个高于目标置信度阈值的目标，则DeepSort目标跟踪模型的初始值分别为ID-1,ID-2…ID-N；
当视频帧为非第一帧时，使用卡尔曼滤波预测前一帧中目标在当前帧的位置信息x’，卡尔曼滤波公式为：
x’=Cx（VII）
在公式（VII）中，x表示目标的位置信息，由目标框的中心坐标cx,cy，宽高比r，高h，以及各自的速度变化值组成，x向量表示为[cx, cy, r, h, vx, vy, vr, vh]；C表示状态转移矩阵；
S43：将前一帧的预测位置信息与当前帧的目标检测位置信息进行匹配：
当上一帧的预测位置信息和当前帧的目标检测位置信息匹配时，则目标检测模型输出的目标框赋值匹配的目标跟踪ID；
当目标检测位置信息没有找到匹配的预测位置信息时，则目标检测模型输出的目标框增加新的目标跟踪ID，同时删除失配的目标跟踪ID；
S44：设置目标跟踪ID上下电梯撞线区域A、B：
当目标跟踪ID从A区域进入B区域时，则表示人员上电梯，人数加1；
当目标跟踪ID从B区域进入A区域时，则表示人员下电梯，人数加1。
7.一种计算机可读介质，其特征在于，其上存储有计算机程序用于执行如权利要求1-6任意一项所述的告警方法。
8.一种实现如权利要求1-6任意一项所述告警方法的终端，其特征在于，包括：目标检测模块、目标跟踪模块和人流统计模块；所述的目标检测模块用于执行步骤S1至步骤S3；所述目标跟踪模块用于执行步骤S41至步骤S43；所述人流统计模块用于执行步骤S44。
CN202211186388.XA 2022-09-28 2022-09-28 一种矿山场景下智能告警方法、可读介质及告警终端 Pending CN115331177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211186388.XA CN115331177A (zh) 2022-09-28 2022-09-28 一种矿山场景下智能告警方法、可读介质及告警终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211186388.XA CN115331177A (zh) 2022-09-28 2022-09-28 一种矿山场景下智能告警方法、可读介质及告警终端

Publications (1)

Publication Number Publication Date
CN115331177A true CN115331177A (zh) 2022-11-11

Family

ID=83913342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211186388.XA Pending CN115331177A (zh) 2022-09-28 2022-09-28 一种矿山场景下智能告警方法、可读介质及告警终端

Country Status (1)

Country Link
CN (1) CN115331177A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573811A (zh) * 2015-01-08 2015-04-29 杭州天迈网络有限公司 一种红外图像和彩色图像融合的人流量统计方法
CN109873990A (zh) * 2019-03-13 2019-06-11 武汉大学 一种基于计算机视觉的矿山非法开采预警方法
CN109977843A (zh) * 2019-03-21 2019-07-05 重庆工程职业技术学院 一种煤矿现场人员行为监测及违章智能识别系统
CN110821565A (zh) * 2019-11-13 2020-02-21 济宁矿业集团有限公司安居煤矿 一种基于煤矿人员位置监测的煤矿安全生产区域人员管理系统及方法
CN112037248A (zh) * 2020-01-03 2020-12-04 哈尔滨理工大学 一种基于计算机视觉的矿井下人员跟踪算法
CN112861826A (zh) * 2021-04-08 2021-05-28 重庆工程职业技术学院 基于视频图像的煤矿监管方法、系统、设备及存储介质
CN113158995A (zh) * 2021-05-21 2021-07-23 西安建筑科技大学 一种多目标跟踪检测方法、系统、设备及存储介质
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
CN113516076A (zh) * 2021-07-12 2021-10-19 大连民族大学 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN113838090A (zh) * 2021-09-22 2021-12-24 精英数智科技股份有限公司 一种停产矿井实时人流统计的方法、系统、设备及介质
CN114724082A (zh) * 2022-04-08 2022-07-08 河海大学 一种基于改进的YOLOv5和DeepSORT的行人追踪方法
CN114943930A (zh) * 2022-05-05 2022-08-26 北京埃福瑞科技有限公司 车站清客方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573811A (zh) * 2015-01-08 2015-04-29 杭州天迈网络有限公司 一种红外图像和彩色图像融合的人流量统计方法
CN109873990A (zh) * 2019-03-13 2019-06-11 武汉大学 一种基于计算机视觉的矿山非法开采预警方法
CN109977843A (zh) * 2019-03-21 2019-07-05 重庆工程职业技术学院 一种煤矿现场人员行为监测及违章智能识别系统
CN110821565A (zh) * 2019-11-13 2020-02-21 济宁矿业集团有限公司安居煤矿 一种基于煤矿人员位置监测的煤矿安全生产区域人员管理系统及方法
CN112037248A (zh) * 2020-01-03 2020-12-04 哈尔滨理工大学 一种基于计算机视觉的矿井下人员跟踪算法
CN112861826A (zh) * 2021-04-08 2021-05-28 重庆工程职业技术学院 基于视频图像的煤矿监管方法、系统、设备及存储介质
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
CN113158995A (zh) * 2021-05-21 2021-07-23 西安建筑科技大学 一种多目标跟踪检测方法、系统、设备及存储介质
CN113516076A (zh) * 2021-07-12 2021-10-19 大连民族大学 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN113838090A (zh) * 2021-09-22 2021-12-24 精英数智科技股份有限公司 一种停产矿井实时人流统计的方法、系统、设备及介质
CN114724082A (zh) * 2022-04-08 2022-07-08 河海大学 一种基于改进的YOLOv5和DeepSORT的行人追踪方法
CN114943930A (zh) * 2022-05-05 2022-08-26 北京埃福瑞科技有限公司 车站清客方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHI XU ET AL: "CAP-YOLO: Channel Attention Based Pruning YOLO for Coal Mine Real-Time Intelligent Monitoring", 《SENSORS》 *
程德强 等: "煤矿安全生产视频AI识别关键技术研究综述", 《煤炭科学技术》 *
赵亮: "基于弱监督深度学习的煤矿生产不安全行为检测应用研究", 《矿山机械》 *

Similar Documents

Publication Publication Date Title
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
Fang et al. Detecting non-hardhat-use by a deep learning method from far-field surveillance videos
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN113516076B (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN111241959A (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
CN111062429A (zh) 基于深度学习的厨师帽和口罩佩戴的检测方法
CN108053427A (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN110765964A (zh) 基于计算机视觉的电梯轿厢内异常行为的检测方法
CN111539276B (zh) 一种在电力场景下安全帽实时检测的方法
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
CN112270381B (zh) 基于深度学习的人流量检测方法
CN112434669B (zh) 一种多信息融合的人体行为检测方法及系统
Le et al. Attention r-cnn for accident detection
CN111079722B (zh) 一种吊装过程人员安全监测方法及系统
CN112070043A (zh) 基于特征融合的安全帽佩戴卷积网络、训练及检测方法
CN106570471A (zh) 基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法
CN111260696B (zh) 一种面向边缘端行人跟踪和人数精确统计的方法
CN114299106A (zh) 一种基于视觉传感与轨迹预测的高空抛物预警系统及方法
Hermina et al. A Novel Approach to Detect Social Distancing Among People in College Campus
CN115797856A (zh) 一种基于机器视觉的施工场景智慧安全监控方法
CN112989958A (zh) 基于YOLOv4与显著性检测的安全帽佩戴识别方法
Xu et al. A novel computer vision‐based approach for monitoring safety harness use in construction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221111