CN115294528A - 一种行人安全监控方法及装置 - Google Patents

一种行人安全监控方法及装置 Download PDF

Info

Publication number
CN115294528A
CN115294528A CN202210964104.9A CN202210964104A CN115294528A CN 115294528 A CN115294528 A CN 115294528A CN 202210964104 A CN202210964104 A CN 202210964104A CN 115294528 A CN115294528 A CN 115294528A
Authority
CN
China
Prior art keywords
image data
human body
thermal imaging
safety monitoring
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210964104.9A
Other languages
English (en)
Inventor
高�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruiyun Qizhi Chongqing Technology Co ltd
Original Assignee
Ruiyun Qizhi Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruiyun Qizhi Chongqing Technology Co ltd filed Critical Ruiyun Qizhi Chongqing Technology Co ltd
Priority to CN202210964104.9A priority Critical patent/CN115294528A/zh
Publication of CN115294528A publication Critical patent/CN115294528A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种行人安全监控方法及装置，该行人安全监控方法包括：预先构建人体检测模型；获取矿井下用于目标人员安全监控的热成像视频流；通过人体检测模型对热成像视频流流进行人体检测，得到检测结果；根据检测结果预测目标人员当前所处环境是否存在危险；如果是，输出危险预警信息。可见，实施这种实施方式，能够对需要监控的地方进行全面实时监控，节省人力物力，避免监控盲点和监控风险，从而提升了煤矿安全监控效率。

Description

一种行人安全监控方法及装置
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种行人安全监控方法及装置。
背景技术
目前，随着我国经济的发展，对于煤炭、矿产资源的需求日益增长。由于煤矿特殊的开采环境，尽管进行了一定的安全防控，但是仍有事故发生。为此，如何保障在矿井下工作人员的人身安全是一个重要的问题以及挑战。因煤矿井下点多面广环节多且环境复杂，通过人工进行安全监控，无法进行全面监控，同时耗费人力物力，且人工监控盲点多、风险点多，降低了煤矿安全监控效率。
发明内容
本申请实施例的目的在于提供一种行人安全监控方法及装置，能够对需要监控的地方进行全面实时监控，节省人力物力，避免监控盲点和监控风险，从而提升了煤矿安全监控效率。
本申请实施例第一方面提供了一种行人安全监控方法，包括：
预先构建人体检测模型；
获取矿井下用于目标人员安全监控的热成像视频流；
通过所述人体检测模型对所述热成像视频流流进行人体检测，得到检测结果；
根据检测结果预测所述目标人员当前所处环境是否存在危险；
如果是，输出危险预警信息。
在上述实现过程中，该方法可以预先构建人体检测模型；然后，获取矿井下用于目标人员安全监控的热成像视频流；并通过人体检测模型对热成像视频流流进行人体检测，得到检测结果；再然后，该方法可以根据检测结果预测目标人员当前所处环境是否存在危险；并在目标人员当前所处环境存在危险时输出危险预警信息。可见，实施这种实施方式，能够对需要监控的地方进行全面实时监控，节省人力物力，避免监控盲点和监控风险，从而提升了煤矿安全监控效率。
进一步地，所述预先构建人体检测模型，包括：
获取原始热成像图像数据；
对所述原始热成像图像数据进行人体最小外接矩形框的标注处理，得到标注图像数据；
对所述标注图像数据进行预处理，得到预处理图像数据；
按照预设的划分比例，对所述预处理图像数据进行数据集划分，得到用于模型训练的训练集、验证集以及测试集；
通过所述训练集、所述验证集以及所述测试集对预设的原始模型进行训练，得到训练好的人体检测模型。
进一步地，所述获取原始热成像图像数据，包括：
按照预设分辨率获取真实场景下红外相机的人体热成像数据，得到视频流数据；
对视频流进行帧处理操作，得到原始热成像图像数据。
进一步地，所述对所述标注图像数据进行预处理，得到预处理图像数据，包括：
根据预设的标注框大小阈值对所述标注图像数据进行过滤处理，得到预处理图像数据。
进一步地，所述人体检测模型的主干网络部分和Neck部分，其中，所述主干网络部分包括GhostNet网络，所述GhostNet网络用于图像特征提取，所述GhostNet网络包括SPP多尺度模块；
所述Neck部分结合ECA注意力算法和PAN空间金字塔结构，用于从不同的主干层对不同的检测层进行参数聚合。
本申请实施例第二方面提供了一种行人安全监控装置，所述行人安全监控装置包括：
构建单元，用于预先构建人体检测模型；
获取单元，用于获取矿井下用于目标人员安全监控的热成像视频流；
人体检测单元，用于通过所述人体检测模型对所述热成像视频流流进行人体检测，得到检测结果；
预测单元，用于根据检测结果预测所述目标人员当前所处环境是否存在危险；
预警单元，用于当判断出存在危险时，输出危险预警信息。
在上述实现过程中，该装置可以通过构建单元预先构建人体检测模型；通过获取单元获取矿井下用于目标人员安全监控的热成像视频流；通过人体检测单元来通过人体检测模型对热成像视频流流进行人体检测，得到检测结果；通过预测单元来根据检测结果预测目标人员当前所处环境是否存在危险；通过预警单元当判断出存在危险时，输出危险预警信息。可见，实施这种实施方式，能够对需要监控的地方进行全面实时监控，节省人力物力，避免监控盲点和监控风险，从而提升了煤矿安全监控效率。
进一步地，所述构建单元包括：
获取子单元，用于获取原始热成像图像数据；
标注子单元，用于对所述原始热成像图像数据进行人体最小外接矩形框的标注处理，得到标注图像数据；
预处理子单元，用于对所述标注图像数据进行预处理，得到预处理图像数据；
划分子单元，用于按照预设的划分比例，对所述预处理图像数据进行数据集划分，得到用于模型训练的训练集、验证集以及测试集；
训练子单元，用于通过所述训练集、所述验证集以及所述测试集对预设的原始模型进行训练，得到训练好的人体检测模型。
进一步地，所述获取子单元包括：
获取模块，用于按照预设分辨率获取真实场景下红外相机的人体热成像数据，得到视频流数据；
处理模块，用于对视频流进行帧处理操作，得到原始热成像图像数据。
进一步地，所述预处理子单元，具体用于根据预设的标注框大小阈值对所述标注图像数据进行过滤处理，得到预处理图像数据。
进一步地，所述人体检测模型的主干网络部分和Neck部分，其中，所述主干网络部分包括GhostNet网络，所述GhostNet网络用于图像特征提取，所述GhostNet网络包括SPP多尺度模块；所述Neck部分结合ECA注意力算法和PAN空间金字塔结构，用于从不同的主干层对不同的检测层进行参数聚合。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的行人安全监控方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的行人安全监控方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种行人安全监控方法的流程示意图；
图2为本申请实施例提供的一种行人安全监控装置的结构示意图；
图3为本申请实施例提供的一种backbone部分所使用的SPP模块示意图；
图4为本申请实施例提供的一种backbone部分示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供了一种行人安全监控方法的流程示意图。其中，该行人安全监控方法包括：
S101、按照预设分辨率获取真实场景下红外相机的人体热成像数据，得到视频流数据。
本实施例中，该方法首先可以使用红外相机获取真实场景下的行人热成像数据，得到的是视频流数据。
在本实施例中，进行数据采集时通常需要保证一定的分辨率。
S102、对视频流进行帧处理操作，得到原始热成像图像数据。
S103、对原始热成像图像数据进行人体最小外接矩形框的标注处理，得到标注图像数据。
本实施例中，该方法在得到红外相机的视频流数据后，可以对视频流进行帧处理操作得到图像数据，并且使用labeling等标注软件，对实际的图像数据进行标注，标注为人体的最小外接矩形框。
S104、根据预设的标注框大小阈值对标注图像数据进行过滤处理，得到预处理图像数据。
本实施例中，该方法可以先对数据进行预处理，包括去除小于20*20标注框，防止矿井下干扰物对模型的影响。
在本实施例中，该方法在训练前使用了kmeans++算法来获取热成像行人检测的先验框，同时按照预测尺度大小分配合适的Anchor，能够提高模型目标定位的精度。
S105、按照预设的划分比例，对预处理图像数据进行数据集划分，得到用于模型训练的训练集、验证集以及测试集。
本实施例中，该方法可以按照一定划分比例，对数据集(即预处理图像数据)进行数据划分，得到训练所用的训练集、验证集以及测试集。
S106、通过训练集、验证集以及测试集对预设的原始模型进行训练，得到训练好的人体检测模型。
本实施例中，该方法可以将处理好的数据送入到模型中进行训练。
本实施例中，人体检测模型的主干网络部分和Neck部分，其中，主干网络部分包括GhostNet网络，GhostNet网络用于图像特征提取，GhostNet网络包括SPP多尺度模块；Neck部分结合ECA注意力算法和PAN空间金字塔结构，用于从不同的主干层对不同的检测层进行参数聚合。
请参看图3和图4，该训练过程可以包括以下几个步骤：
①该模型中的backbone部分，为了避免在特征提取过程中特征图冗余情况使用了GhostNet作为特征提取网络，对其中的一个特征图进行简单的线性运算从而生成更多相似特征图，并且与其它特征提取网络相比有着较少的参数。
如图4所示，backbone部分主要是由在GhostNet网络中的Ghost bottleNeck模块穿插SPP模块实现的。Ghost bottleNeck模块是由Ghost module组成的瓶颈结构，并且该模块的实现也有Residual Block的思想存在。Ghost module模块是由两部分组成，首先是输入特征图经过1×1卷积、Batch_Normalization、激活函数等操作后完成对特征图的通道压缩，再进行深度可分离卷积(逐层卷积)得到更多的特征图，然后将不同的特征图合并(concat)到一起，组合成新的特征图。
②backbone部分所使用的SPP模块如图3所示，该模块借助了空间金字塔池化思想，SPP模块对输入的特征图，分别使用最大池化的1*1池化核、最大池化的5*5池化核、最大池化的9*9池化核、最大池化的13*13池化核，并且对这些不同尺度的池化结果使用concat函数进行一个通道上的融合。通过SPP模块操作实现了局部特征和全局特征的融合，丰富了特征图的表达能力，对所检测图像中的目标大小差异较大的情况有很大的帮助，可进一步提升检测模型的精度。
③在网络的Neck部分，使用了ECA注意力机制和PAN结构相结合的方法。SE注意力机制会先对输入的特征图进行通道压缩，但是这种降维方式会使得在学习通道间依赖关系时对模型性能有不利影响。为此在模型中采用了ECA注意力机制。
如图4所示，ECA注意力机制方法首先将输入特征图进行全局平均池化操作，然后进行卷积核大小为k的一维卷积操作，并经过sigmoid激活函数得到各通道的权重w，将权重与原始输入特征图对应元素相乘，即得到最终的输出特征图。PAN结构使用了FPN自上而下的特征金字塔，把高层语义信息传递下来，增强语义信息，同时使用了一个自下而上的金字塔结构，把底层的定位特征传递到高层，这样使得特征提取结合了语义信息和位置信息。Backbone完成特征提取后输出三个尺度的特征图作为输入特征图，输入到Neck模块经过PAN结构对特征图进行多尺度融合加强提取，最后通过预测层得到三个尺度的预测边框。
④针对数据集进行目标Anchor聚类。Anchor的合理设置对于目标检测模型最终的性能有着重要的影响，若是设置不合理与目标实际尺度有较大差异，会导致模型在应用阶段出现大量的漏检以及误检现象发生。为此，在训练前，使用kmeans++算法对数据集中的目标进行聚类，最终达到所需要的9个尺寸的先验框。kmeans++算法对比kmeans算法，主要是在随机选取初始化聚类中心方面有很大的改善，kmeans++算法在聚类中心的初始化过程中的基本原则是使得初始的聚类中心之间的相互距离尽可能远，这样可以避免出现训练过程中算法收敛速度过慢的问题。
S107、获取矿井下用于目标人员安全监控的热成像视频流。
S108、通过人体检测模型对热成像视频流流进行人体检测，得到检测结果。
本实施例中，该方法可以通过训练好的模型来进行实际矿井下场景的热成像数据的行人检测。
S109、根据检测结果预测目标人员当前所处环境是否存在危险，若是，则执行步骤S110；若否，则结束本流程。
S110、输出危险预警信息。
本实施例中，应当理解的是该方法是一种基于改进Yolov3算法的热成像行人检测方法。具体的，该方法中在主干网络部分使用GhostNet网络代替Yolov3的DarkNet来进行图像特征提取，同时通过减少模型的计算参数量，提高检测速度。
在本实施例中，该方法在GhostNet网络中插入SPP多尺度模块，增加浅层和深层信息之间的交互融合，提高检测准确率。
在本实施例中，该方法在Neck部分，使用ECA注意力机制和PAN空间金字塔结构相结合的方法，从不同的主干层对不同的检测层进行参数聚合，增强了图像的语义及位置信息。
该方法需要根据不同领域的检测目标手动设计对应的特征算子，从而提升其适应性，泛化能力弱、鲁棒性差。而深度学习two-stage目标检测算法，虽然其精度较高，但是由于网络首先需要进行候选区域生成，并且针对候选区域进行分类以及位置回归得到检测的结果，导致实时性效果差，无法满足实际场景要求。并且由于矿井下，环境复杂、行人尺度不统一、灰尘多、行人易受到光照影响，这些因素都会影响到算法的准确率，而算法的准确率以及实时性对于监控矿井下工作人员的安全是重中之重。为了解决目前技术存在的技术问题，本申请采用one-stage模型来满足矿井下热成像行人检测的实时性要求，同时针对算法准确率的问题，该方法在backbone、neck部分都做了相应的改进，以保证模型检测速度的同时也具有一定的准确率。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的行人安全监控方法，能够解决传统目标检测算法因为需要手工设计算子，而导致的泛化能力弱、鲁棒性差等技术问题。同时，还能够解决two-stage的目标检测算法中，由于在模型训练时需要先生成候选区域而导致的实时性能差、无法满足真实场景要求的问题。具体的，该方法能够对one-stage算法的网络部分进行改进，从而更新出新的backbone特征提取模块、neck特征加强提取模块，进而使得训练出来的模型在精度和检测速度上皆有一定的提升。同时，本方法还可以对数据特征进行充分拟合，从而使得其能够针对矿井下复杂的工作环境，对矿井下的工作人员进行有效的检测，进而便于给矿井下的工作人员进行提前预警，切实保障工作人员的安全。
实施例2
请参看图2，图2为本申请实施例提供的一种行人安全监控装置的结构示意图。如图2所示，该行人安全监控装置包括：
构建单元210，用于预先构建人体检测模型；
获取单元220，用于获取矿井下用于目标人员安全监控的热成像视频流；
人体检测单元230，用于通过人体检测模型对热成像视频流流进行人体检测，得到检测结果；
预测单元240，用于根据检测结果预测目标人员当前所处环境是否存在危险；
预警单元250，用于当判断出存在危险时，输出危险预警信息。
作为一种可选的实施方式，构建单元210包括：
获取子单元211，用于获取原始热成像图像数据；
标注子单元212，用于对原始热成像图像数据进行人体最小外接矩形框的标注处理，得到标注图像数据；
预处理子单元213，用于对标注图像数据进行预处理，得到预处理图像数据；
划分子单元214，用于按照预设的划分比例，对预处理图像数据进行数据集划分，得到用于模型训练的训练集、验证集以及测试集；
训练子单元215，用于通过训练集、验证集以及测试集对预设的原始模型进行训练，得到训练好的人体检测模型。
作为一种可选的实施方式，获取子单元211包括：
获取模块，用于按照预设分辨率获取真实场景下红外相机的人体热成像数据，得到视频流数据；
处理模块，用于对视频流进行帧处理操作，得到原始热成像图像数据。
作为一种可选的实施方式，预处理子单元213，具体用于根据预设的标注框大小阈值对标注图像数据进行过滤处理，得到预处理图像数据。
本实施例中，人体检测模型的主干网络部分和Neck部分，其中，主干网络部分包括GhostNet网络，GhostNet网络用于图像特征提取，GhostNet网络包括SPP多尺度模块；Neck部分结合ECA注意力算法和PAN空间金字塔结构，用于从不同的主干层对不同的检测层进行参数聚合。
本实施例中，对于行人安全监控装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的行人安全监控装置，能够解决传统目标检测算法因为需要手工设计算子，而导致的泛化能力弱、鲁棒性差等技术问题。同时，还能够解决two-stage的目标检测算法中，由于在模型训练时需要先生成候选区域而导致的实时性能差、无法满足真实场景要求的问题。具体的，该装置能够对one-stage算法的网络部分进行改进，从而更新出新的backbone特征提取模块、neck特征加强提取模块，进而使得训练出来的模型在精度和检测速度上皆有一定的提升。同时，本装置还可以对数据特征进行充分拟合，从而使得其能够针对矿井下复杂的工作环境，对矿井下的工作人员进行有效的检测，进而便于给矿井下的工作人员进行提前预警，切实保障工作人员的安全。
本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1中的行人安全监控方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1中的行人安全监控方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种行人安全监控方法，其特征在于，包括：
预先构建人体检测模型；
获取矿井下用于目标人员安全监控的热成像视频流；
通过所述人体检测模型对所述热成像视频流流进行人体检测，得到检测结果；
根据检测结果预测所述目标人员当前所处环境是否存在危险；
如果是，输出危险预警信息。
2.根据权利要求1所述的行人安全监控方法，其特征在于，所述预先构建人体检测模型，包括：
获取原始热成像图像数据；
对所述原始热成像图像数据进行人体最小外接矩形框的标注处理，得到标注图像数据；
对所述标注图像数据进行预处理，得到预处理图像数据；
按照预设的划分比例，对所述预处理图像数据进行数据集划分，得到用于模型训练的训练集、验证集以及测试集；
通过所述训练集、所述验证集以及所述测试集对预设的原始模型进行训练，得到训练好的人体检测模型。
3.根据权利要求2所述的行人安全监控方法，其特征在于，所述获取原始热成像图像数据，包括：
按照预设分辨率获取真实场景下红外相机的人体热成像数据，得到视频流数据；
对视频流进行帧处理操作，得到原始热成像图像数据。
4.根据权利要求2所述的行人安全监控方法，其特征在于，所述对所述标注图像数据进行预处理，得到预处理图像数据，包括：
根据预设的标注框大小阈值对所述标注图像数据进行过滤处理，得到预处理图像数据。
5.根据权利要求1所述的行人安全监控方法，其特征在于，所述人体检测模型的主干网络部分和Neck部分，其中，所述主干网络部分包括GhostNet网络，所述GhostNet网络用于图像特征提取，所述GhostNet网络包括SPP多尺度模块；
所述Neck部分结合ECA注意力算法和PAN空间金字塔结构，用于从不同的主干层对不同的检测层进行参数聚合。
6.一种行人安全监控装置，其特征在于，所述行人安全监控装置包括：
构建单元，用于预先构建人体检测模型；
获取单元，用于获取矿井下用于目标人员安全监控的热成像视频流；
人体检测单元，用于通过所述人体检测模型对所述热成像视频流流进行人体检测，得到检测结果；
预测单元，用于根据检测结果预测所述目标人员当前所处环境是否存在危险；
预警单元，用于当判断出存在危险时，输出危险预警信息。
7.根据权利要求6所述的行人安全监控装置，其特征在于，所述构建单元包括：
获取子单元，用于获取原始热成像图像数据；
标注子单元，用于对所述原始热成像图像数据进行人体最小外接矩形框的标注处理，得到标注图像数据；
预处理子单元，用于对所述标注图像数据进行预处理，得到预处理图像数据；
划分子单元，用于按照预设的划分比例，对所述预处理图像数据进行数据集划分，得到用于模型训练的训练集、验证集以及测试集；
训练子单元，用于通过所述训练集、所述验证集以及所述测试集对预设的原始模型进行训练，得到训练好的人体检测模型。
8.根据权利要求7所述的行人安全监控装置，其特征在于，所述获取子单元包括：
获取模块，用于按照预设分辨率获取真实场景下红外相机的人体热成像数据，得到视频流数据；
处理模块，用于对视频流进行帧处理操作，得到原始热成像图像数据。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的行人安全监控方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的行人安全监控方法。
CN202210964104.9A 2022-08-11 2022-08-11 一种行人安全监控方法及装置 Pending CN115294528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964104.9A CN115294528A (zh) 2022-08-11 2022-08-11 一种行人安全监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964104.9A CN115294528A (zh) 2022-08-11 2022-08-11 一种行人安全监控方法及装置

Publications (1)

Publication Number Publication Date
CN115294528A true CN115294528A (zh) 2022-11-04

Family

ID=83828880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964104.9A Pending CN115294528A (zh) 2022-08-11 2022-08-11 一种行人安全监控方法及装置

Country Status (1)

Country Link
CN (1) CN115294528A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质
CN116597387A (zh) * 2023-07-17 2023-08-15 建信金融科技有限责任公司 一种异常处理方法、装置、电子设备及计算机可读介质
CN117671594A (zh) * 2023-12-08 2024-03-08 中化现代农业有限公司 安全监控方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质
CN116597387A (zh) * 2023-07-17 2023-08-15 建信金融科技有限责任公司 一种异常处理方法、装置、电子设备及计算机可读介质
CN117671594A (zh) * 2023-12-08 2024-03-08 中化现代农业有限公司 安全监控方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111626350B (zh) 目标检测模型训练方法、目标检测方法及装置
CN115294528A (zh) 一种行人安全监控方法及装置
CN109766779B (zh) 徘徊人员识别方法及相关产品
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
US20190258866A1 (en) Human presence detection in edge devices
CN113673459B (zh) 基于视频的生产施工场所安全巡检方法、系统、设备
US20130170696A1 (en) Clustering-based object classification
CN111598040A (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN113688709B (zh) 一种安全帽佩戴智能检测方法、系统、终端及介质
Li et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和系统
CN114445780A (zh) 裸土苫盖的检测方法及装置、识别模型的训练方法及装置
CN115512387A (zh) 基于改进yolov5模型的工地安全帽佩戴检测方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
de Venâncio et al. A hybrid method for fire detection based on spatial and temporal patterns
Zheng et al. Real-time fire detection algorithms running on small embedded devices based on MobileNetV3 and YOLOv4
CN117115743A (zh) 矿用安全生产监控系统及其方法
Zeng et al. JRL‐YOLO: A Novel Jump‐Join Repetitious Learning Structure for Real‐Time Dangerous Object Detection
CN116310922A (zh) 石化厂区监控视频风险识别方法、系统、电子设备及存储介质
De Venâncio et al. Fire detection based on a two-dimensional convolutional neural network and temporal analysis
Dai et al. Multi-scale video flame detection for early fire warning based on deep learning
CN117612249A (zh) 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN116863288A (zh) 基于深度学习的目标检测和报警方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination