CN116071796A - 一种重大危险源人员监测方法及系统 - Google Patents
一种重大危险源人员监测方法及系统 Download PDFInfo
- Publication number
- CN116071796A CN116071796A CN202211680943.4A CN202211680943A CN116071796A CN 116071796 A CN116071796 A CN 116071796A CN 202211680943 A CN202211680943 A CN 202211680943A CN 116071796 A CN116071796 A CN 116071796A
- Authority
- CN
- China
- Prior art keywords
- personnel
- network
- face
- layer
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 239000000383 hazardous chemical Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010977 unit operation Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种重大危险源人员监测方法及系统，包括以下步骤：在边缘端设备上，从现有监控系统中拉取视频流获取帧图像，基于帧图像分别进行人脸检测、人员属性识别和人员行为识别，并将获得的人脸检测结果、属性识别结果和行为识别结果推送到云端服务器；在云端服务器上，人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
Description
技术领域
本发明涉及人员监测技术领域，具体的说，涉及了一种重大危险源人员监测方法及系统。
背景技术
根据《危险化学品重大危险源辨识》(GB18218-2009)规定，重大危险源是指长期地或者临时地生产、搬运、使用或者储存危险物品，且危险物品的数量等于或者超过临界量的单元。重大危险源区域均实施严格的门禁管理，禁止无关人员进入；进入重大危险源区域的人员均需严格按照穿戴要求，并严格遵守行为规范。
现阶段，针对重大危险源区域的管理，主要以厂区的视频监控为基础，由值班员查看。由于人类自身注意力不能持久坚持的特性，容易错过重要画面信息，据调查，值班员持续盯着屏幕22分钟后，后续的95％的画面信息被忽视。另外，在监控系统中，摄像机数量远大于监视器数量，采用轮巡显示、多画面小图像的方式，极易错过异样现象。且在监控系统中，监视与录像分开，值班员即使发现异样，画面即可消失，难以确定为异常事件。故目前对于重大危险源区域的人员管理工作存在工作强度大、效率低、盲点多、可靠性差等棘手问题，急需一种智能的方法来解决。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种重大危险源人员监测方法及系统。
为了实现上述目的，本发明所采用的技术方案是：一种重大危险源人员监测方法，包括以下步骤：
在边缘端设备上，从现有监控系统中拉取视频流获取帧图像，基于帧图像分别进行人脸检测、人员属性识别和人员行为识别，并将获得的人脸检测结果、属性识别结果和行为识别结果推送到云端服务器；
在云端服务器上，人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
在一个实施例中，将帧图像输入至人员属性识别网络中进行人员属性识别，得到属性识别结果；
其中，所述人员属性识别网络包括骨干网络、特征融合网络和输出网络，所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括4个Conv层、一个Upsample层、2个Concat层、1个C3+Conv+Upsample层、1个C3层以及2个Concat+C3层；所述输出网络包括1个输出层。
在一个实施例中，将帧图像输入至人员行为识别网络中进行人员行为识别，得到行为识别结果；
其中，所述人员行为识别网络包括骨干网络、特征融合网络和输出网络，所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括4个Conv层、一个Upsample层、2个Concat层、1个C3+Conv+Upsample层、1个C3层以及2个Concat+C3层；所述输出网络包括1个输出层。
在一个实施例中，所述Conv层包含两维分组卷积层、批处理层和SiLU激活函数层。
在一个实施例中，所述C3层包括ConvSig单元，所述ConvSig单元包括1×1Conv、1×1Conv+SIgmoid以及特征乘法层，所述1×1Conv和所述1×1Conv+SIgmoid分别输入至所述特征乘法层进行Mul特征乘法操作。
进一步的，本发明还提供一种重大危险源人员监测系统，包括监控系统、边缘端设备、云端服务器和一体化管理平台；
所述监控系统，用于获取监控视频流；
所述边缘端设备上内置有人脸检测网络、人员属性识别网络和人员行为识别网络，所述人脸检测网络用于对帧图像进行人脸检测，得到人脸检测结果；
所述人员属性识别网络用于对帧图像进行人员属性识别，得到属性识别结果；
所述人员行为识别网络用于对帧图像进行人员行为识别，得到行为识别结果；
所述云端服务器上设置有人脸管理微服务、人员属性微服务和异常行为微服务；
所述人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；
所述人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；
所述异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明依托人脸识别、人员属性识别、人员行为识别等核心人工智能算法，提出的一种重大危险源人员监测方法及系统，包括视频监控和智能分析，从而实现对不同人员在重大危险源区域的行为管理、穿戴管理等多方面的管理；通过统一的、高度集中的管理平台，实现现有监控系统的全面整合与统一管理，简化管理流程，提升人员管理效率以及综合防范能力。
本发明围绕重大危险源厂区的业务工作，采用人工智能创新技术，以厂区的视频监控为基础，深化厂区信息化建设，提高管理的智能化水平，解决传统厂区人员管理普遍存在的工作强度大、效率低、盲点多、可靠性差等棘手问题，保障厂区人员充分履行职能；利用智能视频分析技术实现无感无源智能监控管理模式，优化厂区管理工作、推进“智慧厂区”建设。
本发明将边缘设备与云端服务器结合起来，利用边缘设备对监控系统采集的帧图像进行深度分析和机器学习，并进行现场决策，降低了相关信息的传输时间，减小了延迟；处理之后的数据，也会在云端服务器汇聚，利用云端服务器的各种服务进行大数据分析，实现现有监控系统的全面整合与统一管理，简化管理流程，提升人员管理效率。
附图说明
图1为本发明的原理框图。
图2为本发明方法实施例中人员属性识别网络结构图。
图3为本发明方法实施例中C3层组成图。
图4为本发明方法实施例中SPPF层组成图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例1
如图1所示，本实施例提供一种重大危险源人员监测系统，包括监控系统、边缘端设备、云端服务器和一体化管理平台；
所述监控系统，用于获取监控视频流；
所述边缘端设备上内置有人脸检测网络、人员属性识别网络和人员行为识别网络，所述人脸检测网络用于对帧图像进行人脸检测，得到人脸检测结果；
所述人员属性识别网络用于对帧图像进行人员属性识别，得到属性识别结果；
所述人员行为识别网络用于对帧图像进行人员行为识别，得到行为识别结果；
所述云端服务器上设置有人脸管理微服务、人员属性微服务和异常行为微服务；
所述人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；
所述人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；
所述异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
对应的，本实施例提供一种重大危险源人员监测方法，包括以下步骤：
在边缘端设备上，从现有监控系统中拉取视频流获取帧图像，基于帧图像分别进行人脸检测、人员属性识别和人员行为识别，并将获得的人脸检测结果、属性识别结果和行为识别结果推送到云端服务器；
在云端服务器上，人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
可以理解的是，在获取帧图像后，还需要进行图像预处理操作，从而使得输入至人员属性识别网络和人员行为识别网络的图像大小是固定的；具体步骤如下：
假设原图像大小为h*w，网络设定大小为r*r，r是32的倍数；
将原图像的长边max(h,w)缩放到网络尺寸r，得到缩放比例系数k＝r/max(h,w)；
采用缩放比例系统对原图像的短边min(h,w)进行同比例缩放，得到新的短边k*min(h,w)；
对新的短边k*min(h,w)进行填充，以使短边k*min(h,w)满足32的倍数；
计算填充量pad：
pad＝(r-k*min(h,w))％32
最终得到图像大小为r*(k*min(h,w)+pad)为网络输入图像。
在一个实施例中，将帧图像输入至人员属性识别网络中进行人员属性识别，得到属性识别结果；
其中，所述人员属性识别网络包括骨干网络、特征融合网络和输出网络，具体网络结构图如图2所示；所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括4个Conv层、一个Upsample层、2个Concat层、1个C3+Conv+Upsample层、1个C3层以及2个Concat+C3层；所述输出网络包括1个输出层。
将帧图像输入至所述人员属性识别网络后，先使用Conv层、4个Conv+C3层以及1个SPPF层对帧图像进行5次2倍的下采样，得到1/8、1/16、1/32分辨率的特征图，再利用Conv+Upsample层、C3+Conv+Upsample层对特征图进行卷积和上采样操作得到1/16和1/8分辨率的特征图，并对1/16和1/8特征图进行Concat层拼接操作；然后再使用卷积Conv层进行下采样得到1/16和1/32的特征图，对1/16和1/32特征图进行Concat+C3层操作，再进行Conv层操作得到Output输出结果。
在一个实施例中，所述Conv层包含二维分组卷积单元、批处理单元和SiLU激活函数单元。
与采用传统的二维卷积相比，采用二维的分组卷积可大幅降低参数量。为方便理解，假设输入通道数channel＝1024，输出通道数channel＝512，卷积核大小kernel_size＝1，分组groups＝4；传统的二维卷积中，每个卷积核大小为1*1*1024，总的参数量为512*1*1*1024；而采用二维分组卷积分组后，每个group的输入通道数channel＝1024/4＝256，每个group的输出通道数channel＝512/4＝128，每个group里的卷积核大小为1*1*256，总的参数量为512*1*1*256；因此，二维分组卷积层的参数量为传统二维卷积的1/groups。
进一步的，所述批处理层用于使该层特征值服从正态分布；使用时，先计算输入特征值的均值μ和方差σ2，然后根据均值μ和方差σ2得到新的特征值：
其中，∈是一个偏置，防止分母趋于0；scale和shift参数由网络学习得到，用于对正态分布数据进行扩展和平移，增强网络的表达能力，减少梯度消失，加快收敛过程。
进一步的，所述SiLU激活函数单元的激活函数为：
当x>0时，函数形式同ReLU函数相似；当x<0时，SiLU值为负值，随着x的绝对值越大，SiLU值就趋近于0；SiLU激活函数表现出ReLU非线性特点，能够避免梯度弥散消失，同时具有一定的正则效应。
在一个实施例中，所述C3层包括ConvSig单元，所述ConvSig单元包括1×1Conv模块、1×1Conv+SIgmoid模块以及特征乘法模块，所述1×1Conv模块和所述1×1Conv+SIgmoid模块分别输入至所述特征乘法模块进行Mul特征乘法操作。
使用时，输入特征InputFeature经过ConvSig单元操作得到特征图1；输入特征InputFeature再经过ConvSig单元操作得到特征图2，特征图2经过两个ConvSig单元得到特征图3，特征图2和特征图3进行Add操作得到特征图4；特征图1和特征图4先进行Concat操作，再经过ConvSig单元操作，得到输出特征OutFeature。
进一步地，所述SPPF层由Conv层、MaxPool层和Concat层组成，具体网络结构图如图4所示。使用时，输入特征InputFeature经过Conv层得到特征图1，特征图1经过三次最大池化操作得到特征图2、特征图3、特征图4，特征图1、特征图2、特征图3与特征图4先进进行Concat操作，再经过Conv层得到输出特征OutFeature。所述SPPF层有效避免了对图像区域裁剪、缩放操作导致的图像失真等问题；且解决了卷积神经网络对图相关重复特征提取的问题，大大提高了产生候选框的速度，节省了计算成本。
利用人员属性识别网络，得到属性识别结果后，将属性识别结果数据转换为JSON字符串，并使用HTTP协议将字符串推送到云端服务器中的人员属性管理微服务中；人员属性管理微服务对属性识别结果进行数据存储和数据检索，并判断该人员的属性是否合乎安全规范；如果异常就标记为事件，将该事件数据POST请求推送到一体化管理平台，并通知相关人员及时处理。
可以理解，机器学习中的监督学习本质上是给定一系列训练样本(xi,yi)，尝试学习x→y的映射关系，使得给定一个x，即便这个x不在训练样本中，也能够得到尽量接近真实的输出y。而损失函数(LossFunction)则是这个过程中关键的一个组成部分，用来衡量模型的输出与真实的之间的差距，给模型的优化指明方向。
机器学习中，常见的损失函数有多种，每种损失函数的基本形式、原理、特点等方面各有不同。本实施例中，深度学习网络的损失函数由边框损失函数、目标概率损失函数和分类损失函数三部分组合而成。
具体的，边框损失函数形式如下：
其中，为边框损失函数，IoY是预测边框与真实边框的交并比，是中心点距离占比惩罚项，d是预测边框中心点与真实边框中心点的距离，c是预测边框与真实边框的最小包围框对角线长；v是宽高比惩罚项，为真实边框与预测边框的宽高比损失。
当预测边框与真实边框互相包含，或者互相垂直交叉、水平交叉，中心点距离占比惩罚项就会发挥作用，改变损失值，为模型提供更好的梯度方向。当目标边框等比放大时，损失能保持同样的量级，无需针对大小不同边框分别处理。当预测边框与真实边框的中心点重合时，宽高比惩罚项v能及进一步调整宽高比例。
可以看出，边框损失函数综合了IoU的交叉面积占比损失，中心点偏移损失和宽高比损失3种度量优势。
具体的，目标概率损失函数形式如下：
objscore＝(1.0-gr)+gr*IoU
其中，为目标概率损失函数，objscore为，gr为可调因子，用于调整objscore与IoU的比例关系，实验中取值1.0；y取值为0或1，y＝1表示是正样本，y＝0表示是负样本；τ>0为可调节因子，实验中τ取0.5；对于分类正确的样本objscore趋近于1，(1-objscore)τ趋近于0；对于分类不正确的样本1-objscoRE趋近于1，(1-OBJScorE)τ趋近于1。
相比于交叉熵损失，目标概率损失对于分类不准确的样本，损失没有改变；对于分类准确的样本，损失变小；即对于未正确分类的样本，给予更高的权重，故该损失函数能解决正负样本不均衡问题。
objscORE反映了分类的难易程度，objscore越大说明分类的置信度越高，代表样本越易区分；objscore越小说明分类的置信度越低，代表样本越难区分。因此目标概率损失使得损失函数倾向于难分的样本，有助于提高难分样本的准确度。
分类损失函数形式如下：
为分类损失；多类别分类损失采用01二分类交叉熵；pred表示类别预测概率值，true表示类别真实值，类别为正样本概率值为1，类别为负样本概率值为0。
进一步的，p_t＝true*pred+(1-true)*(1-pred)；
其中，p_t表示正样本预测正确时，概率接近于1；负样本预测正确时，概率也接近于1。
更进一步的，β＝0.25*true+0.75(1-true)
γ＝(1.0-p_t)1.25
其中，β，γ参数修正类别损失当样本预测错误时，β，γ参数值变大，使损失值提高。
根据上述可知，本实施例中深度学习网络的损失函数形式为：
在一个实施例中，将帧图像输入至人员行为识别网络中进行人员行为识别，得到行为识别结果；
其中，所述人员行为识别网络包括骨干网络、特征融合网络和输出网络，所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括4个Conv层、一个Upsample层、2个Concat层、1个C3+Conv+Upsample层、1个C3层以及2个Concat+C3层；所述输出网络包括1个输出层。
可以看出，人员行为识别网络与人员属性识别网络结构一样，但由于训练数据不一样，因此最终得到的识别模型也不一样。
利用人员行为识别网络，得到行为识别结果后，将行为识别结果数据转换为JSON字符串，并使用HTTP协议将字符串推送到云端服务器中的人员异常行为管理微服务中；人员异常行为微服务对行为识别结果进行数据存储，并判断该人员的行为是否异常；如果异常就标记为事件，将该事件数据POST请求推送到一体化管理平台，并通知相关人员及时处理。
实施例2
本实施例给出重大危险源区域人员监测的一个具体实施例。
正常情况下，进入重大危险源区域的人员，必须是该岗位的工作人员，其他人员不可进入；进入重大危险源区域的人员，必须是工装穿戴整齐，工装未穿戴整齐不可进入；在该区域活动的人员，如果出现人员倒地情况，要进行预警，事件上报，并通知该区域的管理员进行处理。
应用实施例1中所述的重大危险源区域人员监测方法后的具体业务流程如下：
1)从现有的监控系统中拉取视频流获取帧图像。
2)将帧图像转发给人脸检测网络进行人脸识别判断，如果人脸识别正确，就进行步骤3)操作；如果人脸识别错误，语音提示“人脸识别错误，请离开该区域”。
3)将帧图像转发给人员属性识别网络进行人员属性识别，人员属性具体包括穿戴工装、安全帽、手套和靴子。如果人员属性识别正确，就进行步骤4)操作；如果人员属性识别错误，语音提示“人员属性识别错误，请离开该区域”。
4)将人脸识别、人员属性识别结果信息推送到云端微服务，云端微服务接收信息后，与数据库信息进行比对，将事件上报给一体化管理平台。
5)将帧图像转发给人员行为识别网络进行人员行为识别，人员异常行为具体包括人员跌倒、抽烟、打电话和攀爬。如果存在人员异常行为，就进行步骤3)操作；如果不存在人员异常行为，则不进行任何操作。
6)将人员行为识别结果信息推送到云端微服务，云端微服务接收信息，存储到数据库中，并短信通知责任人进行处理，同时将事件上报给一体化管理平台。
实施例3
本实施例与实施例2的区别在于：进行重大危险源区域人员监测的过程中，采用主动识别和被动识别相结合的方式，实现人员属性的精细化检测与识别，以判断员工是否标准化穿戴。
具体的，主动识别是指，在危险源区域入口处，让员工按照规定姿势站立，对员工进行正面和背面的拍照抓图；使用人员属性识别网络对抓拍图片进行分析，并语音播报标准化穿戴识别结果；如果标准化穿戴识别结果为工装穿戴不标准，阻止员工的进入。
被动识别是指，员工进入重大危险源区域后，该区域的所有相机主动对员工进行视频监测，并使用人员属性识别网络对进入的人员进行视频分析，识别工装穿戴是否标准；如不标准，上报事件，同时语音播报让其离开。
可以看出，主动识别，是员工标准化穿戴的精细化识别方式，要求员工主动配合，要求智能视频分析算法的识别精度高。被动识别，是员工标准化穿戴的粗粒化识别方式，员工无感识别，受实际环境的约束条件，该方式的智能视频分析算法的识别精度低于主动识别方式。主动加被动的识别方式，能够实现人员自进入到离开重大危险区域全方位高精度的监测。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (10)
1.一种重大危险源人员监测方法，其特征在于，包括以下步骤：
在边缘端设备上，从现有监控系统中拉取视频流获取帧图像，基于帧图像分别进行人脸检测、人员属性识别和人员行为识别，并将获得的人脸检测结果、属性识别结果和行为识别结果推送到云端服务器；
在云端服务器上，人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
2.根据权利要求1所述的重大危险源人员监测方法，其特征在于：将帧图像输入至人员属性识别网络中进行人员属性识别，得到属性识别结果；
其中，所述人员属性识别网络包括骨干网络、特征融合网络和输出网络，所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括1个Conv+Upsample层、1个Concat层、1个C3+Conv+Upsample层以及3个Concat+C3+Conv层；所述输出网络包括1个输出层。
3.根据权利要求1所述的重大危险源人员监测方法，其特征在于：将帧图像输入至人员行为识别网络中进行人员行为识别，得到行为识别结果；
其中，所述人员行为识别网络包括骨干网络、特征融合网络和输出网络，所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括4个Conv层、一个Upsample层、2个Concat层、1个C3+Conv+Upsample层、1个C3层以及2个Concat+C3层；所述输出网络包括1个输出层。
4.根据权利要求2或3所述的重大危险源人员监测方法，其特征在于，所述Conv层包含两维分组卷积层、批处理层和SiLU激活函数层；
所述C3层包括ConvSig单元，所述ConvSig单元包括1×1Conv模块、1×1Conv+SIgmoid模块以及特征乘法模块，所述1×1Conv模块和所述1×1Conv+SIgmoid模块分别输入至所述特征乘法模块进行Mul特征乘法操作。
5.根据权利要求1所述的重大危险源人员监测方法，其特征在于，所述人脸检测结果包括时间戳、摄像机IP、图片ID和人脸检测图数据；
所述人脸管理微服务从所述人脸检测图提取1024维人脸特征，与云端数据库中的人脸特征进行余弦值比对，比对值大于等于预设阈值时判定为数据库中人员，否则为其他人员。
6.根据权利要求1所述的重大危险源人员监测方法，其特征在于，获得人脸检测结果、属性识别结果或行为识别结果后，将推送所述人脸检测结果时，将所述人脸检测结果、属性识别结果或行为识别结果转换为JSON字符串，使用HTTP协议将JSON字符串推送至云端服务器中。
7.根据权利要求1所述的重大危险源人员监测方法，其特征在于，获取帧图像后，还需要进行图像预处理操作，具体步骤如下：
假设原图像大小为h*w，网络设定大小为r*r，r是32的倍数；
将原图像的长边max(h,w)缩放到网络尺寸r，得到缩放比例系数k＝r/max(h,w)；
采用缩放比例系统对原图像的短边min(h,w)进行同比例缩放，得到新的短边k*min(h,w)；
对新的短边k*min(h,w)进行填充，以使短边k*min(h,w)满足32的倍数；
计算填充量pad：
pad＝(r-k*min(h,w))％32
最终得到图像大小为r*(k*min(h,w)+pad)为网络输入图像。
8.一种重大危险源人员监测系统，其特征在于：包括监控系统、边缘端设备、云端服务器和一体化管理平台；
所述监控系统，用于获取监控视频流；
所述边缘端设备上内置有人脸检测网络、人员属性识别网络和人员行为识别网络，所述人脸检测网络用于对帧图像进行人脸检测，得到人脸检测结果；
所述人员属性识别网络用于对帧图像进行人员属性识别，得到属性识别结果；
所述人员行为识别网络用于对帧图像进行人员行为识别，得到行为识别结果；
所述云端服务器上设置有人脸管理微服务、人员属性微服务和异常行为微服务；
所述人脸管理微服务对人脸检测图进行人脸特征提取，与云端数据库中的人脸特征进行比对，得到人脸识别结果，推送到一体化管理平台；
所述人员属性微服务对人员属性识别结果进行数据存储和数据检索，得到人员属性判断结果，推送到一体化管理平台；
所述异常行为微服务对人员行为识别结果进行数据存储，上报异常事件到一体化管理平台。
9.根据权利要求8所述的一种重大危险源人员监测系统，其特征在于：所述边缘端设备上还设置有图像预处理层，所述图像预处理层用于对帧图像进行图像预处理操作，所述图像预处理操作包括以下步骤：
假设原图像大小为h*w，网络设定大小为r*r，r是32的倍数；
将原图像的长边max(h,w)缩放到网络尺寸r，得到缩放比例系数k＝r/max(h,w)；
采用缩放比例系统对原图像的短边min(h,w)进行同比例缩放，得到新的短边k*min(h,w)；
对新的短边k*min(h,w)进行填充，以使短边k*min(h,w)满足32的倍数；
计算填充量pad：
pad＝(r-k*min(h,w))％32
最终得到图像大小为r*(k*min(h,w)+pad)为网络输入图像。
10.根据权利要求8所述的一种重大危险源人员监测系统，其特征在于：所述人员属性识别网络和所述人员行为识别网络均包括骨干网络、特征融合网络和输出网络，所述骨干网络包括依次连接的Conv层、4个Conv+C3层以及1个SPPF层；所述特征融合网络包括4个Conv层、一个Upsample层、2个Concat层、1个C3+Conv+Upsample层、1个C3层以及2个Concat+C3层；所述输出网络包括1个输出层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211680943.4A CN116071796A (zh) | 2022-12-26 | 2022-12-26 | 一种重大危险源人员监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211680943.4A CN116071796A (zh) | 2022-12-26 | 2022-12-26 | 一种重大危险源人员监测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116071796A true CN116071796A (zh) | 2023-05-05 |
Family
ID=86174121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211680943.4A Pending CN116071796A (zh) | 2022-12-26 | 2022-12-26 | 一种重大危险源人员监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071796A (zh) |
-
2022
- 2022-12-26 CN CN202211680943.4A patent/CN116071796A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107808139B (zh) | 一种基于深度学习的实时监控威胁分析方法及系统 | |
| CN110348312A (zh) | 一种区域视频人体动作行为实时识别方法 | |
| CN112149761B (zh) | 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法 | |
| CN111881730A (zh) | 一种火电厂现场安全帽佩戴检测方法 | |
| CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统 | |
| CN112464843A (zh) | 一种基于人脸人形的精准客流统计系统、方法、及其装置 | |
| CN111918039A (zh) | 基于5g网络的人工智能高风险作业管控系统 | |
| CN112329688B (zh) | 一种公共场合用智能风险管控系统 | |
| CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
| WO2022114895A1 (ko) | 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법 | |
| CN115620471A (zh) | 一种基于大数据筛查的图像识别安防系统 | |
| CN111582278B (zh) | 人像分割方法、装置及电子设备 | |
| CN106372566A (zh) | 一种基于数字标牌紧急疏散系统及方法 | |
| CN114997279A (zh) | 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法 | |
| CN111339927A (zh) | 一种电力营业厅人员工作状态智能识别系统 | |
| CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
| CN109801394B (zh) | 一种工作人员考勤方法及装置、电子设备和可读存储介质 | |
| CN116071796A (zh) | 一种重大危险源人员监测方法及系统 | |
| CN115861905A (zh) | 一种基于物联网的酒店管理系统 | |
| CN115083212A (zh) | 一种基于三维建模的无人机定位智能管理系统 | |
| CN115410113A (zh) | 基于计算机视觉的跌倒检测方法、装置及存储介质 | |
| CN114283386A (zh) | 一种基于大数据的分析适应密集场景人流实时监测系统 | |
| CN111611951A (zh) | 一种基于机器视觉的安检人流量实时监控系统及方法 | |
| US20190266403A1 (en) | Server, method and wearable device for supporting maintenance of military apparatus based on binary search tree in augmented reality-, virtual reality- or mixed reality-based general object recognition | |
| KR102655474B1 (ko) | 보행량 측정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |