CN112434827A - 一种5t运维中安全防护识别单元 - Google Patents

一种5t运维中安全防护识别单元 Download PDF

Info

Publication number
CN112434827A
CN112434827A CN202011319385.XA CN202011319385A CN112434827A CN 112434827 A CN112434827 A CN 112434827A CN 202011319385 A CN202011319385 A CN 202011319385A CN 112434827 A CN112434827 A CN 112434827A
Authority
CN
China
Prior art keywords
protective clothing
target detection
identification
safety helmet
executing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011319385.XA
Other languages
English (en)
Other versions
CN112434827B (zh
Inventor
叶彦斐
林志峰
姜磊
童先洲
涂娟
胡文杰
华琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Fudao Software Co Ltd
Original Assignee
Nanjing Fudao Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Fudao Software Co Ltd filed Critical Nanjing Fudao Software Co Ltd
Priority to CN202011319385.XA priority Critical patent/CN112434827B/zh
Publication of CN112434827A publication Critical patent/CN112434827A/zh
Application granted granted Critical
Publication of CN112434827B publication Critical patent/CN112434827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明公开了一种5T运维中安全防护识别单元，识别单元包括控制模块、视频流管理模块、智能识别分析模块及综合管理模块；5T检测上位机可通过所述控制模块的thrift接口设置配置信息、开启关闭识别作业任务，实现对系统运行状态进行监测；所述视频流管理模块根据控制模块下发的配置信息和命令，从摄像头中拉取视频流并进行摄像头状态维护；所述智能识别分析模块通过5T运维中安全防护识别方法对作业人员、安全帽、防护服进行智能识别，以及进行安全帽和防护服事件分析；综合管理模块负责向平台上传事件，以及本地缓存事件的定期删除。安全防护识别单元实现了对铁路5T运维作业现场工作人员安全帽和防护服穿戴的实时自动识别及识别事件上传。

Description

一种5T运维中安全防护识别单元
技术领域
本发明涉及铁路安全监控与运维领域，具体涉及一种5T运维中安全防护识别单元。
背景技术
随着铁路线路的增加、覆盖区域变广，沿铁路运行线路建设的用于安放5T设备的探测站越来越多。5T系统是我国铁路相关部门为适应现代铁路的发展而建立的车辆安全防范系统，5T探测站的正常运转直接关系到铁路日常运行的安全与效率，对铁路的安全运行具有重要意义。
5T探测站日常运维作业过程中，工作人员需正确佩戴安全帽和穿着防护服。然而5T探测站中现有的视频监控系统虽然能实时显示站内工作人员工作情况,但对工作人员在作业工程中安全帽的佩戴和防护服的穿着无法做到实时识别，需要值守人员24小时监视和人工巡检。由于值守人员精力有限，容易疲劳走神，往往导致潜在威胁安全生产的事故发生。
发明内容
本发明公开了一种5T运维中安全防护识别单元，识别单元包括控制模块、视频流管理模块、智能识别分析模块及综合管理模块；5T检测上位机可通过所述控制模块的thrift接口设置配置信息、开启关闭识别作业任务，实现对系统运行状态进行监测；所述视频流管理模块根据控制模块下发的配置信息和命令，从摄像头中拉取视频流并进行摄像头状态维护；所述智能识别分析模块通过5T运维中安全防护识别方法对作业人员、安全帽、防护服进行智能识别，以及进行安全帽和防护服事件分析；综合管理模块负责向平台上传事件，以及本地缓存事件的定期删除。
优选的，所述识别单元执行以下流程：
(1)控制模块获取配置参数和识别任务启停命令，其中配置参数包括：识别时长、摄像头ip地址、摄像头用户名、摄像头密码、视频流对外端口号、每个事件存储图片张数和状态上报周期；
(2)判断是否开启识别作业，若开启识别任务，则转到步骤(3)，否则返回步骤(1)；
(3)获取环境光照强度数据；
(4)视频流管理模块根据从控制模块获得的配置参数从对应编号摄像头中拉取视频流；
(5)判断是否连续600秒未成功获取视频帧，若连续600秒未成功获取视频帧，则上报摄像头异常状态信息；否则转到步骤(6)；
(6)智能识别分析模块对视频帧中工作人员安全帽和防护服进行智能识别以及事件分析；
(7)综合管理模块将生成的事件通过post请求上传；
(8)综合管理模块将本地缓存的事件定期删除。
优选的，该识别单元的整体流程中所述拉取视频流具体步骤为：
(4-1)根据RSTP标准流协议从配置参数确定的对应编号摄像头获取视频当前帧；
(4-2)判断是否成功获取摄像头当前帧，若成功获取摄像头当前帧，则执行步骤(4-3)，否则直接转到步骤(4-4)；
(4-3)输出摄像头当前帧数据到图片数据队列；
(4-4)执行摄像头状态维护操作；
(4-5)等待1秒后转到步骤(4-1)。
优选的，拉取视频流流程中所述摄像头状态维护具体步骤为：
(4-4-1)读取摄像头当前状态和摄像头异常状态次数；
(4-4-2)判断摄像头当前状态是否正常，若摄像头当前状态正常，则执行步骤(4-4-3)，否则执行步骤(4-4-4)；
(4-4-3)将摄像头异常状态次数置为0；
(4-4-4)将摄像头异常次数加1；
(4-4-5)判断若摄像头异常状态次数是否大于600，若摄像头异常状态次数大于600，则执行步骤(4-4-6)；
(4-4-6)将摄像头状态设为异常。
优选的，该识别单元的整体流程中所述智能识别采用通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联方法并且基于匹配不同光照强度的多个网络识别模型来识别人员安全帽和防护服的穿戴，具体步骤为：
(6A-1)从数据队列获取视频帧；
(6A-2)判断获取视频帧是否成功，若获取视频帧成功，则执行步骤(6A-4),否则执行步骤(6A-3)；
(6A-3)等待直到数据队列有数据时转到步骤(6A-1)；
(6A-4)将视频帧输入YOLOv4目标检测网络进行人员检测；
(6A-5)根据YOLOv4目标检测网络输出的检测到人员的可信度判断是否检测到人员，若没有检测到人员，则执行步骤(6A-1)，否则执行步骤(6A-6)；
(6A-6)根据YOLOv4目标检测网络输出的人员目标框坐标参数对视频帧中检测到的人员目标框区域进行裁剪；
(6A-7)判断环境光照强度是否小于0.0018Lux，若小于0.0018Lux，则执行步骤(6A-8)，否则执行步骤(6A-9)；
(6A-8)将裁剪出的人员目标框区域图像输入适用于夜间识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-9)判断环境光照强度是否小于0.0022Lux，若小于0.0022Lux，则执行步骤(6A-10)，否则执行步骤(6A-11)；
(6A-10)将裁剪出的人员目标框区域图像分别输入适用于夜间识别和白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-11)判断环境光照强度是否小于9Lux，若小于9Lux，则执行步骤(6A-12)，否则执行步骤(6A-13)；
(6A-12)将裁剪出的人员目标框区域图像输入适用于白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-13)判断环境光照强度是否小于11Lux，若小于11Lux，则执行步骤(6A-14)，否则执行步骤(6A-15)；
(6A-14)将裁剪出的人员目标框区域图像分别输入适用于白天弱光照强度和白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-15)判断环境光照强度是否小于90Lux，若小于90Lux，则执行步骤(6A-16)，否则执行步骤(6A-17)；
(6A-16)将裁剪出的人员目标框区域图像输入适用于白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-17)判断环境光照强度是否小于110Lux，若小于110Lux，则执行步骤(6A-18)，否则执行步骤(6-19)；
(6A-18)将裁剪出的人员目标框区域图像分别输入适用于白天中光照强度和白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-19)将裁剪出的人员目标框区域图像输入适用于白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测；
(6A-20)储存当前帧人员安全帽和防护服穿戴信息。
优选的，所述采用通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联方法，首先采用YOLOv4目标检测网络进行人员检测，具体步骤为：
(6A-4-1)从作业现场不同光照强度下监控摄像头拍摄的监控视频中抽取出包含作业人员的视频帧，建立作业人员图像数据集；
(6A-4-2)使用LabelImg工具对图像中的人员标记，得到对应的XML格式的数据集文件，并将XLM格式的数据集转换为适用于YOLOv4目标检测网络的txt格式的数据集；
(6A-4-3)利用darknet深度学习框架搭建YOLOv4目标检测网络，具有以下步骤：
1)采用CSPDarknet53网络结构搭建YOLOv4目标检测网络的BackBone部分，BackBone部分的激活函数使用Mish激活函数，其公式为：
f(x)＝x*tanh(log(1+ex))
其中x为激活函数所在网络层的输入值，tanh()为双曲正切函数；Mish激活函数函数曲线平滑，能够允许更好的信息深入神经网络，从而得到更好的准确性和泛化，采用Dropblock方法，随机丢弃特征图的图像信息来缓解过拟合；
2)采用SPP模块和FPN+PAN的结构搭建YOLOv4目标检测网络的Neck部分；
3)YOLOV4目标检测网络的目标框回归损失函数采用CIOU_LOSS损失函数，使得预测框回归的速度和精度更高，其公式为
Figure BDA0002792354690000041
其中IOU为目标检测预测框和真实框的交并比，Distance_c为目标检测预测框和真实框的最小外接矩形的对角线距离，Distance_2为目标检测预测框和真实框中心点的欧氏距离，V是衡量目标检测预测框和真实框长宽比一致性的参数；
4)YOLOv4目标检测网络采用DIOU_nms目标框筛选方法；
(6A-4-4)采用COCO图像数据集对YOLOv4目标检测网络进行物体分类训练，得到部分训练完成的YOLOv4网络模型；
(6A-4-5)在步骤(6A-4-4)结果的基础上，采用制作的现场作业人员图像数据集对YOLOv4目标检测网络进行训练，得到能够用于现场人员检测的YOLOv4网络模型；
(6A-4-6)将视频帧输入YOLOv4目标检测网络中，检测出人员的可信度及人员目标框的坐标参数。
优选的，所述采用通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联方法，然后采用改进的YOLOv3-Tiny目标检测网络并且基于匹配不同光照强度的多个网络模型权重进行人员安全帽和防护服检测，其特征在于具有以下步骤：
(6A-8-1)从作业现场不同光照强度下监控摄像头拍摄的监控视频中抽取出包含人员安全帽和防护服的视频帧，分别建立白天弱光强人员安全帽和防护服图像数据集、白天中光强人员安全帽和防护服图像数据集、白天强光强人员安全帽和防护服图像数据集和夜间人员安全帽和防护服图像数据集，并利用Mosaic数据增强的方式来扩充数据集；
(6A-8-2)使用LabelImg工具对图像中人员安全帽和防护服进行标记，得到对应的XML格式的数据集文件，并将XLM格式的数据集转换为适用于YOLOv3-Tiny目标检测网络的txt格式的数据集；
(6A-8-3)利用darknet深度学习框架搭建改进的YOLOv3-Tiny目标检测网络，具有以下步骤：
1)以YOLOv3-Tiny目标检测网络为基本框架，进行网络模型修改剪枝操作；
2)使用谷歌Efficient-B0深度卷积神经网络替换YOLOv3-Tiny原有的主干网络，去除Efficient-B0深度卷积神经网络的132-135层，在131层后分别添加2个卷积层，1个shortcut层，1个卷积层，一个YOLO层；
3)在步骤2)得到的网络的基础上，在网络的133层后顺序连接1个route层，1个卷积层，1个降采样层，1个shortcut层，1个卷积层，2个shortcut层，1个卷积层，1个YOLO层，得到改进的YOLOv3-Tiny目标检测网络；
(6A-8-4)利用k-means算法对安全帽和防护服数据集中的安全帽和防护服的真实框长宽参数进行聚类计算，用真实框聚类得到的长宽数据替代YOLOv3-Tiny目标检测网络原有的先验框长宽数据，以提高目标框的检出率；
(6A-8-5)采用制作的白天弱光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天弱光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-6)采用制作的白天中光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天中光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-7)采用制作的白天强光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天强光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-8)采用制作的夜间人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够用于夜间人员安全帽和防护服检测的网络模型；
(6A-8-9)根据现场环境光照强度数据将裁剪过的人员目标区域输入适用于不同光照强度的改进的YOLOv3-Tiny目标检测网络，得到现场人员穿戴安全帽和防护服的可信度及安全帽和防护服目标框的坐标参数。
优选的，所述采用基于匹配不同光照强度的多个网络识别模型来识别人员安全帽和防护服的穿戴中，若安全防护识别单元所测照度值处于各光照强度识别模型应用区分值邻域范围时，采用基于相邻光照强度识别模型识别结果融合判断方法，首先分别采用与所测照度值最接近的低级别光照强度识别模型和最接近的高级别光照强度识别模型的识别结果，然后融合计算判断安全帽和防护服的穿戴情况，具体融合判断过程如下：
(6A-10-1)记相邻两光照强度识别模型应用区分临界光强值为xl(夜间识别模型、白天，对应邻域下限光强值为xll＝0.9xl，邻域上限光强值为xlh＝1.1xl，若当前光强值为x，则低级别光照强度模型识别的可信度权重记为
Figure BDA0002792354690000061
高级别光照强度模型识别的可信度权重记为
Figure BDA0002792354690000062
(6A-10-2)基于改进的YOLOv3-Tiny低级别光照强度识别模型进行人员安全帽和防护服的识别，得到人员佩戴安全帽的可信度为h1，穿防护服的可信度为c1，则人员佩戴安全帽的加权可信度m1(A)＝h1wl，未佩戴安全帽的加权可信度m1(B)＝(1-h1)wl，安全帽佩戴状态未知的加权可信度m1(C)＝1-wl，穿防护服的加权可信度m1(D)＝c1wl，未穿防护服的加权可信度m1(E)＝(1-c1)wl，防护服穿着状态未知的加权可信度m1(F)＝1-wl；
(6A-10-3)基于改进的YOLOv3-Tiny高级别光照强度识别模型进行人员安全帽和防护服的识别，得到人员佩戴安全帽的可信度为h2，穿防护服的可信度为c2，则人员佩戴安全帽的加权可信度m2(A)＝h2wh，未佩戴安全帽的加权可信度m2(B)＝(1-h2)wh，安全帽佩戴状态未知的加权可信度m2(C)＝1-wh，穿防护服的加权可信度m2(D)＝c2wh，未穿防护服的加权可信度m2(E)＝(1-c2)wh，防护服穿着状态未知的加权可信度m2(F)＝1-wh；
(6A-10-4)基于相邻两个光照强度识别模型的识别结果融合计算佩戴安全帽的可信度m(A)，未佩戴安全帽的可信度m(B)，穿防护服的可信度m(D)，未穿防护服的可信度m(E)，其中
Figure BDA0002792354690000063
Figure BDA0002792354690000071
Figure BDA0002792354690000072
Figure BDA0002792354690000073
(6A-10-5)比较m(A)与m(B)，若m(A)≥m(B)，则融合判断为佩戴安全帽，若m(A)＜m(B)，则融合判断为未佩戴安全帽；
(6A-10-6)比较m(D)与m(E)，若m(D)≥m(E)，则融合判断为穿防护服，若m(D)＜m(E)，则融合判断为未穿防护服。
优选的，该识别单元的整体流程中所述事件分析具体步骤为：
(6B-1)读取当前视频帧人员安全帽和防护服识别结果；
(6B-2)判断当前视频帧摄像头ip是否属于事件任务字典中的某个事件，若视频帧摄像头ip属于事件任务字典中的某个事件，则执行步骤(6B-3)；否则执行步骤(6B-4)；
(6B-3)将当前视频帧数据放入该事件对应的视频帧数据队列中；
(6B-4)创建新的事件任务，将当前视频帧数据放入该事件对应的视频帧数据队列中；
(6B-5)判断视频帧数据队列中的数据个数是否等于60，若视频帧数据队列中的数据个数是否不等于60，则转到步骤(6B-5)；
(6B-6)统计视频帧数据队列中，人员未穿防护服、配戴安全帽的个数；
(6B-7)判断未穿防护服或未佩戴安全帽的个数是否大于视频帧数据队列数据总数的70％，若否，转到步骤(6B-9)
(6B-8)执行事件上传操作；
(6B-9)释放资源。
其中事件上传具体步骤为：
(6B-8-1)输入需要上传的图片和视频信息；
(6B-8-2)上传事件；
(6B-8-3)判断事件上传是否成功，若事件上传成功，则结束流程，否则转到步骤(6B-8-4)；
(6B-8-4)将需要上传的图片和视频信息保存至本地。
优选的，该识别单元的整体流程中所述本地缓存事件定期删除具体步骤为：
(8-1)判断本地是否有缓存事件，若没有缓存事件，则转到步骤(8-2)，否则转到步骤(8-3)；
(8-2)等待固定时间之后转到步骤(8-1)；
(8-3)上传事件；
(8-4)判断事件上传是否成功，若事件上传成功，则转到步骤(8-5)，否则转到步骤(8-2)；
(8-5)删除本地缓存事件。
有益效果
1.安全防护识别单元实现了对铁路5T运维作业现场工作人员安全帽和防护服穿戴的实时自动识别及识别事件上传，并且5T检测上位机可以通过安全防护识别单元控制模块远程设置配置信息，开启关闭识别作业任务、对系统运行状态进行监测，实现了铁路5T运维智能化管理；
2.安全防护识别单元的综合管理模块可以实现本地缓存事件的定期删除，大大节省本地储存空间，节约投资；
3.安全防护识别单元的识别算法根据铁路5T运维应用场景，针对性的修改设计目标检测网络结构，通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联并且基于匹配不同光照强度的多个网络模型权重来识别人员安全帽和防护服的穿戴，在保证识别速度的同时显著提高了不同环境背景下目标分类能力和检测精度；
4.安全防护识别单元的识别算法针对安全防护识别单元所测照度值处于各光照强度识别模型应用区分值邻域范围时可能会出现模型误匹配情况，提出了相邻光照强度模型融合判断的方法，实现了不同光照强度模型平滑切换，保证了识别准确率。
附图说明
图1为本发明的识别单元功能模块结构图
图2为本发明的算法整体流程图
图3为本发明的摄像头拉取视频流流程图
图4为本发明的摄像头状态维护流程图
图5为本发明的智能流程图
图6为本发明的事件分析流程图
图7为本发明的事件上传流程图
图8为本发明的本地缓存事件定期删除流程图
具体实施方式
防护识别单元功能模块结构图如图1所示，其中包括：
1.控制模块
5T检测上位机可以通过控制模块的thrift接口设置配置信息，开启关闭识别作业任务、对系统运行状态进行监测(实现了对系统的远程操作和状态实时监控)。
2.视频流管理模块
视频流管理模块根据控制模块下发的配置信息和命令，从摄像头中抓取视频流并进行摄像头状态维护。
3.智能识别分析模块
智能识别分析模块主要负责作业人员和安全帽、防护服的智能识别；安全帽和防护服事件分析(实现了对5T运维作业现场工作人员安全帽和防护服穿戴的实时自动识别和事件分析)。
4.综合管理模块
综合管理模块负责向平台上传事件，以及本地缓存事件的定期删除(可以大大节省本地储存空间节约投资)。
二、防护识别方法流程
1.结合图2，整体流程：
(1)控制模块获取配置参数和识别任务启停命令，其中配置参数包括：识别时长、摄像头ip地址、摄像头用户名、摄像头密码、视频流对外端口号、每个事件存储图片张数和状态上报周期；
(2)判断是否开启识别作业，若开启识别任务，则转到步骤(3)；否则返回步骤(1)；
(3)获取环境光照强度数据；
(4)视频流管理模块根据从控制模块获得的配置参数从对应编号摄像头中拉取视频流；
(5)判断是否连续600秒未成功获取视频帧，若连续600秒未成功获取视频帧，则上报摄像头异常状态信息；否则转到步骤(6)；
(6)智能识别分析模块对视频帧中工作人员安全帽和防护服进行智能识别以及事件分析；
(7)综合管理模块将生成的事件通过post请求上传；
(8)综合管理模块将本地缓存的事件定期删除。
2.结合图3，摄像头拉取视频流具体步骤为：
(4-1)根据RSTP标准流协议从配置参数确定的对应编号摄像头获取视频当前帧；
(4-2)判断是否成功获取摄像头当前帧，若成功获取摄像头当前帧，则执行步骤(4-3)，否则直接转到步骤(4-4)；
(4-3)输出摄像头当前帧数据到图片数据队列；
(4-4)执行摄像头状态维护操作；
(4-5)等待1秒后转到步骤(4-1)。
3.结合图4，摄像头状态维护具体步骤为：
(4-4-1)读取摄像头当前状态和摄像头异常状态次数；
(4-4-2)判断摄像头当前状态是否正常，若摄像头当前状态正常，则执行步骤(4-4-3)；否则执行步骤(4-4-4)；
(4-4-3)将摄像头异常状态次数置为0；
(4-4-4)将摄像头异常次数加1；
(4-4-5)判断若摄像头异常状态次数是否大于600，若摄像头异常状态次数大于600，则执行步骤(4-4-6)
(4-4-6)将摄像头状态设为异常。
4.结合图5，智能识别的特征在于通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联并且基于匹配不同光照强度的多个网络模型权重来识别人员安全帽和防护服的穿戴(相比于基于单一网络模型权重直接检测佩戴安全帽和穿着防护服的人员目标的方式，能够显著提高在复杂背景图像中的识别准确率，具有很强的鲁棒性和适应性)，具体步骤为：
(6A-1)从数据队列获取视频帧；
(6A-2)判断获取视频帧是否成功，若获取视频帧成功，则执行步骤(6A-4),否则执行步骤(6A-3)；
(6A-3)等待直到数据队列有数据时转到步骤(6A-1)；
(6A-4)将视频帧输入YOLOv4目标检测网络进行人员检测；
(6A-5)根据YOLOv4目标检测网络输出的检测到人员的可信度判断是否检测到人员，若没有检测到人员，则执行步骤(6A-1)，否则执行步骤(6A-6)；
(6A-6)根据YOLOv4目标检测网络输出的人员目标框坐标参数对视频帧中检测到的人员目标框区域进行裁剪；
(6A-7)判断环境光照强度是否小于0.0018Lux，若小于0.0018Lux，则执行步骤(6A-8)，否则执行步骤(6A-9)；
(6A-8)将裁剪出的人员目标框区域图像输入适用于夜间识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-9)判断环境光照强度是否小于0.0022Lux，若小于0.0022Lux，则执行步骤(6A-10)，否则执行步骤(6A-11)；
(6A-10)将裁剪出的人员目标框区域图像分别输入适用于夜间识别和白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-11)判断环境光照强度是否小于9Lux，若小于9Lux，则执行步骤(6A-12)，否则执行步骤(6A-13)；
(6A-12)将裁剪出的人员目标框区域图像输入适用于白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-13)判断环境光照强度是否小于11Lux，若小于11Lux，则执行步骤(6A-14)，否则执行步骤(6A-15)；
(6A-14)将裁剪出的人员目标框区域图像分别输入适用于白天弱光照强度和白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-15)判断环境光照强度是否小于90Lux，若小于90Lux，则执行步骤(6A-16)，否则执行步骤(6A-17)；
(6A-16)将裁剪出的人员目标框区域图像输入适用于白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-17)判断环境光照强度是否小于110Lux，若小于110Lux，则执行步骤(6A-18)，否则执行步骤(6A-19)；
(6A-18)将裁剪出的人员目标框区域图像分别输入适用于白天中光照强度和白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-19)将裁剪出的人员目标框区域图像输入适用于白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测；
(6A-20)储存当前帧人员安全帽和防护服穿戴信息。
4.1YOLOv4目标检测网络进行人员检测(YOLOv4与YOLOv3相比检测速度更快，识别精度更高)，其特征在于具有以下步骤：
(6A-4-1)从作业现场不同光照强度下监控摄像头拍摄的监控视频中抽取出包含作业人员的视频帧，建立作业人员图像数据集；
(6A-4-2)使用LabelImg工具对图像中的人员标记，得到对应的XML格式的数据集文件，并将XLM格式的数据集转换为适用于YOLOv4目标检测网络的txt格式的数据集；
(6A-4-3)利用darknet深度学习框架搭建YOLOv4目标检测网络，具有以下步骤：
1)采用CSPDarknet53网络结构搭建YOLOv4目标检测网络的BackBone部分，BackBone部分的激活函数使用Mish激活函数，其公式为：
f(x)＝x*tanh(log(1+ex))
其中x为激活函数所在网络层的输入值，Mish激活函数函数曲线平滑，能够允许更好的信息深入神经网络，从而得到更好的准确性和泛化，采用Dropblock方法，随机丢弃特征图的图像信息来缓解过拟合；
2)采用SPP模块和FPN+PAN的结构搭建YOLOv4目标检测网络的Neck部分；
3)YOLOV4目标检测网络的目标框回归损失函数采用CIOU_LOSS损失函数，使得预测框回归的速度和精度更高，其公式为
Figure BDA0002792354690000121
其中IOU为目标检测预测框和真实框的交并比，Distance_c为目标检测预测框和真实框的最小外接矩形的对角线距离，Distance_2为目标检测预测框和真实框中心点的欧氏距离，V是衡量目标检测预测框和真实框长宽比一致性的参数；
4)YOLOv4目标检测网络采用DIOU_nms目标框筛选方法(在重叠目标的检测中，DIOU_nms的效果优于传统的nms)。
(6A-4-4)采用COCO图像数据集(COCO数据集包含20万张从复杂的日常场景中截取的图像，具有80个目标类别和超过50万个目标标注，是目前最广泛公开的目标检测数据集)对YOLOv4目标检测网络进行物体分类训练，得到部分训练完成的YOLOv4网络模型；
(6A-4-5)在步骤(6A-4-4)结果的基础上，采用制作的现场作业人员图像数据集对YOLOv4目标检测网络进行训练，得到能够用于现场人员检测的YOLOv4网络模型；
(6A-4-6)将视频帧输入YOLOv4目标检测网络中，得到视频帧中检测出人员的可信度及人员目标框的坐标参数。
4.2改进的YOLOv3-Tiny目标检测网络并且基于匹配不同光照强度的多个网络模型权重进行人员安全帽和防护服检测(通过修改主干网络，增加了原有网络的深度，对于不同光照强度下的识别分别采用不同网络模型权重，在保证识别速度的同时大大提升了不同环境背景下目标分类能力和检测精度)，其特征在于具有以下步骤：
(6A-8-1)从作业现场不同光照强度下监控摄像头拍摄的监控视频中抽取出包含人员安全帽和防护服的视频帧，分别建立白天弱光强人员安全帽和防护服图像数据集、白天中光强人员安全帽和防护服图像数据集、白天强光强人员安全帽和防护服图像数据集和夜间人员安全帽和防护服图像数据集，并利用Mosaic数据增强的方式(将4张图片通过随机缩放、随机裁剪、随机排布的方式拼接为1张图片)来扩充数据集；
(6A-8-2)使用LabelImg工具对图像中人员安全帽和防护服进行标记，得到对应的XML格式的数据集文件，并将XLM格式的数据集转换为适用于YOLOv3-Tiny目标检测网络的txt格式的数据集；
(6A-8-3)利用darknet深度学习框架搭建改进的YOLOv3-Tiny目标检测网络，具有以下步骤：
1)以YOLOv3-Tiny目标检测网络为基本框架，进行网络模型修改剪枝操作；
2)使用谷歌Efficient-B0深度卷积神经网络替换YOLOv3-Tiny原有的主干网络，去除Efficient-B0深度卷积神经网络的132-135层，在131层后分别添加2个卷积层，1个shortcut层，1个卷积层，一个YOLO层；
3)在步骤2)得到的网络的基础上，在网络的133层后顺序连接1个route层，1个卷积层，1个降采样层，1个shortcut层，1个卷积层，2个shortcut层，1个卷积层，1个YOLO层，得到改进的YOLOv3-Tiny目标检测网络；
(6A-8-4)利用k-means算法(对于给定的数据集，按照数值之间的距离大小将数据集划分为k个簇，使簇内数值之间距离尽量小，簇间距离尽量大)对安全帽和防护服数据集中的安全帽和防护服的真实框长宽参数进行聚类计算，用真实框聚类得到的长宽数据替代YOLOv3-Tiny目标检测网络原有的先验框长宽数据，以提高目标框的检出率；
(6A-8-5)采用制作的白天弱光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天弱光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-6)采用制作的白天中光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天中光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-7)采用制作的白天强光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天强光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-8)采用制作的夜间人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够用于夜间人员安全帽和防护服检测的网络模型；
(6A-8-9)根据现场环境光照强度数据将裁剪过的人员目标区域输入适用于不同光照强度的改进的YOLOv3-Tiny目标检测网络，得到现场人员穿戴安全帽和防护服的可信度及安全帽和防护服目标框的坐标参数。
5.(保证模型平滑切换的)相邻防护状态融合判断
由于照度传感器可能存在误差及实际环境中各个位置的照度值可能存在差异，当安全防护识别单元所测照度值处于各光照强度识别模型应用区分值邻域范围时可能会出现模型误匹配情况。为保证识别准确率，可首先分别采用与所测照度值最接近的低级别光照强度识别模型和最接近的高级别光照强度识别模型的识别结果，然后融合计算判断安全帽和防护服的穿戴情况，具体融合判断过程如下：
(6A-10-1)记相邻两光照强度识别模型应用区分临界光强值为xl(夜间识别模型、白天弱光强识别模型、白天中光强识别模型、白天强光强识别模型应用区分临界光强值xl分别为0.002lx、10lx、100lx)，对应邻域下限光强值为xll＝0.9xl，邻域上限光强值为xlh＝1.1xl，若光强值为x，则低级别光照强度模型识别的可信度权重记为
Figure BDA0002792354690000141
高级别光照强度模型识别的可信度权重记为
Figure BDA0002792354690000142
(6A-10-2)基于改进的YOLOv3-Tiny低级别光照强度识别模型进行人员安全帽和防护服的识别，得到人员佩戴安全帽的可信度为h1，穿防护服的可信度为c1，则人员佩戴安全帽的加权可信度m1(A)＝h1wl，未佩戴安全帽的加权可信度m1(B)＝(1-h1)wl，安全帽佩戴状态未知的加权可信度m1(C)＝1-wl，穿防护服的加权可信度m1(D)＝c1wl，未穿防护服的加权可信度m1(E)＝(1-c1)wl，防护服穿着状态未知的加权可信度m1(F)＝1-wl；
(6A-10-3)基于改进的YOLOv3-Tiny高级别光照强度识别模型进行人员安全帽和防护服的识别，得到人员佩戴安全帽的可信度为h2，穿防护服的可信度为c2，则人员佩戴安全帽的加权可信度m2(A)＝h2wh，未佩戴安全帽的加权可信度m2(B)＝(1-h2)wh，安全帽佩戴状态未知的加权可信度m2(C)＝1-wh，穿防护服的加权可信度m2(D)＝c2wh，未穿防护服的加权可信度m2(E)＝(1-c2)wh，防护服穿着状态未知的加权可信度m2(F)＝1-wh；
(6A-10-4)基于相邻两个光照强度识别模型的识别结果融合计算佩戴安全帽的可信度m(A)，未佩戴安全帽的可信度m(B)，穿防护服的可信度m(D)，未穿防护服的可信度m(E)，其中
Figure BDA0002792354690000151
Figure BDA0002792354690000152
Figure BDA0002792354690000153
Figure BDA0002792354690000154
(6A-10-5)比较m(A)与m(B)，若m(A)≥m(B)，则融合判断为佩戴安全帽，若m(A)＜m(B)，则融合判断为未佩戴安全帽；
(6A-10-6)比较m(D)与m(E)，若m(D)≥m(E)，则融合判断为穿防护服，若m(D)＜m(E)，则融合判断为未穿防护服；
6.结合图6，事件分析具有以下步骤：
(6B-1)读取当前视频帧人员安全帽和防护服识别结果；
(6B-2)判断当前视频帧摄像头ip是否属于事件任务字典中的某个事件，若视频帧摄像头ip属于事件任务字典中的某个事件，则执行步骤(6B-3)；否则执行步骤(6B-4)；
(6B-3)将当前视频帧数据放入该事件对应的视频帧数据队列中；
(6B-4)创建新的事件任务，将当前视频帧数据放入该事件对应的视频帧数据队列中；
(6B-5)判断视频帧数据队列中的数据个数是否等于60，若视频帧数据队列中的数据个数是否不等于60，则转到步骤(6B-5)；
(6B-6)统计视频帧数据队列中，人员未穿防护服、配戴安全帽的个数；
(6B-7)判断未穿防护服或未佩戴安全帽的个数是否大于视频帧数据队列数据总数的70％，若否，转到步骤(6B-9)
(6B-8)执行事件上传操作；
(6B-9)释放资源。
6.1结合图7，事件上传具有以下步骤：
(6B-8-1)输入需要上传的图片和视频信息；
(6B-8-2)上传事件；
(6B-8-3)判断事件上传是否成功，若事件上传成功，则结束流程，否则转到步骤(6B-8-4)；
(6B-8-4)将需要上传的图片和视频信息保存至本地。
7.结合图8，本地缓存事件定期删除具有以下步骤：
(8-1)判断本地是否有缓存事件，若没有缓存事件，则转到步骤(8-2)，否则转到步骤(8-3)；
(8-2)等待固定时间之后转到步骤(8-1)；
(8-3)上传事件；
(8-4)判断事件上传是否成功，若事件上传成功，则转到步骤(8-5)，否则转到步骤(8-2)；
(8-5)删除本地缓存事件。
级联识别算法进行实例说明：
1.YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联并且基于匹配不同光照强度的多个网络模型权重来识别人员安全帽和防护服，具有以下步骤：
(6A-1)从数据队列获取视频帧；
(6A-2)判断获取视频帧是否成功，若获取视频帧成功，则执行步骤(6A-4),否则执行步骤(6A-3)；
(6A-3)等待直到数据队列有数据时转到步骤(6A-1)；
(6A-4)将视频帧输入YOLOv4目标检测网络进行人员检测；
(6A-5)根据YOLOv4目标检测网络输出的检测到人员的可信度判断是否检测到人员，若没有检测到人员，则执行步骤(6A-1)，否则执行步骤(6A-6)；
(6A-6)根据YOLOv4目标检测网络输出的人员目标框坐标参数对视频帧中检测到的人员目标框区域进行裁剪；
(6A-7)判断环境光照强度是否小于0.0018Lux，若小于0.0018Lux，则执行步骤(6A-8)，否则执行步骤(6A-9)；
(6A-8)将裁剪出的人员目标框区域图像输入适用于夜间识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-9)判断环境光照强度是否小于0.0022Lux，若小于0.0022Lux，则执行步骤(6A-10)，否则执行步骤(6A-11)；
(6A-10)将裁剪出的人员目标框区域图像分别输入适用于夜间识别和白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-11)判断环境光照强度是否小于9Lux，若小于9Lux，则执行步骤(6A-12)，否则执行步骤(6A-13)；
(6A-12)将裁剪出的人员目标框区域图像输入适用于白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-13)判断环境光照强度是否小于11Lux，若小于11Lux，则执行步骤(6A-14)，否则执行步骤(6A-15)；
(6A-14)将裁剪出的人员目标框区域图像分别输入适用于白天弱光照强度和白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-15)判断环境光照强度是否小于90Lux，若小于90Lux，则执行步骤(6A-16)，否则执行步骤(6A-17)；
(6A-16)将裁剪出的人员目标框区域图像输入适用于白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-17)判断环境光照强度是否小于110Lux，若小于110Lux，则执行步骤(6A-18)，否则执行步骤(6A-19)；
(6A-18)将裁剪出的人员目标框区域图像分别输入适用于白天中光照强度和白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-19)将裁剪出的人员目标框区域图像输入适用于白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测；
(6A-20)储存当前帧人员安全帽和防护服穿戴信息。
1.1YOLOv4目标检测网络进行人员检测，具体包括以下步骤：
(6A-4-1)从白天光照强度为0.002-10Lux作业现场的监控摄像头拍摄的视频中抽取出1万张包含作业人员的彩色视频帧，从白天光照强度为10-100Lux作业现场的监控摄像头拍摄的视频中抽取出1万张包含作业人员的彩色视频帧，从白天光照强度大于100Lux作业现场的监控摄像头拍摄的视频中抽取出2万张包含作业人员的彩色视频帧，从夜间作业现场监控摄像头拍摄的视频中抽取出1万张包含作业人员的红外灰度视频帧，建立作业人员图像数据集，并按照9:1的比例将数据集划分为训练集和验证集；
(6A-4-2)建立train.txt文件，包含训练集中所有图片的储存路径；建立val.txt文件，包含验证集所有图片的储存路径；使用LabelImg工具对数据集图像中的人员标记，将人员区域标记为person，得到对应的XML格式的数据集文件，利用python脚本程序将XLM格式的数据集转换为适用于YOLOv4目标检测网络的txt格式的数据集；
(6A-4-3)利用darknet深度学习框架搭建YOLOv4目标检测网络，具有以下步骤：
1)采用CSPDarknet53网络结构搭建YOLOv4目标检测网络的BackBone部分，BackBone部分的激活函数使用Mish激活函数，其公式为：
f(x)＝x*tanh(log(1+ex))
其中x为激活函数所在网络层的输入值，tanh()为双曲正切函数，Mish激活函数函数曲线平滑，能够允许更好的信息深入神经网络，从而得到更好的准确性和泛化，采用Dropblock方法，随机丢弃特征图的图像信息来缓解过拟合；
2)采用SPP模块和FPN+PAN的结构搭建YOLOv4目标检测网络的Neck部分；
3)YOLOV4目标检测网络的目标框回归损失函数采用CIOU_LOSS损失函数，使得预测框回归的速度和精度更高，其公式为
Figure BDA0002792354690000181
其中IOU为目标检测预测框和真实框的交并比，Distance_c为目标检测预测框和真实框的最小外接矩形的对角线距离，Distance_2为目标检测预测框和真实框中心点的欧氏距离，V是衡量目标检测预测框和真实框长宽比一致性的参数；
4)YOLOv4目标检测网络采用DIOU_nms目标框筛选方法(在重叠目标的检测中，DIOU_nms的效果优于传统的nms)。
(6A-4-4)建立yolov4.names文件，此文件每一行就是一个要识别对象的类别名，将第一行设为person；
建立yolov4.data文件，此文件用于储存识别类别种类数、训练集文件地址、验证集文件地址和名称文件地址等信息，将yolov4.data文件中的类别数设为1、训练集文件地址设为“train.txt”文件所在地址，验证集文件地址设为“val.txt”文件所在地址，名称文件地址设为“yolov4.names”文件所在地址。
采用COCO图像数据集(COCO数据集包含20万张从复杂的日常场景中截取的图像，具有80个目标类别和超过50万个目标标注，是目前最广泛公开的目标检测数据集)对YOLOv4目标检测网络进行物体分类训练，每次迭代训练64张图片，迭代500000次，得到部分训练完成的YOLOv4网络模型；
(6A-4-5)在步骤(6A-4-4)结果的基础上，采用制作的现场作业人员图像数据集对YOLOv4目标检测网络进行训练，每次迭代训练64张图片，迭代200000次得到能够用于现场人员检测的YOLOv4网络模型；
(6A-4-6)将视频帧输入YOLOv4目标检测网络中，得到视频帧中检测出人员的可信度及人员目标框的坐标参数。
1.2改进的YOLOv3-Tiny目标检测网络并且基于匹配不同光照强度的多个网络模型权重进行人员安全帽和防护服检测，具体包括以下步骤：
(6A-8-1)从白天光照强度为0.002Lux-10Lux的作业现场的监控摄像头拍摄的视频中抽取出1万张包含安全帽和防护服的彩色视频帧，从白天光照强度为10Lux-100Lux的作业现场的监控摄像头拍摄的视频中抽取出1万张包含安全帽和防护服的彩色视频帧，从白天光照强度大于100Lux的作业现场的监控摄像头拍摄的视频中抽取出2万张包含安全帽和防护服的彩色视频帧，从夜间作业现场监控摄像头拍摄的视频中抽取出1万张包含安全帽和防护服的红外灰度视频帧，分别建立白天弱光强人员安全帽和防护服图像数据集、白天中光强人员安全帽和防护服图像数据集、白天强光强人员安全帽和防护服图像数据集和夜间安全帽和防护服图像数据集，并利用Mosaic数据增强的方式，将4张图片通过随机缩放、随机裁剪、随机排布的方式拼接为1张新的图片来扩充上述四个数据集，以增强对小目标的识别能力，并将四个数据集按照9:1的比例都划分为训练集和验证集；
建立train0.txt文件，包含白天弱光强人员安全帽和防护服图像训练集中所有图片的储存路径；建立val0.txt文件，包含白天弱光强人员安全帽和防护服图像验证集所有图片的储存路径；
建立train1.txt文件，包含白天中光强人员安全帽和防护服图像训练集中所有图片的储存路径；建立val1.txt文件，包含白天中光强人员安全帽和防护服图像验证集所有图片的储存路径；
建立train2.txt文件，包含白天强光强人员安全帽和防护服图像训练集中所有图片的储存路径；建立val2.txt文件，包含白天强光强人员安全帽和防护服图像验证集所有图片的储存路径；
建立train3.txt文件，包含夜间人员安全帽和防护服图像训练集中所有图片的储存路径；建立val3.txt文件，包含夜间人员安全帽和防护服图像验证集所有图片的储存路径；
(6A-8-2)使用LabelImg工具对数据集图像中人员安全帽和防护服进行标记，佩戴安全帽的头部区域标记为hat，未佩戴帽子的头部区域标记为head，防护服区域标记为clothe，得到对应的XML格式的数据集文件，并将XLM格式的数据集利用python脚本文件转换为适用于YOLOv3-Tiny目标检测网络的txt格式的数据集；
(6A-8-3)利用darknet深度学习框架搭建改进的YOLOv3-Tiny目标检测网络，具有以下步骤：
1)以YOLOv3-Tiny目标检测网络为基本框架，进行网络模型修改剪枝操作；
2)使用谷歌Efficient-B0深度卷积神经网络替换YOLOv3-Tiny原有的主干网络，去除Efficient-B0深度卷积神经网络的132-135层，在131层后分别添加2个卷积层，1个shortcut层，1个卷积层，一个YOLO层；
3)在步骤2)得到的网络的基础上，在网络的133层后顺序连接1个route层，1个卷积层，1个降采样层，1个shortcut层，1个卷积层，2个shortcut层，1个卷积层，1个YOLO层，得到改进的YOLOv3-Tiny目标检测网络；
建立yolov3-tiny.names文件，此文件每一行就是一个要识别对象的类别名，将第一行设为hat，第二行设为head，第三行设为clothe；
建立yolov3-tiny.data文件，此文件用于储存识别类别种类数、训练集文件地址、验证集文件地址和名称文件地址等信息，将yolov3-tiny.data文件的classes设为3，训练集文件地址设为“train.txt”文件所在地址，验证集文件地址设为“val.txt”文件所在地址，名称文件地址设为“yolov3-tiny.names”文件所在地址。
(6A-8-4)利用k-means算法(对于给定的数据集，按照数值之间的距离大小将数据集划分为k个簇，使簇内数值之间距离尽量小，簇间距离尽量大)对安全帽和防护服数据集中的安全帽和防护服的真实框长宽参数进行聚类计算，用真实框聚类得到的长宽数据替代YOLOv3-Tiny目标检测网络原有的先验框长宽数据，以提高目标框的检出率；
(6A-8-5)采用制作的白天弱光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，每次迭代训练64张图片，迭代50000次得到能够用于白天弱光强环境的人员安全帽和防护服检测的网络模型；
(6A-8-6)采用制作的白天中光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，每次迭代训练64张图片，迭代50000次得到能够用于白天中光强环境的安全帽和防护服检测的网络模型；
(6A-8-7)采用制作的白天强光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，每次迭代训练64张图片，迭代100000次得到能够用于白天强光强环境的安全帽和防护服检测的网络模型；
(6A-8-8)采用制作的夜间人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，每次迭代训练64张图片，迭代50000次得到能够用于夜间人员安全帽和防护服检测的网络模型；
(6A-8-9)根据现场环境光照强度数据将裁剪过的人员目标区域输入适用于不同光照强度的改进的YOLOv3-Tiny目标检测网络，得到现场人员穿戴安全帽和防护服的可信度及安全帽和防护服目标框的坐标参数。

Claims (10)

1.一种5T运维中安全防护识别单元，其特征在于，识别单元包括控制模块、视频流管理模块、智能识别分析模块及综合管理模块；5T检测上位机可通过所述控制模块的thrift接口设置配置信息、开启关闭识别作业任务，实现对系统运行状态进行监测；所述视频流管理模块根据控制模块下发的配置信息和命令，从摄像头中拉取视频流并进行摄像头状态维护；所述智能识别分析模块通过5T运维中安全防护识别方法对作业人员、安全帽、防护服进行智能识别，以及进行安全帽和防护服事件分析；综合管理模块负责向平台上传事件，以及本地缓存事件的定期删除。
2.根据权利要求1所述的识别单元，其特征在于所述识别单元执行以下流程：
(1)控制模块获取配置参数和识别任务启停命令，其中配置参数包括：识别时长、摄像头ip地址、摄像头用户名、摄像头密码、视频流对外端口号、每个事件存储图片张数和状态上报周期；
(2)判断是否开启识别作业，若开启识别任务，则转到步骤(3)，否则返回步骤(1)；
(3)获取环境光照强度数据；
(4)视频流管理模块根据从控制模块获得的配置参数从对应编号摄像头中拉取视频流；
(5)判断是否连续600秒未成功获取视频帧，若连续600秒未成功获取视频帧，则上报摄像头异常状态信息；否则转到步骤(6)；
(6)智能识别分析模块对视频帧中工作人员安全帽和防护服进行智能识别以及事件分析；
(7)综合管理模块将生成的事件通过post请求上传；
(8)综合管理模块将本地缓存的事件定期删除。
3.根据权利要求2所述的识别单元，其特征在于，该识别单元的整体流程中所述拉取视频流具体步骤为：
(4-1)根据RSTP标准流协议从配置参数确定的对应编号摄像头获取视频当前帧；
(4-2)判断是否成功获取摄像头当前帧，若成功获取摄像头当前帧，则执行步骤(4-3)，否则直接转到步骤(4-4)；
(4-3)输出摄像头当前帧数据到图片数据队列；
(4-4)执行摄像头状态维护操作；
(4-5)等待1秒后转到步骤(4-1)。
4.根据权利要求3所述的识别单元，其特征在于，拉取视频流流程中所述摄像头状态维护具体步骤为：
(4-4-1)读取摄像头当前状态和摄像头异常状态次数；
(4-4-2)判断摄像头当前状态是否正常，若摄像头当前状态正常，则执行步骤(4-4-3)，否则执行步骤(4-4-4)；
(4-4-3)将摄像头异常状态次数置为0；
(4-4-4)将摄像头异常次数加1；
(4-4-5)判断若摄像头异常状态次数是否大于600，若摄像头异常状态次数大于600，则执行步骤(4-4-6)；
(4-4-6)将摄像头状态设为异常。
5.根据权利要求2所述的识别单元，其特征在于，该识别单元的整体流程中所述智能识别采用通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联方法并且基于匹配不同光照强度的多个网络识别模型来识别人员安全帽和防护服的穿戴，具体步骤为：
(6A-1)从数据队列获取视频帧；
(6A-2)判断获取视频帧是否成功，若获取视频帧成功，则执行步骤(6A-4),否则执行步骤(6A-3)；
(6A-3)等待直到数据队列有数据时转到步骤(6A-1)；
(6A-4)将视频帧输入YOLOv4目标检测网络进行人员检测；
(6A-5)根据YOLOv4目标检测网络输出的检测到人员的可信度判断是否检测到人员，若没有检测到人员，则执行步骤(6A-1)，否则执行步骤(6A-6)；
(6A-6)根据YOLOv4目标检测网络输出的人员目标框坐标参数对视频帧中检测到的人员目标框区域进行裁剪；
(6A-7)判断环境光照强度是否小于0.0018Lux，若小于0.0018Lux，则执行步骤(6A-8)，否则执行步骤(6A-9)；
(6A-8)将裁剪出的人员目标框区域图像输入适用于夜间识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-9)判断环境光照强度是否小于0.0022Lux，若小于0.0022Lux，则执行步骤(6A-10)，否则执行步骤(6A-11)；
(6A-10)将裁剪出的人员目标框区域图像分别输入适用于夜间识别和白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-11)判断环境光照强度是否小于9Lux，若小于9Lux，则执行步骤(6A-12)，否则执行步骤(6A-13)；
(6A-12)将裁剪出的人员目标框区域图像输入适用于白天弱光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-13)判断环境光照强度是否小于11Lux，若小于11Lux，则执行步骤(6A-14)，否则执行步骤(6A-15)；
(6A-14)将裁剪出的人员目标框区域图像分别输入适用于白天弱光照强度和白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-15)判断环境光照强度是否小于90Lux，若小于90Lux，则执行步骤(6A-16)，否则执行步骤(6A-17)；
(6A-16)将裁剪出的人员目标框区域图像输入适用于白天中光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测，然后执行步骤(6A-20)；
(6A-17)判断环境光照强度是否小于110Lux，若小于110Lux，则执行步骤(6A-18)，否则执行步骤(6-19)；
(6A-18)将裁剪出的人员目标框区域图像分别输入适用于白天中光照强度和白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络分别进行人员安全帽和防护服检测并基于相邻两个模型的识别结果进行相邻防护状态融合判断，然后执行步骤(6A-20)；
(6A-19)将裁剪出的人员目标框区域图像输入适用于白天强光照强度识别的改进的YOLOv3-Tiny目标检测网络进行人员安全帽和防护服检测；
(6A-20)储存当前帧人员安全帽和防护服穿戴信息。
6.根据权利要求5所述的识别单元，其特征在于，所述采用通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联方法，首先采用YOLOv4目标检测网络进行人员检测，具体步骤为：
(6A-4-1)从作业现场不同光照强度下监控摄像头拍摄的监控视频中抽取出包含作业人员的视频帧，建立作业人员图像数据集；
(6A-4-2)使用LabelImg工具对图像中的人员标记，得到对应的XML格式的数据集文件，并将XLM格式的数据集转换为适用于YOLOv4目标检测网络的txt格式的数据集；
(6A-4-3)利用darknet深度学习框架搭建YOLOv4目标检测网络，具有以下步骤：
1)采用CSPDarknet53网络结构搭建YOLOv4目标检测网络的BackBone部分，BackBone部分的激活函数使用Mish激活函数，其公式为：
f(x)＝x*tanh(log(1+ex))
其中x为激活函数所在网络层的输入值，tanh()为双曲正切函数；Mish激活函数函数曲线平滑，能够允许更好的信息深入神经网络，从而得到更好的准确性和泛化，采用Dropblock方法，随机丢弃特征图的图像信息来缓解过拟合；
2)采用SPP模块和FPN+PAN的结构搭建YOLOv4目标检测网络的Neck部分；
3)YOLOV4目标检测网络的目标框回归损失函数采用CIOU_LOSS损失函数，使得预测框回归的速度和精度更高，其公式为
Figure FDA0002792354680000041
其中IOU为目标检测预测框和真实框的交并比，Distance_c为目标检测预测框和真实框的最小外接矩形的对角线距离，Distance_2为目标检测预测框和真实框中心点的欧氏距离，V是衡量目标检测预测框和真实框长宽比一致性的参数；
4)YOLOv4目标检测网络采用DIOU_nms目标框筛选方法；
(6A-4-4)采用COCO图像数据集对YOLOv4目标检测网络进行物体分类训练，得到部分训练完成的YOLOv4网络模型；
(6A-4-5)在步骤(6A-4-4)结果的基础上，采用制作的现场作业人员图像数据集对YOLOv4目标检测网络进行训练，得到能够用于现场人员检测的YOLOv4网络模型；
(6A-4-6)将视频帧输入YOLOv4目标检测网络中，检测出人员的可信度及人员目标框的坐标参数。
7.根据权利要求5所述的识别单元，其特征在于，所述采用通过YOLOv4目标检测网络与改进的YOLOv3-Tiny目标检测网络相级联方法，然后采用改进的YOLOv3-Tiny目标检测网络并且基于匹配不同光照强度的多个网络模型权重进行人员安全帽和防护服检测，其特征在于具有以下步骤：
(6A-8-1)从作业现场不同光照强度下监控摄像头拍摄的监控视频中抽取出包含人员安全帽和防护服的视频帧，分别建立白天弱光强人员安全帽和防护服图像数据集、白天中光强人员安全帽和防护服图像数据集、白天强光强人员安全帽和防护服图像数据集和夜间人员安全帽和防护服图像数据集，并利用Mosaic数据增强的方式来扩充数据集；
(6A-8-2)使用LabelImg工具对图像中人员安全帽和防护服进行标记，得到对应的XML格式的数据集文件，并将XLM格式的数据集转换为适用于YOLOv3-Tiny目标检测网络的txt格式的数据集；
(6A-8-3)利用darknet深度学习框架搭建改进的YOLOv3-Tiny目标检测网络，具有以下步骤：
1)以YOLOv3-Tiny目标检测网络为基本框架，进行网络模型修改剪枝操作；
2)使用谷歌Efficient-B0深度卷积神经网络替换YOLOv3-Tiny原有的主干网络，去除Efficient-B0深度卷积神经网络的132-135层，在131层后分别添加2个卷积层，1个shortcut层，1个卷积层，一个YOLO层；
3)在步骤2)得到的网络的基础上，在网络的133层后顺序连接1个route层，1个卷积层，1个降采样层，1个shortcut层，1个卷积层，2个shortcut层，1个卷积层，1个YOLO层，得到改进的YOLOv3-Tiny目标检测网络；
(6A-8-4)利用k-means算法对安全帽和防护服数据集中的安全帽和防护服的真实框长宽参数进行聚类计算，用真实框聚类得到的长宽数据替代YOLOv3-Tiny目标检测网络原有的先验框长宽数据，以提高目标框的检出率；
(6A-8-5)采用制作的白天弱光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天弱光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-6)采用制作的白天中光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天中光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-7)采用制作的白天强光强人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够适用于白天强光照强度下人员安全帽和防护服检测的网络模型；
(6A-8-8)采用制作的夜间人员安全帽和防护服数据集对改进的YOLOv3-Tiny目标检测网络进行训练，得到能够用于夜间人员安全帽和防护服检测的网络模型；
(6A-8-9)根据现场环境光照强度数据将裁剪过的人员目标区域输入适用于不同光照强度的改进的YOLOv3-Tiny目标检测网络，得到现场人员穿戴安全帽和防护服的可信度及安全帽和防护服目标框的坐标参数。
8.根据权利要求5所述的识别单元，其特征在于，所述采用基于匹配不同光照强度的多个网络识别模型来识别人员安全帽和防护服的穿戴中，若安全防护识别单元所测照度值处于各光照强度识别模型应用区分值邻域范围时，采用基于相邻光照强度识别模型识别结果融合判断方法，首先分别采用与所测照度值最接近的低级别光照强度识别模型和最接近的高级别光照强度识别模型的识别结果，然后融合计算判断安全帽和防护服的穿戴情况，具体融合判断过程如下：
(6A-10-1)记相邻两光照强度识别模型应用区分临界光强值为xl(夜间识别模型、白天，对应邻域下限光强值为xll＝0.9xl，邻域上限光强值为xlh＝1.1xl，若当前光强值为x，则低级别光照强度模型识别的可信度权重记为
Figure FDA0002792354680000061
高级别光照强度模型识别的可信度权重记为
Figure FDA0002792354680000062
(6A-10-2)基于改进的YOLOv3-Tinv低级别光照强度识别模型进行人员安全帽和防护服的识别，得到人员佩戴安全帽的可信度为h1，穿防护服的可信度为c1，则人员佩戴安全帽的加权可信度m1(A)＝h1wl，未佩戴安全帽的加权可信度m1(B)＝(1-h1)wl，安全帽佩戴状态未知的加权可信度m1(C)＝1-wl，穿防护服的加权可信度m1(D)＝c1wl，未穿防护服的加权可信度m1(E)＝(1-c1)wl，防护服穿着状态未知的加权可信度m1(F)＝1-wl；
(6A-10-3)基于改进的YOLOv3-Tinv高级别光照强度识别模型进行人员安全帽和防护服的识别，得到人员佩戴安全帽的可信度为h2，穿防护服的可信度为c2，则人员佩戴安全帽的加权可信度m2(A)＝h2wh，未佩戴安全帽的加权可信度m2(B)＝(1-h2)wh，安全帽佩戴状态未知的加权可信度m2(C)＝1-wh，穿防护服的加权可信度m2(D)＝c2wh，未穿防护服的加权可信度m2(E)＝(1-c2)wh，防护服穿着状态未知的加权可信度m2(F)＝1-wh；
(6A-10-4)基于相邻两个光照强度识别模型的识别结果融合计算佩戴安全帽的可信度m(A)，未佩戴安全帽的可信度m(B)，穿防护服的可信度m(D)，未穿防护服的可信度m(E)，其中
Figure FDA0002792354680000063
Figure FDA0002792354680000064
Figure FDA0002792354680000065
Figure FDA0002792354680000066
(6A-10-5)比较m(A)与m(B)，若m(A)≥m(B)，则融合判断为佩戴安全帽，若m(A)＜m(B)，则融合判断为未佩戴安全帽；
(6A-10-6)比较m(D)与m(E)，若m(D)≥m(E)，则融合判断为穿防护服，若m(D)＜m(E)，则融合判断为未穿防护服。
9.根据权利要求2所述的识别单元，其特征在于，该识别单元的整体流程中所述事件分析具体步骤为：
(6B-1)读取当前视频帧人员安全帽和防护服识别结果；
(6B-2)判断当前视频帧摄像头ip是否属于事件任务字典中的某个事件，若视频帧摄像头ip属于事件任务字典中的某个事件，则执行步骤(6B-3)；否则执行步骤(6B-4)；
(6B-3)将当前视频帧数据放入该事件对应的视频帧数据队列中；
(6B-4)创建新的事件任务，将当前视频帧数据放入该事件对应的视频帧数据队列中；
(6B-5)判断视频帧数据队列中的数据个数是否等于60，若视频帧数据队列中的数据个数是否不等于60，则转到步骤(6B-5)；
(6B-6)统计视频帧数据队列中，人员未穿防护服、配戴安全帽的个数；
(6B-7)判断未穿防护服或未佩戴安全帽的个数是否大于视频帧数据队列数据总数的70％，若否，转到步骤(6B-9)
(6B-8)执行事件上传操作；
(6B-9)释放资源。
其中事件上传具体步骤为：
(6B-8-1)输入需要上传的图片和视频信息；
(6B-8-2)上传事件；
(6B-8-3)判断事件上传是否成功，若事件上传成功，则结束流程，否则转到步骤(6B-8-4)；
(6B-8-4)将需要上传的图片和视频信息保存至本地。
10.根据权利要求2所述的识别单元，其特征在于，该识别单元的整体流程中所述本地缓存事件定期删除具体步骤为：
(8-1)判断本地是否有缓存事件，若没有缓存事件，则转到步骤(8-2)，否则转到步骤(8-3)；
(8-2)等待固定时间之后转到步骤(8-1)；
(8-3)上传事件；
(8-4)判断事件上传是否成功，若事件上传成功，则转到步骤(8-5)，否则转到步骤(8-2)；
(8-5)删除本地缓存事件。
CN202011319385.XA 2020-11-23 2020-11-23 一种5t运维中安全防护识别单元 Active CN112434827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011319385.XA CN112434827B (zh) 2020-11-23 2020-11-23 一种5t运维中安全防护识别单元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011319385.XA CN112434827B (zh) 2020-11-23 2020-11-23 一种5t运维中安全防护识别单元

Publications (2)

Publication Number Publication Date
CN112434827A true CN112434827A (zh) 2021-03-02
CN112434827B CN112434827B (zh) 2023-05-16

Family

ID=74693574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011319385.XA Active CN112434827B (zh) 2020-11-23 2020-11-23 一种5t运维中安全防护识别单元

Country Status (1)

Country Link
CN (1) CN112434827B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642418A (zh) * 2021-07-23 2021-11-12 南京富岛软件有限公司 一种改进的5t运维中安全防护智能识别方法
CN113763302A (zh) * 2021-09-30 2021-12-07 青岛海尔科技有限公司 图像检测结果的确定方法及装置
CN116453100A (zh) * 2023-06-16 2023-07-18 国家超级计算天津中心 防护用具穿脱规范性的检测方法、装置、设备和介质
CN116862244A (zh) * 2023-09-04 2023-10-10 广东鉴面智能科技有限公司 一种工业现场视觉ai分析与安全预警系统和方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413356A (zh) * 2011-12-30 2012-04-11 武汉烽火众智数字技术有限责任公司 视频清晰度检测系统及其检测方法
CN109672863A (zh) * 2018-12-24 2019-04-23 海安常州大学高新技术研发中心 一种基于图像识别的施工人员安全装备智能监测方法
CN110807429A (zh) * 2019-10-23 2020-02-18 西安科技大学 基于tiny-YOLOv3的施工安全检测方法及系统
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN110852183A (zh) * 2019-10-21 2020-02-28 广州大学 一种未佩戴安全帽人员识别方法、系统、装置和存储介质
CN111035098A (zh) * 2019-11-22 2020-04-21 河北诚和龙盛电力工程有限公司 一种用于风电场的智能安全帽
CN111241959A (zh) * 2020-01-06 2020-06-05 重庆大学 一种通过工地视频流检测未佩戴安全帽人员的方法
CN111383429A (zh) * 2020-03-04 2020-07-07 西安咏圣达电子科技有限公司 建筑工地工人着装检测方法、系统、装置、存储介质
CN111598066A (zh) * 2020-07-24 2020-08-28 之江实验室 一种基于级联预测的安全帽佩戴识别方法
CN111898541A (zh) * 2020-07-31 2020-11-06 中科蓝海(扬州)智能视觉科技有限公司 一种航吊安全作业智能视觉监警系统
CN111967393A (zh) * 2020-08-18 2020-11-20 杭州师范大学 一种基于改进YOLOv4的安全帽佩戴检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413356A (zh) * 2011-12-30 2012-04-11 武汉烽火众智数字技术有限责任公司 视频清晰度检测系统及其检测方法
CN109672863A (zh) * 2018-12-24 2019-04-23 海安常州大学高新技术研发中心 一种基于图像识别的施工人员安全装备智能监测方法
CN110852183A (zh) * 2019-10-21 2020-02-28 广州大学 一种未佩戴安全帽人员识别方法、系统、装置和存储介质
CN110807429A (zh) * 2019-10-23 2020-02-18 西安科技大学 基于tiny-YOLOv3的施工安全检测方法及系统
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN111035098A (zh) * 2019-11-22 2020-04-21 河北诚和龙盛电力工程有限公司 一种用于风电场的智能安全帽
CN111241959A (zh) * 2020-01-06 2020-06-05 重庆大学 一种通过工地视频流检测未佩戴安全帽人员的方法
CN111383429A (zh) * 2020-03-04 2020-07-07 西安咏圣达电子科技有限公司 建筑工地工人着装检测方法、系统、装置、存储介质
CN111598066A (zh) * 2020-07-24 2020-08-28 之江实验室 一种基于级联预测的安全帽佩戴识别方法
CN111898541A (zh) * 2020-07-31 2020-11-06 中科蓝海(扬州)智能视觉科技有限公司 一种航吊安全作业智能视觉监警系统
CN111967393A (zh) * 2020-08-18 2020-11-20 杭州师范大学 一种基于改进YOLOv4的安全帽佩戴检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642418A (zh) * 2021-07-23 2021-11-12 南京富岛软件有限公司 一种改进的5t运维中安全防护智能识别方法
CN113763302A (zh) * 2021-09-30 2021-12-07 青岛海尔科技有限公司 图像检测结果的确定方法及装置
CN116453100A (zh) * 2023-06-16 2023-07-18 国家超级计算天津中心 防护用具穿脱规范性的检测方法、装置、设备和介质
CN116862244A (zh) * 2023-09-04 2023-10-10 广东鉴面智能科技有限公司 一种工业现场视觉ai分析与安全预警系统和方法
CN116862244B (zh) * 2023-09-04 2024-03-22 广东鉴面智能科技有限公司 一种工业现场视觉ai分析与安全预警系统和方法

Also Published As

Publication number Publication date
CN112434827B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN112434828B (zh) 一种5t运维中安全防护智能识别方法
CN112434827B (zh) 一种5t运维中安全防护识别单元
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN109672863A (zh) 一种基于图像识别的施工人员安全装备智能监测方法
CN106951889A (zh) 井下高危区域动目标监测和管理系统
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN111383429A (zh) 建筑工地工人着装检测方法、系统、装置、存储介质
CN115035088A (zh) 一种基于yolov5和姿态估计的安全帽佩戴检测方法
CN112149513A (zh) 基于深度学习的工业制造现场安全帽佩戴识别系统和方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN111091110A (zh) 一种基于人工智能的反光背心穿戴识别方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN115223249A (zh) 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN105095891A (zh) 一种人脸捕捉的方法，装置及系统
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN115661766A (zh) 一种基于深度学习的智能船舶安全监控方法及系统
CN111723725A (zh) 一种基于视频ai多维分析系统
CN113723357A (zh) 一种基于人工智能视频检测的安全工作流程管控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant