CN116165981A - 一种工业行业安全生产智能监控系统 - Google Patents

一种工业行业安全生产智能监控系统 Download PDF

Info

Publication number
CN116165981A
CN116165981A CN202310105021.9A CN202310105021A CN116165981A CN 116165981 A CN116165981 A CN 116165981A CN 202310105021 A CN202310105021 A CN 202310105021A CN 116165981 A CN116165981 A CN 116165981A
Authority
CN
China
Prior art keywords
module
network
data
conv
behaviors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310105021.9A
Other languages
English (en)
Other versions
CN116165981B (zh
Inventor
张雪松
孙占冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Jiaotong University
Original Assignee
Dalian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Jiaotong University filed Critical Dalian Jiaotong University
Priority to CN202310105021.9A priority Critical patent/CN116165981B/zh
Publication of CN116165981A publication Critical patent/CN116165981A/zh
Application granted granted Critical
Publication of CN116165981B publication Critical patent/CN116165981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32368Quality control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种工业行业安全生产智能监控系统,包括前端采集模块用于采集各个生产流程和各个作业现场产生的视频数据和其他数据,传输网络模块用于将前端采集模块采集的视频数据和其他数据上传至后端数据处理及分析模块,后端数据处理及分析模块用于获取并存储视频数据和其他数据,分别对视频数据和其他数据进行智能分析,可视化管理平台模块用于获取进行智能分析后产生的正常信息和报警信息,并通过终端设备进行显示。通过对前端所采集的多模态数据进行智能分析,当出现异常情况时,系统能够实时报警,及时通知作业人员消除潜在的危险行为和隐患,避免事故的发生。

Description

一种工业行业安全生产智能监控系统
技术领域
本发明涉及工业行业安全生产前端数据采集及安全监测技术领域,尤其涉及一种工业行业安全生产智能监控系统。
背景技术
近年来,随着科技的飞速发展,人工智能深度学习技术得到了广泛的应用,传统的靠人来监护的方式已经越来越不能满足当前工业行业安全生产的实际需要,而利用带有多传感器的智能监控系统是有效的安全保护方案之一。通过对当前工业行业安全生产的实际调查研究,可以发现目前普遍采用的还是传统视频监控的方式。这种方式是一种“被动监控”,通过在企业生产和作业的区域、地点都装有监控,人站在办公室即可观察到所监控的安全生产各环节。传统视频监控仅仅只能起到一个实时观看和录像的作用,当发生异常情况或突发事件时,只能通过调用录像的方式来查看,但此时损失事故已经造成,无法挽回,完全是一种“亡羊补牢”式的被动监控。采用传统视频监控的方式存在严重的问题,那就是一个人所监控的范围有几十甚至上百处,海量视频数据的产生会让人应接不暇,根本不可能作出正确的分析和判断,存在着严重的滞后性和不安全性。人毕竟不能时刻保持关注,也不能一直都在岗位上时刻待着,采用这种方式必将耗费大量的人力、物力,而且效果还不理想。
发明内容
本发明提供一种工业行业安全生产智能监控系统,以克服上述技术问题。
一种工业行业安全生产智能监控系统,包括前端采集模块、传输网络模块、后端数据处理及分析模块以及可视化管理平台模块,
前端采集模块用于采集各个生产流程和各个作业现场产生的视频数据和其他数据,所述视频数据包括实时视频数据,所述其他数据包括各个作业现场中有害气体的浓度值、各个生产流程中的环境温度值、各个生产流程中通过激光雷达测速传感器获取的速度值、各个生产流程中通过压力传感器获取的压力值,
传输网络模块用于将前端采集模块采集的视频数据和其他数据上传至后端数据处理及分析模块,
后端数据处理及分析模块用于获取并存储视频数据和其他数据,分别对视频数据和其他数据进行智能分析,
所述对视频数据进行智能分析包括对实时视频中的目标和行为进行智能检测,所述目标包括产品、产品的零部件、产品的外包装、工作人员所佩戴的设备,所述行为包括工作人员是否吸烟、各个作业现场是否有烟雾以及是工作人员不可入内的区域中是否有入侵行为,并判断行为是否为异常行为,当行为是异常行为时,生成行为异常信息进行报警并将行为异常信息传输至可视化管理平台模块,当行为是正常行为时,生成行为正常信息并将行为正常信息传输至可视化管理平台模块,
所述对其他数据进行智能分析包括给定各其他数据所对应的阈值,并判断是否超过,当超过阈值时,生成报警信息进行报警并将报警信息传输至可视化管理平台模块,当没有超过阈值时,生成正常信息并将正常信息传输至可视化管理平台模块,
可视化管理平台模块用于获取行为异常信息、行为正常信息以及其他数据的报警信息和正常信息,并通过终端设备进行显示。
优选地,所述对实时视频中的目标和行为进行智能检测包括将实时视频划分为帧图像集合,获取改进YOLOv5网络模型,根据改进YOLOv5网络模型对帧图像集合中的目标和行为进行智能检测。
优选地,所述获取改进YOLOv5网络模型包括加载改进YOLOv5网络模型,初始化所述改进YOLOv5网络模型的参数;采集并预处理实际业务场景图片,对实际业务场景图片进行标注,将标注后的实际业务场景图片存储为数据集,将数据集划分为训练集和测试集,根据训练集对改进YOLOv5网络模型进行训练,得到改进YOLOv5网络模型的预训练权重,根据预训练权重对改进YOLOv5网络模型进行调整,根据测试集对调整后的改进YOLOv5网络模型进行测试评估。
优选地,所述改进YOLOv5网络模型包括输入端模块、主干模块、颈部模块和头部预测模块四个部分,所述主干模块包括第一Conv[6,2]网络、第一Conv[3,2]网络,第一C3True子模块、第一CA注意力机制、第二Conv[3,2]网络、第二C3 True子模块、第二CA注意力机制、第三Conv[3,2]网络、第三C3 True子模块、CBMA注意力机制、第四Conv[3,2]网络、第四C3 True子模块以及SPPF模块,所述第一Conv[6,2]网络与第一Conv[3,2]网络相连接,第一C3 True子模块、第一CA注意力机制与第二Conv[3,2]网络相连接,第二C3 True子模块、第二CA注意力机制、第三Conv[3,2]网络相连接,第三C3 True子模块、CBMA注意力机制与第四Conv[3,2]网络相连接,第四Conv[3,2]网络与第四C3 True子模块相连接,第四C3 True子模块与SPPF模块相连接,所述第一Conv[6,2]网络、第一Conv[3,2]网络、第二Conv[3,2]网络、第三Conv[6,2]网络、第四Conv[6,2]网络分别用于对实际业务场景图片进行特征提取,所述第一C3 True子模块、第二C3 True子模块、第三C3 True子模块、第四C3 True子模块分别用于将提取的特征进行跨尺度连接,SPPF模块用于对提取的特征进行融合,所述CBAM注意力机制用于提取有效特征,所述第一CA注意力机制、第二CA注意力机制用于获取实际业务场景图片中感兴趣的区域。
优选地,所述改进YOLOv5网络模型的损失函数为EIOU损失函数。
本发明提供一种工业行业安全生产智能监控系统,通过本系统能够日夜不间断地对企业生产流程和作业现场进行监控,相比于传统的视频监控系统,系统管理员不需要一直盯着屏幕,也不需要对海量的视频监控数据进行分析和理解,能够减少漏检、错检等行为的发生,通过对前端所采集的多模态数据进行智能分析,当出现异常情况时,系统能够实时报警,及时通知作业人员消除潜在的危险行为和隐患,避免事故的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明系统结构图;
图2是本发明各个模块交互示意图;
图3是本发明改进后的YOLOv5网络结构图;
图4是本发明逻辑框架示意图;
图5是本发明基于改进型的YOLOv5的目标检测方法的步骤示意图;
图6是本发明基于YOLOv5算法模型报警检测流程图;
图7是本发明基于改进型的YOLOv5算法模型安全帽佩戴检测结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明系统结构图,如图1所示,本实施例的方法可以包括:
一种工业行业安全生产智能监控系统,包括前端采集模块、传输网络模块、后端数据处理及分析模块以及可视化管理平台模块,图2是本系统各个模块交互示意图。
前端采集模块用于采集各个生产流程和各个作业现场产生的视频数据和其他数据,所述视频数据包括实时视频数据,所述其他数据包括各个作业现场中有害气体的浓度值、各个生产流程中的环境温度值、各个生产流程中通过激光雷达测速传感器获取的速度值、各个生产流程中通过压力传感器获取的压力值,其中其他数据还包括现场作业记录信息。生产流程进行数据采集所使用的设备有固定式监控摄像仪、热成像监控摄像仪、声光报警器、压力传感器、激光雷达测速传感器等。作业现场进行数据采集的设备是以设备组形式体现的,每个设备组包括手持pad、便携式监控摄像仪、声光报警器和无线气体探测器。通过以上设备采集视频数据和其他数据。
其中,固定式监控摄像仪安装在企业安全生产流程中,不可移动。便携式监控摄像仪带有支架可移动,在工业企业进行高风险作业时可以用到。两类摄像仪均通过RTSP视频流的形式实时采集生产流程和作业现场视频画面,通过传输网络将之上传到后端数据处理及分析模块中。
固定式或便携式监控摄像仪采用了4K、8K等高分辨率的摄像仪,可以保证最佳的监控效果,包括至少一个镜头以及图像传感器,其中图像传感器是CCD图像传感器或者CMOS图像传感器。视频的编解码基于H.265标准,可以在有限带宽下传输更高质量的视频,仅需原先的一半带宽即可播放相同质量的视频。
声光报警器是一种通过声音和各种光来向工作人员发出示警信号的一种报警信号装置。
热成像监控摄像仪,是一种通过接受物体发出的红外线来显示的摄像机。任何有温度的物体都会发出红外线,热像仪就是接收物体发出的红外线,通过有颜色的图片来显示被测量物表面的温度分布,根据温度的微小差异来找出温度的异常点,从而起到维护的作用。热成像监控摄像仪的工作原理就是热红外成像技术,其核心就是热像仪,它是一种能够探测极微小温差的传感器,将温差转换成实时视频图像显示出来。
无线气体探测器主要用在工业企业进行高风险作业环节,不仅可以进行有害气体浓度的检测,而且还具有声光报警功能,有害气体浓度检测数据报警信息通过传输网络上传到应用管理平台上进行展示,平台获取气体浓度数据通过modbus-rtu通讯协议获取。
手持pad中的高风险作业智能监控系统软件主要基于高风险作业管控措施表,采用电子化形式来进行作业数据的填写、拍照和签字等。在pad端中,需要严格按照顺序来进行高风险作业流程,包括资源确认、作业安全确认、作业安全培训、智能配置、开始作业和作业完成确认六个步骤。
各个生产流程中的压力传感器和激光雷达测速传感器分别用来获取压力值和速度值。
传输网络模块用于将前端采集模块采集的视频数据和其他数据上传至后端数据处理及分析模块,包括网线、WiFi或4G/5G通信网络、接入交换机、汇聚交换机、NVR、无线基站。
网线采用的是光纤,不受距离限制,并且传输信号稳定,抗干扰性能好。本实施例采用高性能的接入交换机和汇聚交换机。接入交换机直接与摄像仪连接,而汇聚交换机是多台接入交换机的汇聚点,能够处理来自所有接入机的通信量,并提供到智能分析与数据处理中心,因此汇聚交换机与接入交换机比较,需要更高的性能,更少的接口和更高的交换速率。系统所采用的接入交换机和汇聚交换机可支持最高256路摄像仪。
传输网络部分的NVR即网络硬盘录像机,最主要的功能就是通过网络接收摄像仪所传输的数字视频码流,并进行存储、管理,可以有效降低网络传输和数据存储压力,从而实现分布式架构优势。系统所采用的NVR最大可支持256路摄像仪的接入,并且最大可支持多达24块硬盘,单块硬盘最大可支持8TB。
无线基站采用的是一款室外型电信级无线基站AP,支持工作在2.4GHz的802.11b/g/n标准,采用11N技术2x2双发双收无线架构,支持空中速率高达300Mbps,实际数据速率高达95Mbps以上;具有工作稳定,传输速率高,接收灵敏度高,覆盖距离远,适应各类环境等特点。传输协议抗干扰能力强,即使在干扰严重的地区,仍能保障设备之间的数据稳定传输。设备配备双固件镜像,用户在进行远程软件升级过程中,即使电源中断,升级失败,仍可以正常重新启动设备。
后端数据处理及分析模块用于获取并存储视频数据和其他数据,分别对视频数据和其他数据进行智能分析,主要包括应用服务器、数据库服务器和视频分析服务器。
应用服务器主要为应用程序提供运行环境,为组件提供服务。
数据库服务器建立在数据库系统基础上,存放系统的业务数据,具有数据库管理、维护功能。
视频分析服务器,主要指的是用高性能的视频分析服务器对所采集的视频流进行算法模型分析和智能识别,分析获取视频中的各种物体、行为,并将生产流程和作业过程中的符合预(报)警规则的识别信息通过声光报警方式和应用平台界面展示报警信息方式进行报警,以减轻安全人员巡视负担,方便管理人员、作业人员等及时预知所存在的危险因素,采取有效措施以避免安全生产责任事故的发生。将训练获得的深度神经网络模型部署在视频分析服务器中。视频分析服务器中的算法模型需要根据安全生产实际环境进行设置,主要指的是包装外观检测、零部件或产品缺陷检测、工作人员穿戴着装识别、吸烟检测、区域入侵检测、烟雾检测等等,具体采用何种算法模型,需要根据工业企业安全生产实际现场环境进行选择,本实施例中改进yolov5目标检测算法是用于离线训练目标检测器,所训练出来的目标检测器部署在后端数据处理及分析模块中视频分析服务器上。
所述对视频数据进行智能分析包括对实时视频中的目标和行为进行智能检测,所述目标包括产品、产品的零部件、产品的外包装、工作人员所佩戴的设备,所述行为包括工作人员是否吸烟、各个作业现场是否有烟雾以及是工作人员不可入内的区域中是否有入侵行为,并判断行为是否为异常行为,当行为是异常行为时,生成行为异常信息进行报警并将行为异常信息传输至可视化管理平台模块,当行为是正常行为时,生成行为正常信息并将行为正常信息传输至可视化管理平台模块,
所述对实时视频中的目标和行为进行智能检测包括将实时视频划分为帧图像集合,获取改进YOLOv5网络模型,根据改进YOLOv5网络模型对帧图像集合中的目标和行为进行智能检测。
所述获取改进YOLOv5网络模型包括加载改进YOLOv5网络模型,初始化所述改进YOLOv5网络模型的参数;采集并预处理实际业务场景图片,对实际业务场景图片进行标注,将标注后的实际业务场景图片存储为数据集,将数据集划分为训练集和测试集,根据训练集对改进YOLOv5网络模型进行训练,得到改进YOLOv5网络模型的预训练权重,根据预训练权重对改进YOLOv5网络模型进行调整,根据测试集对调整后的改进YOLOv5网络模型进行测试评估。
所述改进YOLOv5网络模型包括输入端模块、主干模块、颈部模块和头部预测模块四个部分,所述主干模块包括第一Conv[6,2]网络、第一Conv[3,2]网络,第一C3 True子模块、第一CA注意力机制、第二Conv[3,2]网络、第二C3 True子模块、第二CA注意力机制、第三Conv[3,2]网络、第三C3 True子模块、CBMA注意力机制、第四Conv[3,2]网络、第四C3 True子模块以及SPPF模块,所述第一Conv[6,2]网络与第一Conv[3,2]网络相连接,第一C3 True子模块、第一CA注意力机制与第二Conv[3,2]网络相连接,第二C3 True子模块、第二CA注意力机制、第三Conv[3,2]网络相连接,第三C3 True子模块、CBMA注意力机制与第四Conv[3,2]网络相连接,第四Conv[3,2]网络与第四C3 True子模块相连接,第四C3 True子模块与SPPF模块相连接,所述第一Conv[6,2]网络、第一Conv[3,2]网络、第二Conv[3,2]网络、第三Conv[6,2]网络、第四Conv[6,2]网络分别用于对实际业务场景图片进行特征提取,所述第一C3 True子模块、第二C3 True子模块、第三C3 True子模块、第四C3 True子模块分别用于将提取的特征进行跨尺度连接,SPPF模块用于对提取的特征进行融合,所述CBAM注意力机制用于提取有效特征,所述第一CA(Coordinate attention)注意力机制、第二CA注意力机制用于获取实际业务场景图片中感兴趣的区域。
改进后的主干模块,包括多个Conv、C3模块和一个SPPF模块和加入的注意力机制(CA注意力机制和CBMA注意力机制)。
颈部模块,采用FPN+PAN的结构,其中FPN结构用于自上向下传递强语义特征信息;PAN结构在FPN结构之后增加一个向上的特征金字塔,用于自下向上传递强定位信息;
头部预测模块由三层检测层组成,不同尺寸的特征图用于检测不同尺寸的目标对象。每个检测层输出相应的向量,最后生成原图像中目标的预测边界框和类别并进行标记。
主干模块和颈部主要用来特征提取,其中颈部模块还有对所提取的特征进行进一步的混合与组合,并且把这些特征传递给头部预测模块的作用。而头部预测模块通过非极大值抑制(NMS)等操作进行最终的预测输出。
Conv主要对输入的特征图执行卷积,批量归一化(Batch Normalization,BN),激活函数操作,具有特征提取的作用。
C3模块跨尺度连接,可以让模型学习到更多的特征,主要作用也是特征提取。SPPF模块能将任意大小的特征图转换成固定大小的特征向量,可以融合多个尺度的不同感受野,具有融合特征的作用。
Concat模块也是具有特征融合作用。
Upsample是上采样,是为了将特征图采样到指定分辨率大小。
所输入的特征图通过主干模块中的多个Conv、C3模块和一个SPPF模块进行特征的提取和融合,形成一组新的特征图;颈部模块使用Concat特征融合模块对所述特征图进行融合;最后经由头部预测模块,生成边界框并形成检测结果;本专利其改进在于主干模块中添加注意力机制模块即CA注意力机制和CBMA注意力机制,使YOLOv5网络中经过多次训练后为输入特征不同的通道分配不同的权重,并让网络学习自动调整,以提升该YOLOv5网络结构特征提取的能力。
CA注意力机制的核心就是让网络关注它更需要关注的地方,注意力机制一般以权重的方式体现。本实施例在目标检测框架YOLOv5网络架构中加入CA注意力机制和CBMA注意力机制,引入注意力机制有助于更加精准的进行目标识别与定位,可以获取更多特征信息,帮助模型更加精准地定位和识别。在backbone基础网络网络中加入注意力机制的作用就是让训练网络知道重点去关注哪一部分,实现重要特征突出表现的,同时抑制不那么明显的特征。在YOLOv5网络架构中,加入CA注意力机制和CBMA注意力机制,位置位于backbone基础网络的C3 True和Conv[3,2]之间,区别于其他改进方法,本方法加入了两层CA注意力机制和一层CBMA注意力机制,具体加入位置如图3所示。
CA注意力机制具体分为两个步骤:信息嵌入和注意力生成。
信息嵌入:首先对输入的特征图分别从长度方向和宽度方向进行平均值池化。这个操作分别沿两个空间方向聚合特征,得到一对方向感知的特征图。这个操作也能捕捉到沿着一个空间方向的长期依赖关系,并保存沿着另一个空间方向的精确位置信息,这有助于网络更准确地定位感兴趣的目标。
注意力生成:通过信息嵌入的变换后,将生成的两个特征向量进行concat操作,然后通过卷积层进行通道数量的变换。注意concat是沿着空间维度方向的,之后通过一个BN层和激活函数层,再沿着空间维数将特征分解为两个单独的向量。两个向量分别通过卷积层恢复到原来的通道数,之后通过sigmoid激活函数,与原来的特征图相乘。
CA注意力机制采用群卷积的方法,分组卷积用于改进CNN架构,经过几层的卷积后特征图的每个位置都包含原图像的一个局部区域的信息,对每个位置的多个通道取最大值和平均值来作为加权系数,其中高维(低维)信道在固定分组数量的情况下包括长(短)卷积。通过实践证明,这种方法可以保证速度并且性能可以提升。它充分利用捕获到的位置信息,使感兴趣的区域被准确地捕获,同时也有效地捕捉通道间的关系。
CBAM(Convolutional Block Attention Module)注意力机制,结合了特征通道和特征空间两个维度的注意力机制。CBAM通过学习的方式自动获取每个特征通道的重要程度,此外还通过类似的学习方式自动获取每个特征空间的重要程度,并且利用得到的重要程度来提升特征并抑制对当前任务不重要的特征。通过CBAM注意力机制后,新的特征图将得到通道和空间维度上的注意力权重,大大提高了各个特征在通道和空间上的联系,更有利于提取目标的有效特征。
所述改进YOLOv5网络模型的损失函数为EIOU损失函数,所述EIOU损失函数包含三个部分:重叠损失,中心距离损失,宽高损失。
损失函数,简单的理解就是每一个样本经过算法模型后会得到一个预测值,然后得到的预测值和真实值的差值就成为损失函数,损失函数用来评价算法模型的预测值和真实值不一样的程度,它是一个非负实值函数,损失函数越小,通常算法模型的性能越好。IOU即目标检测时预测框与真实框的交并比,交并比可以反映预测框与真实框的检测效果。CIOU损失函数是在IOU损失函数基础进行改进的,CIOU损失函数虽然考虑了边界框回归的重叠面积、中心点距离、纵横比,但是仅反映了纵横比的差异,而不是宽高分别与其置信度的真实差异,所以有时会阻碍算法模型有效地优化相似性。针对这一问题,在CIOU损失函数的基础上将纵横比拆开,提出了EIOU损失函数。
YOLOv5原本采用的是CIOU损失函数,本系统的YOLOv5算法模型改进为EIOU,将CIOU改为EIOU的好处是将纵横比的损失项拆分成预测的宽高分别与最小外接框宽高的差值,加速了收敛,提高了回归精度。
所述对其他数据进行智能分析包括给定各其他数据所对应的阈值,并判断是否超过,当超过阈值时,生成报警信息进行报警并将报警信息传输至可视化管理平台模块,当没有超过阈值时,生成正常信息并将正常信息传输至可视化管理平台模块,具体包括分别设定第一阈值、第二阈值、第三阈值以及第四阈值,当浓度值超过第一阈值时,生成浓度报警信息进行报警并将浓度报警信息传输至可视化管理平台模块,当浓度值没有超过第一阈值时,生成浓度正常信息并将浓度正常信息传输至可视化管理平台模块;当温度值超过第二阈值时,生成温度报警信息进行报警并将温度报警信息传输至可视化管理平台模块,当温度值没有超过第二阈值时,生成温度正常信息并将温度正常信息传输至可视化管理平台模块;当速度值超过第三阈值时,生成速度报警信息进行报警并将速度报警信息传输至可视化管理平台模块,当速度值没有超过第三阈值时,生成速度正常信息并将速度正常信息传输至可视化管理平台模块;当压力值超过第四阈值时,生成压力报警信息进行报警并将压力报警信息传输至可视化管理平台模块,当压力值没有超过第四阈值时,生成压力正常信息并将压力正常信息传输至可视化管理平台模块,
可视化管理平台模块用于于获取行为异常信息、行为正常信息以及其他数据的报警信息和正常信息,并通过终端设备进行显示。其他数据的报警信息和正常信息具体包括浓度报警信息、浓度正常信息、温度报警信息、温度正常信息、速度报警信息、速度正常信息、压力报警信息以及压力正常信息,并通过终端设备进行显示。终端设备包括指挥调度中心(可视化大屏)、各部门PC、笔记本、手机等。指挥调度中心(可视化大屏)简单来说就是大屏可视化,是把一些复杂、抽象的数据,通过可视的简单理解的方式展示出来,更加直观生动地表达其中的信息与规律,使数据更高效、更容易懂。可以帮助管理者发现数据中某种规律和特征,挖掘数据背后的价值。各部门PC系统包括智能监盘、作业列表、实时监控、报警管理、设备管理和算法管理等功能模块。
本实施例的逻辑框架示意图如图4所示,各个模块所包含的硬件设备以及各个模块之间的逻辑关系,在工业行业安全生产过程中,前端采集模块负责采集工业企业生产流程和作业现场的实时视频、有害气体浓度、现场作业记录信息、温度值等多模态数据,经过传输网络上传到后端数据处理及分析模块,该模块经过分析、处理等过程会将数据上传到可视化管理平台模块进行显示。
一种工业行业安全生产智能监控系统中所涉及的改进YOLOv5的目标检测方法的步骤示意图如图5所示。首先需要做的是获取工业企业安全生产实际业务场景的图片,然后采用LabelImg软件进行标注工作以获得数据集,并将所获得的数据集按照4:1的比例划分为训练数据集和测试数据集两部分。接着就是将训练数据集输入至经过改进的YOLOv5网络模型中进行训练,得到预训练权重。再然后就是根据得到的预训练权重,对YOLOv5网络模型进行调整。最后将测试数据集输入至调整后的经过改进的YOLOv5网络模型得到检测结果。
一种工业行业安全生产智能监控系统中所涉及的报警检测流程如图6所示。在系统报警检测流程中,当视频信号输入时,将进入后端数据处理及分析模块中的视频分析服务器,服务器中部署了经过优化改进最终确定的基于YOLOv5的算法模型,可实现运动目标检测、分类、跟踪并进行行为和事件检测,同时还负责当出现异常行为或事件时发出报警信息,包括记录触发预设报警规则时间为报警时间,截取触发报警时间的视频帧作为报警图片信息,保存报警时间和报警图片信息,并在可视化平台显示。
基本原理就是当所采集的视频中的目标行为触发已提前定义好的异常行为的时候,将会触发报警行为。这里的异常行为不是凭空定义的,需要根据一定的规则来提前设定,规则的设定需要结合企业业务需求来进行。然后,系统会记录产生报警的时间和截取报警时间的视频帧作为报警图片信息,然后进行保存并在可视化管理平台上进行显示,以提示工作人员采取相关措施以避免安全生产责任事故的发生。
采用这种方式能够日夜不间断地对企业生产流程和作业现场进行监控,相比于传统的视频监控系统,系统管理员不需要一直盯着屏幕,也不需要对海量的视频监控数据进行分析和理解,能够减少漏检、错检等行为的发生。目前,视频中的异常行为没有统一的定义,也没有严格的界定标准,需要结合企业安全生产实际业务场景。监控视频中的异常行为分析也没有统一的处理框架,但大致可分为基于规则和基于模型两类。具体如何选择需要系统设计者根据实际情况来选择,通过对已经应用的实际系统的深入调研,目前,大部分系统都是采用基于规则的方式来检测监控视频中的异常行为,即通过事先定义的规则来区分正常行为和异常行为。
比如对于通用的区域入侵算法来说,首先需要在目标场景中划定区域,以检测人员是否具有越界入侵行为,当可疑目标越过预先划好的线并停留若干帧时间时,则属于异常行为。
又比如针对吸烟检测算法来说,在目标场景中划定区域,当检测到区域中人员存在吸烟情形时,则属于异常行为。
规则的设定主要基于计算机视觉目标检测技术。系统通过对所传送的智能视频信号进行智能分析,可不断优化和调节算法模型,提高目标检测准确率。
利用本实施例所提出的工业行业安全生产智能监控系统进行危险行为识别验证试验的检测结果如图7所示,根据实时监控视频,识别工作人员是否存在未佩戴安全帽和吸烟等危险行为,若存在,则进行及时报警,降低安全生产的风险,从而营造良好的安全生产环境。
1)数据集及试验环境介绍
实验数据集分两类,分别是安全帽佩戴数据集和吸烟数据集,分别包含5000张图片,对其进行手工标注,标注工具使用LabelImg。安全帽佩戴数据集分为两种类别,分别是helmet和nohelmet,helmet表示佩戴安全帽,nohelmet表示未佩戴安全帽。吸烟数据集分为一种类别,即smoke,表示吸烟。每种数据集按照4∶1的比例划分为训练集和测试集,其中训练集用于对模型进行训练,而测试集则主要用于对训练好的模型进行最终的评估。
本次实验所用到的软硬件配置如下表所示,深度学习框架使用了PyTorch。
Figure BDA0004074453850000131
2)模型评估指标
模型评估指标主要包括精度P(Precision)、召回率R(Recall)和平均精度均值(mean Average Precision,mAP)。精确率表示预测结果中预测为正的样本中有多少是真正的正样本的比率,召回率表示原始样本中的正例有多少被预测正确的比率,mAP即所有类别的平均精度求和除以数据集中所有类的平均精度。在本次实验中,TP、FP和FN分别表示正确检测框、误检框和漏检框的数量。
3)试验结果
在确保参数相同的条件下,初始学习率为0.01,批量大小batch size为16,经过100轮的训练,得到权重文件best.pt,将测试集中的图像输入改进后训练生成的YOLOv5目标检测模型中,得到该模型在测试集中的检测结果。针对安全帽佩戴检测,检测到的结果包含两部分,分别是安全生产场景中工作人员佩戴安全帽和未佩戴安全帽。针对吸烟检测,检测到的结果为吸烟。
经过试验,得到下列参数,针对算法性能对比如下:
①安全帽佩戴检测
类别 精度P 召回率R mAP@.5 mAP@.5:.95
原yolov5算法模型 0.908 0.832 0.892 0.462
改进后的yolov5算法模型 0.922 0.846 0.911 0.478
②吸烟检测
类别 精度P 召回率R mAP@.5 mAP@.5:.95
原yolov5算法模型 0.822 0.814 0.865 0.453
改进后的yolov5算法模型 0.856 0.833 0.886 0.468
综上所述,本发明中在改进YOLOv5方案中通过引入两层CA注意力机制和一层CBMA注意力机制以及将损失函数由CIOU改为EIOU,有效地提升了目标检测时的检测精度、召回率和mAP指标。
本实施例通过构建基于人工智能技术的可视化集群平台,通过软硬件结合,集单设备、手持终端、网络平台等多类型设备的联动功能,实现了工业企业安全生产现场的可视化监控管理和多功能预警。对前端所采集的多模态数据进行智能分析,当触发视频或者气体报警时,系统还会控制现场的声光报警器进行报警,及时通知作业人员消除潜在的危险行为和隐患,避免事故的发生。系统管理功能全面,能充分满足项目自身各种业务的管理要求。系统还具有完全的操作环境,应用平台界面简练、友好,联机帮助功能健全有效。能够同时记录作业操作流程数据和监测安全监控业务数据。通过计算机来帮助人对安全生产现场视频图像进行视觉分析和自动监控,以提高监控有效性,通过智能监控系统,可以有效降低作业现场监护人员的工作量,实现“人防、技防、物防”三位一体的最佳结合。支持多路通道智能分析,并且可以根据工业企业实际业务场景,进行算法模型的增加、优化和调整,将多种人工智能算法模型与环境监测实时数据、作业管理流程的要求相融合,实现对工业企业安全生产全过程闭环管控模式,为安全生产提供智能化手段,为管理单位考核提供关键依据。系统具有很强的现场实用性,可实现现场检测、属地监视、远程监控、智能分析和预警联动等功能。
整体的有益效果:
本发明提供一种工业行业安全生产智能监控系统,通过本系统能够日夜不间断地对企业生产流程和作业现场进行监控,相比于传统的视频监控系统,系统管理员不需要一直盯着屏幕,也不需要对海量的视频监控数据进行分析和理解,能够减少漏检、错检等行为的发生,通过对前端所采集的多模态数据进行智能分析,当出现异常情况时,系统能够实时报警,及时通知作业人员消除潜在的危险行为和隐患,避免事故的发生。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种工业行业安全生产智能监控系统,其特征在于,包括前端采集模块、传输网络模块、后端数据处理及分析模块以及可视化管理平台模块,
前端采集模块用于采集各个生产流程和各个作业现场产生的视频数据和其他数据,所述视频数据包括实时视频数据,所述其他数据包括各个作业现场中有害气体的浓度值、各个生产流程中的环境温度值、各个生产流程中通过激光雷达测速传感器获取的速度值、各个生产流程中通过压力传感器获取的压力值,
传输网络模块用于将前端采集模块采集的视频数据和其他数据上传至后端数据处理及分析模块,
后端数据处理及分析模块用于获取并存储视频数据和其他数据,分别对视频数据和其他数据进行智能分析,
所述对视频数据进行智能分析包括对实时视频中的目标和行为进行智能检测,所述目标包括产品、产品的零部件、产品的外包装、工作人员所佩戴的设备,所述行为包括工作人员是否吸烟、各个作业现场是否有烟雾以及是工作人员不可入内的区域中是否有入侵行为,并判断行为是否为异常行为,当行为是异常行为时,生成行为异常信息进行报警并将行为异常信息传输至可视化管理平台模块,当行为是正常行为时,生成行为正常信息并将行为正常信息传输至可视化管理平台模块,
所述对其他数据进行智能分析包括给定各其他数据所对应的阈值,并判断是否超过,当超过阈值时,生成报警信息进行报警并将报警信息传输至可视化管理平台模块,当没有超过阈值时,生成正常信息并将正常信息传输至可视化管理平台模块,
可视化管理平台模块用于获取行为异常信息、行为正常信息以及其他数据的报警信息和正常信息,并通过终端设备进行显示。
2.根据权利要求1所述一种工业行业安全生产智能监控系统,其特征在于,所述对实时视频中的目标和行为进行智能检测包括将实时视频划分为帧图像集合,获取改进YOLOv5网络模型,根据改进YOLOv5网络模型对帧图像集合中的目标和行为进行智能检测。
3.根据权利要求2所述一种工业行业安全生产智能监控系统,其特征在于,所述获取改进YOLOv5网络模型包括加载改进YOLOv5网络模型,初始化所述改进YOLOv5网络模型的参数;采集并预处理实际业务场景图片,对实际业务场景图片进行标注,将标注后的实际业务场景图片存储为数据集,将数据集划分为训练集和测试集,根据训练集对改进YOLOv5网络模型进行训练,得到改进YOLOv5网络模型的预训练权重,根据预训练权重对改进YOLOv5网络模型进行调整,根据测试集对调整后的改进YOLOv5网络模型进行测试评估。
4.根据权利要求3所述一种工业行业安全生产智能监控系统,其特征在于,所述改进YOLOv5网络模型包括输入端模块、主干模块、颈部模块和头部预测模块四个部分,所述主干模块包括第一Conv[6,2]网络、第一Conv[3,2]网络,第一C3 True子模块、第一CA注意力机制、第二Conv[3,2]网络、第二C3 True子模块、第二CA注意力机制、第三Conv[3,2]网络、第三C3 True子模块、CBMA注意力机制、第四Conv[3,2]网络、第四C3 True子模块以及SPPF模块,所述第一Conv[6,2]网络与第一Conv[3,2]网络相连接,第一C3 True子模块、第一CA注意力机制与第二Conv[3,2]网络相连接,第二C3 True子模块、第二CA注意力机制、第三Conv[3,2]网络相连接,第三C3 True子模块、CBMA注意力机制与第四Conv[3,2]网络相连接,第四Conv[3,2]网络与第四C3 True子模块相连接,第四C3 True子模块与SPPF模块相连接,所述第一Conv[6,2]网络、第一Conv[3,2]网络、第二Conv[3,2]网络、第三Conv[6,2]网络、第四Conv[6,2]网络分别用于对实际业务场景图片进行特征提取,所述第一C3 True子模块、第二C3 True子模块、第三C3 True子模块、第四C3 True子模块分别用于将提取的特征进行跨尺度连接,SPPF模块用于对提取的特征进行融合,所述CBAM注意力机制用于提取有效特征,所述第一CA注意力机制、第二CA注意力机制用于获取实际业务场景图片中感兴趣的区域。
5.根据权利要求3所述一种工业行业安全生产智能监控系统,其特征在于,所述改进YOLOv5网络模型的损失函数为EIOU损失函数。
CN202310105021.9A 2023-02-13 2023-02-13 一种工业行业安全生产智能监控系统 Active CN116165981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310105021.9A CN116165981B (zh) 2023-02-13 2023-02-13 一种工业行业安全生产智能监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310105021.9A CN116165981B (zh) 2023-02-13 2023-02-13 一种工业行业安全生产智能监控系统

Publications (2)

Publication Number Publication Date
CN116165981A true CN116165981A (zh) 2023-05-26
CN116165981B CN116165981B (zh) 2024-07-26

Family

ID=86415943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310105021.9A Active CN116165981B (zh) 2023-02-13 2023-02-13 一种工业行业安全生产智能监控系统

Country Status (1)

Country Link
CN (1) CN116165981B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057613A (zh) * 2023-08-24 2023-11-14 南京安工信息科技有限公司 一种化工企业安全生产管理系统及方法
CN117195138A (zh) * 2023-11-07 2023-12-08 湖南展通科技集团有限公司 基于人工智能的生产设备安全生产管理方法及相关装置
CN117471033A (zh) * 2023-10-24 2024-01-30 济南趵突泉酿酒有限责任公司 酿酒生产监控方法、系统、终端及计算机可读存储介质
CN117555279A (zh) * 2024-01-11 2024-02-13 杭州企茏电子科技有限公司 危化品储存仓库远程即时监控系统及方法
CN117636264A (zh) * 2024-01-25 2024-03-01 泉州装备制造研究所 一种基于边缘计算盒的工厂安全检测智能监控方法及系统
CN118071144A (zh) * 2024-02-26 2024-05-24 青岛诚晟达精密机械有限公司 一种基于大数据的智慧工厂生产在线监测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170024975A (ko) * 2015-08-27 2017-03-08 주식회사 에스원 지역 공단별 위험 요소 모니터링 시스템 및 이를 이용한 위험 요소 모니터링 방법
CN113591790A (zh) * 2021-08-16 2021-11-02 上海铂端科技有限公司 基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其存储介质
CN113920427A (zh) * 2021-09-18 2022-01-11 浙江工业大学 基于YOLOv5CA注意力模型的实时番茄检测系统
CN114565852A (zh) * 2022-03-04 2022-05-31 上海应用技术大学 一种基于机器视觉工业机器人安全防护系统及安全防护方法
CN114694258A (zh) * 2022-04-09 2022-07-01 辽宁石油化工大学 基于改进YOLOv5算法的化工厂工人设备操作行为识别的方法
CN114821536A (zh) * 2022-05-13 2022-07-29 河南科技大学 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN114898273A (zh) * 2022-05-31 2022-08-12 西安航天动力研究所 一种视频监控异常检测方法、装置及设备
CN114913606A (zh) * 2022-06-17 2022-08-16 中国计量大学 一种基于yolo的深度学习的工业现场生产工作区域的违规检测方法
CN114972888A (zh) * 2022-06-27 2022-08-30 中国人民解放军63791部队 一种基于yolo v5的通信检修工具识别方法
CN115690087A (zh) * 2022-11-17 2023-02-03 山东工商学院 一种基于yolo的可回收物分类方法、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170024975A (ko) * 2015-08-27 2017-03-08 주식회사 에스원 지역 공단별 위험 요소 모니터링 시스템 및 이를 이용한 위험 요소 모니터링 방법
CN113591790A (zh) * 2021-08-16 2021-11-02 上海铂端科技有限公司 基于计算机视觉实现生产线装配流程行为监测的系统、方法、装置、处理器及其存储介质
CN113920427A (zh) * 2021-09-18 2022-01-11 浙江工业大学 基于YOLOv5CA注意力模型的实时番茄检测系统
CN114565852A (zh) * 2022-03-04 2022-05-31 上海应用技术大学 一种基于机器视觉工业机器人安全防护系统及安全防护方法
CN114694258A (zh) * 2022-04-09 2022-07-01 辽宁石油化工大学 基于改进YOLOv5算法的化工厂工人设备操作行为识别的方法
CN114821536A (zh) * 2022-05-13 2022-07-29 河南科技大学 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN114898273A (zh) * 2022-05-31 2022-08-12 西安航天动力研究所 一种视频监控异常检测方法、装置及设备
CN114913606A (zh) * 2022-06-17 2022-08-16 中国计量大学 一种基于yolo的深度学习的工业现场生产工作区域的违规检测方法
CN114972888A (zh) * 2022-06-27 2022-08-30 中国人民解放军63791部队 一种基于yolo v5的通信检修工具识别方法
CN115690087A (zh) * 2022-11-17 2023-02-03 山东工商学院 一种基于yolo的可回收物分类方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘欣;张灿明;: "基于卷积神经网络的矿井安全帽佩戴检测", 电子技术应用, no. 09, 6 September 2020 (2020-09-06) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057613A (zh) * 2023-08-24 2023-11-14 南京安工信息科技有限公司 一种化工企业安全生产管理系统及方法
CN117057613B (zh) * 2023-08-24 2024-03-22 南京安工信息科技有限公司 一种化工企业安全生产管理系统及方法
CN117471033A (zh) * 2023-10-24 2024-01-30 济南趵突泉酿酒有限责任公司 酿酒生产监控方法、系统、终端及计算机可读存储介质
CN117195138A (zh) * 2023-11-07 2023-12-08 湖南展通科技集团有限公司 基于人工智能的生产设备安全生产管理方法及相关装置
CN117195138B (zh) * 2023-11-07 2024-02-20 湖南展通科技集团有限公司 基于人工智能的生产设备安全生产管理方法及相关装置
CN117555279A (zh) * 2024-01-11 2024-02-13 杭州企茏电子科技有限公司 危化品储存仓库远程即时监控系统及方法
CN117555279B (zh) * 2024-01-11 2024-04-05 杭州企茏电子科技有限公司 危化品储存仓库远程即时监控系统及方法
CN117636264A (zh) * 2024-01-25 2024-03-01 泉州装备制造研究所 一种基于边缘计算盒的工厂安全检测智能监控方法及系统
CN118071144A (zh) * 2024-02-26 2024-05-24 青岛诚晟达精密机械有限公司 一种基于大数据的智慧工厂生产在线监测系统

Also Published As

Publication number Publication date
CN116165981B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
CN116165981B (zh) 一种工业行业安全生产智能监控系统
EP2009604B1 (en) A security device and system
CN112288984A (zh) 基于视频融合的三维可视化无人值守变电站智能联动系统
CN110516529A (zh) 一种基于深度学习图像处理的投喂检测方法和系统
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN106504464A (zh) 基于红外热成像的森林防火监测系统及信息融合方法
CN117319609A (zh) 一种物联网大数据智能视频监控系统及方法
CN112112629A (zh) 一种钻井作业过程中的安全业务管理系统和方法
CN110867046A (zh) 一种基于云计算的智能洗车机视频监控预警系统
CN111416960B (zh) 一种基于云服务的视频监控系统
CN210222962U (zh) 一种智能电子围栏系统
CN110853287A (zh) 一种基于物联网分布式架构的火焰实时监控系统及方法
CN112671104A (zh) 面向复杂场景的变电站多维度场景管控平台
CN109544870A (zh) 用于智能监控系统的报警判断方法与智能监控系统
CN117975637A (zh) 基于物联网的智能安防系统
CN115019462A (zh) 视频处理方法、装置、存储介质及设备
CN116129490A (zh) 一种用于复杂环境行为识别的监控装置及监控方法
CN117612060A (zh) 基于人工智能检测的视频预警系统、方法、设备及介质
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
CN117978969A (zh) 一种应用于养殖业的ai视频管理平台
RU2746652C1 (ru) Модульный комплекс контроля производственной безопасности и технологических процессов
CN117710832A (zh) 一种电网卫星、无人机、视频监控图像智能识别方法
CN113095160A (zh) 基于人工智能和5g的电力系统人员安全行为识别方法及系统
CN111723725A (zh) 一种基于视频ai多维分析系统
CN108073854A (zh) 一种现场巡检的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant