CN116665096A - 基于深度学习视觉算法的智慧加油站安全监管方法 - Google Patents

Abstract

本发明公开了基于深度学习视觉算法的智慧加油站安全监管方法，包括以下步骤：S10，训练模型；S20，后端处理及前端展示；S10，训练模型，包括以下步骤：S11，收集数据；S12，标注数据，组织数据集；S13，设置YOLOv5框架训练配置文件，进行训练。本发明通过对常见加油站中一些不安全行为、危险情况进行分析，利用加油站已有摄像头进行数据采集，通过计算机视觉目标检测算法对数据进行分析检测，由算法得到识别结果经处理后可对站点全域实现安全行为的识别和预警，能够有效地将隐患安全降到最低，杜绝安全事故的发生。

Description

基于深度学习视觉算法的智慧加油站安全监管方法

技术领域

本发明属于深度学习技术领域，涉及一种基于深度学习视觉算法的智慧加油站安全监管方法。

背景技术

随着我国经济形势不断向前发展，社会对能源的需要也越来越迫切，在交通运输领域更是离不开千千万万个加油站及时地给运输车辆加油补充能源。加油站属危化品零售业，经营过程中需大量存储和销售汽油和柴油物质，具有易爆性、易然性、有毒性等危险、危害特性，一旦发生泄漏或爆炸，不仅造成人员伤亡和财产损失，更严重威胁到周边居民和环境。必须有效杜绝违章作业，减少操作失误，从而降低事故发生率，保障企业利益，人员安全。因此有必要将实现加油站安全管理现代化作为一个重要问题来解决。

近年来随着人工智能技术的不断发展，以深度学习为代表的人工智能技术发挥了极大优势，搜索技术、数据挖掘、视觉技术、自然语言处理、推荐个性化技术等在各自的领域以极快的速度迅速实现了产业化落地，将人类发展推到了一个前所未有的高度。在人工智能、深度学习快速发展的今天，一个迫切需要解决的问题是如何更好地将先进的科学技术理论转化成生产力，解决人们生产生活中遇到的实际问题，解决传统企业面临的痛点问题，真正意义上将人工智能技术强大的生命力表现出来。在人工智能的一个分支计算机视觉技术方面，目标检测技术已经逐步走向实际应用化，在智能安防、智能驾驶、工业缺陷检测、光学遥感领域、智能巡检等方面，目标检测技术发挥了极大作用。

目前工业界中常用的目标检测算法技术有二阶段的RCNN系列算法和一阶段的YOLO系列算法，相较于二阶段的RCNN系列算法，一阶段的YOLO系列算法无论是在检测速度上还是检测精度上都有着极大的优势，同时YOLO系列算法仍在不断地推陈出新，不断发展，这使得持续优化成为可能。从表1可以看出YOLOV5算法和之前的YOLOV3、YOLOV4相比，无论是在精度还是在速度上均有大幅度提升。

表1 YOLO系列算法性能对比

发明内容

为解决上述问题，本发明为了为提升加油站对不安全行为的监测，针对加油站中一些不安全行为、危险情况进行智能化分析，通过计算机视觉目标检测算法对数据进行分析检测，得到识别结果经处理后可对站点全域实现安全行为的识别和预警，能够有效地将隐患安全降到最低，杜绝安全事故的发生。

为实现上述目的，本发明的技术方案为基于深度学习视觉算法的智慧加油站安全监管方法，包括以下步骤：

S10，训练模型；

S20，后端处理及前端展示。

优选地，所述S10，训练模型，包括以下步骤：

S11，收集数据；

S12，标注数据，组织数据集；

S13，设置YOLOv5框架训练配置文件，进行训练。

优选地，所述S11，收集数据，包括以下步骤：

S111，在加油站现场利用球机进行拍摄，获取视频样本。

S112，根据视频样本的时间长度决定采样时间，获取样本，使训练出来的模型更加准确。本实施例每隔10秒，对获取的视频样本进行采样，获取图像样本，命名为合适的名字后，存于一个文件夹，形成图像数据集。

优选地，所述S112中对视频样本每隔10秒进行采样。

优选地，所述S12，标注数据，组织数据集，包括以下步骤：

S121，利用labelimg对数据集进行标注，设置两个大类，分别是加油类和卸油类，分别有10个小类和13个小类，选择生成YOLO格式的txt标注文件，格式为：

class_id x y w h

class_id:类别的id编号

其中，x:目标的中心点x坐标/图片总宽度；

y:目标的中心的y坐标/图片总高度；

w:目标框的宽带/图片总宽度；

h:目标框的高度/图片总高度。

S122，将所有需要训练和测试的图片放入JPEGImages文件夹，对应的yolo格式标记文件放入labels文件夹；

S123，利用python脚本文件，生成训练集和测试集，生成train.txt和test.txt，分别给出训练图片文件和测试图片文件的列表，含有每个图片的路径和文件名。

优选地，所述S13，设置YOLOv5框架训练配置文件，进行训练，具体为：设置测试配置文件，进行测试和性能统计，并据此修改YOLOv5先验框大小，重新训练和测试，获取最佳权重文件和配置文件。

优选地，在所述S13后，将训练完成后的模型其部署在边缘端计算板卡上，在服务器端基于Pytorch深度学习框架训练的模型在部署时，进行迁移量化工作，通过迁移量化将模型转化为能够适配在边缘端计算板卡上的模型格式；

再将算法模块进行封装，用http协议以json格式与后端进行交互，根据实际需求，定义接口地址、请求方式、请求参数、响应参数、返回格式、错误码；请求参数有timestamp:时间戳，算法推理检测的时间、camera_id:摄像头编号、detections:检测内容json字符串、image_origin:原始图像、image_det:检测图像；检测内容的json字符串参数：detections：[{},{},{},…]、class:类别、prob:识别概率。

优选地，在所述S13后，实时识别球机拍摄到的画面，得到位置信息和种类信息，在监控画面中框出具体位置并打印种类信息，具体包括以下步骤：

S31，利用opencv，来调用摄像头，以获取实时监控视频画面；

S32，提取视频的每一帧，进行颜色空间转换，从opencv图像的BGR格式，转换为YOLOv5所需要的RBG格式；

S33，进行图片的缩放，以适配YOLOv5要求的图像大小；

S34，将处理好之后的单帧图像输入YOLOv5，进行转换和识别，得到识别出来的位置信息和种类信息；

S35，若存在人员和工装，则框出人员及工装，标出类别信息，不做后处理判断；若存在抽烟、抽烟、打电话、未穿工装、未放置灭火器的不安全类别，则框出位置并标出类别信息，输出坐标信息并上传告警平台。

优选地，所述S35后告警平台收到相关信息后，进行逻辑后处理操作，形成告警信息，包括人员离岗告警、抽烟告警、打电话告警、烟火告警，前端页面弹窗提示告警信息，工作人员去及时处理。

优选地，所述S20，后端处理及前端展示，包括将检测到信息以json字符串的形式传递给后端，后端模块解析后进行后处理逻辑的编写，通过后处理后将最终告警结果传递给前端展示页面；同时后端模块也涉及前端功能的相关配置，包括摄像头的添加与删除，用户的增删改查。

本发明至少有如下具体有益效果：

1.现有加油站的安全监管只是简单的通过调看监控去发现问题，出现问题既无法立即做出有效干预，也无法在排查问题时短时间内从大量的监控视频中确定发生问题的时间及监控位置。本发明将深度学习方法引入到加油站安全监管中，通过视觉目标检测算法与加油站已有摄像头联动，对同一物体进行多次识别，可实现变焦识别、多摄像机联动识别。对于加油站出现的不安全行为以及危险情况能做出实时告警反馈，一旦出现不安全行为及危险情况，可立即反馈给工作人员，实时性高、检测效率准，能够有效减少加油站的安全隐患，降低加油站的危险情况的发生；

2.本发明视频AI检测模型丰富，可对多种不安全行为进行检测，实现的检测范围有人员识别、工服识别、安全帽识别、车辆识别、车牌识别、油箱盖识别、抽烟识别、打电话识别、灭火器识别、烟火识别等多种检测类型。检测类型丰富，可针对不同加油站的不同需求，选择检测类型，便于移植；

3.本发明实现了多算法、多技术融合，多算法联动将识别后的输出结果进行大数据分析，针对不同的告警信息，统计分析一天之内不同时间段告警信息数量，告警信息的类型，统计一个月内有哪些不安全行为或者危险情况的发生并将结果以折线图、饼状图、条形图等各种直观手段呈现出，有利于加油站更有针对性地去排查安全隐患，规范作业行为；

4.本发明将整套系统集成到了边缘端计算盒子中，边缘端计算盒子轻便灵巧，便于部署，同时支持海康、大华等主流摄像头的视频接入，支持8路/16路/32路视频流的智能实时分析，支持H264/H265硬件编解码，RTSP/ONVIF协议封装转发。通过模型压缩、量化、剪枝、并行加速等技术实现智能前置，从而达到边缘部署、前端智能的效果；

5.本方法还将视觉算法与业务流程进行了高度融合，针对系统检测出的结果，可自动生成报表，报表种类丰富，自动生成安全、服务、营销、运营等报表，不仅对加油站本身运维起到良好的作用，对于加油站的上级监管部门也可使其工作量大幅减少，实现提升效率、降本增效。

附图说明

图1为本发明方法实施例的基于深度学习视觉算法的智慧加油站安全监管方法的流程图；

图2为本发明方法实施例的基于深度学习视觉算法的智慧加油站安全监管方法的S10流程图；

图3为本发明方法实施例的基于深度学习视觉算法的智慧加油站安全监管方法的对应平台示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参见图1，为本发明实施例的本发明的技术方案为基于深度学习视觉算法的智慧加油站安全监管方法的流程图，包括以下步骤：

S10，训练模型；

S20，后端处理及前端展示。

对可见光摄像机、红外测温摄像机、移动防爆一体机和其他传感设备的数据进行采集，至AI边缘计算盒子后进行数据分析后传输给Web端或客户端，通过设备预警和人工排查进行管理干预和人工干预，通过自动监测形成告警信息和预警播报进行自动干预。

参见图2，S10，训练模型，包括以下步骤：

S11，收集数据；

S12，标注数据，组织数据集；

S13，设置YOLOv5框架训练配置文件，进行训练。

S11，收集数据，包括以下步骤：

S111，在加油站现场利用球机进行拍摄，获取视频样本。

S112，根据视频样本的时间长度决定采样时间，获取样本，使训练出来的模型更加准确。本实施例每隔10秒，对获取的视频样本进行采样，获取图像样本，命名为合适的名字后，存于一个文件夹，形成图像数据集。

S112中对视频样本每隔10秒进行采样。

S12，标注数据，组织数据集，包括以下步骤：

S121，利用labelimg对数据集进行标注，设置两个大类，分别是加油类和卸油类，分别有10个小类和13个小类，参见表2。

表2

人员	person
		工装	uniforms
菲工装	non_uniforms
		小车	car
卡车	truck
		摩托车	motocycle
车牌号	plate
		油箱盖开	cap_open
油箱盖关	cap_close
		打电话	calling
油罐车	oli_truck
		三角木	triangle
静电线	static_wire
		警戒架/线	alert
大灭火器	l_extinguisher
		小灭火器	s_extinguisher
接油盒	oil_can
		油管	oil_pipeline
人员	person
		安全帽	helmet
未带安全帽	non_helmet
		工装	uniforms
非工装	non_uniforms

选择生成YOLO格式的txt标注文件，格式为：

class_id x y w h

class_id：类别的id编号

其中，x：目标的中心点x坐标/图片总宽度；

y:目标的中心的y坐标/图片总高度；

w:目标框的宽带/图片总宽度；

h:目标框的高度/图片总高度。

S122，将所有需要训练和测试的图片放入JPEGImages文件夹，对应的yolo格式标记文件放入labels文件夹；

S123，利用python脚本文件，生成训练集和测试集，生成train.txt和test.txt，分别给出训练图片文件和测试图片文件的列表，含有每个图片的路径和文件名。

S13，设置YOLOv5框架训练配置文件，进行训练，具体为：设置测试配置文件，进行测试和性能统计，并据此修改YOLOv5先验框大小，重新训练和测试，直至模型的PR值达标，获取最佳权重文件和配置文件，导出模型。

在S13后，将训练完成后的模型其部署在边缘端计算板卡上，在服务器端基于Pytorch深度学习框架训练的模型在部署时，进行迁移量化工作，通过迁移量化将模型转化为能够适配在边缘端计算板卡上的模型格式；

再将算法模块进行封装，用http协议以json格式与后端进行交互，根据实际需求，定义接口地址、请求方式、请求参数、响应参数、返回格式、错误码；请求参数有timestamp:时间戳，算法推理检测的时间、camera_id:摄像头编号、detections:检测内容json字符串、image_origin:原始图像、image_det:检测图像；检测内容的json字符串参数：detections：[{},{},{},…]、class:类别、prob:识别概率。

在S13后，实时识别球机拍摄到的画面，得到位置信息和种类信息，在监控画面中框出具体位置并打印种类信息，具体包括以下步骤：

S31，利用opencv，来调用摄像头，以获取实时监控视频画面；

S32，提取视频的每一帧，进行颜色空间转换，从opencv图像的BGR格式，转换为YOLOv5所需要的RBG格式；

S33，进行图片的缩放，以适配YOLOv5要求的图像大小；

S34，将处理好之后的单帧图像输入YOLOv5，进行转换和识别，得到识别出来的位置信息和种类信息；

S35，若存在人员和工装，则框出人员及工装，标出类别信息，不做后处理判断；若存在抽烟、抽烟、打电话、未穿工装、未放置灭火器的不安全类别，则框出位置并标出类别信息，输出坐标信息并上传告警平台。

S35后告警平台收到相关信息后，进行逻辑后处理操作，形成告警信息，包括人员离岗告警、抽烟告警、打电话告警、烟火告警，前端页面弹窗提示告警信息，工作人员去及时处理。

S20，后端处理及前端展示，包括将检测到信息以json字符串的形式传递给后端，后端模块解析后进行后处理逻辑的编写，通过后处理后将最终告警结果传递给前端展示页面；同时后端模块也涉及前端功能的相关配置，包括摄像头的添加与删除，用户的增删改。

具体实施例中，包括：

现场采集加油站真实视频数据，包括全天不间断时间内工作人员工作场景、各类车辆到加油站加油场景以及加油站站区的相关视频数据，视频数据涵盖加油站加油作业区工作人员工装、人员打电话、灭火器、吸烟、烟火等类别，采用Python脚本对视频数据进行抽帧处理后，利用标注工具如LabelImg等对图片数据进行标注，制作数据集，划分成训练集和测试集；

用YOLOV5目标检测算法对数据集进行训练，根据PR曲线图对超参数如学习率、批次大小batch-size等进行调整，不断观察loss损失函数的下降速度以及值变化，每间隔10个epoch就用测试集对当前模型进行测试并保存模型，当loss损失函数趋于稳定时停止训练，取mAP值最高时的模型作为最优模型。当P(precision)、R(recall)值达不到要求时，需要对数据进行扩增，对网络进行适当地修改后迭代重复训练，模型训练流程见图2。

得到训练完成后的模型后，需要将其部署在边缘端计算板卡上，在服务器端基于Pytorch深度学习框架训练的模型在部署时，需要进行迁移量化工作，通过迁移量化将模型转化为能够适配在边缘端计算板卡上的模型格式。

将算法模块进行封装，用http协议以json格式与后端进行交互，根据实际需求，应当定义接口地址、请求方式、请求参数、响应参数、返回格式、错误码等数据信息。请求参数有timestamp:时间戳，算法推理检测的时间、camera_id:摄像头编号、detections:检测内容json字符串、image_origin:原始图像、image_det:检测图像。检测内容的(detections)json字符串参数：detections：[{},{},{},…]、class:类别、prob:识别概率

后端模块主要涉及数据库技术、web开发技术以及与前端页面模块、算法模块的交互等。算法模块将检测到信息以json字符串的形式传递给后端，后端模块解析后进行后处理逻辑的编写，通过后处理后将最终告警结果传递给前端展示页面。同时后端模块也涉及到前端一些功能的相关配置，如摄像头的添加与删除，用户的增删改查等功能。

前端展示页面模块主能够直观地将整个系统的信息呈现给用户，同时便于与用户进行交互。主要分成三个子模块，模块一是首页展示，首页页面示意图见图3，可添加4-8路加油站的实时视频到首页，起到实时监控的作用，同时首页右侧是告警展示，对于监测到的一些不安全行为等的告警行为直观地显示在首页；模块二是数据中心，在数据中心页可看到不同路摄像头的告警信息详情，同时可以通过选择不同的筛选条件如告警设备、告警类型、告警时间等选择性查看；模块三是系统设置，可在系统设置里置摄像头的相关参数以添加、修改、删除摄像头等。

整个系统最终集成在一个边缘端计算盒子中，连接一个显示屏即可完成硬件的配置，软件系统部署完成后，即可在加油站现场开始工作。整个工作的pipeline如下：加油站摄像头的实时视频流取流——AI算法模型分析每一帧图片数据——检测到的类别(人员、抽烟、打电话、未穿工装、未放置灭火器等)——后端后处理形成告警信息(人员离岗告警、抽烟告警、打电话告警、烟火告警等)——前端页面弹窗提示告警信息——工作人员及时处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习视觉算法的智慧加油站安全监管方法，其特征在于，包括以下步骤：

S10，训练模型；

S20，后端处理及前端展示。

2.根据权利要求1所述的方法，其特征在于，所述S10，训练模型，包括以下步骤：

S11，收集数据；

S12，标注数据，组织数据集；

S13，设置YOLOv5框架训练配置文件，进行训练。

3.根据权利要求2所述的方法，其特征在于，所述S11，收集数据，包括以下步骤：

S111，在加油站现场利用球机进行拍摄，获取视频样本。

S112，根据视频样本的时间长度决定采样时间，获取样本，使训练出来的模型更加准确。本实施例每隔10秒，对获取的视频样本进行采样，获取图像样本，命名为合适的名字后，存于一个文件夹，形成图像数据集。

4.根据权利要求3所述的方法，其特征在于，所述S112中对视频样本每隔10秒进行采样。

5.根据权利要求2所述的方法，其特征在于，所述S12，标注数据，组织数据集，包括以下步骤：

S121，利用labelimg对数据集进行标注，设置两个大类，分别是加油类和卸油类，分别有10个小类和13个小类，选择生成YOLO格式的txt标注文件，格式为：

class_id x y w h

class_id:类别的id编号

其中，x:目标的中心点x坐标/图片总宽度；

y:目标的中心的y坐标/图片总高度；

w:目标框的宽带/图片总宽度；

h:目标框的高度/图片总高度。

S122，将所有需要训练和测试的图片放入JPEGImages文件夹，对应的yolo格式标记文件放入labels文件夹；

S123，利用python脚本文件，生成训练集和测试集，生成train.txt和test.txt，分别给出训练图片文件和测试图片文件的列表，含有每个图片的路径和文件名。

6.根据权利要求2所述的方法，其特征在于，所述S13，设置YOLOv5框架训练配置文件，进行训练，具体为：设置测试配置文件，进行测试和性能统计，并据此修改YOLOv5先验框大小，重新训练和测试，获取最佳权重文件和配置文件。

7.根据权利要求6所述的方法，其特征在于，在所述S13后，将训练完成后的模型其部署在边缘端计算板卡上，在服务器端基于Pytorch深度学习框架训练的模型在部署时，进行迁移量化工作，通过迁移量化将模型转化为能够适配在边缘端计算板卡上的模型格式；

再将算法模块进行封装，用http协议以json格式与后端进行交互，根据实际需求，定义接口地址、请求方式、请求参数、响应参数、返回格式、错误码；请求参数有timestamp:时间戳，算法推理检测的时间、camera_id:摄像头编号、detections:检测内容json字符串、image_origin:原始图像、image_det:检测图像；检测内容的json字符串参数：detections：[{},{},{},…]、class:类别、prob:识别概率。

8.根据权利要求6所述的方法，其特征在于，在所述S13后，实时识别球机拍摄到的画面，得到位置信息和种类信息，在监控画面中框出具体位置并打印种类信息，具体包括以下步骤：

S31，利用opencv，来调用摄像头，以获取实时监控视频画面；

S32，提取视频的每一帧，进行颜色空间转换，从opencv图像的BGR格式，转换为YOLOv5所需要的RBG格式；

S33，进行图片的缩放，以适配YOLOv5要求的图像大小；

S34，将处理好之后的单帧图像输入YOLOv5，进行转换和识别，得到识别出来的位置信息和种类信息；

S35，若存在人员和工装，则框出人员及工装，标出类别信息，不做后处理判断；若存在抽烟、抽烟、打电话、未穿工装、未放置灭火器的不安全类别，则框出位置并标出类别信息，输出坐标信息并上传告警平台。

9.根据权利要求8所述的方法，其特征在于，所述S35后告警平台收到相关信息后，进行逻辑后处理操作，形成告警信息，包括人员离岗告警、抽烟告警、打电话告警、烟火告警，前端页面弹窗提示告警信息，工作人员去及时处理。

10.根据权利要求1所述的方法，其特征在于，所述S20，后端处理及前端展示，包括将检测到信息以json字符串的形式传递给后端，后端模块解析后进行后处理逻辑的编写，通过后处理后将最终告警结果传递给前端展示页面；同时后端模块也涉及前端功能的相关配置，包括摄像头的添加与删除，用户的增删改查。