CN110456723A - 一种基于深度学习的加油站卸油区安全管控系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的加油站卸油区安全管控系统，包括卸油区采集摄像头XC、车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ、卸油操作规范检测器GJ、卸油状态展示及告警器ZG。本发明可基于标准化卸油流程及其加油站卸油过程的安全管控规范，实现全自动、全流程、高精度的加油站卸油区车辆进出检测、人员实时跟踪、卸油状态检测以及卸油操作规范检测，输出叠加卸油状态检测和卸油操作规范检测结果的视频流，用于实时监视/事后追溯卸油流程；输出违规告警信息，用于记录工作人员及其卸油操作规范性检测结果，以解决卸油区工作人员动作规范检测和安全管控问题。

Description

一种基于深度学习的加油站卸油区安全管控系统

技术领域

本发明涉及人工智能、智能监控技术领域，具体涉及一种基于深度学习的卸油区工作安全管控系统。

背景技术

在需要防范火灾隐患的加油站，卸油区是一个需要特别注意的区域。一般加油站会在该区域加装监控摄像头。监控摄像头每天24小时运转，加油站管理人员需要查看缓存下来的监控视频，考察卸油区的安全管理实施情况和卸油人员的卸油操作规范。

为了保障卸油区的安全，卸油区一般只允许工作人员进入并且不允许非油罐车车辆驶入。根据加油站规定：加油站工作人员都有相对应颜色的制服，例如身穿淡蓝色制服的人为站长，身穿黄色制服的为普通员工等。当有非工作人员或者非油罐车车辆进入卸油区时，要做到及时报警，否则可能造成安全事故。

每当有油罐车到达时，加油站员工需要进行一系列的动作：油罐车到达、放置消防器材、打开卸油口、接底油、进行水溶法检测、连接静电夹、连接油管/气管、接底油、断开油管/气管、断开静电夹、关闭卸油口、油罐车离开等。

有些关键操作，如连接静电夹，如果工作人员忘记连接，有可能因为静电引燃石油导致爆炸，会造成加油站重大损失。该动作是卸油员工动作规范的重要评判标准之一。又如，水溶法检测是工作人员从油罐车中抽取一定量的油品来检测油品的质量。油品在生产、使用或贮存时水溶性酸碱腐蚀与其接触的金属构件，促使油品老化。因此，油品水溶性检测就尤为重要。

加油站为卸油过程制定了一系列的操作规范，需要管理人员通过监控视频来对卸油员工操作进行考察、评判。通常读取缓存视频非常耗时，如果采用人工方式查看历史视频，挨个检查动作，无疑是麻烦且费时的，而且一般卸油时间不定，还需要查找有卸油的监控视频段，费时费力。

随着人工智能和计算机视觉技术的快速发展，可以运用深度学习技术设计动作检测算法，结合目标检测算法，分析加油站卸油区卸油员工的动作行为信息并进行判断。实现实时地对加油站卸油区进行安全管控，考察、评判卸油员工卸油动作并进行实时报警，尽可能地减轻管理人员的负担，提高管理效率减少管理成本。

发明内容

本发明提供了一种基于深度学习的加油站卸油区安全管控系统，以解决卸油区工作人员动作规范检测和安全管控问题。

为达到本发明的目的，采用技术方案如下：

一种基于深度学习的加油站卸油区安全管控系统，基于加油站卸油过程的安全管控规范，由卸油区采集摄像头XC获取的监控视频流，经车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ、卸油操作规范检测器GJ，对特定卸油区车辆、人员状态及卸油操作步骤合规性做出判断，最后通过卸油状态展示及告警器ZG输出安全管控告警，包括如下单元操作：

1)卸油区采集摄像头XC：用于采集加油站特定卸油区的视频信息和图像，包括但不限于车辆、人员、设备以及卸油流程的实时监控，并向系统传递编码的实时视频流；

2)车辆进出检测器CJ：接受1)所获视频流，实现对加油站特定卸油区不同种类车辆的检测、定位、跟踪；实现车辆驶入状态、驻留状态、驶出状态的检测；实现车辆入侵判断，输出车辆及其状态信息；

3)人员实时跟踪器RG：接受1)所获视频流，实现对加油站特定卸油区工作人员及非工作人员的检测、定位、跟踪；实现工作人员的身份识别；实现非工作人员的入侵判断，输出人员及其状态信息；

4)卸油状态检测器XJ：接收1)所获视频流；接受2)、3)信息，基于已预设定的标准化卸油流程，依次进行卸油操作状态的检测：

A.油罐车到达状态检测；

B.油罐车静置状态检测；

C.放置消防器材状态检测；

D.打开卸油口状态检测；

E.连接静电夹状态检测；

F.水溶法检测状态检测；

G.接底油状态检测；

H.连接油管/气管状态检测；

I.断开油管/气管状态检测；

J.断开静电夹状态检测；

K.关闭卸油口状态检测；

L.油罐车离开状态检测；

5)卸油操作规范检测器GJ：接收1)所获视频流；接受4)信息，基于已预设定的卸油区操作规范要求，进行卸油操作步骤合规性判断：

A.卸油各环节操作合规性判断；

B.卸油区工作人员日常工作合规性判断；

6)卸油状态展示及告警器ZG：接受4)、5)信息，提供用户人机交互界面，输出叠加卸油状态检测和卸油操作规范检测结果的视频流，用于实时监视/事后追溯卸油流程；输出违规告警信息，用于记录工作人员及其卸油操作规范性检测结果。

具体处理中，所述车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ和卸油操作规范检测器GJ需要由对应的深度学习算法模型完成，用于车辆进出检测、人员实时跟踪、人员行为识别、以及卸油过程变化检测，具体内容包括：

1)构建卸油区的卸油口、静电夹、油罐车、油桶、站长、普通工作人员、非工作人员、消防器材和试管等卸油区安全管控目标的实时检测、跟踪模型，用于车辆进出检测器CJ中的车辆进出检测、人员实时跟踪器RG中的人员实时跟踪、卸油状态检测器XJ中的卸油过程场景变化检测；

2)构建打开/关闭卸油口、连接/断开静电夹、连接/断开油管/气管、接底油、手持试管等人体动作特征识别模型，用于卸油状态检测器XJ和卸油操作规范检测器GJ中的人员行为识别；

3)构建人脸及工作人员身份识别模型，用于人员实时跟踪器RG中的工作人员及非工作人员的识别。

进一步地，所述卸油状态检测器XJ置有检测缓冲队列，用于减少模型漏检和误检带来的判断误差，具体方法步骤为：缓冲队列中允许存放互斥的两种状态；系统启动时初始化缓冲队列状态；在进行状态判断时，首先获取状态检测结果，然后将检测结果加入到缓冲队列中；缓冲队列的状态和缓冲队列中出现次数多的状态相同，状态检测结果为缓冲队列状态。

附图说明

为了更清楚地说明本发明内容和实施例的技术方案，下面将对发明内容和实施例中所需要使用的附图作简单地介绍。

图1是本发明提供的一种基于深度学习的加油站卸油区安全管控系统的系统逻辑组成图。

图2是本发明提供的一种基于深度学习的加油站卸油区安全管控系统的主要业务流程图。

图3是本发明提供的一种基于深度学习的加油站卸油区安全管控系统的违规操作对照图。

具体实施方式

下面结合本发明附图，对本发明技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例涉及一种基于深度学习的加油站卸油区安全管控系统，包括卸油区采集摄像头XC，车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ、卸油操作规范检测器GJ、卸油状态展示及告警器ZG，具体系统逻辑组成如图1所示，主要业务流程如图2所示。

1)卸油区采集摄像头XC：用于采集加油站特定卸油区的视频信息和图像，包括但不限于车辆、人员、设备以及卸油流程的实时监控，并向系统传递编码的实时视频流；

2)车辆进出检测器CJ：接受1)所获视频流，实现对加油站特定卸油区不同种类车辆的检测、定位、跟踪；实现车辆驶入状态、驻留状态、驶出状态的检测；实现车辆入侵判断，输出车辆位置及其状态信息；

3)人员实时跟踪器RG：接受1)所获视频流，实现对加油站特定卸油区工作人员及非工作人员的检测、定位、跟踪；实现工作人员的身份识别；实现非工作人员的入侵判断，输出人员位置及其状态信息；

4)卸油状态检测器XJ：接收1)所获视频流；接受2)、3)信息，基于已预设定的标准化卸油流程，提取卸油操作箱区域，依次进行卸油操作状态的检测：

A.油罐车到达状态检测：检测到油罐车后加入到缓冲队列中，若缓冲队列中检测到油罐车次数大于没检测到油罐车次数且之前油罐车没有到达，那么判断为油罐车到达状态。

B.油罐车静置状态检测：在判断油罐车到达之后，如果油罐车超过预置时间门限值未移动，那么判断为油罐车静止状态。

C.放置消防器材状态检测：检测到消防器材后加入到缓冲队列中，若缓冲队列中检测到消防器材次数大于没检测到消防器材次数且之前判断没有拉取消防器材，那么判断为拉取消防器材状态。

D.打开卸油口状态检测：检测到卸油口打开后加入到缓冲队列中，若缓冲队列中检测到卸油口打开次数大于卸油口关闭次数且之前判断卸油口关闭，那么判断为卸油口打开状态。

E.连接静电夹状态检测判断：检测到静电夹后，将视频帧输入到人体动作特征识别模型中进行连接静电夹动作检测，若检测到连接静电夹动作，那么判断为连接静电夹状态。

F.水溶法检测状态检测：检测到试管后，将视频帧输入到人体动作特征识别模型中进行水溶法检测动作检测，若检测到水溶法检测动作，那么判断为水溶法检测状态。

G.接底油状态检测：检测到油桶后，将视频帧输入到人体动作特征识别模型中进行接底油动作检测，若检测到接底油动作，那么判断为接底油状态。

H.连接油管/气管状态检测：检测到油管/气管后，将视频帧输入到人体动作特征识别模型中进行连接油管/气管动作检测，若检测到连接油管/气管动作，那么判断为连接油管/气管状态。

I.断开油管/气管状态检测：与连接油管/气管状态检测方法相似。

J.断开静电夹状态检测：与连接静电夹状态检测方法相似。

K.关闭卸油口状态检测：与打开卸油口状态检测方法相似。

L.油罐车离开状态检测：与油罐车离开状态检测方法相似。

5)卸油操作规范检测器GJ：接收1)所获视频流；接受4)信息，基于已预设定的卸油区操作规范要求，进行卸油操作步骤合规性判断，违规操作对照表如图3所示：

A.卸油各环节操作合规性判断：

a)油罐车到达后，卸油前油罐车需按指定时长静置。初始化一个计时器，如果在下一个卸油操作发生前计时器计时少于油罐车指定的静置时长，则判定油罐车静置未满指定时间，输出卸油过程违规事件信息。

b)卸油过程中，消防器材必须一直出现在卸油区监控画面中。当无法检测到消防器材，并且持续时间超过预定时长，则判定消防器材未到位，输出卸油过程违规事件信息。

c)卸油过程中，若在接油管之前未检测到连接静电夹动作，则判定卸油过程中未连接静电夹，输出卸油过程违规事件信息。

d)卸油过程中，若在接油管之前未检测到接底油动作，则判定卸油过程中未接底油，输出卸油过程违规事件信息。

e)卸油过程中，若在接油管之前未检测到进行水溶法检测油品，则判定卸油过程中未进行水溶法检测，输出卸油过程违规事件信息。

f)卸油过程中，工作人员需要全程在场，若工作人员不在监控画面中超过预定时长，则判断为人员违规，输出卸油过程违规事件信息。

B.卸油区工作人员日常工作合规性判断：

a)卸油区每天需要在规定时间进行巡检。若在规定时间无法检测到任何工作人员，则判定卸油区未巡检，输出卸油区日常工作违规事件信息。

b)在卸油区内禁止抽烟、打电话、玩手机等行为，若发现烟火或者检测到打电话、玩手机等行为，则判定为人员违规，输出卸油区日常工作违规事件信息。

6)卸油状态展示及告警器ZG：接受4)、5)信息，提供用户人机交互界面，输出叠加卸油状态检测和卸油操作规范检测结果的视频流，用于实时监视/事后追溯卸油流程；输出违规告警信息，用于记录工作人员及其卸油操作规范性检测结果。

具体处理中，所述车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ和卸油操作规范检测器GJ需要由对应的深度学习算法模型完成，用于车辆进出检测、人员实时跟踪、人员行为识别、以及卸油过程变化检测，具体内容包括：

1)构建卸油区的卸油口、静电夹、油罐车、油桶、站长、普通工作人员、非工作人员、消防器材和试管等卸油区安全管控目标的实时检测、跟踪模型，用于车辆进出检测器CJ中的车辆进出检测、人员实时跟踪器RG中的人员实时跟踪、卸油状态检测器XJ中的卸油过程场景变化检测。可使用Faster R-CNN检测模型；利用Caffe2训练框架和Detectron目标检测平台训练Faster R-CNN检测模型。训练数据从预先选取的有价值视频片段中按一定频率提取视频帧(如每秒截取一帧)，先利用COCO数据集预训练模型预处理一遍，之后微调即可。

2)构建打开/关闭卸油口、连接/断开静电夹、连接/断开油管/气管、接底油、手持试管等人体动作特征识别模型，用于卸油状态检测器XJ和卸油操作规范检测器GJ中的人员行为识别。可使用AlphaPose人体关键点检测模型。AlphaPose的人体关键点格式为：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝盖、右膝盖、左脚踝和右脚踝。通过这些关键点可以计算手与身体的角度从而判断打开/关闭卸油口、连接/断开静电夹、连接/断开油管/气管、接底油、手持试管等人体动作。

3)构建人脸及工作人员身份识别模型，用于人员实时跟踪器RG中的工作人员及非工作人员的识别。可使用MTCNN模型，构建工作人员的人脸识别模型，为违规操作定位到人提供支撑。MTCNN模型即多任务卷积神经网络，该模型将多个神经网络级联而且性能接近实时。

进一步地，所述卸油状态检测器XJ置有检测缓冲队列，用于减少模型漏检和误检带来的判断误差，具体方法步骤为：缓冲队列中允许存放互斥的两种状态，例如判断油罐车到达/离开缓冲队列，存放油罐车到达状态和油罐车离开状态；系统启动时会初始化缓冲队列状态；在进行状态判断时，首先获取状态检测结果，然后将检测结果加入到缓冲队列中；缓冲队列的状态和缓冲队列中出现次数多的状态相同，状态检测结果为缓冲队列状态，其状态判定如下述公式所示：

其中t₀表示状态0出现的次数；t₁表示状态1出现的次数。这样即使模型偶尔的漏检或误检，也不会立马影响到做出的判断，保证判断结果的稳定性和正确性。

Claims (5)

1.一种基于深度学习的加油站卸油区安全管控系统，基于加油站卸油过程的安全管控规范，由卸油区采集摄像头XC获取的监控视频流，经车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ、卸油操作规范检测器GJ，对特定卸油区车辆、人员状态及卸油操作步骤合规性做出判断，最后通过卸油状态展示及告警器ZG输出安全管控告警，包括如下单元操作：

1)卸油区采集摄像头XC：用于采集加油站特定卸油区的视频信息和图像，包括但不限于车辆、人员、设备以及卸油流程的实时监控，并向系统传递编码的实时视频流；

2)车辆进出检测器CJ：接受1)所获视频流，实现对加油站特定卸油区不同种类车辆的检测、定位、跟踪；实现车辆驶入状态、驻留状态、驶出状态的检测；实现车辆入侵判断，输出车辆位置及状态信息；

3)人员实时跟踪器RG：接受1)所获视频流，实现对加油站特定卸油区工作人员及非工作人员的检测、定位、跟踪；实现工作人员的身份识别；实现非工作人员的入侵判断，输出人员位置及状态信息；

4)卸油状态检测器XJ：接收1)所获视频流；接受2)、3)信息，基于已预设定的标准化卸油流程，进行卸油操作状态的检测，输出卸油操作状态检测结果；

5)卸油操作规范检测器GJ：接收1)所获视频流；接受4)信息，基于已预设定的卸油区操作规范要求，进行卸油操作步骤合规性判断，输出卸油操作规范检测结果；

6)卸油状态展示及告警器ZG：接受4)、5)信息，提供用户人机交互界面，输出叠加卸油状态检测和卸油操作规范检测结果的视频流，用于实时监视/事后追溯卸油流程；输出违规告警信息，用于记录工作人员及其卸油操作规范性检测结果。

2.根据权利要求1所述的基于深度学习的加油站卸油区安全管控系统，其特征在于，所述卸油状态检测器XJ的具体内容包括为：

1)油罐车到达状态检测；

2)油罐车静置状态检测；

3)放置消防器材状态检测；

4)打开卸油口状态检测；

5)连接静电夹状态检测；

6)水溶法检测状态检测；

7)接底油状态检测；

8)连接油管/气管状态检测；

9)断开油管/气管状态检测；

10)断开静电夹状态检测；

11)关闭卸油口状态检测；

12)油罐车离开状态检测。

3.根据权利要求1所述的基于深度学习的加油站卸油区安全管控系统，其特征在于，所述卸油操作规范检测器GJ的具体内容包括为：

1)卸油各环节操作合规性判断；

2)卸油区工作人员日常工作合规性判断。

4.根据权利要求1所述的基于深度学习的加油站卸油区安全管控系统，其特征在于，所述车辆进出检测器CJ、人员实时跟踪器RG、卸油状态检测器XJ和卸油操作规范检测器GJ需要由对应的深度学习算法模型完成，用于车辆进出检测、人员实时跟踪、人员行为识别、以及卸油过程变化检测，具体内容包括：

1)构建卸油区的卸油口、静电夹、油罐车、油桶、站长、普通工作人员、非工作人员、消防器材和试管等卸油区安全管控目标的实时检测、跟踪模型，用于车辆进出检测器CJ中的车辆进出检测、人员实时跟踪器RG中的人员实时跟踪、卸油状态检测器XJ中的卸油过程场景变化检测；

2)构建打开/关闭卸油口、连接/断开静电夹、连接/断开油管/气管、接底油、手持试管等人体动作特征识别模型，用于卸油状态检测器XJ和卸油操作规范检测器GJ中的人员行为识别；

3)构建人脸及工作人员身份识别模型，用于人员实时跟踪器RG中的工作人员及非工作人员的识别。

5.根据权利要求2所述的卸油状态检测器XJ，其特征在于，采用检测缓冲队列减少模型漏检和误检带来的判断误差，具体方法步骤为：缓冲队列中允许存放互斥的两种状态；系统启动时初始化缓冲队列状态；在进行状态判断时，首先获取状态检测结果，然后将检测结果加入到缓冲队列中；缓冲队列的状态和缓冲队列中出现次数多的状态相同，状态检测结果为缓冲队列状态。