CN115909191A - 一种加气站操作人员气体泄露检测行为的分析方法 - Google Patents

Abstract

本发明公开了一种加气站操作人员气体泄露检测行为的分析方法，包括下列步骤：步骤一、识别是否有车辆需要加气并进入待加气状态；步骤二、识别判定工作人员在车辆加气前是否做气体泄露检测；步骤三、识别判断车辆加气管连接状态；步骤四、识别判断工作人员在车辆加气前后是否做过气体泄露检测；本方法中步骤二和步骤三能同时进行。本发明将加气站工作人员在给车辆加气过程中是否进行了有效的气体泄露检测行为进行了全流程监测，形成贴合加气业务的分析算法，并提高了算法整体的检测准确率。

Description

一种加气站操作人员气体泄露检测行为的分析方法

技术领域

本发明属于视频智能监测技术领域，具体涉及一种加气站操作人员气体泄露检测行为的分析方法。

背景技术

随着CNG加气站的快速发展，CNG加气站的安全问题也日益突出，相较与加油站来说，由于加气站在操作过程中的对象主要是危险化学品天然气，而天然气为甲类火灾危险物质，具有易燃易爆危险性，近年来CNG加气站已发生了多起爆炸事故。

通过事后对CNG加气站的事故情况进行分析，发现大多数都是由于加气作业人员未有效按照规范的加气流程进行操作，忽视了安全注意事项，导致事故的发生。

在加气站进行车辆加气操作过程中，其中有一个步骤，车辆气体泄露检测，这个步骤由于要使用专门的气体泄露检测设备，且在车辆加气前后都要进行，比较繁琐，所以很多情况下，加气站工作人员都略过了该行为的执行，这样就对整个加气过程造成较大的风险。

目前，绝大多数的加气站在加气操作区域都有安装摄像头，有专门的监控管理人员负责在监控室查看加气操作的实时监控信息，对加气违规行为进行监督。

为了形成有效的监督机制，需要对所有的监控视频进行有效管理，一旦发现违规行为，及时启动响应机制；但是，由于负责监控查看的人员有限，一个监控人员需要对多个站点同时进行视频监控，这样的情况下，只能采用抽查的方式，分时段分别查看不通站点的监控信息，这就导致了整体的监控效率不高，很难形成有效的监督效果，而提高监控效率又会遇到人力投入太大的问题。

上述问题，采用视频智能监测的方式可以有效的解决，通过充分利用CNG加气站点的监控设备，对采集到的视频流进行实时智能分析，对违规操作行为进行实时识别，达到实时监控、即时告警的同时，还可以减少监控人员的负担。

现有的智能监控方案是通过在CNG站点布置AI能力摄像头，对加气操作区域的行为进行监控分析，能力摄像头中内置基本的模型算法，可以对一些简单的安全行为进行识别，比如加气操作员未穿工服，未佩戴安全帽等等，但是对于加气泄露检测的这种存在一系列移动、使用设备和在不同位置进行的复杂行为，现有的智能监控技术难以有效判断工作人员是否执行，导致无法起到应有的监督作用。

发明内容

本发明的目的是提供加气站操作人员气体泄露检测行为的分析方法用于解决现有技术中难以对气体泄露检测行为这样比较复杂的安全操作流程行为实现有效的识别判断，也就无法对现场操作人员是否完成气体泄露检测行为进行监控的技术问题。

所述的一种加气站操作人员气体泄露检测行为的分析方法，包括下列步骤：

步骤一、识别是否有车辆需要加气并进入待加气状态；

步骤二、识别判定工作人员在车辆加气前是否做气体泄露检测；

步骤三、识别判断车辆加气管连接状态；

步骤四、识别判断工作人员在车辆加气前后是否做过气体泄露检测；

本方法中步骤二和步骤三能同时进行；

所述步骤四中，根据步骤三得到车辆加气管连接状态的识别结果及该识别结果按时序变化的情况判断车辆处于加气未开始、加气开始、加气过程中和加气完成中的一种状态；判断为加气开始时，根据到此时步骤二的判定结果确定工作人员在车辆加气前是否已做气体泄露检测；判断为加气完成时，根据到此时步骤二的判定结果确定工作人员在车辆加气后是否已做气体泄露检测；判断为加气未开始或加气过程中则都需要持续执行步骤二和步骤三。

优选的，所述步骤一具体包括：

S1、通过监控摄像头获取帧图像；

S2、在视频图像中指定加气区域；

S3、将进入加气区域的车辆识别为待加气车辆；

S4、当车辆停稳后，开始判断车辆的车盖打开状态，车盖打开表示进入待加气状态。

优选的，所述步骤二具体包括：

S5、当识别出待加气车辆的车盖打开后，从图像中查找工作人员目标；

S6、根据图像识别工作人员是否手持气体泄露装置；

S7、根据图像识别判断工作人员是否使用气体泄露装置检测了车辆前后车盖位置的气体泄露情况。

优选的，所述步骤三即，

S8、识别判断车辆加气管连接状态，具体包括：

保存一张车辆前部区域的图片，将该车辆前部区域的位置信息保存作为后续截图的基准位置信息；后续以车辆前部区域相同位置区域的图片与之相比较做差值分析；对差值图片中有变化的区域进行裁剪，送入加气管道判断残差网络，判断当前车辆是否连接加气管。

优选的，所述步骤四具体包括：

S9、当识别出车辆已经连接加气管道且之前未连接加气管道则判断车辆开始加气，若到此时还没有检测到加气工作人员的气体泄露检测行为，则判定为工作人员在车辆加气前未做气体泄露检测，不符合规范要求，否则判定为加气前已做气体泄露检测；

S10、如果识别出车辆之前都连接了加气管道，则说明之前处于加气过程中，在车辆加气过程中，持续执行步骤S8，识别加气管道的连接状态，一直到识别出加气管道断开，加气管道断开则判定为加气完成；

S11、加气完成后，开始持续判断车辆车盖的打开状态，同时判断工作人员是否有气体泄露检测行为，即重复执行步骤S5、S6和S7，当识别到车盖已经关闭，表示加气结束，若识别出到此时工作人员还未进行气体泄露检测，则判定为未进行加气后气体泄露检测，判定为违规；否则判定为加气后已完成气体泄露检测。

优选的，所述步骤S6具体包括：当有工作人员出现在图像中时，在图像中查找气体泄露检测装置目标，将目标位置及区域信息跟步骤S5中查找到的工作人员目标区域进行比较，判断区域是否有重合，当气体泄露装置目标区域与工作人员目标区域重合时，判定为工作人员手持气体泄露装置；判断是否重合的标准为重合占比达到气体泄露检测装置目标区域50％以上。

优选的，所述步骤S7具体包括：当有工作人员手持气体泄露装置时，根据工作人员目标区域位置的变化，判断工作人员的位置移动信息；工作人员移动过程中，需要出现在车辆边上，判断标准为工作人员目标区域框与车辆框有交集且两个区域框中心点距离小于车辆对角线距离的一半；

同时，将待加气车辆的位置框以车头车尾中间位置划分两个坐标象限，工作人员需要在车辆的前后位置停留，判断工作人员移动的区域是否有靠近车辆的同时经过了车辆前后两个象限坐标区域，如果有，判定为工作人员使用气体泄露装置检测了车辆前后车盖位置是否有气体泄露情况，否则判定为工作人员没有检测。

优选的，比对加气管道连接前后帧车辆位置区域图像的差异，对画面中的特征变化信息进行捕获，具体方法步骤如下：

1)传入两张对比图片获取图像的差值信息，对比图片包含不同时期的施工人员位置截图；

2)根据设定的阈值处理差值图像的灰度值，过滤背景信息。

优选的，差值比对图片的判断过程须先进行残差网络分类器模型的训练，前期通过大量的数据采集，对同一个车辆在加气过程中，加气管道连接前后车辆位置区域的图片进行差值比较，获取过滤背景信息后的差值图片，将差值图片中加气管道特征和非加气管道特征的位置进行分别裁剪；完成图像裁剪后，根据特征分类不同，经过预处理后输入到训练好的残差网络分类器模型进行训练，残差网络分类器模型是基于ResNet50网络模型训练得到的。

优选的，本方法采用车辆目标检测模型识别查找车辆、采用人体目标检测模型识别查找工作人员、采用气体泄露检测装置目标检测模型识别查找气体泄露检测装置；所述车辆目标检测模型、人体目标检测模型和气体泄露检测装置目标检测模型均属于目标检测模型，这些目标检测模型训练的具体过程如下：

获得视频图像帧，对图像进行预处理后，输入到训练好的目标检测算法模型中，设置置信度阈值和非极大值抑制，置信度阈值用于判断检测出的目标属于某一类别的可信度，若低于该阈值则舍弃；非极大值抑制用于处理重叠的包围框，若大于该值，则判断为同一目标，丢弃多余包围框；输出结果为网络检测出的一个或多个包含目标的包围框，以及该包围框的属性信息。

本发明具有以下优点：本发明相比较于现有技术结合加气站实际的加气操作流程，将加气站工作人员在给车辆加气过程中是否进行了有效的气体泄露检测行为进行了全流程监测，而不是单点的只是检测某一项违规特征(类似操作人员没有带安全帽)，实用性更强且贴合客户实际需求。检测过程中依据气体泄露检测的正规流程，依加气前、开始加气、加气过程中、加气完成和加气结束这一加气流程实时对车辆位置、车辆前后部位置、工作人员、气体泄露检测装置以及加气管道进行一系列相关联的检测分析，从而仅仅依据采集的图像实现了对整个加气流程中工作人员是否进行气体泄露检测这一流程复杂的检测行为进行自动识别，这是现有技术均无法实现的自动识别判断过程。

本发明通过多方位的对图像处理与深度学习网络模型的灵活运用，形成贴合加气业务的分析算法。本方法通过对加气业务流程的深度分析，配合模型算法，形成了贴合业务的流程分析引擎。这里流程分析引擎基于具有关联关系的加气站工作人员进行气体泄露检测行为判断方式，包括是否手持泄露检测装置、是否经过了车辆前后位置区域进行检测。本方法以流程引擎的方式对加气行为进行综合分析，提高了算法整体的检测准确率。对于较难通过图像识别的加气过程，本方法通过图像差值判断处理的方式，判断加气车辆是否连接加气管道，通过对图像处理的深度运用，解决常规深度学习算法很难达到的目标及状态检测效果。

附图说明

图1为本发明一种加气站操作人员气体泄露检测行为的分析方法的流程图。

图2为本发明中步骤一的流程图。

图3为本发明中步骤二的流程图。

图4为本发明中步骤三的流程图。

图5为本发明步骤S2中在视频图像中指定加气区域的示例图。

图6为本发明步骤S6中识别工作人员是否手持气体泄露装置的示例图。

图7为本发明步骤S7中将待加气车辆的位置框划分两个坐标象限的示例图。

图8为本发明步骤S8中保存一张车辆前部区域的图片的示例图。

图9为本发明步骤S8中获取图像的差值信息的差值图。

图10为本发明步骤S8中差值图片经残差网络分类器模型分类得到的图像，图10(a)为加气管道图像，图10(b)为非加气管道图像。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。

如图1-4所示，本发明提供了一种加气站操作人员气体泄露检测行为的分析方法，包括下列步骤。

步骤一、识别是否有车辆需要加气并进入待加气状态。

具体包括下列步骤。

S1、通过监控摄像头获取帧图像。

通过对普通监控摄像头(非抓拍摄像头，支持RTMP、RTSP协议)的视频流中经过抽帧、解码后获取到的帧图像。

S2、在视频图像中指定加气区域。如图5所示，图中标示框绘制区域即指定的加气区域。

S3、将进入加气区域的车辆识别为待加气车辆。

该步骤通过车辆目标检测模型检测图像中的车辆目标，并判断车辆目标的位置信息，当车辆位置信息是从加气区域外进入加气区域时，将当前车辆标识为待加气车辆。

S4、当车辆停稳后，开始判断车辆的车盖打开状态。

该步骤对在多次抽帧分析后确定车辆位置信息不再有明显变化，则识别为待加气车辆已停稳。使用车盖打开状态检测残差网络分类器模型对图像分析判断车辆的车盖打开状态。

步骤二、识别判定工作人员在车辆加气前是否做气体泄露检测。

具体包括下列步骤。

S5、当识别出待加气车辆的车盖打开后，从图像中查找工作人员目标。

该步骤先通过人体目标检测模型查到到图像中的所有人体目标，然后将目标图片裁剪后送入工作人员判断残差网络分类器，识别获取到所有工作人员目标。

S6、根据图像识别工作人员是否手持气体泄露装置。

当有工作人员出现在图像中时，在图像中查找气体泄露检测装置目标，将目标位置及区域信息跟步骤S5中查找到的工作人员目标区域进行比较，判断区域是否有重合，当气体泄露装置目标区域与工作人员目标区域重合时，判定为工作人员手持气体泄露装置。判断是否重合的标准为重合占比达到气体泄露检测装置目标区域50％以上。如图6所示，图中大小标示框分别为工作人员目标区域和气体泄露装置目标区域。

S7、根据图像识别判断工作人员是否使用气体泄露装置检测了车辆前后车盖位置的气体泄露情况。

当有工作人员手持气体泄露装置时，根据工作人员目标区域位置的变化，判断工作人员的位置移动信息；工作人员移动过程中，需要出现在车辆边上，判断标准为工作人员目标区域框与车辆框有交集且两个区域框中心点距离小于车辆对角线距离的一半。

同时，将待加气车辆的位置框以车头车尾中间位置划分两个坐标象限，如图7所示。工作人员需要在车辆的前后位置停留，判断工作人员移动的区域是否有靠近车辆的同时经过了车辆前后两个象限坐标区域，如果有，判定为工作人员使用气体泄露装置检测了车辆前后车盖位置是否有气体泄露情况，否则判定为工作人员没有检测。

步骤三、识别判断车辆加气管连接状态。

即：S8、识别判断车辆加气管连接状态。该步骤的具体方法是：在步骤S5检测到车辆车盖打开后，保存如图8所示的一张车辆前部区域的图片，将该区域的位置信息保存作为后续截图的基准位置信息。在后续的抽帧分析中，以相同位置区域的图片与之相比较做差值分析，判断差值变化，由此得到差值图如图9所示。车辆前部区域的范围根据车辆位置区域中间位置计算得到。

之后将差值图片中有变化的区域(图中标示框标识位置)进行裁剪，送入加气管道判断残差网络，判断该特征是否是加气管道；如果是加气管道，则判定为当前车辆开始连接加气管，已经开始加气过程。

比对加气管道连接前后帧车辆位置区域图像的差异，对画面中的特征变化信息进行捕获，具体方法步骤如下：

1)传入两张对比图片获取图像的差值信息；可以使用OpenCV的compare_ssim方法，对比图片包含不同时期的施工人员位置截图。

2)根据设定的阈值处理差值图像的灰度值，过滤背景信息；这里可以使用OpenCV的threshold方法实现。上述OpenCV的compare_ssim方法和OpenCV的threshold方法均仅为示例，可以根据需要选择符合实际需求的其它方法实现。

上述差值比对图片的判断过程须先进行残差网络分类器模型的训练，前期通过大量的数据采集，对同一个车辆在加气过程中，加气管道连接前后车辆位置区域的图片进行差值比较，获取过滤背景信息后的差值图片，将差值图片中加气管道特征和非加气管道特征的位置进行分别裁剪；完成图像裁剪后，根据特征分类不同，经过预处理后输入到训练好的残差网络分类器模型进行训练，残差网络分类器模型是基于ResNet50网络模型训练得到的。残差网络分类器模型分类后的图像如图10所示。

差值比对图片计算需要注意的是，前后对比的图像需要保证位置区域相对于视频帧画面位置完全一致，这样才能保证在计算差值时更好的过滤掉背景部分图像信息，所以在第一次选中该区域位置信息(坐标、范围)时需要保存，作为后续截图的基准位置信息，而不是根据每次目标检测后的结果来重新定义，因为目标检测的位置框信息会有变化。

本方法中步骤二和步骤三能同时进行。

步骤四、识别判断工作人员在车辆加气前后是否做过气体泄露检测。

该步骤具体包括。

S9、当识别出车辆已经连接加气管道且之前未连接加气管道则判断车辆开始加气。若到此时还没有检测到加气工作人员的气体泄露检测行为，则判定为工作人员在车辆加气前未做气体泄露检测，不符合规范要求，否则判定为加气前已做气体泄露检测。如果一直识别出车辆没有连接加气管道，则判断为加气未开始状态，重复执行步骤二和步骤三。

S10、如果识别出车辆之前都连接了加气管道，则说明之前处于加气过程中，在车辆加气过程中，持续执行步骤S8，识别加气管道的连接状态，一直到识别出加气管道断开，加气管道断开则判定为加气完成。

S11、加气完成后，开始持续判断车辆车盖的打开状态，同时判断工作人员是否有气体泄露检测行为，即重复执行步骤S5、S6和S7，当识别到车盖已经关闭，表示加气结束，若识别出到此时工作人员还未进行气体泄露检测，则判定为未进行加气后气体泄露检测，判定为违规；否则判定为加气后已完成气体泄露检测。至此分析识别过程结束。

上述步骤中，车辆目标检测模型、人体目标检测模型和用于查找气体泄露检测装置的气体泄露检测装置目标检测模型均属于目标检测模型，这些目标检测模型训练的具体过程如下。

将视频流进行抽帧、解码后，获得视频图像帧，对图像进行预处理(例如resize为特定尺寸、颜色通道变换)后，输入到训练好的目标检测算法模型(基于Yolov3，Yolov4，Yolov5，SSD，Faster-RCNN，CenterNet等训练)中，例如采用Yolov5目标检测网络，图像输入尺寸为640x640，置信度阈值设为0.5，置信度阈值用于判断检测出的目标属于某一类别的可信度，若低于该阈值则舍弃，非极大值抑制设为0.3，非极大值抑制用于处理重叠的包围框bounding box，若大于该值，则判断为同一目标，丢弃多余包围框，输出结果为网络检测出的一个或多个包含目标的包围框，以及该包围框的属性信息，例如坐标，长宽，置信度等。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (10)

1.一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：包括下列步骤：

步骤一、识别是否有车辆需要加气并进入待加气状态；

步骤二、识别判定工作人员在车辆加气前是否做气体泄露检测；

步骤三、识别判断车辆加气管连接状态；

步骤四、识别判断工作人员在车辆加气前后是否做过气体泄露检测；

本方法中步骤二和步骤三能同时进行；

所述步骤四中，根据步骤三得到车辆加气管连接状态的识别结果及该识别结果按时序变化的情况判断车辆处于加气未开始、加气开始、加气过程中和加气完成中的一种状态；判断为加气开始时，根据到此时步骤二的判定结果确定工作人员在车辆加气前是否已做气体泄露检测；判断为加气完成时，根据到此时步骤二的判定结果确定工作人员在车辆加气后是否已做气体泄露检测；判断为加气未开始或加气过程中则都需要持续执行步骤二和步骤三。

2.根据权利要求1所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：所述步骤一具体包括：

S1、通过监控摄像头获取帧图像；

S2、在视频图像中指定加气区域；

S3、将进入加气区域的车辆识别为待加气车辆；

S4、当车辆停稳后，开始判断车辆的车盖打开状态，车盖打开表示进入待加气状态。

3.根据权利要求2所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：所述步骤二具体包括：

S5、当识别出待加气车辆的车盖打开后，从图像中查找工作人员目标；

S6、根据图像识别工作人员是否手持气体泄露装置；

S7、根据图像识别判断工作人员是否使用气体泄露装置检测了车辆前后车盖位置的气体泄露情况。

4.根据权利要求3所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：所述步骤三即，

S8、识别判断车辆加气管连接状态，具体包括：

保存一张车辆前部区域的图片，将该车辆前部区域的位置信息保存作为后续截图的基准位置信息；后续以车辆前部区域相同位置区域的图片与之相比较做差值分析；对差值图片中有变化的区域进行裁剪，送入加气管道判断残差网络，判断当前车辆是否连接加气管。

5.根据权利要求4所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：所述步骤四具体包括：

S9、当识别出车辆已经连接加气管道且之前未连接加气管道则判断车辆开始加气，若到此时还没有检测到加气工作人员的气体泄露检测行为，则判定为工作人员在车辆加气前未做气体泄露检测，不符合规范要求，否则判定为加气前已做气体泄露检测；

S10、如果识别出车辆之前都连接了加气管道，则说明之前处于加气过程中，在车辆加气过程中，持续执行步骤S8，识别加气管道的连接状态，一直到识别出加气管道断开，加气管道断开则判定为加气完成；

S11、加气完成后，开始持续判断车辆车盖的打开状态，同时判断工作人员是否有气体泄露检测行为，即重复执行步骤S5、S6和S7，当识别到车盖已经关闭，表示加气结束，若识别出到此时工作人员还未进行气体泄露检测，则判定为未进行加气后气体泄露检测，判定为违规；否则判定为加气后已完成气体泄露检测。

6.根据权利要求3所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：所述步骤S6具体包括：当有工作人员出现在图像中时，在图像中查找气体泄露检测装置目标，将目标位置及区域信息跟步骤S5中查找到的工作人员目标区域进行比较，判断区域是否有重合，当气体泄露装置目标区域与工作人员目标区域重合时，判定为工作人员手持气体泄露装置；判断是否重合的标准为重合占比达到气体泄露检测装置目标区域50％以上。

7.根据权利要求3所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：所述步骤S7具体包括：当有工作人员手持气体泄露装置时，根据工作人员目标区域位置的变化，判断工作人员的位置移动信息；工作人员移动过程中，需要出现在车辆边上，判断标准为工作人员目标区域框与车辆框有交集且两个区域框中心点距离小于车辆对角线距离的一半；

同时，将待加气车辆的位置框以车头车尾中间位置划分两个坐标象限，工作人员需要在车辆的前后位置停留，判断工作人员移动的区域是否有靠近车辆的同时经过了车辆前后两个象限坐标区域，如果有，判定为工作人员使用气体泄露装置检测了车辆前后车盖位置是否有气体泄露情况，否则判定为工作人员没有检测。

8.根据权利要求4所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：比对加气管道连接前后帧车辆位置区域图像的差异，对画面中的特征变化信息进行捕获，具体方法步骤如下：

1)传入两张对比图片获取图像的差值信息，对比图片包含不同时期的施工人员位置截图；

2)根据设定的阈值处理差值图像的灰度值，过滤背景信息。

9.根据权利要求4所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：差值比对图片的判断过程须先进行残差网络分类器模型的训练，前期通过大量的数据采集，对同一个车辆在加气过程中，加气管道连接前后车辆位置区域的图片进行差值比较，获取过滤背景信息后的差值图片，将差值图片中加气管道特征和非加气管道特征的位置进行分别裁剪；完成图像裁剪后，根据特征分类不同，经过预处理后输入到训练好的残差网络分类器模型进行训练，残差网络分类器模型是基于ResNet50网络模型训练得到的。

10.根据权利要求3所述的一种加气站操作人员气体泄露检测行为的分析方法，其特征在于：本方法采用车辆目标检测模型识别查找车辆、采用人体目标检测模型识别查找工作人员、采用气体泄露检测装置目标检测模型识别查找气体泄露检测装置；所述车辆目标检测模型、人体目标检测模型和气体泄露检测装置目标检测模型均属于目标检测模型，这些目标检测模型训练的具体过程如下：

获得视频图像帧，对图像进行预处理后，输入到训练好的目标检测算法模型中，设置置信度阈值和非极大值抑制，置信度阈值用于判断检测出的目标属于某一类别的可信度，若低于该阈值则舍弃；非极大值抑制用于处理重叠的包围框，若大于该值，则判断为同一目标，丢弃多余包围框；输出结果为网络检测出的一个或多个包含目标的包围框，以及该包围框的属性信息。

Images