CN115457427A - 一种加油流程监控方法、装置、电子设备及存储介质 - Google Patents

一种加油流程监控方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115457427A
CN115457427A CN202210974043.4A CN202210974043A CN115457427A CN 115457427 A CN115457427 A CN 115457427A CN 202210974043 A CN202210974043 A CN 202210974043A CN 115457427 A CN115457427 A CN 115457427A
Authority
CN
China
Prior art keywords
refueling
flow
standard
processed
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210974043.4A
Other languages
English (en)
Inventor
陈友明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Communication Group Co ltd
Original Assignee
Sichuan Honghe Communication Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Communication Group Co ltd filed Critical Sichuan Honghe Communication Group Co ltd
Priority to CN202210974043.4A priority Critical patent/CN115457427A/zh
Publication of CN115457427A publication Critical patent/CN115457427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Loading And Unloading Of Fuel Tanks Or Ships (AREA)

Abstract

本发明涉及一种加油流程监控方法、装置、电子设备及存储介质，该方法包括：获取针对多个加油流程的待处理视频，待处理视频中包括加油人员、加油车辆和加油设备，对于引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，对于前往驾驶位置流程、开油盖箱流程、提枪加油流程和关油箱盖流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果。通过本发明的方法，基于加油八步法对应的八个规范加油流程，通过识别待处理视频中的各个加油流程是否符合规范加油流程的要求，以实现对加油车辆的服务过程的监控，可以自动化地、有效地对加油流程进行监控。

Description

一种加油流程监控方法、装置、电子设备及存储介质
技术领域
本发明涉及机器学习、加油管理技术领域，具体而言，本发明涉及一种加油流程监控方法、装置、电子设备及存储介质。
背景技术
加油站在建立之初根据安防要求，在各区域安装摄像机，如：收银区、卸油区、加油岛等区域，通过摄像机录像的方式对加油站安全作业、安全运营进行考察。这种传统视频监控技术无法智能识别监控画面内容，一切想要通过监控视频获得的视频内容信息都需要工作人员去人为查看。面对海量的视频图像序列，工作人员无法长时间且精神高度集中地观察视频监控画面并对异常事件作出处理同时，长期投入大量的人力来监测小概率发生的事件也不是单位机构提倡的做法。因此，实现视频监控的智能化成为一种互联网时代的必然趋势。
随着人工智能的发展，智能视频监控技术已经有了很多成功的应用，通过基于深度学习的图像处理算法即可快速识别监控图像中的各种物体，以判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统。加油站的许多重点安防工作都已可以通过智能视频监控技术实现自动化管理和预警。
现有技术中，顾客越来越重视在加油站享受的服务质量，加油站也需要不断提升员工的服务水平。但是，目前对加油作业的规范流程缺乏有效的自动化监管机制和服务评价机制，员工往往不能完成加油站所规定的全部加油步骤，使服务质量大打折扣，同时也会存在作业违规风险。
发明内容
本发明所要解决的技术问题是提供了一种加油流程监控方法、装置、电子设备及存储介质，旨在解决上述至少一个技术问题。
第一方面，本发明解决上述技术问题的技术方案如下：一种加油流程监控方法，该方法包括：
获取针对多个加油流程的待处理视频，待处理视频中包括加油人员、加油车辆和加油设备，多个加油流程按照加油时序依次执行，多个加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程；
对于引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，目标分类结果为当前加油流程为对应的规范加油流程，或者，当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程；
对于前往驾驶位置流程、开油盖箱流程、提枪加油流程和关油箱盖流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，目标检测结果为当前加油流程与对应的规范加油流程匹配或当前加油流程与对应的规范加油流程不匹配。
本发明的有益效果是：在本申请方案中，基于加油八步法对应的八个规范加油流程，通过识别待处理视频中的各个加油流程是否符合规范加油流程的要求，以实现加油人员对加油车辆的服务过程的监控，可以自动化地、有效地对加油流程进行监控。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，对于引车入站手势、弯腰问候、油表清零手势和引车出站手势中的每个加油流程，上述识别出待处理视频中的当前加油流程的目标分类结果，包括：
识别出待处理视频中的加油人员；
识别出待处理视频中的加油人员的关节点位置；
根据加油人员的关节点位置，通过预设的第一分类模型确定加油人员对应的当前加油动作的第一分类结果；
根据加油人员的关节点位置，通过预设的第二分类模型确定加油人员对应的当前加油动作的第二分类结果；
根据第一分类结果和第二分类结果，确定加油人员对应的当前加油流程的目标分类结果。
采用上述进一步方案的有益效果是，通过两个不同的分类模型各自得到的两个分类结果，可以更加准确的确定当前加油流程的目标分类结果。
进一步，对于前往驾驶位置流程，识别出待处理视频中的当前加油流程的目标检测结果，包括：
对于待处理视频中的目标图像，识别目标图像中停止在停车区的加油车辆的倒车镜位置，以及加油人员的员工位置，目标图像为加油车辆进入到停车区时对应的图像；
根据倒车镜位置和员工位置，确定目标图像中倒车镜与加油人员之间的距离；
若在待处理视频中目标图像之后的连续帧图像中，距离满足第一条件，则确定当前加油流程与前往驾驶位置规范流程匹配，若距离不满足第一条件，则确定当前加油流程与前往驾驶位置规范流程不匹配，第一条件为距离在不断减小，且在距离不发生变化时的距离小于设定阈值；
对于开油盖箱流程和关油盖箱流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，包括：
识别待处理视频中加油车辆的油箱盖的开合状态，开合状态为由关闭转为打开，或由打开转为关闭；
根据开合状态以及当前加油流程在多个规范加油流程中的执行顺序，确定待处理视频中的当前加油流程的目标检测结果；
加油设备包括加油枪和加油管，对于提枪加油流程，识别出待处理视频中的当前加油流程的目标检测结果，包括：
识别出待处理视频中是否包括手持加油枪动作和手持加油管动作；
若待处理视频中包括手持加油枪动作和手持加油管动作，则确定待处理视频中的当前加油流程与提枪加油规范流程匹配；
若待处理视频中不同时包括手持加油枪动作和手持加油管动作，则确定待处理视频中的当前加油流程与提枪加油规范流程不匹配。
采用上述进一步方案的有益效果是，对于不同的加油流程，可通过不同的方法进行监控，以确保对各个加油流程的监控结果都是相对准确的。
进一步，若各个目标分类结果中存在不是规范加油流程的第一目标加油流程，和/或，各个目标检测结果中存在与规范加油流程不匹配的第二目标加油流程；
生成报警信息并发送给相关人员的终端设备；
若第二目标加油流程中包括关油盖箱流程，生成报警信息并发送给相关人员的终端设备，包括：
若识别出待处理视频中加油车辆的位置发生变化，则生成报警信息并发送给相关人员的终端设备。
采用上述进一步方案的有益效果是，在各个加油流程中存在与多个规范加油流程不相符的流程(第一目标加油流程和第二目标加油流程)时，可及时生成报警信息并发送给相关人员的终端设备。另外，在对关油箱盖流程进行监控的过程中，不但要考虑加油流程是否符合规范加油流程，还要考虑到加油车辆的位置变化情况，以更加准确的对关油箱盖流程进行监控。
进一步，该方法还包括：
根据一次加油对应的各个加油流程对应的目标检测结果和目标分类结果，确定加油员工完成一次加油后的服务评分。
采用上述进一步方案的有益效果是，通过服务评分可对加油人员进行规范化管理。
进一步，该方法还包括：
确定加油人员在待处理视频中服务客户的数量。
采用上述进一步方案的有益效果是，基于加油人员在待处理视频中服务客户的数量，可以进一步加强对加油人员的考勤管理。
进一步，上述第一分类模型是基于长短期记忆网络训练得到的模型，上述第二分类模型是基于改进的shufflenetv2分类网络训练得到的模型，改进的shufflenetv2分类网络为将原始shufflenetv2分类网络中的3x3DWConv替换为5x5DWConv，步长由1替换为2，去掉DWConv后的1x1Conv。
采用上述进一步方案的有益效果是，将原始的shufflenetv2分类中的3x3DWConv替换为5x5DWConv，步长由1替换为2，可保证提高精度的同时，保持与原来同样的分辨率，并且参数量不会有明显提升，另外，去掉DWConv后的1x1Conv，可进一步降低计算量。
第二方面，本发明为了解决上述技术问题还提供了一种加油流程监控装置，该装置包括：
视频获取模块，用于获取针对多个加油流程的待处理视频，待处理视频中包括加油人员、加油车辆和加油设备，多个加油流程按照加油时序依次执行，多个加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程；
第一监控模块，用于对于引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，目标分类结果为当前加油流程为对应的规范加油流程，或者，当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程；
第二监控模块，用于对于前往驾驶位置流程、开油盖箱流程、提枪加油流程和关油箱盖流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，目标检测结果为当前加油流程与对应的规范加油流程匹配或当前加油流程与对应的规范加油流程不匹配。
第三方面，本发明为了解决上述技术问题还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现本申请的加油流程监控方法。
第四方面，本发明为了解决上述技术问题还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请的加油流程监控方法。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的一种加油流程监控方法的流程示意图；
图2为本发明一个实施例提供的一种引车入站人体姿态的示意图；
图3为本发明一个实施例提供的一种弯腰问候人体姿态的示意图；
图4为本发明一个实施例提供的一种清零手势人体姿态的示意图；
图5为本发明一个实施例提供的一种引车出站人体姿态的示意图；
图6为本发明一个实施例提供的一种原始的shufflenetv2网络的结构示意图；
图7为本发明一个实施例提供的一种改进的shufflenetv2网络的结构示意图；
图8为本发明一个实施例提供的一种Yolov5网络结构示意图；
图9为本发明一个实施例提供的又一种加油流程监控方法的流程示意图；
图10为本发明一个实施例提供的一种加油流程监控装置的结构示意图；
图11为本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本发明实施例所提供的方案可以适用于任何需要监控加油流程的应用场景中。本发明实施例所提供的方案可以由任一电子设备执行，比如，可以是用户的终端设备，上述终端设备可以是任何可以安装应用，并可通过应用实现监控加油流程的终端设备，包括以下至少一项：智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载设备。
本发明实施例提供了一种可能的实现方式，如图1所示，提供了一种加油流程监控方法的流程图，该方案可以由任一电子设备执行，例如，可以是终端设备，或者由终端设备和服务器共同执行。为描述方便，下面将以终端设备作为执行主体为例对本发明实施例提供的方法进行说明，如图1中所示的流程图，该方法可以包括以下步骤：
步骤S110，获取针对多个加油流程的待处理视频，待处理视频中包括加油人员、加油车辆和加油设备，多个加油流程按照加油时序依次执行，多个加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程；
步骤S120，对于引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，目标分类结果为当前加油流程为对应的规范加油流程，或者，当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程；
步骤S130，对于前往驾驶位置流程、开油盖箱流程、提枪加油流程和关油箱盖流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，目标检测结果为当前加油流程与对应的规范加油流程匹配或当前加油流程与对应的规范加油流程不匹配。
通过本发明的方法，基于加油八步法对应的八个规范加油流程，通过识别待处理视频中的各个加油流程是否符合规范加油流程的要求，以实现加油人员对加油车辆的服务过程的监控，可以自动化地、有效地对加油流程进行监控。
下面结合以下具体的实施例，对本发明的方案进行进一步的说明，在该实施例中，加油流程监控方法可以包括以下步骤：
步骤S110，获取针对多个加油流程的待处理视频，待处理视频中包括加油人员、加油车辆和加油设备，多个加油流程按照加油时序依次执行，多个加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程。
其中，对于一次完整的加油过程，可以包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程这八个流程。
待处理视频可以是基于加油站的摄像头实时采集的视频，可以是在识别到有车辆进入到加油区域后对应的视频。加油人员指的是加油站的工作人员，加油车辆指的是准备加油的车辆，加油设备指的是用于加油的设备。
步骤S120，对于引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，目标分类结果为当前加油流程为对应的规范加油流程，或者，当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程。
其中，多个规范加油流程中每个规范加油流程指的是加油的规范操作流程，参见图2至图5，引车入站规范流程可以为规范的引车入站手势姿态，弯腰问候规范流程可以为规范的弯腰问候姿态，油表清零规范流程可以为规范的清零手势姿态，引车出站规范流程可以为规范的引车出站手势姿态。通过目标分类结果对对应的各个加油流程进行监控，当前加油流程可以为引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的任一个加油流程。图2至图5中各个数字表示不同的关节点，共16个节点。
当前加油流程为对应的规范加油流程表示的是当前加油流程与对应的规范加油流程是相匹配的，即当前加油流程是规范的流程，当前加油流程不是对应的规范加油流程表示的是当前加油流程与对应的规范加油流程是不匹配的，即当前加油流程不是规范的流程。
可选的，对于引车入站手势、弯腰问候、油表清零手势和引车出站手势中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，包括：
识别出待处理视频中的加油人员；
识别出待处理视频中的加油人员的关节点位置；
根据加油人员的关节点位置，通过预设的第一分类模型确定加油人员对应的当前加油动作的第一分类结果；
根据加油人员的关节点位置，通过预设的第二分类模型确定加油人员对应的当前加油动作的第二分类结果；
根据第一分类结果和第二分类结果，确定加油人员对应的当前加油流程的目标分类结果。
其中，可通过现有技术中的方法识别出待处理视频中的加油人员的关节点位置，在本发明方案中不在赘述。
可选的，根据第一分类结果和第二分类结果，确定加油人员对应的当前加油流程的目标分类结果的一种可实现方式是：根据第一分类结果、第一权重、第二分类结果和第二权重进行加权处理，得到目标分类结果。第一权重和第二权重可以预先设置好，对于不同的加油流程，不同的加油流程所对应的第一权重和第二权重可以是不同的，也可以是相同的。
可选的，上述第一分类结果和第二分类结果可包括两部分，一部分是动作识别结果，一部分是置信度，动作识别结果表示的是当前加油流程对应的动作类别与规范加油流程对应的动作类别相同，通过置信度的大小表征当前动作是对应的规范加油流程对应的规范动作的概率。第一分类结果中包含第一置信度，第一分类结果中包含第二置信度，当当前加油流程对应的动作类别与规范加油流程对应的动作类别相同，且第一置信度大于第一设定值，第二置信度大于第二设定值时，表示当前加油流程是与对应的规范加油流程相匹配。其中，第一设定值和第二设定值可以相同，也可以不同，比如，同为0.7。
可选的，上述第一分类模型是基于长短期记忆网络训练得到的模型，第二分类模型是基于改进的shufflenetv2分类网络训练得到的模型，改进的shufflenetv2分类网络为将原始shufflenetv2分类网络中的3x3DWConv替换为5x5DWConv，步长由1替换为2，去掉DWConv后的1x1Conv。
其中，上述第一分类模型主要对输入的图像数据进行文本化处理，并利用长短期记忆网络的优势，对文本进行分类，本发明用于识别监控画面中员工所作动作属于加油流程中哪一步，即识别出待处理视频中的加油人员的关节点位置。
上述第一分类模型可通过以下步骤训练得到：
S1，关节点数据集准备
根据所提出的姿态估计算法的20000张训练数据以及2000张测试数据的人工标记结果(标记不同姿态下各个关节点的位置)，对各个人工标记结果进行归一化，然后把图像名称、归一化后的标记结果以及真实类别写入到csv文件中，真实类别为引车入站、弯腰问候、油表清零、引车出站。其中，对于每张图像，图像名称用于表示该张图像是哪一加油流程对应的图像。
S2，利用长短期记忆网络(LSTM)进行分类
利用keras库调用LSTM网络，对关节点文本数据进行分类，即将S1得到的训练数据输入到LSTM网络，对每张图像进行分类，得到每张图像的预测类别。
S3，网络训练
根据各张图像的预测类别和各张图像的真实类别，确定损失函数值；在损失函数值满足预设的训练结束条件时，将满足训练结束条件时的LSTM网络作为第一分类模型。
在第一分类模型的训练过程中，可基于损失函数值和测试数据不断对模型参数进行调整，以得到最佳模型，即精度最好的模型。
上述第二分类模型也用于识别监控画面中员工所作动作属于加油流程中哪一步，即识别出待处理视频中的加油人员的关节点位置。
上述第二分类模型可通过以下步骤训练得到：
S1，不同动作数据集准备。
训练数据与姿态估计算法需要的数据(上述的第一分类模型对应的训练数据)相同，分别将引车入站、弯腰问候、油表清零、引车出站以及其他动作数据分别存放在五个文件夹内。
S2，多分类图像分类算法神经网络。
网络基本架构使用shufflenetv2，即原始的shufflenetv2网络(其网络结构如图6所示)，因为该架构大部分计算量都在1x1Conv，本申请方案中将所有3x3DWConv替换为5x5DWConv，padding由1替换为2，这样可以可以保证提高精度的同时，保持与原来同样的分辨率，并且参数量不会有明显提升，另外，为了进一步降低计算量，可选择去掉了DWConv后的1x1Conv操作，这样不会影响通道信息的融合同时可以降低大约20％-30％的参数量，并且精度基本不受影响，整体改进后参数量降低15％-25％，精度提升1％-2％；具体网络架构图如图7所示，利用改进后的shufflenetv2网络对训练数据中的各张图像进行分类，得到每张图像的预测类别。
S3，网络训练。
根据各张图像的预测类别和各张图像的真实类别，确定损失函数值；在损失函数值满足预设的训练结束条件时，将满足训练结束条件时的改进后的shufflenetv2作为第二分类模型。
在上述第二分类模型训练的过程中，将各张图像输入至改进后的shufflenetv2网络之前，还可对训练数据进行图像合成、镜像、高斯噪点等操作，以丰富训练数据。还可先对训练数据进行归一化处理，以加快网络收敛速度。
在第二分类模型的训练过程中，可基于损失函数值和测试数据不断对模型参数进行调整，以得到最佳模型，即精度最好的模型。
步骤S130，对于前往驾驶位置流程、开油盖箱流程、提枪加油流程和关油箱盖流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，目标检测结果为当前加油流程与对应的规范加油流程匹配或当前加油流程与对应的规范加油流程不匹配。
需要说明的是，不限定上述步骤S120和步骤S130的执行顺序。可先执行骤S120，也可先执行步骤S130。
在得到各个目标分类结果和各个目标检测结果之后，可根据各个目标分类结果和各个目标检测结果，对多个加油流程进行监控管理，比如，为加油员工的加油过程进行评分，进行安全预警，进行加油流程规范化管理等。
其中，对于前往驾驶位置流程，识别出待处理视频中的当前加油流程的目标检测结果，包括：
对于待处理视频中的目标图像，识别目标图像中停止在停车区的加油车辆的倒车镜位置，以及加油人员的员工位置，目标图像为加油车辆进入到停车区时对应的图像；从目标图像开始进行后续的识别处理，可节省计算量。
根据倒车镜位置和员工位置，确定目标图像中倒车镜与加油人员之间的距离；该距离可以是倒车镜与加油人员之间的中心距离。
若在待处理视频中目标图像之后的连续帧图像中，距离满足第一条件，则确定当前加油流程与前往驾驶位置规范流程匹配，若距离不满足第一条件，则确定当前加油流程与前往驾驶位置规范流程不匹配，第一条件为距离在不断减小，且在距离不发生变化时的距离小于设定阈值。其中，满足第一条件时，表示加油人员来到了加油区的指定位置，在该指定位置，加油员工可使用加油设备对加油车辆进行加油。
对于开油盖箱流程和关油盖箱流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，包括：
识别待处理视频中加油车辆的油箱盖的开合状态，开合状态为由关闭转为打开，或由打开转为关闭；根据开合状态以及当前加油流程在多个规范加油流程中的执行顺序，确定待处理视频中的当前加油流程的目标检测结果；
其中，如果是对于加油流程中的开油盖箱流程，则其对应的开合状态应为由关闭转为打开，如果是对于加油流程中的关油盖箱流程，则其对应的开合状态应为由打开转为关闭。因此，在确定目标检测结果时，需要结合当前加油流程在多个规范加油流程中的执行顺序，即当前加油流程是开油盖箱流程，还是关油盖箱流程，目标检测结果即表示进行开油盖箱流程时是否符合规范的开油盖箱流程，在进行关油盖箱流程时是否符合规范的关油盖箱流程。
上述加油设备包括加油枪和加油管，对于提枪加油流程，识别出待处理视频中的当前加油流程的目标检测结果，包括：
识别出待处理视频中是否包括手持加油枪动作和手持加油管动作；若待处理视频中包括手持加油枪动作和手持加油管动作，则确定待处理视频中的当前加油流程与提枪加油规范流程匹配；若待处理视频中不同时包括手持加油枪动作和手持加油管动作，则确定待处理视频中的当前加油流程与提枪加油规范流程不匹配。
其中，识别出待处理视频中是否包括手持加油枪动作和手持加油管动作可通过预设的多分类目标检测模型实现，后续将会在下文进行描述。
可选的，该方法还包括：
若各个目标分类结果中存在不是规范加油流程的第一目标加油流程，和/或，各个目标检测结果中存在与规范加油流程不匹配的第二目标加油流程；生成报警信息并发送给相关人员的终端设备；
若第二目标加油流程中包括关油盖箱流程，则上述生成报警信息并发送给相关人员的终端设备，包括：若识别出待处理视频中加油车辆的位置发生变化，则生成报警信息并发送给相关人员的终端设备。
可选的，该方法还包括：
确定加油人员在待处理视频中服务客户的数量。其中，服务客户的数量可以是一段时间内的统计量，比如，一天或一周。
可选的，该方法还包括：
根据一次加油对应的各个加油流程对应的目标检测结果和目标分类结果，确定加油员工完成一次加油后的服务评分。
其中，加油站员工每次完成服务后，即每完成一次加油后，都可以对本次服务进行评价打分，告知其未完成的步骤。具体可基于服务客户数量以及每个客户动作完成数量进行评分。
可选的，还可识别出待处理视频中加油车辆的车牌，以对识别到的车牌进行记录。
需要说明的是，上述多分类目标检测模型是用来识别待处理视频中的加油员工、加油车辆、加油设备、汽车后视镜、车牌，不同姿态的加油枪、油箱盖打开状态、油箱盖关闭状态、手持加油枪、手持加油管等。
上述多分类目标检测模型可通过以下方式训练得到：
S1，九种类别物体数据集准备。
采用收集网络无版权资料与人工拍摄的方法，准备大约20000张左右的训练数据与2000张左右的测试数据，并通过数据增广的方法拓展数据数量。数据种包含不同场景、不同大小、不同姿态的加油枪、油箱盖打开状态、油箱盖关闭状态、员工、汽车后视镜、车辆、车牌、手持加油枪、手持加油管图片。对这些数据进行人工标记，可通过第一框(真实框)标记出不同物体图片属于的类别。在数据的标记过程中使用Labelme标记工具标记不同物体的外部的大致矩形轮廓。
S2，搭建多分类目标检测算法的神经网络。网络架构使用Yolov5，如图8所示。
S3，定义损失函数。
Yolov5中采用其中的GIOU Loss做Bounding box的损失函数。
根据Yolov5网络得到每张图像对应的预测结果，可通过第二框(预测框)在图像中标记出来。
然后计算两个框的最小闭包区域面积A和B，再计算出IoU(通俗理解：同时包含了预测框和真实框的最小框的面积)，公式如下：
Figure BDA0003797445230000141
通过交并比表征预测框和真实框之间的差异；
再计算闭包区域中不属于两个框的区域占闭包区域(A∪B)的比重，最后用IoU减去这个比重得到GIoU。
Figure BDA0003797445230000142
GIoU Loss＝1-GIoU
其中，C为闭包区域中不属于两个框的区域，GIoU Loss为Yolov5网络的损失函数值。
S4，网络训练。
在损失函数值满足预设的训练结束条件时，将满足训练结束条件时的Yolov5网络作为多分类目标检测模型。
在上述多分类目标检测模型训练的过程中，将各张图像输入至Yolov5网络之前，还可对训练数据进行图像合成、镜像、高斯噪点等操作，以丰富训练数据。还可先对训练数据进行归一化处理，以加快网络收敛速度。
在多分类目标检测模型的训练过程中，可基于损失函数值和测试数据不断对模型参数进行调整，以得到最佳模型，即精度最好的模型。
需要说明的是，图6至图8中各个网络架构均为现有技术的网络架构，各个网络架构中涉及的各个层分别为：conv：卷积层，BN：批归一化层，ReLU：ReLU函数，concat：合并层，channel split：通道切分层，DWconv：分组卷积层，padding：填充层，channel shuffle:通道重排层，BottleneckCSP:瓶颈CSP层，SPP：空间金字塔池化层。
为了更好的说明及理解本发明所提供的方法的原理，下面结合一个可选的具体实施例对本发明的方案进行说明。需要说明的是，该具体实施例中的各步骤的具体实现方式并不应当理解为对于本发明方案的限定，在本发明所提供的方案的原理的基础上，本领域技术人员能够想到的其他实现方式也应视为本发明的保护范围之内。
参见图9所示的加油流程监控方法示意图，包括以下几个部分：
1)，加油开始。通过车辆检测算法对加油车辆进行检测，当车辆出现在加油区域时，启动加油流程智能监控，执行加油步骤1，根据引车入站手势检测算法判断员工是否完成了引车入站手势动作。
2)，加油准备。按顺序执行加油步骤2，3，4，通过其前往驾驶位置检测算法、弯腰问候检测算法、清零手势检测算法对工作人员前往驾驶室，弯腰问候，举手示意油表清零这三个动作进行检测，分析加油步骤2，3，4是否完成。
3)，加油过程。执行加油步骤5，6，通过特定物体检测算法(预先建立的多分类目标检测模型)对打开状态的油箱盖，手持加油枪，手持加油管进行检测，分析加油过程是否规范。
4)，加油结束。执行加油步骤7，通过物体检测算法(预先建立的多分类目标检测模型)对关闭状态的油箱盖进行检测，若关闭状态的油箱盖是在打开状态油箱盖之后检测到的，则表示加油结束。
5)，加油收尾。执行加油步骤8，根据引车出站手势检测算法判断员工是否完成了引车出站手势动作。最后通过车辆检测算法对加油车辆进行检测，当车辆离开加油区域时，判定一次加油服务完成。
6)，结束。完成加油流程视频监控智能截取，并根据上述加油8步骤的完成情况对员工本次服务进行打分评价，告知其未完成步骤。
其中，上述八个加油流程的具体识别过程如下：
S1，引车入站手势检测。
1)，利用多分类目标检测模型定位到员工(加油员工)并进行加油机编号与员工绑定，确定员工信息，便于纳入考核，即确定加油员工服务了多少个客户，为多少辆车加油；
2)，利用预设的人体姿态估计算法定位加油员工的关节点的位置，引车入站人体姿态如图2所示；
3)，利用基于长短期记忆网络(LSTM)建立的第一分类模块对检测到的关节点的位置进行多分类，输出类别以及置信度(第一分类结果)；
4)，利用基于改进版shufflenetv2分类网络建立的第二分类模型对(2)中检测到的关节点的位置直接进行多分类，输出类别以及置信度(第二分类结果)；
5)，对(3)和(4)的分类结果进行判断，若两次结果相同且分类结果为均为引车入站手势，并且两个置信度均大于0.7，则代表检测到引车入站手势，反之则没有检测到引车入站手势；
S2，前往驾驶位置检测。
1)，此先对加油停车区域布防,利用多分类目标检测算法识别车辆和车牌，当车辆进入停车区，即开始执行此后所有算法并记录车牌信息；
2)，利用多分类目标检测模型定位到员工和倒车镜，记录检测到的员工和倒车镜的中心点坐标；
3)，判断连续帧两个中心点之间的距离是否减小；
4)，通过连续帧判断距离持续减小直至员工中心点坐标不发生变化，此时判断员工和倒车镜之间的距离是否达到阈值，以确定是否达到标准，即确定员工是否到达指定位置；
S3，弯腰问候检测。
1)，利用多分类目标检测模型定位到员工，输出目标图像；
2)，根据目标图像，利用姿态估计算法定位到员工的关节点的位置，弯腰问候人体姿态如图3所示；
3)，利用第一分类模型对检测到的关节点的位置进行多分类，输出类别以及置信度(第一分类结果)；
4)，利用第二分类模型对检测到的关节点的位置进行多分类，输出类别以及置信度(第二分类结果)；
5)，对(3)和(4)的分类结果进行判断，若两次结果相同且分类结果为均为弯腰问候，并且两个置信度均大于0.7，则代表检测到弯腰问候，反之则没有检测到弯腰问候；
S4，油表清零手势检测。
1)，利用多分类目标检测模型定位到员工，输出目标图像；
2)，根据目标图像，利用姿态估计算法定位到员工的关节点的位置，清零手势人体姿态如图4所示；
3)，利用第一分类模型对检测到的关节点的位置进行多分类，输出类别以及置信度；
4)，利用第二分类模型对检测到的关节点的位置直接进行多分类，输出类别以及置信度；
5)，对(3)和(4)的分类结果进行判断，若两次结果相同且分类结果为均为油表清零手势，并且两个置信度均大于0.7，则代表检测到油表清零手势，反之则没有检测到油表清零手势；
S5，开油箱盖检测。
1)，利用多分类目标检测模型识别前后帧油箱盖的开合状态，当前帧油箱盖由关闭转为打开，即为达到标准，达到标准的含义指的是当前开油箱盖流程符合规范的开油箱盖流程；
S6，提枪加油检测。
1)，利用多分类目标检测模型识别出手持加油枪以及手持加油管，两者同时检测到，即达到标准，达到标准的含义指的是当前提枪加油流程符合规范的提枪加油流程；
S7，关油箱盖检测。
利用多分类目标检测算法识别前后帧油箱盖的开合状态，当前帧油箱盖由打开转为关闭，即为达到标准，达到标准的含义指的是当前关油箱盖流程符合规范的关油箱盖流程。
另外，若多分类目标检测算法识别识别到连续帧车辆位置发生变化，油箱盖却没有关闭，则进行报警；
S8，引车出站手势检测。
1)，利用多分类目标检测模型定位到员工，输出目标图像；
2)，根据目标图像，利用姿态估计算法定位到员工的关节点的位置，引车出站人体姿态如图5所示；
3)，利用第一分类模型对检测到的关节点的位置进行多分类，输出类别以及置信度(第一分类结果)；
4)，利用第二分类模型对检测到的关节点的位置直接进行多分类，输出类别以及置信度(第二分类结果)；
5)，对(3)和(4)的分类结果进行判断，若两次结果相同且分类结果为均为引车出站手势，并且两个置信度均大于0.7，则代表检测到引车出站手势，反之则没有检测到引车出站手势；
6)，当车辆驶离布防区域，算法停止，并针对此员工对该车辆的服务进行打分评估。
基于与图1中所示的方法相同的原理，本发明实施例还提供了一种加油流程监控装置20，如图10中所示，该加油流程监控装置20可以包括视频获取模块210、第一监控模块220和第二监控模块230，其中：
视频获取模块210，用于获取针对多个加油流程的待处理视频，待处理视频中包括加油人员、加油车辆和加油设备，多个加油流程按照加油时序依次执行，多个加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程；
第一监控模块220，用于对于引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标分类结果，目标分类结果为当前加油流程为对应的规范加油流程，或者，当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程；
第二监控模块230，用于对于前往驾驶位置流程、开油盖箱流程、提枪加油流程和关油箱盖流程中的每个加油流程，识别出待处理视频中的当前加油流程的目标检测结果，目标检测结果为当前加油流程与对应的规范加油流程匹配或当前加油流程与对应的规范加油流程不匹配。
可选的，对于引车入站手势、弯腰问候、油表清零手势和引车出站手势中的每个加油流程，上述第一监控模块220在识别出待处理视频中的当前加油流程的目标分类结果时，具体用于：
识别出待处理视频中的加油人员；
识别出待处理视频中的加油人员的关节点位置；
根据加油人员的关节点位置，通过预设的第一分类模型确定加油人员对应的当前加油动作的第一分类结果；
根据加油人员的关节点位置，通过预设的第二分类模型确定加油人员对应的当前加油动作的第二分类结果；
根据第一分类结果和第二分类结果，确定加油人员对应的当前加油流程的目标分类结果。
可选的，对于前往驾驶位置流程，上述第二监控模块230在识别出待处理视频中的当前加油流程的目标检测结果时，具体用于：
对于待处理视频中的目标图像，识别目标图像中停止在停车区的加油车辆的倒车镜位置，以及加油人员的员工位置，目标图像为加油车辆进入到停车区时对应的图像；
根据倒车镜位置和员工位置，确定目标图像中倒车镜与加油人员之间的距离；
若在待处理视频中目标图像之后的连续帧图像中，距离满足第一条件，则确定当前加油流程与前往驾驶位置规范流程匹配，若距离不满足第一条件，则确定当前加油流程与前往驾驶位置规范流程不匹配，第一条件为距离在不断减小，且在距离不发生变化时的距离小于设定阈值；
对于开油盖箱流程和关油盖箱流程中的每个加油流程，上述第二监控模块230在识别出待处理视频中的当前加油流程的目标检测结果时，具体用于：识别待处理视频中加油车辆的油箱盖的开合状态，开合状态为由关闭转为打开，或由打开转为关闭；根据开合状态以及当前加油流程在多个规范加油流程中的执行顺序，确定待处理视频中的当前加油流程的目标检测结果；
上述加油设备包括加油枪和加油管，对于提枪加油流程，上述第二监控模块230在识别出待处理视频中的当前加油流程的目标检测结果时，具体用于：识别出待处理视频中是否包括手持加油枪动作和手持加油管动作；若待处理视频中包括手持加油枪动作和手持加油管动作，则确定待处理视频中的当前加油流程与提枪加油规范流程匹配；若待处理视频中不同时包括手持加油枪动作和手持加油管动作，则确定待处理视频中的当前加油流程与提枪加油规范流程不匹配。
可选的，该装置还包括：
预警模块，用于在若各个目标分类结果中存在不是规范加油流程的第一目标加油流程，和/或，各个目标检测结果中存在与规范加油流程不匹配的第二目标加油流程时，生成报警信息并发送给相关人员的终端设备；
若第二目标加油流程中包括关油盖箱流程，上述预警模块在生成报警信息并发送给相关人员的终端设备时，具体用于：
若识别出待处理视频中加油车辆的位置发生变化，则生成报警信息并发送给相关人员的终端设备。
可选的，该装置还包括：
服务评分模块，用于根据一次加油对应的各个加油流程对应的目标检测结果和目标分类结果，确定加油员工完成一次加油后的服务评分。
可选的，该装置还包括：
数量确定模块，用于确定加油人员在待处理视频中服务客户的数量。
可选的，上述第一分类模型是基于长短期记忆网络训练得到的模型，上述第二分类模型是基于改进的shufflenetv2分类网络训练得到的模型，改进的shufflenetv2分类网络为将原始shufflenetv2分类网络中的3x3DWConv替换为5x5DWConv，步长由1替换为2，去掉DWConv后的1x1Conv。
本发明实施例的加油流程监控装置可执行本发明实施例所提供的加油流程监控方法，其实现原理相类似，本发明各实施例中的加油流程监控装置中的各模块、单元所执行的动作是与本发明各实施例中的加油流程监控方法中的步骤相对应的，对于加油流程监控装置的各模块的详细功能描述具体可以参见前文中所示的对应的加油流程监控方法中的描述，此处不再赘述。
其中，上述加油流程监控装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该加油流程监控装置为一个应用软件；该装置可以用于执行本发明实施例提供的方法中的相应步骤。
在一些实施例中，本发明实施例提供的加油流程监控装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的加油流程监控装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的加油流程监控方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
在另一些实施例中，本发明实施例提供的加油流程监控装置可以采用软件方式实现，图10示出了存储在存储器中的加油流程监控装置，其可以是程序和插件等形式的软件，并包括一系列的模块，包括视频获取模块210、第一监控模块220和第二监控模块230，用于实现本发明实施例提供的加油流程监控方法。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
基于与本发明的实施例中所示的方法相同的原理，本发明的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本发明任一实施例所示的方法。
在一个可选实施例中提供了一种电子设备，如图11所示，图11所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本发明方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备也可以是终端设备，图11示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
根据本发明的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种实施例实现方式中提供的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解的是，附图中的流程图和框图，图示了按照本发明各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种加油流程监控方法，其特征在于，包括：
获取针对多个加油流程的待处理视频，所述待处理视频中包括加油人员、加油车辆和加油设备，多个所述加油流程按照加油时序依次执行，多个所述加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程；
对于所述引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个所述加油流程，识别出所述待处理视频中的当前加油流程的目标分类结果，所述目标分类结果为所述当前加油流程为对应的规范加油流程，或者，所述当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程；
对于所述前往驾驶位置流程、所述开油盖箱流程、所述提枪加油流程和所述关油箱盖流程中的每个加油流程，识别出所述待处理视频中的当前加油流程的目标检测结果，所述目标检测结果为所述当前加油流程与对应的规范加油流程匹配或所述当前加油流程与对应的规范加油流程不匹配。
2.根据权利要求1所述的方法，其特征在于，对于所述引车入站手势、弯腰问候、油表清零手势和引车出站手势中的每个所述加油流程，所述识别出所述待处理视频中的当前加油流程的目标分类结果，包括：
识别出所述待处理视频中的所述加油人员；
识别出所述待处理视频中的加油人员的关节点位置；
根据所述加油人员的关节点位置，通过预设的第一分类模型确定所述加油人员对应的当前加油动作的第一分类结果；
根据所述加油人员的关节点位置，通过预设的第二分类模型确定所述加油人员对应的当前加油动作的第二分类结果；
根据所述第一分类结果和所述第二分类结果，确定所述加油人员对应的当前加油流程的目标分类结果。
3.根据权利要求1所述的方法，其特征在于，对于所述前往驾驶位置流程，所述识别出所述待处理视频中的当前加油流程的目标检测结果，包括：
对于所述待处理视频中的目标图像，识别所述目标图像中停止在停车区的加油车辆的倒车镜位置，以及所述加油人员的员工位置，所述目标图像为所述加油车辆进入到所述停车区时对应的图像；
根据所述倒车镜位置和所述员工位置，确定所述目标图像中倒车镜与所述加油人员之间的距离；
若在所述待处理视频中所述目标图像之后的连续帧图像中，所述距离满足第一条件，则确定所述当前加油流程与所述前往驾驶位置规范流程匹配，若所述距离不满足所述第一条件，则确定所述当前加油流程与所述前往驾驶位置规范流程不匹配，所述第一条件为距离在不断减小，且在所述距离不发生变化时的距离小于设定阈值；
对于所述开油盖箱流程和所述关油盖箱流程中的每个加油流程，所述识别出所述待处理视频中的当前加油流程的目标检测结果，包括：
识别所述待处理视频中所述加油车辆的油箱盖的开合状态，所述开合状态为由关闭转为打开，或由打开转为关闭；
根据所述开合状态以及所述当前加油流程在多个所述规范加油流程中的执行顺序，确定所述待处理视频中的当前加油流程的目标检测结果；
所述加油设备包括加油枪和加油管，对于所述提枪加油流程，所述识别出所述待处理视频中的当前加油流程的目标检测结果，包括：
识别出所述待处理视频中是否包括手持加油枪动作和手持加油管动作；
若所述待处理视频中包括所述手持加油枪动作和所述手持加油管动作，则确定所述待处理视频中的当前加油流程与所述提枪加油规范流程匹配；
若所述待处理视频中不同时包括所述手持加油枪动作和所述手持加油管动作，则确定所述待处理视频中的当前加油流程与所述提枪加油规范流程不匹配。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若各个所述目标分类结果中存在不是规范加油流程的第一目标加油流程，和/或，各个所述目标检测结果中存在与规范加油流程不匹配的第二目标加油流程；
生成报警信息并发送给相关人员的终端设备；
若所述第二目标加油流程中包括所述关油盖箱流程，所述生成报警信息并发送给相关人员的终端设备，包括：
若识别出所述待处理视频中所述加油车辆的位置发生变化，则生成报警信息并发送给相关人员的终端设备。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
根据一次加油对应的各个所述加油流程对应的目标检测结果和目标分类结果，确定所述加油员工完成一次加油后的服务评分。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
确定所述加油人员在所述待处理视频中服务客户的数量。
7.根据权利要求2至4中任一项所述的方法，其特征在于，所述第一分类模型是基于长短期记忆网络训练得到的模型，所述第二分类模型是基于改进的shufflenetv2分类网络训练得到的模型，所述改进的shufflenetv2分类网络为将原始shufflenetv2分类网络中的3x3DWConv替换为5x5DWConv，步长由1替换为2，去掉DWConv后的1x1Conv。
8.一种加油流程监控装置，其特征在于，包括：
视频获取模块，用于获取针对多个加油流程的待处理视频，所述待处理视频中包括加油人员、加油车辆和加油设备，多个所述加油流程按照加油时序依次执行，多个所述加油流程包括引车入站流程、前往驾驶位置流程、弯腰问候流程、油表清零流程、开油箱盖流程、提枪加油流程、关油箱盖流程和引车出站流程；
第一监控模块，用于对于所述引车入站流程、弯腰问候流程、油表清零流程和引车出站流程中的每个所述加油流程，识别出所述待处理视频中的当前加油流程的目标分类结果，所述目标分类结果为所述当前加油流程为对应的规范加油流程，或者，所述当前加油流程不是对应的规范加油流程，多个规范加油流程包括引车入站规范流程、前往驾驶位置规范流程、弯腰问候规范流程、油表清零规范流程、开油箱盖规范流程、提枪加油规范流程、关油箱盖规范流程和引车出站规范流程；
第二监控模块，用于对于所述前往驾驶位置流程、所述开油盖箱流程、所述提枪加油流程和所述关油箱盖流程中的每个加油流程，识别出所述待处理视频中的当前加油流程的目标检测结果，所述目标检测结果为所述当前加油流程与对应的规范加油流程匹配或所述当前加油流程与对应的规范加油流程不匹配。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
CN202210974043.4A 2022-08-15 2022-08-15 一种加油流程监控方法、装置、电子设备及存储介质 Pending CN115457427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210974043.4A CN115457427A (zh) 2022-08-15 2022-08-15 一种加油流程监控方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210974043.4A CN115457427A (zh) 2022-08-15 2022-08-15 一种加油流程监控方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115457427A true CN115457427A (zh) 2022-12-09

Family

ID=84299509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210974043.4A Pending CN115457427A (zh) 2022-08-15 2022-08-15 一种加油流程监控方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115457427A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797969A (zh) * 2023-06-01 2023-09-22 行为科技(北京)有限公司 一种基于SENet与时空图卷积的服务流程监控的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797969A (zh) * 2023-06-01 2023-09-22 行为科技(北京)有限公司 一种基于SENet与时空图卷积的服务流程监控的方法

Similar Documents

Publication Publication Date Title
US20210012128A1 (en) Driver attention monitoring method and apparatus and electronic device
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
CN110650292B (zh) 辅助用户拍摄车辆视频的方法及装置
CN109886222B (zh) 人脸识别方法、神经网络训练方法、装置及电子设备
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN111382762A (zh) 空箱识别方法及系统
CN108596047A (zh) 车损识别方法、智能终端以及计算机可读存储介质
CN115457427A (zh) 一种加油流程监控方法、装置、电子设备及存储介质
CN108805184B (zh) 一种固定空间、车辆上的图像识别方法及系统
CN110956067A (zh) 一种人眼眼睑曲线的构建方法及装置
CN114973215A (zh) 一种疲劳驾驶的确定方法、装置及电子设备
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN105718896A (zh) 一种具有目标识别功能的智能机器人
KR20200059643A (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
CN110706115A (zh) 交通事故快速理赔方法、系统以及一种服务器
CN111241918B (zh) 一种基于人脸识别的车用防跟踪方法及系统
CN112215222A (zh) 车牌识别方法、装置、设备及存储介质
CN110188645B (zh) 用于车载场景的人脸检测方法、装置、车辆及存储介质
CN116110127A (zh) 一种多联动的加油站套现行为识别系统
CN113723258B (zh) 危险品车辆图像识别方法及其相关设备
CN108873097A (zh) 无人停车库中载车板停车时的安全检测方法及装置
CN111191603B (zh) 车内人员识别方法、装置、终端设备及介质
CN113610899A (zh) 一种基于视频流事件的无感加油方法
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
CN112990193A (zh) 一种基于vin码无感知识别的车辆管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination