CN110490125A - 一种基于手势自动检测的加油区服务质量检测系统 - Google Patents

Abstract

本发明公开了一种基于手势自动检测的加油区服务质量检测系统，包括加油站加油区图像采集摄像头CJ、加油区关键对象检测器GJ、加油区人员手势识别及合规性判断器PD、违规事件报警器BJ。本发明可基于标准化的加油流程，识别加油区人员的手势；基于加油区操作规范要求，进行人员服务合规性判断；同时，基于加油区人员手势识别及合规性判断器PD输出的人员、加油步骤、违规事项、违规等级信息，生成违规事件，并推送违规事件至加油区管理中心。本发明能够实现加油区工作人员服务质量的自动化、智能化评定。

Description

一种基于手势自动检测的加油区服务质量检测系统

技术领域

本发明涉及大数据、人工智能、智能监控技术领域，具体涉及一种基于手势自动检测的加油区服务质量检测系统。

背景技术

加油区服务质量管理是加油站管理的重要一环。此环节针对工作人员的服务手势作出各种规范，例如：当有车辆进入加油站准备加油时，必须有工作人员向前作出引导手势、在加油前，工作人员需要作出油枪回零的手势、在加油时工作人员需要双手持油枪加油等等。

加油站为加油过程制定的一系列操作规范，需要由管理人员通过监控视频来对加油员工操作进行考察、评判。通常情况下，加油区存在若干个加油机，相应的安装同样多个监控摄像头；受硬件和成本限制，单个加油站点只配备一台硬盘录像机和监控显示器，并且读取缓存视频非常耗时；站点中的管理人员数量远少于加油员工数量；加油车辆出现的时间和位置都是随机的。因此，如果采用人工方式查看历史视频，对所有加油车辆挨个检查工作人员的动作，无疑是非常费时费力的，几乎不具备可操作性。

随着计算机视觉和模式识别的快速发展，自动检测加油员工动作是否规范已经成为可能。

发明内容

鉴于现有技术的以上不足，本发明的目的是提供一种基于手势自动检测的加油区服务质量检测系统，实现加油区工作人员服务质量的自动化、智能化评定。

为达到本发明的目的，采用技术方案如下：

一种基于手势自动检测的加油区服务质量检测系统，在建立的获取系统维护的相应生命周期队列基础上，加油区图像采集摄像头CJ获取的监控视频流经加油区关键对象检测器GJ、加油区人员手势识别及合规性判断器PD，对特定加油区域内的关键对象的工作状态和工作人员手势的合规性做出判断，最后通过违规事件报警器BJ推出判断结果，包括如下单元操作：

1)加油区图像采集摄像头CJ：用于采集加油站特定加油区域的视频和图像信息，包括但不限于车辆、设备、工作人员以及加油流程的实时监控，并向系统传递编码的实时视频流，

2)加油区关键对象检测器GJ：接受1)所获视频流，分帧检测出现在特定加油区域内的加油区的车辆、工作人员、油枪以及胶管关键对象，获取关键对象在视频画面中的相对位置，依据得到的位置信息和特征信息实现加油区关键对象的实时跟踪；

3)加油区人员手势识别及合规性判断器PD：接受2)信息，基于已预设定的标准化加油流程，识别加油区人员的手势；基于加油区操作规范要求，进行人员服务合规性判断；

4)违规事件报警器BJ：接受3)信息，基于加油区人员手势识别及合规性判断器PD输出的人员、加油步骤、违规事项、违规等级信息，生成违规事件，并推送违规事件至加油区管理中心。

具体处理中，所述加油区关键对象检测器GJ的具体方法步骤为：

1)对于接入的实时监控视频流，每隔固定时间从视频流中抽取视频帧，送入目标检测网络；

2)使用深度卷积网络对实时视频帧进行车辆、工作人员、油枪以及胶管进行目标检测，获取每个目标的边界框。

进一步地，所述加油区关键对象检测器GJ置有系统维护的相应生命周期队列，即系统对于每类关键目标维护一个基于视频时序的生命周期队列；在得到当前视频帧中每个关键对象的类别和位置信息后，将每个关键对象与对应类别生命周期队列中的对象进行特征距离度量，当度量值小于固定阈值时，则认为当前对象与队列对象属同一对象，更新队列中该对象的位置信息；反之，认为当前对象与队列对象属不同对象，则在队列中新建实例存储对象的位置信息；其中，特征距离度量方式为两对象边界框中心点坐标的欧式距离与两对象直方图特征的和。

采用如上的步骤，本发明基于手势自动检测的加油区服务质量检测系统运用深度学习技术设计动作检测算法，结合目标检测算法，分析加油站加油区加油员工的动作行为信息并进行分析判断。实现实时地考察、评判加油员工动作并进行实时报警，尽可能地减轻管理人员的负担，提高管理效率并减少管理成本。

附图说明

为了更清楚地说明本发明内容和实施例的技术方案，下面将对发明内容和实施例中所需要使用的附图作简单地介绍。

图1是本发明提供的一种基于手势自动检测的加油区服务质量检测系统的系统逻辑组成图。

图2是本发明提供的一种基于手势自动检测的加油区服务质量检测系统的主要业务流程图。

图3是本发明提供的一种基于手势自动检测的加油区服务质量检测系统的典型应用效果图。

具体实施方式

下面结合本发明附图，对本发明技术方案进行清楚、完整地描述，

本发明实施例：基于手势自动检测的加油区服务质量检测系统，包括加油站加油区图像采集摄像头CJ、加油区关键对象检测器GJ、加油区人员手势识别及合规性判断器PD、违规事件报警器BJ，具体系统逻辑组成如图1所示，业务流程如图2所示，应用效果如图3所示：

1)加油站加油区图像采集摄像头CJ：用于采集加油站特定加油区域的视频和图像信息，负责人员、车辆、设备以及加油流程的实时监控，并向系统传递编码的实时视频流，用于进一步的服务质量分析和检测；

2)加油区关键对象检测器GJ：用于检测出现在特定加油区域内的加油区的车辆、工作人员、顾客、油枪以及胶管等关键对象，获取关键对象在视频画面中的相对位置，依据得到的位置信息和特征信息实现加油区关键对象的实时跟踪，具体步骤包括：

A.对于接入的实时监控视频流，系统以固定时间间隔的频率从实时视频流中抽取视频帧，并进一步将视频帧的短边缩放，同时保持与原视频帧同等长宽比不变，缩放后的视频帧送入目标检测网络；

B.使用深度卷积神经网络对传入实时视频帧中的关键目标进行检测，对于每个在视频帧中出现的关键目标，网络输出关键目标属于某一类别的概率，以及该目标的矩形边界框坐标。

C.系统对于每类关键目标维护一个基于视频时序的生命周期队列。在得到当前视频帧中每个关键对象的类别和位置信息后，将每个关键对象与对应类别生命周期队列中的对象进行特征距离度量，当度量值小于固定阈值时，则认为当前对象与队列对象属同一对象，更新队列中该对象的位置信息；反之，认为当前对象与队列对象属不同对象，则在队列中新建实例存储对象的位置信息。其中，距离度量方式为两对象边界框中心点坐标的欧式距离与两对象直方图特征的和。

在上述步骤中需要用深度卷积神经网络进行目标检测，本实施例所用的目标检测框架为Faster RCNN，骨干网络为带有特征金字塔的ResNet50网络，同时，针对加油站任务的特点，本实施例修改了原有模型，只利用第四层卷积和第五层卷积输出特征图。本实施例的检测模型在与加油站特定区域图像相关性较高的数据集中进行训练，并将训练得到的权重固定后直接用于系统。

3)加油区人员手势识别及合规性判断器PD：用于检测工作人员的骨骼关键点，并基于标准化的加油流程识别工作人员的手势，进一步基于加油区操作规范要求，判断工作人员服务的合规性。包括人员引导车辆手势识别及合规性判断、加油前工作人员油枪回零手势识别及合规性判断、加油时工作人员持油枪手势识别及合规性判断、以及加油后油胶管摆放识别合规性判断，具体判断内容包括：

A.按照车辆进入加油区域后，工作人员需要引导车辆停靠在规定的停车区域，标准引导手势为一手臂垂直向上伸直，另一手臂水平弯曲的手势规范，进行人员引导车辆手势识别及合规性判断；

B.按照在车辆开始加油前，工作人员需要向顾客示意加油机的油枪已回零，标准回零手势为一手持油枪，另一手臂斜向上伸直指向加油机指示表的手势规范，进行加油前工作人员油枪回零手势识别及合规性判断；

C.按照在对车辆进行加油的过程中，工作人员需要双手持油枪进行加油操作的手势规范，进行加油时工作人员持油枪手势识别及合规性判断；

D.按照在车辆加油完成后，工作人员需要将油枪胶环形管盘放整齐挂在加油机指定位置的行为规范，进行加油后油胶管摆放识别合规性判断。

具体实施步骤包括：

A.获取系统维护的工作人员生命周期队列，利用深度卷积神经网络对队列中的每个对象进行人员骨骼关键点检测，得到肩膀、手肘、手腕等关键点位置。

B.根据肩膀、手肘、手腕在当前视频帧中的坐标值，计算以手肘点为顶点的肩膀、手肘、手腕三点夹角角度，当夹角角度大于150度时，则认为手臂属于伸直状态；反之，认为手臂属于弯曲状态。同时，计算肩膀和手腕两点连线与纵轴的夹角角度，当夹角角度小于30度时，则认为手臂属于水平状态；当夹角角度大于30度小于60度且手腕处于肩膀上方时时，则认为手臂属于倾斜状态；当夹角角度大于60度小于90度时且手腕处于肩膀上方时，则认为手臂属于垂直向上状态。综合上述结果，可以判断每条手臂的状态，包括水平伸直、水平弯曲、垂直向上伸直，倾斜向上伸直等。

C.获取系统维护的油枪生命周期队列，计算每个油枪实例边界框中心点坐标与最近的工作人员手腕关键点坐标的欧式距离，当距离小于指定阈值时，则认为该工作人员持有油枪；反之，认为该工作人员没有持有油枪。

D.依据A、B、C三个步骤的结果，进行人员引导车辆手势识别及合规性判断。当工作人员一条手臂垂直向上伸直，另一条手臂水平弯曲且未持有油枪时，认为该人员在进行车辆引导手势。

E.依据A、B、C三个步骤的结果，进行加油前工作人员油枪回零手势识别及合规性判断。当工作人员一条手臂倾斜向上伸直，另一条手臂持有油枪时，认为该人员在进行油枪回零手势。

F.依据A、C两个步骤的结果，获取车辆生命周期队列，计算持油枪工作人员手腕与最近车辆的边界框中心点的欧式距离，当距离小于指定阈值时，则认为工作人员正在进行加油动作。

G.依据A、F两个步骤的结果，进行加油时工作人员持油枪手势识别及合规性判断。当加油工作人员的双手手腕欧式距离小于指定阈值时，则认为当前工作人员正在进行双手加油。反之，认为当前工作人员正在进行单手加油。

H.获取系统维护的胶管生命周期队列，将其中的每个胶管实例的视觉特征送入深度卷积神经网络进行分类，网络输出该胶管是否摆放合规的概率，当概率值大于指定阈值时，则认为胶管摆放合规。

在上述步骤中需要用到深度卷积神经网络进行工作人员关键点检测和胶管摆放情况分类。其中，工作人员关键点检测使用AlphaPose框架，骨干网络为ResNext101，该框架在行人关键点检测开放数据集中进行训练，得到训练权重后直接用于系统。胶管摆放分类使用MobileNet v2网络，该网络在本实施例自行标注只包含合规胶管摆放和非法胶管摆放的图像数据集上进行训练，训练得到的权重直接用于系统。

4)违规事件报警器BJ：基于加油区人员手势识别及合规性判断器PD输出的人员、加油步骤、违规事项、违规等级信息，生成违规事件，并推送违规事件至加油区管理中心，具体加油区操作规范要求及其违规等级包括：

A.工作人员未按照要求对进入加油区域的车辆进行引导或引导手势不标准则判为轻度违规；

B.车辆已进入加油停车位停稳后，在指定时间内没有工作人员进行加油操作，则判为轻度违规；

C.工作人员未按照要求进行油枪回零手势或油枪回零手势不标准则判为轻度违规；

D.工作人员未按照要求双手持油枪加油则判为轻度违规；

E.工作人员未按照要求将胶管盘放整齐则判为轻度违规。

显然，所描述的实施例仅仅是本发明一部分过程举例，而不是全部的实施例。在实际具体应用时，依据实际场地、设备和人员的具体差异，本发明系统的单元组构、步骤的顺序、阈值的实际选取均可以作相应的调整，这些，都应包括在本发明的保护范围之内。

Claims (6)

1.一种基于手势自动检测的加油区服务质量检测系统，在建立的获取系统维护的相应生命周期队列基础上，加油区图像采集摄像头CJ获取的监控视频流经加油区关键对象检测器GJ、加油区人员手势识别及合规性判断器PD，对特定加油区域内的关键对象的工作状态和工作人员手势的合规性做出判断，最后通过违规事件报警器BJ推出判断结果，包括如下单元操作：

1)加油区图像采集摄像头CJ：用于采集加油站特定加油区域的视频和图像信息，包括但不限于车辆、设备、工作人员以及加油流程的实时监控，并向系统传递编码的实时视频流，

2)加油区关键对象检测器GJ：接受1)所获视频流，分帧检测出现在特定加油区域内的加油区的车辆、工作人员、油枪以及胶管关键对象，获取关键对象在视频画面中的相对位置，依据得到的位置信息和特征信息实现加油区关键对象的实时跟踪；

3)加油区人员手势识别及合规性判断器PD：接受2)信息，基于已预设定的标准化加油流程，识别加油区人员的手势；基于加油区操作规范要求，进行人员服务合规性判断；

4)违规事件报警器BJ：接受3)信息，基于加油区人员手势识别及合规性判断器PD输出的人员、加油步骤、违规事项、违规等级信息，生成违规事件，并推送违规事件至加油区管理中心。

2.根据权利要求1所述的一种基于手势自动检测的加油区服务质量检测系统，其特征在于，所述加油区关键对象检测器GJ的具体方法步骤为：

1)对于接入的实时监控视频流，每隔固定时间从视频流中抽取视频帧，送入目标检测网络；

2)使用深度卷积网络对实时视频帧进行车辆、工作人员、油枪以及胶管进行目标检测，获取每个目标的边界框。

3.根据权利要求1或2所述的基于手势自动检测的加油区服务质量检测系统，其特征在于，所述加油区关键对象检测器GJ置有系统维护的相应生命周期队列，即系统对于每类关键目标维护一个基于视频时序的生命周期队列；在得到当前视频帧中每个关键对象的类别和位置信息后，将每个关键对象与对应类别生命周期队列中的对象进行特征距离度量，当度量值小于固定阈值时，则认为当前对象与队列对象属同一对象，更新队列中该对象的位置信息；反之，认为当前对象与队列对象属不同对象，则在队列中新建实例存储对象的位置信息；其中，特征距离度量方式为两对象边界框中心点坐标的欧式距离与两对象直方图特征的和。

4.根据权利要求1所述的基于手势自动检测的加油区服务质量检测系统，其特征在于，所述加油区人员手势识别及合规性判断器PD具体判断内容包括：

1)按照车辆进入加油区域后，工作人员需要引导车辆停靠在规定的停车区域，标准引导手势为一手臂垂直向上伸直，另一手臂水平弯曲的手势规范，进行人员引导车辆手势识别及合规性判断；

2)按照在车辆开始加油前，工作人员需要向顾客示意加油机的油枪已回零，标准回零手势为一手持油枪，另一手臂斜向上伸直指向加油机指示表的手势规范，进行加油前工作人员油枪回零手势识别及合规性判断；

3)按照在对车辆进行加油的过程中，工作人员需要双手持油枪进行加油操作的手势规范，进行加油时工作人员持油枪手势识别及合规性判断；

4)按照在车辆加油完成后，工作人员需要将油枪胶环形管盘放整齐挂在加油机指定位置的行为规范，进行加油后油胶管摆放识别合规性判断。

5.根据权利要求4所述的基于手势自动检测的加油区服务质量检测系统，其特征在于，加油区人员手势识别及合规性判断器PD工作步骤为：

A.获取系统维护的工作人员生命周期队列，利用深度卷积神经网络对队列中的每个对象进行人员骨骼关键点检测，得到肩膀、手肘、手腕等关键点位置，并根据肩膀、手肘、手腕在当前视频帧中的坐标值，计算以手肘点为顶点的肩膀、手肘、手腕三点夹角角度；同时，计算肩膀和手腕两点连线与纵坐标的夹角角度，判断每条手臂的状态，包括水平伸直、水平弯曲、垂直向上伸直，倾斜向上伸直；

B.获取系统维护的油枪生命周期队列，计算每个油枪实例边界框中心点坐标与最近的工作人员手腕关键点坐标的欧式距离，当距离小于阈值时，则认为该工作人员持有油枪；反之，认为该工作人员没有持有油枪；

C.依据A、B二步骤的结果，进行人员引导车辆手势识别及合规性判断；当工作人员一条手臂垂直向上伸直，另一条手臂水平弯曲且未持有油枪时，认为该人员在进行车辆引导手势；

D.依据A、B二步骤的结果，进行加油前工作人员油枪回零手势识别及合规性判断：当工作人员一条手臂倾斜向上伸直，另一条手臂持有油枪时，认为该人员在进行油枪回零手势；

E.依据A、B两个步骤的结果，获取车辆生命周期队列，计算持油枪工作人员手腕与最近车辆的边界框中心点的欧式距离，当距离小于阈值时，则认为工作人员正在进行加油动作；

F.依据A、E两个步骤的结果，进行加油时工作人员持油枪手势识别及合规性判断：当加油工作人员的双手手腕欧式距离小于阈值时，则认为当前工作人员正在进行双手加油；反之，认为当前工作人员正在进行单手加油；

G.获取系统维护的胶管生命周期队列，将其中的每个胶管实例的视觉特征送入深度卷积神经网络进行分类，网络输出该胶管是否摆放合规的概率，当概率值大于阈值时，则认为胶管摆放合规。

6.根据权利要求1所述的基于手势自动检测的加油区服务质量检测系统，其特征在于，所述违规事件报警器BJ预设有对具体加油区操作规范要求及其违规等级，包括：

1)工作人员未按照要求对进入加油区域的车辆进行引导或引导手势不标准则判为轻度违规；

2)车辆已进入加油停车位停稳后，在指定时间内没有工作人员进行加油操作，则判为轻度违规；

3)工作人员未按照要求进行油枪回零手势或油枪回零手势不标准则判为轻度违规；

4)工作人员未按照要求双手持油枪加油则判为轻度违规；

5)工作人员未按照要求将胶管盘放整齐则判为轻度违规。