CN116110127A - 一种多联动的加油站套现行为识别系统 - Google Patents

Abstract

本发明涉及信息处理领域，本发明提供了一种多联动的加油站套现行为识别系统。所述系统包括四个模块：配置模块，图像分析模块，匹配模块和报警模块：将计算机视觉中深度学习技术，在加油站中设置标准位置信息用于收现金行为检测，减少了企业人工查找的投入，同时视觉监测系统与订单系统打通，获取订单信息，通过收现金行为与订单信息精准匹配后判断，最终确定是否为套现行为，实现全自动精准判断。

Description

一种多联动的加油站套现行为识别系统

技术领域

本发明涉及信息化处理领域，具体涉及一种多联动的加油站套现行为识别系统。

背景技术

关于治理员工套现问题面临着实际的问题，目前确认套现主要的方式是通过人工在加油站录像设备查找加油员收现金的行为，然后去订单系统查找对应的订单判断是否发生套现行为，收现金行为本身持续时间较短，从视频录像中查找耗时较多，当监控数量较多时，就需要投入更多的人力，投入较大，收效甚微。

因此，如何提供一种人工智能的套现行为检测系统是本领域技术人员亟需解决的问题

发明内容

为解决上述技术问题至少之一，本申请提出了一种多联动的加油站套现行为识别系统，所述系统包括四个模块：配置模块，图像分析模块，匹配模块和报警模块：

所述配置模块在获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的ID标识信息，所述摄像头至少为两个；

所述图像分析模块模块利用深度学习模型实时分析解码后视频数据并识别收现金行为：

所述匹配模块从加油站的订单系统获取订单信息，从图像分析模块获取确定发生收现金行为信息，通过图像分析模块上传的油枪号、收现金时间与订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金行为所对应的订单信息；

所述报警模块对匹配后的订单信息进行判断，当发现套现行为，将告警信息传到加油站的管理平台。

优选的，所述告警信息中至少包括订单信息，提枪者的ID标识信息及提枪者的视频图像信息。

 优选的，所述配置模块在前端获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的ID标识信息，包括：启动前端流媒体服务，配置摄像头IP地址，利用流媒体RTSP协议获取现场画面，基于canvas API实现加油岛区域标注，并标定加油岛对应的油枪号信息。

 优选的，图像分析模块中所述的利用深度学习模型实时分析解码后视频数据识别收现金行为包括：现场设备通过芯片实时解码摄像头视频数据，将数据传输给神经网络分析模型进行分析， 当监测到车辆进入加油区域后，车辆跟踪算法对车辆进行跟踪，识别到车辆进入加油岛停止后，开启收现行为监测。

优选的，其中，开启收现行为的监测包括：识别到顾客下车后行人跟踪算法开始对该顾客进行跟踪识别，识别地面是否有接递现金的行为。

优选的，地面收现金识别识别地面是否有接递现金的行为，具体是采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的图像。

 优选的，匹配模块中所述的获取收现金行为所对应的订单信息包括：通过ROCKETMQ消息队列获取订单系统加油订单信息，包含油枪号、抬挂抢号信息、支付方式、支付金额信息；通过图像分析模块获取的收现金时间及油枪号信息与从订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金加油过程所对应的加油订单信息。

优选的，采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的面积图像，所述手部四边形图像信息的获取，是根据加油站中的标识图像变换后，再与标准图像图像进行比对，以获取是否为现金图像。

优选的，根据标识图像设置在加油站的位置信息与摄像头的角度信息，预设置形变矩阵，在对用户的手部四边形信息图像提取时，当存在预置形变矩阵时，则直接进行形变变换后，进行标准图像进行比对；当不存在预置形变矩阵时，根据标识图像和在摄像头中获取的标识图像，计算形变矩阵。

优选的，所述神经网络分析模块包括至少一个卷积层、至少一个全连接层以及一个Softmax层；将所述最后一个卷积层的特征图输入所述至少一个全连接层中，得到所述至少一个全连接层中的最后一个全连接层输出的二维向量。

为此，本发明提供了一种多联动的加油站套现行为识别系统。本申请中将计算机视觉中深度学习技术用于收现金行为检测，在加油站中设置标准位置信息和用户的标识信息用于收现金行为检测，减少了企业人工查找的投入，同时视觉监测系统与订单系统打通，获取订单信息，通过收现金行为与订单信息精准匹配后判断，最终确定是否为套现行为，实现全自动精准判断。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本系统的结构示意图。

图2是本系统图像分析模块的实现流程。

实施方式

参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本文中的“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

需要说明的是，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能或作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。例如，第一信息和第二信息是用于区别不同的信息，而不是用于描述信息的特定顺序。

需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

如图1所示，本发明提供了一种多联动的加油站套现行为识别系统，包含四个模块：配置模块，图像分析模块，匹配模块，报警模块。

模块一，配置模块，所述配置模块在前端获取加油站现场摄像头画面，在画面中标注加油岛区域及相应的油枪号信息。

模块二，图像分析模块，所述图像分析模块模块利用深度学习模型实时分析解码后视频数据识别收现金行为：

所述深度学习模型实时分析解码后的视频数据具体为：

假设共有P帧连续图像自动检测出其中已经含有预设的特征图像，连续检测分析手部物品的形体特征，提取这些连续图像中的物品特征，视频是连续的，随着视频画面的运动，在预设范围内的每帧图像中提取手部特征的坐标不可能完全一致。为此，对自动检测出已经含疑似特征图像的P帧图像的每一帧，根据诸如在加油站位置中，设置的标准点位信息和摄像头的拍摄校对信息，根据上述信息，对获得的图像形变信息做图形转化，采用拉伸、缩小、透视变换处理将现金图像的形状调整为最佳现金图像的形状，从而执行与标准现金图像的比对。

优选的，可以获取提取图像中的四个点的坐标调整为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，并且这四个点围成的面积与最佳现金图像做比对，所述形变形变过程中引入加油站的设定位置的标准图像信息，示例性的，所述标志信息为标识标志参照图形，根据标志参照图像得到形变参数矩阵，从而获得用户手边中类似线性图像的图形或通用的黑白方格图像。

所述特征图像的匹配检测可以采用卷积神经网络算法，所述神经网络算法，具体为：将所述M帧图像中的第i帧图像输入所述第一卷积神经网络模型中的至少一个卷积层中，得到所述至少一个卷积层中的最后一个卷积层的特征图，所述第一卷积神经网络模型包括至少一个卷积层、至少一个全连接层以及一个Softmax层；将所述最后一个卷积层的特征图输入所述至少一个全连接层中，得到所述至少一个全连接层中的最后一个全连接层输出的二维向量；将所述二维向量输入所述Softmax层中，得到用于标识所述第i帧图像中是否包含所述现金的向量；

其中，所述第一卷积神经网络模型中的卷积层的权重参数、所述第一卷积神经网络模型中的卷积层的偏置项参数、所述第一卷积神经网络模型中的全连接层的权重参数以及所述第一卷积神经网络模型中的全连接层的偏置项参数是根据预先设置的包含所述现金的图像以及未包含所述现金的图像训练生成的；所述训练图像过程中，对于整个加油站的不同角度拍摄的视频信息，所述拍摄的图像为设定位置中加油站内的预设标准图像，标准图像可以是视频测试中黑白方格图，根据所述特征图像与摄像位置和拍摄的位置相映射，在后续的拉升等处理中，参考加油站位置内部的坐标点位信息，确定变换矩阵即形变矩阵。

模块三，匹配模块，所述匹配模块从订单系统获取订单信息，从分析模块获取发生收现金行为信息，通过分析模块上传的油枪号、收现金时间与订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金行为所对应的订单信息。

模块四，报警模块，所述报警模块对匹配后的订单信息进行判断，如发现套现行为，将告警信息传到管理平台。

基于以上模块本系统可以实时处理摄像头的视频流数据，监测画面中加油过程是否发生收现金行为，然后匹配收现金行为的加油订单信息，判断相应的订单信息是否关联套现行为，如关联套现行为进行预警。所述告警信息中至少包括订单信息，提枪者的ID标识信息及提枪者的视频图像信息。

 其中，在模块一中所述的“在前端获取加油站现场摄像头画面，画面中标注加油岛区域及相应的油枪号信息”，其实现方法如下：启动前端流媒体服务，配置摄像头IP地址，利用流媒体RTSP协议获取现场画面，基于canvas API实现加油岛区域标注，并标定加油岛对应的油枪号信息。

 其中，在模块二，图像分析模块中所述的“利用深度学习模型实时分析解码后视频数据识别收现金行为”，其实现方法如下：现场设备通过芯片实时解码摄像头视频数据，将数据传输给模型进行分析， 车辆识别算法监测加油区是否有车辆进入，当监测到车辆进入加油区域后，车辆跟踪算法对车辆进行跟踪，识别到车辆进入加油岛停止后，开启收现行为监测。其中，收现金主要有两种情况： 1. 当行人检测算法识别到顾客下车后行人跟踪算法开始对该顾客进行跟踪识别，同时地面收现金识别算法识别地面是否有接递现金的行为；2.车上接递现金算法监测车上是否有接递现金行为。

所述现金检测算法，也可具体结合为对用户的手部信息做边缘检测，提取疑似现金图像的图像。所述边缘检测，可以采用小波边缘检测算法。

当识别到接递现金行为后，根据区域匹配结果获得区域油枪号，将油枪号信息，收现金时间图片视频等信息发送给匹配模块，车辆跟踪算法监测到车辆离开后关闭该区域收现金行为监测。

 其中，在模块三匹配模块中所述的“获取收现金行为所对应的订单信息”。可选的其具体方式是：通过ROCKET MQ消息队列获取订单系统加油订单信息，包含油枪号、抬挂抢号信息、支付方式、支付金额等信息。通过从模块二图像分析模块获取的收现金时间及油枪号信息与从订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金加油过程所对应的加油订单信息。

 其中，在模块四中所述的“对匹配后的订单信息进行判断”，其实现方法如下：收现金行为通过模块三匹配到相应订单信息，如果订单信息支付方式为非现金支付方式，则判断该加油过程关联套现行为。

实施例2

如如图1所示，整个系统包含四个模块：配置模块，图像分析模块，匹配模块，预警模块，图像分析模块从摄像头获取视频流数据，其系统实现还可以是从配置模块获取相关参数信息，包括分析设备IP，摄像头IP，加油岛区域信息，区域对应的油枪号等信息，然后通过深度学习模型分析图像数据，如果发现收现金行为将相关信息传给匹配模块，匹配模块从订单系统中获取加油订单信息，然后通过匹配规则给从图像分析模块传输的收现金行为匹配相应的订单信息，报警模块分析匹配后得订单信息，确定套现行为后进行报警。

模块一，配置模块的实现方式如下：

启动前端流媒体服务，在前端页面配置加油站加油区所有摄像头和分析设备的IP地址，在页面流媒体播放器获取现场画面，在画面中标注加油岛区域和油枪号信息。

模块二，图像分析模块的实现流程如图2所示：

S1对车辆和行人进行跟踪；

S2监测车辆是否驶入加油岛；

S3如果监测到车辆驶入加油岛，开启该岛收现金行为监测，同时监测车辆是否驶离加油岛；

S4监测顾客和加油员是否在地面或者车旁发生接递行为；

S5如果顾客和加油员在地面发生接递行为，判断是否为接递现金行为，如 果是，将信息传送给匹配模块，关闭该岛收现金行为监测；

S6如果监测到加油员在车窗收现金，将信息传送给匹配模块，关闭该岛收现金行为监测；

S7如果监测到车辆驶离加油岛，关闭该岛收现金行为监测；

以上过程涉及车辆检测、行人检测、车辆跟踪、行人跟踪、地面收现金行为识别，车边收现金识别，工装人员的识别。

可选的，检测到加油员执行加油行为时，通过加油员所配的近距标识器，所述近距离标识器，可以是采用WIFI通信的能与加油枪配对的通信单元，当加油员把持油枪时触发加油站或加油岛中的通信管理单元，对所述值班人员的标识信息进行识别，与所述用户的图像检测信息进行校对，当标识信息与图像检测信息不匹配时，提升视频检测行为的检测等级，即管理平台控制加油站加油区的至少两个摄像头，对加油行为进行远近分离检测，对摄像头的获取的到的视频信息进行分析处理。所述分析处理算法，可选的采用实施例1中的视频分析和卷积神经网络算法。

可选的，其中车辆及行人检测模型也可以结合使用目标检测算法，跟踪模型基于deepsort跟踪算法，行为识别基于姿态估计算法，工装人员的识别可以选用基于图像分类算法。

对于模块三匹配模块的实现步骤如下：

1.收现金行为匹配订单， 根据收现时间匹配订单提挂枪时间段，将所有满足条件的订单全部匹配：a. 若收现时间在提挂枪时间段之间，直接匹配；b. 若收现时间没有在任意订单提挂枪之间，则寻找收现时间是否在某订单提挂枪时间前后15s内；2. 将非此加油岛的订单全部过滤3. 填充订单，若匹配多笔订单，则查看订单号是否连续，若不连续则填充中间所有订单。

对于模块四预警模块的实现方式如下：

收现金行为通过模块三匹配到相应订单信息，如果订单信息支付方式为非现金支付方式，则判断该加油过程发生套现行为，将收现金图片视频提枪者ID信息及订单等相关信息传给管理平台。

基于如上所述的示例，在一个实施例中涉及方法步骤的特征，可以被本发明提供的一种计算机设备/或系统实现，该计算机设备/系统包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如上述各实施例中的任意一种方法。

 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各视频播放方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

据此，还提供一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述各实施例中的任意涉及的方法步骤。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多联动的加油站套现行为识别系统，其特征在于：所述系统包括四个模块：配置模块，图像分析模块，匹配模块和报警模块：

所述配置模块在获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的ID标识信息，所述摄像头至少为两个；

所述图像分析模块模块利用深度学习模型实时分析解码后视频数据并识别收现金行为：

所述匹配模块从加油站的订单系统获取订单信息，从图像分析模块获取确定发生收现金行为信息，通过图像分析模块上传的油枪号、收现金时间与订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金行为所对应的订单信息；

所述报警模块对匹配后的订单信息进行判断，当发现套现行为，将告警信息传到加油站的管理平台。

2.如权利要求1所述的多联动的加油站套现行为识别系统，其特征在于：所述告警信息中至少包括订单信息，提枪者的ID标识信息及提枪者的视频图像信息。

3. 如权利要求2所述的多联动的加油站套现行为识别系统，其特征在于：所述配置模块在前端获取加油站现场摄像头画面，并在画面中标注加油岛区域，相应的油枪号信息及提枪者的ID标识信息，包括：启动前端流媒体服务，配置摄像头IP地址，利用流媒体RTSP协议获取现场画面，基于canvas API实现加油岛区域标注，并标定加油岛对应的油枪号信息。

4. 如权利要求3所述的多联动的加油站套现行为识别系统，其特征在于：图像分析模块中所述的利用深度学习模型实时分析解码后视频数据识别收现金行为包括：现场设备通过芯片实时解码摄像头视频数据，将数据传输给神经网络分析模型进行分析， 当监测到车辆进入加油区域后，对车辆进行跟踪，识别到车辆进入加油岛停止后，开启收现行为监测。

5.如权利要求4所述的多联动的加油站套现行为识别系统，其特征在于：其中，开启收现行为的监测包括：识别到顾客下车后，开始对该顾客进行跟踪识别，识别地面和车内是否有接递现金的行为。

6.如权利要求5所述的多联动的加油站套现行为识别系统，其特征在于：地面收现金，识别地面是否有接递现金的行为，具体是采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的图像，并于预设的现金特征图像做比对。

7. 如权利要求6所述的联动的加油站套现行为识别系统，其特征在于：匹配模块中所述的获取收现金行为所对应的订单信息包括：通过ROCKET MQ消息队列获取订单系统加油订单信息，包含油枪号、抬挂抢号信息、支付方式、支付金额信息；通过图像分析模块获取的收现金时间及油枪号信息与从订单信息中的油枪号及抬挂枪时间进行匹配，获取收现金加油过程所对应的加油订单信息。

8.如权利要求7所述的多联动的加油站套现行为识别系统，其特征在：采用神经网络分析模型进行分析，对提枪者和顾客的手部行为进行检测，获取手部四边形的面积图像，所述手部四边形图像信息的获取，是根据加油站中的标识图像变换后，再与现金特征图像进行比对，以获取是否为现金图像。

9.如权利要求8所述的多联动的加油站套现行为识别系统，其特征在于：根据标识图像设置在加油站的位置信息与摄像头的角度信息，预设置形变矩阵，在对用户的手部四边形信息图像提取时，当存在预置形变矩阵时，则直接进行形变变换后，进行标准图像进行比对；当不存在预置形变矩阵时，根据标识图像和在摄像头中获取的标识图像，计算形变矩阵。

10.如权利要求9所述的多联动的加油站套现行为识别的系统，其特征在于：所述神经网络分析模块包括至少一个卷积层、至少一个全连接层以及一个Softmax层；将所述最后一个卷积层的特征图输入所述至少一个全连接层中，得到所述至少一个全连接层中的最后一个全连接层输出的二维向量。

Images