CN110472870A - 一种基于人工智能的收银台服务规范检测系统 - Google Patents

Abstract

本发明公开了一种基于人工智能的收银台服务规范检测系统，包括图像采集摄像头、员工态势识别服务器、介质检测服务器、收银服务检测器，违规事件语音报警器，违规短信发送服务器，数据分析处理中心和前端展示界面。本发明可基于视频流，对超市收银区的工作人员、顾客、POS机、扫码枪、发票机、银行卡、小票、手机等进行实时监测及定位；基于监测结果分别实现员工在进行递接卡和递接发票服务时动作是否规范的检测，以及员工私自盗刷银行卡以及私开发票和小票的行为检测，输出检测结果；当识别到员工有违规操作时，实时进行语音报警、短信发送、违规画面展示等。本发明能够同时实现自动、智能的收银风险管控，以及便捷、全面的员工服务规范化管理和服务质量评价。

Description

一种基于人工智能的收银台服务规范检测系统

技术领域

本发明涉及大数据、人工智能、智慧城市、智能监控技术领域，具体涉及一种基于人工智能的收银台服务规范检测系统。

背景技术

在现在的超市管理系统中，尤其是类似中国石油加油站便利店这种需要统一管理方式的超市，对员工的服务要求都有特定的标准以便给顾客带来更好的服务。但在标准制定后，往往在具体落实时都不能被很好的执行，人工评价每个员工的服务质量既费时又费力。

在没有顾客时或收银台只有一个员工时，容易出现员工私自盗刷银行卡以及私开发票和小票的行为，而如果出现这种情况，往往被发现时周期都比较长，而且可能存在未被发现的情况，通过人工排查效率低且费时费力。

因此，目前需要一种基于人工智能的收银台服务规范检测系统可以实时的对员工的服务质量以及员工操作安全问题进行实时检测并对违规现象进行实时报警。

发明内容

本发明提供了一种基于人工智能的收银台服务规范检测系统，可同时实现自动、智能的收银风险管控，以及便捷、全面的员工服务规范化管理和服务质量评价。

本发明的技术方案如下：一种基于人工智能的收银台服务规范检测系统，包括：

1)图像采集摄像头：可以为单个或多个摄像头，用于实时监视并采集收银区域场景画面，并传递视频流；

2)员工态势识别服务器：基于视频流，实时检测超市收银区的工作人员和顾客；对于工作人员，进一步实现人脸识别及采集，以及上肢肢体动作识别及采集；

3)介质检测服务器：基于视频流，实现收银台上的工作相关目标介质的检测及定位功能；

4)收银服务检测器：基于工作人员、目标介质、顾客检测结果，位置，分别实现员工在进行递接卡和递接发票服务时动作是否规范的检测，以及员工私自盗刷银行卡以及私开发票和小票的行为检测，输出检测结果；

5)违规事件报警器：包括语音报警器和短信发送服务器，当识别到员工有违规操作时，实时进行语音报警或将报警文本信息和图片信息发送到管理人员的监管终端。

进一步地，所述的员工态势识别服务器的具体工作步骤为：

1)将传输过来的视频流解码成单帧图片，通过目标检测算法对顾客和员工进行定位和识别；

2)将识别后的员工图片进一步进行人脸数据采集，将人脸数据与之前录入系统中的人脸库进行比对，定位到具体员工；然后通过人体关键点检测算法识别员工手部、腕部、肘部；同时识别上肢动作；

所述的通过人体关键点检测算法识别员工手部、腕部、肘部；同时识别上肢动作，具体方法步骤为：

1)员工关键点检测，通过人体关键点检测的AlphaPose算法对员工手部，腕部，以及肘部的关键点进行识别，并通过对各个关键点之间夹角的运算对员工的上肢动作进行识别；Faster-RCNN对人员目标进行识别，然后通过SPPE算法对各个关键点进行聚合，得到手部腕部以及肘部的关键点；然后采用Deformable Pose Traversal Convolution模型来实现对工作人员操作步骤的检测，该模型通过人体姿态关键点检测生成人体骨骼图，利用视频的时序性借助convLSTM判断人员动作；

2)员工手势规范的检测，系统采用了基于多任务深度学习的2/3D动作识别算法,该网络结合了姿势评估算法的优点,同时采集图像的视觉特征,在外观表征和动作表征的两个维度上聚合特征,以达到较好的姿势检测效果。

进一步地，，所述的收银服务检测器具体工作步骤为：接受所述员工态势识别服务器和介质检测服务器的输入信息后，再：

1)通过判断员工手部与顾客之间的相对位置，员工手部与银行卡和小票的相对位置，员工手部与POS机的位置，判断员工是否在进行收银服务；

2)判定为员工进行收银服务后，通过判断两个手臂各自的夹角关系以及两个手臂之间的平行关系来确定员工进行递接银行卡，发票以及小票时是否是双手操作；

判定为没有进行收银服务时，通过手机与扫码枪的位置，POS机是否插入银行卡，以及此时是否有小票被打印来判断员工是否有私自盗刷银行卡和私自开小票的行为。

采用本发明基于人工智能的收银台服务规范检测系统，可基于视频流，对超市收银区的工作人员、顾客、POS机、扫码枪、发票机、银行卡、小票、手机等进行实时监测及定位；基于监测结果分别实现员工在进行递接卡和递接发票服务时动作是否规范的检测，以及员工私自盗刷银行卡以及私开发票和小票的行为检测，输出检测结果；当识别到员工有违规操作时，实时进行语音报警、短信发送、违规画面展示等。本发明能够同时实现自动、智能的收银风险管控，以及便捷、全面的员工服务规范化管理和服务质量评价。

附图说明

图1是本发明提供的一种基于人工智能的收银台服务规范检测系统的系统逻辑组成图。

图2是本发明提供的一种基于人工智能的收银台服务规范检测系统的主要业务流程图。

图3是本发明提供的一种基于人工智能的收银台服务规范检测系统的典型应用效果图。

图4是本发明提供的一种基于人工智能的收银台服务规范检测系统的图像采集摄像头业务流程图。

具体实施方式

为了更清楚地说明本发明内容和实施例的技术方案，下面将对发明内容和实施例中所需要使用的附图作简单地介绍。

本发明实施例涉及一种基于人工智能的收银台服务规范检测系统，包括图像采集摄像头、员工态势识别服务器、介质检测服务器、收银服务检测器，违规事件语音报警器，违规短信发送服务器，数据分析处理中心和前端展示界面，具体系统逻辑组成如图1所示，图中：

图像采集摄像头：可以为单个或多个摄像头，用于实时监视并采集收银区域场景画面，并传递视频流。具体实施方式：通过读取现有摄像头IP，使用FFmpeg的流编解码技术实时读取摄像头rtsp视频流，并将数据传递到检测模块，将视频流的读取封装成一个单路视频解码调度模块，通过ICE中间件跟检测模块进行通信，其业务流程如图4所示。

员工态势识别服务器：基于视频流，实时检测超市收银区的工作人员和顾客；对于工作人员，进一步实现人脸识别及采集，以及上肢肢体动作识别及采集，其具体实施步骤包括：

A.将传输过来的视频流解码成单帧图片，通过目标检测算法对顾客和员工进行定位和识别，其具体实施子步骤如下：

1)将传输过来的视频流解码成单帧图片，然后将图片输入网络，预测标志的位置；

2)检测到的标志都会被用于池化特征，获取不会因为变型或者折叠而变化的局部特征；

3)将全局特征和局部特征池化层进行一个融合输入最后一层网络，将网络与FasterRCNN目标检测算法相结合对目标进行定位和识别；

B.将识别后的员工图片进一步进行人脸数据采集，将人脸数据与之前录入系统中的人脸库进行比对，定位到具体员工，其具体实施子步骤如下：

1)人脸图像采集：从目标检测的结果中提取员工的人脸图像。

2)人脸检测：采用Adaboost学习算法进行人脸检测，并且运用Gamma灰度矫正的光照预处理方法,在光照估计模型的基础上，进行相应的光照补偿和光照平衡策略。

3)人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，该系统中主要运用了人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

4)人脸图像特征提取：根据人脸器官的形状描述以及他们之间的距离特性来获得人脸分类的特征数据，其特征分量包括特征点间的欧氏距离、曲率和角度。

5)人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断，一对多进行图像匹配对比的过程。

C.通过人体关键点检测算法识别员工手部、腕部、肘部；同时识别上肢动作，其具体实施子步骤如下：

员工人体关键点检测，通过人体关键点检测的AlphaPose算法对员工手部，腕部，以及肘部的关键点进行识别，并通过对各个关键点之间夹角的运算对员工的上肢动作进行识别。首先使用Faster-RCNN对人员目标进行识别，然后通过SPPE算法对各个关键点进行聚合，得到手部腕部以及肘部的关键点。然后采Deformable Pose Traversal Convolution模型来实现对工作人员操作步骤的检测，该模型通过人体姿态关键点检测生成人体骨骼图，利用视频的时序性借助convLSTM判断人员动作。

检测服务器：基于视频流，实现收银台上的POS机，扫码枪，发票机，银行卡，小票，手机等介质检测及定位功能，其具体实施步骤如下：

A.通过FasterRCNN算法先对目标进行初步定为识别；

B.运用细粒度分类与小目标识别算法对手机，小票，银行卡之类的小目标进行进一步识别，具体技术细节与人员检测的技术相同。

收银服务检测器：基于工作人员、介质、顾客检测结果，含位置，分别实现员工在进行递接卡和递接发票服务时动作是否规范的检测，以及员工私自盗刷银行卡以及私开发票和小票的行为检测，输出检测结果，其具体实施步骤如下：

步骤1：利用Temporal Segment Networks(TSN)来对动作进行检测，判断员工手部与顾客之间的相对位置，员工手部与银行卡和小票的相对位置，员工手部与POS机的位置，判断员工是否在进行收银服务。

步骤2：判定为员工进行收银服务后，通过判断两个手臂各自的夹角关系以及两个手臂之间的平行关系来确定员工进行递接银行卡，发票以及小票时是否是双手操作；其中员工手势规范的检测具体是收银台单双手接递发票、银行卡的事件检测，主要基于目标检测和关键点检测结果进行判断。在进行事件判断之前需要下列目标检测的结果,包括工作人员、顾客、扫码枪、银行卡、发票、手机、pos机等；关键点结果涉及所有人员的关键点信息：手腕、手肘、双肩等。

获得以上信息后,对信息处理将经过三个过程，分别是转换层、分析层和处理层，分别完成数据预处理、事件分析和事件处理。

转换层：

首先要针对摄像头的角度，收银员和顾客活动的区域绘制遮罩区域，对于顾客出现在收银台里面、收银员出现在收银台前等情况进行过滤。然后，通过和上一帧数据进行IOU匹配，对目标进行跟踪，对于首次出现的目标或活跃度过大的目标重新设置全局ID，并设置活跃度为1。活跃度表示同一目标相对位置和面积变化的程度，其计算公式如下:

A{i+1}＝A{i}*(1-α)+α*(1-(IOU(bbox{i+1}，bbox{i}))²) (1)

其中IOU计算的是同一目标的IOU值,α表示手动设定的阈值。

分析层：

根据关键的相对位置关系变化、顾客和店员的相对位置关系和时序信息得到下一个中间分析结果：

活跃度(active)：目标活动的剧烈程度,针对潜在的接递对象(银行卡、发票、小票)

双手距离得分(p_v0)：双手的距离，距离越远得分越高

平行关系得分(p_v1)：手肘连线和手腕连线的平行程度，越接近平行得分越高

伸直程度得分(p_v1|p_v2)：区分左右手，臂膀越伸直得分越高

运动向量得分(v_l|v_r)：区分左右手，前伸方向得分高，后退方向得分低

事件距离得分(e_v0):顾客和店员的手越近得分越高

前伸方向得分(e_v1):向前伸的距离越远得分越高

前伸距离得分(e_v2):向前伸的距离越远得分越高

递物操作概率(pass_v):顾客和店员发送一次递物行为，手上存在银行卡、发票的可能性

递物操作概率(scan_v):顾客和店员手持扫码抢的可能性

交互概率(score):顾客和店员进行一次递物行为的可能性

单手接递概率P₁计算公式如下：

P₁＝((1-(p_v0*p_v1)^0.5)*(score*e_v0*e_v1*e_v2)^0.5))*pass_v*active (2)

双手接递概率P₂计算公式如下

P₂＝(((p_v0*p_v1*p_v2*p_v3)^0.25)*(score*e_v0*e_v1*e_v2)^0.5)*pass_v*active (3)

扫码概率P₃计算公式如下

P₃＝((1-(p_v0*p_v1)^0.5)*(score*e_v0*e_v1*e_v2)^0.5))*scan_v*active (4)

处理层：

设定事件判断的阈值，对于极有可能的单手接递事件进行报警，并保存图片和历史视频。

步骤3：判定为没有进行收银服务时，通过手机与扫码枪的位置，POS机是否插入银行卡，以及此时是否有小票被打印来判断员工是否有私自盗刷银行卡和私自开小票的行为。

1)违规事件语音报警器：当识别到员工有违规操作时，实时进行语音报警。其具体实施方法：当识别到员工有违规操作时，实时进行语音报警。采用一种新的文字转语音的神经网络方法，可以将从开放场景下采样到的声音中提取的文字转化为语音。不同于其他的文字转语音系统，这种方法能够处理从公开演讲中提取出来的非约束性的样本，而且网络架构比现存的解决同样问题的架构要简单。它基于新的移位缓冲内存储器区，这个缓冲区也可以用于评估注意力，计算输出音频，以及自身的更新。

2)违规短信发送服务器：当识别到员工有违规操作时，实时将报警文本信息和图片信息发送到管理人员的手机。其具体实施方法：当识别到员工有违规操作时，实时将报警文本信息和图片信息发送到管理人员的手机。通过将系统检测到的信息编辑成文字，利用第三方的短信平台短信接口，发送预警信息给用户。

3)数据分析处理中心：用于对历史信息按每天每周每月的形式进行数据统计，生成柱状图，折线图，饼图等统计信息，并在此基础上形成日报，周报，月报。

4)前端展示界面：可以方便管理人员实时查看现场信息，并且可以查看历史报警信息统计。

Claims (6)

1.一种基于人工智能的收银台服务规范检测系统，其特征在于，包括：

1)图像采集摄像头：可以为单个或多个摄像头，用于实时监视并采集收银区域场景画面，并传递视频流；

2)员工态势识别服务器：基于视频流，实时检测超市收银区的工作人员和顾客；对于工作人员，进一步实现人脸识别及采集，以及上肢肢体动作识别及采集；

3)介质检测服务器：基于视频流，实现收银台上的工作相关目标介质的检测及定位功能；

4)收银服务检测器：基于工作人员、目标介质、顾客检测结果，位置，分别实现员工在进行递接卡和递接发票服务时动作是否规范的检测，以及员工私自盗刷银行卡以及私开发票和小票的行为检测，输出检测结果；

5)违规事件报警器：包括语音报警器和短信发送服务器，当识别到员工有违规操作时，实时进行语音报警或将报警文本信息和图片信息发送到管理人员的监管终端。

2.根据权利要求1所述的基于人工智能的收银台服务规范检测系统，其特征在于，所述的员工态势识别服务器的具体工作步骤为：

1)将传输过来的视频流解码成单帧图片，通过目标检测算法对顾客和员工进行定位和识别；

2)将识别后的员工图片进一步进行人脸数据采集，将人脸数据与之前录入系统中的人脸库进行比对，定位到具体员工；然后通过人体关键点检测算法识别员工手部、腕部、肘部；同时识别上肢动作；

所述的通过人体关键点检测算法识别员工手部、腕部、肘部；同时识别上肢动作，具体方法步骤为：

1)员工关键点检测，通过人体关键点检测的AlphaPose算法对员工手部，腕部，以及肘部的关键点进行识别，并通过对各个关键点之间夹角的运算对员工的上肢动作进行识别；Faster-RCNN对人员目标进行识别，然后通过SPPE算法对各个关键点进行聚合，得到手部腕部以及肘部的关键点；然后采用Deformable Pose Traversal Convolution模型来实现对工作人员操作步骤的检测，该模型通过人体姿态关键点检测生成人体骨骼图，利用视频的时序性借助convLSTM判断人员动作；

2)员工手势规范的检测，系统采用了基于多任务深度学习的2/3D动作识别算法,该网络结合了姿势评估算法的优点,同时采集图像的视觉特征,在外观表征和动作表征的两个维度上聚合特征,以达到较好的姿势检测效果。

3.根据权利要求1所述的基于人工智能的收银台服务规范检测系统，其特征在于，所述的收银服务检测器具体工作步骤为：接受所述员工态势识别服务器和介质检测服务器的输入信息后，再：

1)通过判断员工手部与顾客之间的相对位置，员工手部与银行卡和小票的相对位置，员工手部与POS机的位置，判断员工是否在进行收银服务；

2)判定为员工进行收银服务后，通过判断两个手臂各自的夹角关系以及两个手臂之间的平行关系来确定员工进行递接银行卡，发票以及小票时是否是双手操作；

3)判定为没有进行收银服务时，通过手机与扫码枪的位置，POS机是否插入银行卡，以及此时是否有小票被打印来判断员工是否有私自盗刷银行卡和私自开小票的行为。

4.根据权利要求1所述的基于人工智能的收银台服务规范检测系统，其特征在于，所述的介质检测服务器具体工作步骤为：

1)通过目标识别算法对工作相关介质目标进行初步定为识别；

2)运用细粒度分类与小目标识别算法对手机，小票，银行卡之类的小目标进行进一步识别。

5.根据权利要求1所述的基于人工智能的收银台服务规范检测系统，其特征在于，所述作相关介质目标包括但不限于：POS机，扫码枪，发票机，银行卡，小票，手机。

6.根据权利要求1所述的基于人工智能的收银台服务规范检测系统，其特征在于，所述收银服务检测器的检测结果输入后续的数据分析处理中心：用于对历史信息按每天每周每月的形式进行数据统计，生成柱状图，折线图，饼图等统计信息，并在此基础上形成日报，周报，月报；或输入前端展示界面：以方便管理人员实时查看现场信息，查看历史报警信息统计。