CN111369170A - 银行文优服务评价系统 - Google Patents

银行文优服务评价系统 Download PDF

Info

Publication number
CN111369170A
CN111369170A CN202010193602.9A CN202010193602A CN111369170A CN 111369170 A CN111369170 A CN 111369170A CN 202010193602 A CN202010193602 A CN 202010193602A CN 111369170 A CN111369170 A CN 111369170A
Authority
CN
China
Prior art keywords
service
counter
bank
coordinates
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010193602.9A
Other languages
English (en)
Other versions
CN111369170B (zh
Inventor
麦全深
王锦文
李观喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haoyun Technologies Co Ltd
Original Assignee
Haoyun Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haoyun Technologies Co Ltd filed Critical Haoyun Technologies Co Ltd
Priority to CN202010193602.9A priority Critical patent/CN111369170B/zh
Publication of CN111369170A publication Critical patent/CN111369170A/zh
Application granted granted Critical
Publication of CN111369170B publication Critical patent/CN111369170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Technology Law (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及银行文优服务评价系统，通过划分场景并对动作识别判定银行柜台职员是否根据规范要求做进行了服务步骤。同时还提供了与之配套的设备。为实现以上目的，本公开通过以下技术方案予以实现：包括以下步骤：步骤1：预设一个完整服务流程所涉及的服务场景；步骤2：在对象视频中加入时间轴，通过时间轴对比服务流程判断特定时间所在服务场景，且单个服务流程中的服务场景顺序在时间轴上不可逆；步骤3：在服务场景中通过动作识别判断是否完成特定服务动作。申请人通过视频的识别客观体现了柜台服务人员的服务质量，整个过程无需人工干预，并且输出结果客观真实。

Description

银行文优服务评价系统
技术领域
本公开涉及行为识别技术领域，尤其是涉及银行文优服务评价系统。
背景技术
柜台作为面向客户的窗口，直接展示了所在银行的风采。为了给客户留下良好的印象和风评，银行对于柜台也有相当严格的要求，每个银行都会根据自身实际情况来制定相应的《银行柜台文明优质服务规范》，并要求柜台的职员根据规范要求进行服务。但是由于柜台工作比较繁忙，柜台职员有时候也会有松懈的时候，而银行也不可能专门设置人手长时间监督柜台职员的工作，由此就需要行为识别装置的帮助。行为识别在现有技术中已经是较为成熟的技术，例如专利申请号为CN201910293655.5的发明专利《实现位置和动作行为识别功能的系统及其控制方法》中就公开了一种实现位置和动作行为识别功能的系统，包括感知层，用于感知区域内人员位置信息感知和动作信息感知；采集层，用于接收所述的感知层得到的原始数据信息，并对原始数据进行简单处理；网络层，用于接收所述的采集层所得到的数据信息；应用层，用于接收所述的网络层传输的数据信息。本发明还涉及一种实现位置和动作行为识别控制的方法。采用了本发明的实现位置和动作行为识别功能的系统及其控制方法，实现监狱指挥中心对民警的日常管理、在押人员的动态管理和突发事件的预警及应急指挥，结构简单实用、处理过程快捷方便、工作性能稳定可靠、适用范围较为广泛，在社会公共安全风险检测预警与控制方面有着深远的意义。
但是和现有技术一样，由于判定对象的动作不可预知性，现有技术中仅仅凭借视频还是无法准确判断判定对象实际在做哪些动作。如果需要快速准确的判定还是需要依托额外的设备，例如手环等设备，非常不方便。
发明内容
为了解决上述技术问题中的至少一个，本公开提供了银行文优服务评价系统，通过划分场景并对动作识别判定银行柜台职员是否根据规范要求做进行了服务步骤。同时还提供了与之配套的设备，在尽可能依托已有的设备的前提下实现准确判定。
为实现以上目的，本公开通过以下技术方案予以实现：
银行文优服务评价系统，通过对视频进行识别完成，包括以下步骤：
步骤1：预设一个完整服务流程所涉及的服务场景；
步骤2：在对象视频中加入时间轴，通过时间轴对比服务流程判断特定时间所在服务场景，且单个服务流程中的服务场景顺序在时间轴上不可逆；
步骤3：在服务场景中通过动作识别判断是否完成特定服务动作；
其中，一个服务流程至少包括迎接场景、相送环节、服务对话环节、服务聆听环节以及服务操作环节。
优选的，将连续拍摄的整段视频根据服务对象的变化拆分为多组服务流程，分别对每个服务流程进行单独评估，并自动统计分数。这样减少了人工计算服务质量分值的工作量，同时也减少了计算时的误差。
优选的，还包括流程控制步骤，用于选择启用或关闭若干场景，或设置若干场景的判定条件。例如在服务一位年迈的客户时，可能需要通过使用客户的手机和客户的亲人确认一些相关信息，此时手机使用不应被禁用手机的时间轴覆盖。
优选的，所述迎接场景和相送环节检测站立动作，具体为：系统对监控视频图像进行人脸检测，得出人脸图像坐标，如果人脸坐标位于预设的分界线的上方，则认为是站立，否则认为是坐着。
优选的，所述相送环节检测举手动作：具体为系统利用人体骨架关键点检测模型提取摄像头前的柜员的骨架的19个关键点，将检测出的关键点挑选鼻子，脖子，左右肩，左右手肘和右手腕，选取脖子在图像中坐标,记为参考点，分别计算其余6个点与脖子点坐标(xn,yn)的相对位置,记相对位置为(xd,yd),之后再对余下6个点得到的相对脖子位置分别除以左右肩的距离,得到这6个点的归一化坐标,脖子点的归一化坐标设置为(0,0),将这7个点的归一化坐标排列成一个1*14的行向量作为最终特征送进SVM分类，最终判断是否进行了举手动作。
优选的，整个服务流程中涉及微笑检测，具体包括
步骤1：系统将监控视频图片送入开源模型MTCNN网络，图片经过MTCNN网络可以得到图片中人脸框的坐标以及该人脸框中左右眼睛、鼻尖和左右嘴角5个关键点的坐标；
步骤2：系统根据人脸框以及5个关键点坐标对人脸进行对齐操作，从而摆正人脸；
该操作具体为：在二维平面直角坐标系中相似变换矩阵M可以表示为，其中a0、b0分别代表坐标在X轴和Y轴方向的旋转和缩放变换，deltaX和deltaY分别表示坐标在X轴和Y轴方向的平移变换。
Figure BDA0002416791290000031
则对于点(src_x，src_y)经过相似变换矩阵M变换之后坐标(dst_x，dst_y)可表示为
Figure BDA0002416791290000032
假定112*112的正常摆正的人脸五个关键点的坐标为
(src_x1，src_y1)，(src_x2，src_y2)，(src_x3，src_y3)，(src_x4，src_y4)，(src_x5，src_y5)
步骤B检测出来的5个关键点的坐标为
(dst_x1，dst_y1)，(dst_x2，dst_y2)，(dst_x3，dst_y3)，(dst_x4，dst_y4)，(dst_x5，dst_y5)
例如通过对应点(src_x1，src_y1)和(dst_x1，dst_y1)的变换可得2个方程
a0·src_x1-b0·src_y1+deltaX＝dst_x1
b0·src_x1+a0·src_y1+deltaY＝dst_y1
因此5个点可以得到10个方程，未知数的个数为4个，通过最小二乘方法求解超定方程组，解方程得到相似变换矩阵M，利用变换矩阵M即可将检测到的人脸摆正。如下式，式中M为求得的相似变换矩阵，SrcImg为原始图像矩阵，WrapImg就是摆正后的人脸图像矩阵
WrapImg＝M*SrcImg
步骤3：系统将对齐后的人脸RGB截图WrapImg输入到深度学习模型进行分类识别；
步骤4：识别对比输出是否处于微笑状态，并在时间轴上标记处于微笑状态的时间段。
优选的，还包括手机使用状态检测，具体为：对监控画面进行区域绘制,只对区域内的目标进行检测；手机检测方法使用深度学习开源的yolov3模型，首先收集一定数量的手机样本用于训练，然后使用开源的darknet框架训练yolov3，并将模型转成caffe框架的格式，使得模型方便部署，识别对比输出是否在使用手机，并在时间轴上标记处于手机使用状态的时间段。
本公开还涉及一种装置，用于实现基于银行柜台服务自动评估系统的行为识别方法，具体包括柜台服务评估主机以及主控界面设备，所述柜台服务评估主机连接所在局域网中多个柜台服务信息获取组件，所述柜台服务信息获取组件包括叫号器、环境摄像头以及柜台摄像头，主控界面设备与柜台服务评估主机共用同一台主机设备，或单独设置为另一台pc机，或设置为可以连入所述局域网的移动终端。
优选的，当柜台服务人员在工位上处于工作状态时，所述柜台摄像头正对着人脸，人脸上下左右翻滚偏移角度不能大于15度，当柜台服务人员起身时，摄像头的仰视角度不能大于30度。这样减少由于摄像头设置误差导致的判定错误。
优选的，设备设置完毕后进行系统利用人体骨架关键点检测模型提取工作，并进行规范判定对比预输入步骤。这样确保图像对比更准确，减少误判的可能。
本公开通过这样的技术方案，加入了时间轴，避免了在服务过程中出现了失误通过后期动作弥补欺骗监控检测的可能，同时也人性化的提供了场景占比的概念，例如微笑服务在和用户对话指导时不可能永远保持，通过时间轴的控制微笑服务只需覆盖相应比例即可接收。同样在空闲时根据银行规范也可以设置允许使用手机的时间段，只需使用手机的时间和服务场景不重叠并在时间轴上的覆盖少于指定时间即可。
通过本公开，申请人通过视频的识别客观体现了柜台服务人员的服务质量，整个过程无需人工干预，并且输出结果客观真实。对于每个柜台服务人员有疑点都能根据时间轴进行追溯，对后期服务质量提高也具有指导作用。能帮助提高银行的文明优质服务。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开涉及的装置结构示意图。
图2是本公开的服务流程图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开包括一种装置，用于实现基于银行柜台服务自动评估系统的行为识别方法，具体包括柜台服务评估主机以及主控界面设备，所述柜台服务评估主机中安装相关的软件，并连接所在局域网中多个柜台服务信息获取组件，所述柜台服务信息获取组件包括叫号器、环境摄像头以及柜台摄像头，主控界面设备与柜台服务评估主机共用同一台主机设备。但是由于柜台服务评估主机通常放在机房机柜中，不利于日常的控制，因此主控界面设备通常单独设置在柜台经理的pc机上，也可直接设置为可以连入所述局域网的移动终端，例如手机或平板电脑上，便于管理者即时的查看和管理。
优选的，当柜台服务人员在工位上处于工作状态时，所述柜台摄像头正对着人脸，人脸上下左右翻滚偏移角度不能大于15度，当柜台服务人员起身时，摄像头的仰视角度不能大于30度。
优选的，设备设置完毕后进行系统利用人体骨架关键点检测模型提取工作，并进行规范判定对比预输入步骤。
基于银行柜台服务自动评估系统的行为识别方法，通过对视频进行识别完成，包括以下步骤：
步骤1：预设完整一个服务流程所涉及的服务场景；
步骤2：在对象视频中加入时间轴，通过时间轴对比服务流程判断特定时间所在服务场景，且单个服务流程中的服务场景顺序在时间轴上不可逆；
步骤3：在服务场景中通过动作识别判断是否完成特定服务动作；
其中，一个服务流程至少包括迎接场景、相送环节、服务对话环节、服务聆听环节以及服务操作环节。
和现有技术的行为识别不同，现有技术中只能识别某个动作是否做了。而在本公开的技术方案中还需要考虑到做工作所在的场景。例如在迎接场景中要求有起立迎接的动作，在现有技术的方案中如果迎接场景中并未起立，但是到了服务对话环节，柜台服务人员想起这个问题后，再次起立，系统依然会判断作出了起立的动作。而在本公开中随着时间轴的前进，判断迎接场景已经完毕，识别出已经和客户进行对话服务环节，此时即便柜台服务人员再次起立，不会弥补迎接场景中缺少的起立动作，而是在服务对话环节中记录了这个起立的动作。这样能更准确的维护好服务的每个环节。
本公开适合即时的视频分析，也可以用于存档的视频分析。由于一段视频中可能包括多个不同的服务流程，针对不同的客户。因此将连续拍摄的整段视频根据服务对象的变化拆分为多组服务流程，分别对每个服务流程进行单独评估，并将自动统计分数。
同样的，管理者可以通过主控界面设备进行流程控制，用于选择启用或关闭若干场景，或设置若干场景的判定条件。这样可以及时称赞服务优秀的柜台服务人员。也可以勉励服务未达到要求的柜台服务人员，并对其存在问题提出指正。
通常所述迎接场景和相送环节需要检测站立动作，具体为：系统对监控视频图像进行人脸检测，得出人脸图像坐标，如果人脸坐标位于预设的分界线的上方，则认为是站立，否则认为是坐着。
通常所述相送环节需要检测举手动作：具体为系统利用人体骨架关键点检测模型提取摄像头前的柜员的骨架的19个关键点，将检测出的关键点挑选鼻子，脖子，左右肩，左右手肘和右手腕，选取脖子在图像中坐标,记为参考点，分别计算其余6个点与脖子点坐标(xn,yn)的相对位置,记相对位置为(xd,yd),之后再对余下6个点得到的相对脖子位置分别除以左右肩的距离,得到这6个点的归一化坐标,脖子点的归一化坐标设置为(0,0),将这7个点的归一化坐标排列成一个1*14的行向量作为最终特征送进SVM分类，最终判断是否进行了举手动作。
通常整个服务流程中涉及微笑检测，具体包括
步骤1：系统将监控视频图片送入开源模型MTCNN网络，图片经过MTCNN网络可以得到图片中人脸框的坐标以及该人脸框中左右眼睛、鼻尖和左右嘴角5个关键点的坐标；
步骤2：系统根据人脸框以及5个关键点坐标对人脸进行对齐操作，从而摆正人脸；
在二维平面直角坐标系中相似变换矩阵M可以表示为,其中a0、b0分别代表坐标在X轴和Y轴方向的旋转和缩放变换，deltaX和deltaY分别表示坐标在X轴和Y轴方向的平移变换。
Figure BDA0002416791290000071
则对于点(src_x,src_y)经过相似变换矩阵M变换之后坐标(dst_x,dst_y)可表示为
Figure BDA0002416791290000072
假定112*112的正常摆正的人脸五个关键点的坐标为
(src_x1,src_y1),(src_x2,src_y2),(src_x3,src_y3),(src_x4,src_y4),(src_x5,src_y5)
步骤B检测出来的5个关键点的坐标为
(dst_x1,dst_y1),(dst_x2,dst_y2),(dst_x3,dst_y3),(dst_x4,dst_y4),(dst_x5,dst_y5)
例如通过对应点(src_x1,src_y1)和(dst_x1,dst_y1)的变换可得2个方程
a0·src_x1-b0·src_y1+deltaX＝dst_x1
b0·src_x1+a0·src_y1+deltaY＝dst_y1
因此5个点可以得到10个方程，未知数的个数为4个，通过最小二乘方法求解超定方程组，解方程得到相似变换矩阵M,利用变换矩阵M
即可将检测到的人脸摆正。如下式，式中M为求得的相似变换矩阵，
SrcImg为原始图像矩阵，WrapImg就是摆正后的人脸图像矩阵
WrapImg＝M*SrcImg
步骤3：系统将对齐后的人脸RGB截图Wrap Img输入到深度学习模型进行分类识别；
步骤4：识别对比输出是否处于微笑状态，并在时间轴上标记处于微笑状态的时间段。
通常整个服务流程中还包括手机使用状态检测，具体为：对监控画面进行区域绘制,只对区域内的目标进行检测；手机检测方法使用深度学习开源的yo l ov3模型，首先收集一定数量的手机样本用于训练，然后使用开源的darknet框架训练yo l ov3，并将模型转成caffe框架的格式，使得模型方便部署，识别对比输出是否在使用手机，并在时间轴上标记处于手机使用状态的时间段。
实施例1：柜台服务人员进行正常服务流程，柜台服务人员按下叫号器，环境摄像头拍摄到大厅中有客户趋近于柜台，柜台摄像头检测到柜台服务人员在迎接场景中有站立动作，完毕后进入服务环节，至少包括服务对话环节、服务聆听环节以及服务操作环节，在这些环节中柜台摄像头连续拍摄并通过微笑检测来判断微笑动作所覆盖服务流程时间轴的比例。最后服务完毕进入相送环节，相送环节以环境摄像头拍摄到客户离开柜台并且柜台服务人员再次按下叫号器为终结进行反向追溯。在相送环节中判断柜台服务人员是否起立，并有举手示意的动作，且举手示意的动作幅度在规范要求之中，通常当柜台服务人员举手时，摄像头要求能看到整个手掌区域。且五指向上，并拢，前臂垂直上举。前臂与后臂在肘关节处夹角必须为60度到95度之间；指尖不能高于头顶且不能低于肩膀。通常在服务流程中不允许使用手机。
实施例2：环境摄像头拍摄到大厅中无人等候，此时柜台服务人员使用手机时间不算入时间轴上限定时间。但是对应的，如果大厅中依然有人等候，而柜台服务人员长时间不按下叫号器则也将被判定为异常状态，并在时间轴上进行标注，异常时间超过预期时间后，在主控界面设备上进行警示，此时应由值班经理进行干涉。
实施例3：柜台服务人员进行正常服务流程，柜台服务人员完成上一次服务后按下叫号器，环境摄像头拍摄到大厅中有客户趋近于柜台，但同时又拍摄到上一次服务完毕的客户重新回到柜台摄像头检测范围中并向柜台服务人员进行咨询，此时系统处于场景异常状态，并在时间轴上进行标注，异常时间超过预期时间后，在主控界面设备上进行警示，此时应由值班经理进行干涉疏导前一客户，疏导完成后重新进入正常服务场景进行检测。
无论哪种情况，整个检测工作均由摄像头完成，减少了人工参与，必要时还可以同时进行打分。对于正确服务动作给与正向加权分数，对于不良服务动作给与负向加权积分。每天下班后，系统会自动统计出该柜员今天的得分。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.银行文优服务评价系统，通过对视频进行识别完成，其特征在于：包括以下步骤：
步骤1：预设一个完整服务流程所涉及的服务场景；
步骤2：在对象视频中加入时间轴，通过时间轴对比服务流程判断特定时间所在服务场景，且单个服务流程中的服务场景顺序在时间轴上不可逆；
步骤3：在服务场景中通过动作识别判断是否完成特定服务动作；
其中，一个服务流程至少包括迎接场景、相送环节、服务对话环节、服务聆听环节以及服务操作环节。
2.如权利要求1所述的银行文优服务评价系统，其特征在于：将连续拍摄的整段视频根据服务对象的变化拆分为多组服务流程，分别对每个服务流程进行单独评估，并自动统计分数。
3.如权利要求1所述的银行文优服务评价系统，其特征在于：还包括流程控制步骤，用于选择启用或关闭若干场景，或设置若干场景的判定条件。
4.如权利要求1-3其中任一所述的银行文优服务评价系统，其特征在于：所述迎接场景和相送环节检测站立动作，具体为：系统对监控视频图像进行人脸检测，得出人脸图像坐标，如果人脸坐标位于预设的分界线的上方，则认为是站立，否则认为是坐着。
5.如权利要求1-3其中任一所述的银行文优服务评价系统，其特征在于：所述相送环节检测举手动作：具体为系统利用人体骨架关键点检测模型提取摄像头前的柜员的骨架的19个关键点，将检测出的关键点挑选鼻子，脖子，左右肩，左右手肘和右手腕，选取脖子在图像中坐标,记为参考点，分别计算其余6个点与脖子点坐标(xn,yn)的相对位置,记相对位置为(xd,yd),之后再对余下6个点得到的相对脖子位置分别除以左右肩的距离,得到这6个点的归一化坐标,脖子点的归一化坐标设置为(0,0),将这7个点的归一化坐标排列成一个1*14的行向量作为最终特征送进SVM分类，最终判断是否进行了举手动作。
6.如权利要求1-3其中任一所述的银行文优服务评价系统，其特征在于：整个服务流程中涉及微笑检测，具体包括
步骤1：将监控视频图片送入开源模型MTCNN网络，经过MTCNN网络获得图片中人脸框的坐标以及该人脸框中左右眼睛、鼻尖和左右嘴角5个关键点的坐标；
步骤2：根据人脸框以及5个关键点坐标对人脸进行对齐操作，从而摆正人脸；
步骤3：将对齐后的人脸RGB截图WrapImg输入到深度学习模型进行分类识别；
步骤4：识别对比输出是否处于微笑状态，并在时间轴上标记处于微笑状态的时间段。
7.如权利要求1-3其中任一所述的银行文优服务评价系统，其特征在于：还包括手机使用状态检测，具体为：对监控画面进行区域绘制,只对区域内的目标进行检测；手机检测方法使用深度学习开源的yolov3模型，首先收集一定数量的手机样本用于训练，然后使用开源的darknet框架训练yolov3，并将模型转成caffe框架的格式，使得模型方便部署，识别对比输出是否在使用手机，并在时间轴上标记处于手机使用状态的时间段。
8.一种装置，其特征在于：用于实现权利要求1-3中任一项所述的银行文优服务评价系统，具体包括柜台服务评估主机以及主控界面设备，所述柜台服务评估主机连接所在局域网中多个柜台服务信息获取组件，所述柜台服务信息获取组件包括叫号器、环境摄像头以及柜台摄像头，主控界面设备与柜台服务评估主机共用同一台主机设备，或单独设置为另一台pc机，或设置为可以连入所述局域网的移动终端。
9.如权利要求8所述的装置，其特征在于：当柜台服务人员在工位上处于工作状态时，所述柜台摄像头正对着人脸，人脸上下左右翻滚偏移角度不能大于15度，当柜台服务人员起身时，摄像头的仰视角度不能大于30度。
10.如权利要求8所述的装置，其特征在于：设备设置完毕后利用人体骨架关键点进行检测模型提取工作，并进行规范判定对比预输入步骤。
CN202010193602.9A 2020-03-18 2020-03-18 银行文优服务评价方法 Active CN111369170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010193602.9A CN111369170B (zh) 2020-03-18 2020-03-18 银行文优服务评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010193602.9A CN111369170B (zh) 2020-03-18 2020-03-18 银行文优服务评价方法

Publications (2)

Publication Number Publication Date
CN111369170A true CN111369170A (zh) 2020-07-03
CN111369170B CN111369170B (zh) 2023-09-01

Family

ID=71206881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010193602.9A Active CN111369170B (zh) 2020-03-18 2020-03-18 银行文优服务评价方法

Country Status (1)

Country Link
CN (1) CN111369170B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199988A (zh) * 2020-08-26 2021-01-08 北京贝思科技术有限公司 跨区域算法组合配置策略方法、图像处理装置及电子设备
CN112488827A (zh) * 2021-01-13 2021-03-12 润邦汇金金融服务外包(北京)有限公司 一种人工智能检测银行网点风控与管理系统
CN113489954A (zh) * 2021-07-06 2021-10-08 北京市商汤科技开发有限公司 生产作业报告的生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368297A (zh) * 2011-09-14 2012-03-07 北京英福生科技有限公司 一种用于识别被检测对象动作的设备、系统及方法
CN109858949A (zh) * 2018-12-26 2019-06-07 秒针信息技术有限公司 一种基于监控摄像的顾客满意度评估方法和评估系统
CN110472870A (zh) * 2019-08-15 2019-11-19 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测系统
CN110719441A (zh) * 2019-09-30 2020-01-21 傅程宏 一种用于银行人员行为合规预警管理的系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368297A (zh) * 2011-09-14 2012-03-07 北京英福生科技有限公司 一种用于识别被检测对象动作的设备、系统及方法
CN109858949A (zh) * 2018-12-26 2019-06-07 秒针信息技术有限公司 一种基于监控摄像的顾客满意度评估方法和评估系统
CN110472870A (zh) * 2019-08-15 2019-11-19 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测系统
CN110719441A (zh) * 2019-09-30 2020-01-21 傅程宏 一种用于银行人员行为合规预警管理的系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199988A (zh) * 2020-08-26 2021-01-08 北京贝思科技术有限公司 跨区域算法组合配置策略方法、图像处理装置及电子设备
CN112488827A (zh) * 2021-01-13 2021-03-12 润邦汇金金融服务外包(北京)有限公司 一种人工智能检测银行网点风控与管理系统
CN113489954A (zh) * 2021-07-06 2021-10-08 北京市商汤科技开发有限公司 生产作业报告的生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111369170B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111369170A (zh) 银行文优服务评价系统
CN110705500B (zh) 基于深度学习的人员工作图像的注意力检测方法及系统
US20210294806A1 (en) Method for monitoring user behavior when interacting with content and a system for its implementation
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
CN105205646A (zh) 自动点名系统及实现自动点名系统的方法
CN110191317B (zh) 一种基于图像识别的电子监控系统
CN102009879A (zh) 电梯自动按键控制系统、方法和人脸模型训练系统、方法
CN111860422A (zh) 医护人员防护用品穿戴规范性智能检测方法
CN108960067A (zh) 基于深度学习的实时的列车驾驶员动作识别系统和方法
CN112560745B (zh) 一种电力作业现场人员甄别方法及相关装置
CN113947742B (zh) 一种基于人脸识别的人员轨迹追踪方法与装置
CN111291613A (zh) 一种课堂表现评价方法及系统
CN108965443A (zh) 智能升降桌高度调节方法、装置、智能升降桌及存储介质
CN109032490A (zh) 智能升降桌界面控制方法、装置、智能升降桌及存储介质
CN110084196A (zh) 一种用于云计算的监控视频识别系统
CN112818796B (zh) 一种适用在线监考场景下的智能姿态判别方法和存储设备
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管系统
CN109636940A (zh) 一种工地现场考勤系统及考勤方法
CN110889908B (zh) 一种融合人脸识别与数据分析的智能签到系统
CN213751238U (zh) 一种基于ai图像识别的口罩识别门禁
CN113044694B (zh) 基于深度神经网络的工地电梯人数统计系统及方法
CN108596159A (zh) 一种基于互联网教育的教学方法及系统
CN117474886A (zh) 一种陶瓷杯缺陷检测方法及系统
CN112149517A (zh) 一种人脸考勤方法、系统、计算机设备及存储介质
CN207068172U (zh) 一种基于互联网的金融服务终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant