CN113537073A

CN113537073A - 营业厅特殊事件精准处理的方法及系统

Info

Publication number: CN113537073A
Application number: CN202110811937.7A
Authority: CN
Inventors: 孙非凡; 程求红; 周院平; 邓小飞; 唐红; 孙信中
Original assignee: Nanjing Aoto Electronics Co ltd
Current assignee: Nanjing Aoto Electronics Co ltd
Priority date: 2021-07-19
Filing date: 2021-07-19
Publication date: 2021-10-22

Abstract

本发明公开了一种营业厅特殊事件精准处理的方法及系统，属于智慧营业厅技术领域。所述方法获取营业厅内实时监控视频；利用行为识别系统对监控视频中的特殊事件进行检测识别；当检测识别到特殊事件发生时，行为识别系统向第一终端和第二终端推送告警信息，并根据告警信息向第一终端推荐相应的服务话术；根据第一终端收到的告警信息以及服务话术，对特殊事件进行处理；对特殊事件处理完成后，行为识别系统根据监控视频对特殊事件信息进行识别分析记录，行为识别系统将事件处理情况及事件信息推送到第二终端进行显示。所述系统利用所述方法对营业厅特殊事件进行精准处理。本发明能够对营业厅特殊事件从事前、事中及事后进行精准有效的处理。

Description

营业厅特殊事件精准处理的方法及系统

技术领域

本发明属于智慧营业厅技术领域，具体涉及一种营业厅特殊事件精准处理的方法及系统。

背景技术

银行网点、火车站、飞机场、政务服务大厅等营业厅通常会聚集大量的人员，因为人流量大导致这些地点的营业厅网点经常出现打架、闹事、人员聚集、大量人员拍照等舆情事件时，需要营业厅服务大堂服务人员日常观察的方式去识别，如果不能及时发现和正确处理，事情被拍照或视频发送到互联网上，则会对服务企业造成不良的舆情影响。另外，如果营业厅网点出现孕妇、拄拐、盲杖、轮椅等特殊关怀人员，如果大堂服务人员不能及时的发现和接待，也会导致客户对网点的服务质量评价不满意。

然而，现有的技术中缺乏合适的方法以应对目前营业厅网点中出现的大量特殊事件，因此导致目前营业厅网点中出现很大的问题。例如：事前，营业厅网点舆情事件或者特殊关怀人员的场景的发生需要人工去识别，导致服务人员不能及时发现，从而不能及时处理；事中，人为发现后需要通过执行提前准备的预案，进行处理和干预，就会导致处理的不及时；事后，处理完成后，没有很好的回溯、记录和评价的方法，无法为后续类似事件提供依据。

发明内容

技术问题：针对目前营业厅中应对特殊事件时难以有效应对的问题，本发明提供了一种营业厅特殊事件精准处理的方法及系系统，从而能够对营业厅中的发生的特殊事件在事前、事中、和事后进行有效应对。

技术方案：一方面，本发明提供一种营业厅特殊事件精准处理的方法，包括：

获取营业厅内实时监控视频；

利用行为识别系统对监控视频中的特殊事件进行检测识别；

当检测识别到特殊事件发生时，行为识别系统向第一终端和第二终端推送告警信息，并根据告警信息向第一终端推荐相应的服务话术；

根据第一终端收到的告警信息以及服务话术，对特殊事件进行处理；

对特殊事件处理完成后，行为识别系统根据监控视频对特殊事件信息进行识别分析记录，行为识别系统将事件处理情况及事件信息推送到第二终端进行显示。

进一步地，所述行为识别系统采用卷积神经网络模型对监控视频中的特殊事件进行检测识别。

进一步地，利用卷积神经网络模型对监控视频中的异常行为进行识别时，通过检测监控视频中的轮椅目标、盲杖及盲人目标、拄拐及残疾人目标、摔倒的人目标、打架目标、多人聚集目标、人员拍照目标进行检测，当检测到相应目标后，返回目标标签及分数，判断发生特殊事件。

进一步地，所述告警信息包括告警类型、告警消息描述、区域信息、客户信息、异常行为发生时间信息。

进一步地，所述服务话术根据告警类型及客户信息推荐。

进一步地，根据第一终端收到的告警信息以及服务话术，对特殊事件进行处理方法包括：根据告警类型和告警消息描述，判断特殊事件类型，并根据特殊事件类型执行不同处理操作；所述特殊事件类型包括舆情事件和特殊关怀事件。

进一步地，当特殊事件为舆情事件时，事件处理人根据标准话术对舆情事件进行处理，通过及时干预和控制事件的发展，防止事态进一步恶化。

进一步地，处理完成后，处理人通过第一终端登记事件信息以及解决思路，并上传到行为识别系统；同时行为识别系统自动识别属于营业单位内部人员的处理人并记录到行为识别系统内，并根据监控视频分析记录舆情事件的相关信息，包括舆情事件的终止时间、处理人、开始处理时间、处理结果、完成处理时间。

进一步地，当判断特殊事件为特殊关怀事件时，处理人根据告警信息及客户身份信息，提供便利服务。

进一步地，对特殊关怀事件服务完成后，行为识别系统自动识别属于营业单位内部人员的处理人并记录到行为识别系统，并根据监控视频分析记录服务的相关信息，包括服务的终止时间、服务人、开始服务时间、完成服务时间。

进一步地，所述方法还包括将特殊事件的全流程数据信息会同步上传后台服务器，后台服务器定期进行数据汇总，并获取特殊事件片段及事件处理时相应的视频片段，形成流水和汇总报表。

进一步地，所述神经网络模型为YOLOV5。

进一步地，所述方法还包括将特殊事件发生时和处理时的视频片段保存在服务器，用于对神经网络模型训练数据进行补充，并利用所述训练数据对神经网络模型进行持续训练和优化。

进一步地，所述第一终端为便携式智能终端。

进一步地，所属第二终端为智慧数据显示屏。

另一方面，本发明还提供一种营业厅特殊事件精准处理的系统，利用上述的方法，对营业厅特殊事件进行精准处理。

有益效果：本发明与现有技术相比，具有以下优点：在事前，通过行为识别系统自动去识别网点发生的异常行为事件，提高网点工作效率；在事中，行为识别系统通过识别不同的异常情况和客户身份，提示不同的参考服务话术，处理人通过行为识别系统提示话术进行事件的干预，提高事件的解决成功率，防止因个人能力水平的高低影响处理或服务质量；在事后，行为识别系统自动识别事件或服务的开始时间、结束时间、处理或服务人等信息，自动登记系统。行为识别系统提供的后台流水和报表查询，可以方便分行运管部门监管，也可以为网点投诉事件、员工考核提供数据依据。从而在事前、事中、事后，对营业厅中的特殊事件进行有效的处理。

附图说明

图1为本发明的实施例中营业厅中特殊事件精准处理的方法的流程图；

图2为将本发明的方法的应用于银行营业厅时的实施流程图；

图3为本发明的实施例中营业厅中特殊事件精准处理的系统框图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。其中术语“第一”、“第二”等仅是为了便于表述，并不是对于数量等的限制。

图1示出了本发明的实施例中营业厅中特殊事件精准处理的方法的流程图；图2示出了在银行营业厅中应用于本发明的实施例中所提出的方法实施流程。结合图1和图2所示，本发明的实施例中，在营业厅特殊事件精准服务的方法包括：

S100：获取营业厅内实时监控视频。

在营业厅网点堂内布控摄像头和录像机，可对营业厅网点厅堂内全天进行实时监控；通过摄像头可以实时拍摄营业厅内的情况，而录像机可以对营业厅内情况进行录像。

S200：利用行为识别系统对监控视频中的特殊事件进行识别。

在营业厅内部署行为识别系统，行为识别系统可以检测和识别监控视频中的推轮椅、盲人、拄拐、摔倒等特殊关怀事件或者打架、人员聚集、大量人员举手机拍照等舆情事件。

当营业厅中出现特殊事件时，摄像头能够捕捉到特殊事件视频片段，然后发送到行为识别系统中进行检测识别。在行为识别系统中，部署有卷积神经网络目标检测模型，通过卷积神经网络目标检测模型，通过检测监控视频中的轮椅目标、盲杖及盲人目标、拄拐及残疾人目标、摔倒的人目标、打架目标、多人聚集目标、人员拍照目标进行检测，当检测到相应目标后，返回目标标签及分数，判断特殊事件发生。在本发明的一个优选的实施例中，卷积神经网络模型采用的而是YOLO V5模型，可以对上述目标进行准确检测识别，从而可以准确地判断特殊事件是否发生。

S300：当检测识别到特殊事件发生时，行为识别系统向第一终端和第二终端推送告警信息，并根据告警信息向第一终端推荐相应的服务话术。

例如，以银行营业厅为例，第一终端采用便携式智能终端，如：PAD、智能手机等；第二终端为数据全行智慧数据显示屏。如果第一终端采用的是PAD，其中大堂经理持有PAD，而智慧数据显示屏设置在网点主任、行长的办公区域。

在本发明的实施例中，告警信息可以包括告警类型、告警消息描述、区域信息、客户信息、异常行为发生时间信息。行为识别系统可将告警信息及根据告警信息生成的服务话术发送到PAD和智慧数据显示屏。例如，当发生人员聚集事件后，行为识别系统向PAD和智慧数据显示屏推送告警信息，如“厅中发生舆情事件，在厅中大门区域发生大量人员聚集，共有10人，发生时间上午10：00”等类似信息。并根据警类型及客户的信息推荐话术，例如“尊敬的顾客您们好，目前此区域聚集了大量人员，请办理好业务的顾客尽量不要逗留”、“提示大堂迎宾人员注意该区域的限流和分流”等。而在具体的实施例中，服务话术根据告警类型及客户的身份信息即可推荐。

S400：根据第一终端收到的告警信息以及服务话术，对特殊事件进行处理。

例如在银行营业厅中，当告警信息以及相应的服务话术发送到大堂经理的PAD后，大堂经理首先根据告警类型和消息描述，判断特殊事件是属于舆情事件或是特殊关怀事件，并根据特殊事件类型执行不同处理操作。

当告警信息为发生打架、人员聚集、大量人员举手机拍照等舆情事件时，大堂经理会根据收到的告警事件类型以及消息描述，确认是否属于舆情事件。大堂经理根据行为识别系统提示的标准话术进行引导和处理，及时干预和控制事件的发展，防止事态进一步恶化。

当告警信息为推轮椅、盲人、拄拐、摔倒等特殊关怀情况时，那么大堂经理会根据告警类型和消息描述，判断是特殊关怀事件。此时，大堂经理根据行为识别系统推送的告警消息和客户信息，及时提供方便服务和有利服务。

S500：对特殊事件处理完成后，行为识别系统根据监控视频对特殊事件信息进行识别分析记录，行为识别系统将事件处理情况及事件信息推送到第二终端进行显示。

如果大堂经理处理的是一个舆情事件，那么大堂经理通过第一终端登记事件信息以及解决思路，并上传到行为识别系统。同时行为识别系统自动识别银行内部的处理人并记录到行为识别系统内，同时根据监控视频分析异常事件的相关信息，包括异常行为终止时间、处理人、开始处理时间、处理结果、完成处理时间。

而如果处理的是一特殊关怀事件，如果是一些简单的事件，那么此时，行为识别系统自动识别事件处理人并记录到行为识别系统，并根据监控视频分析记录服务的相关信息，包括终止时间、服务人、开始服务时间、完成服务时间。如果特殊关怀事件比较复杂，处理人也可以将事件信息，及服务情况通过第一终端登记到行为识别系统。

在处理人对特殊事件处理完成，事件处理情况及相关信息会推送到第而显示终端，如智慧显示屏，从而使得主管人员能够及时的了解事件情况。

进一步地，本发明的实施例中，特殊事件的全流程数据消息(上述步骤实施过程中产生的全部数据信息)会同步上传后台服务器，后台服务器定期进行数据汇总，并通过录像机获取的异常行为片段及解决时相应的视频片段，形成流水和汇总报表，以便运管部门查询。例如，每天下班时对数据进行汇总。

此外，在本发明的实施例中，特殊事件发生时和处理时的视频片段上传到服务器，用于对神经网络模型训练数据进行补充，并利用所述数据对神经网络模型进行持续训练和优化，从而使得神经网络模型具备更好的检测识别效果。

利用上述实施例中所给出的方法，从而可以在事前，通过行为识别系统自动去识别网点发生的异常行为事件，提高网点工作效率；在事中，行为识别系统通过识别不同的异常情况和客户身份，提示不同的参考服务话术，处理人通过行为识别系统提示话术进行事件的干预，提高事件的解决成功率，防止因个人能力水平的高低影响处理或服务质量；在事后，行为识别系统自动识别事件或服务的开始时间、结束时间、处理或服务人等信息，自动登记系统。行为识别系统提供的后台流水和报表查询，可以方便分行运管部门监管，也可以为网点投诉事件、员工考核提供数据依据。

在本发明的一个实施例中，还提供了一种营业厅特殊事件精准处理系统，可以用于实现本发明所提出的方法，具体的，该系统可以包括：视频获取模块600、行为识别系统610、第一终端620、第二终端630和后台服务器640。

其中，视频获取模块包括摄像头601和录像机602，用于对营业厅进行实时监控，从而获取营业厅内实时监控视频。

行为识别系统中主要用于对营业厅内的特殊事件进行检测识别，同时更具识别结果行为识别系统向第一终端和第二终端推送告警信息，并根据告警信息向第一终端推荐相应的服务话术；此外，还可以根据监控视频对特殊事件信息进行识别分析记录，并将事件处理情况及事件信息推送到第二终端进行显示。在行为识别系统中配置有卷积神经网络模型，进入到行为识别系统中的监控视频会通过神经网络检测模型进行识别检测，从而对特殊事件进行识别检测及分析。因此，行为识别检测系统至少包括存储器612以及处理器611，通过存储器对各种数据信息进行存储，通过处理器，来实现相应的数据处理功能，如识别视频中的特殊事件、向第一终端和第二终端发送告警信息就相关服务话术、对视频进行分析记录，以及接收来自第一终端登记的各类信息，以及对神经网络模型进行训练等。

第一终端的目的是接受来自行为识别系统的告警信息以及相应的服务话术，使得处理人员可以根据所收到的信息及时知晓营业厅内的特殊事件发生情况，并根据信息提示对特殊事件进行技术处理；此外，处理人员可通过第一终端登记特殊事件的信息及处理情况等，并发送到行为识别系统进行登记。第二终端主要采用的时智慧显示屏，可以实时显示行为识别系统发送来的各类信息，使得主管人员可以及时连接事件的情况。其中，第一终端和第二终端的数量都可以是一个或多个。

后台服务器主要用于定期对数据定期进行数据汇总，并获取特殊事件片段及事件处理时相应的视频片段，形成流水和汇总报表，从而运管部门可以随时查询相关数据信息。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims

1.一种营业厅特殊事件精准处理的方法，其特征在于，包括：

获取营业厅内实时监控视频；

利用行为识别系统对监控视频中的特殊事件进行检测识别；

2.根据权利要求1所述的方法，其特征在于，所述行为识别系统采用卷积神经网络模型对监控视频中的特殊事件进行检测识别。

3.根据权利要求2所述的方法，其特征在于，利用卷积神经网络模型对监控视频中的异常行为进行识别时，通过检测监控视频中的轮椅目标、盲杖及盲人目标、拄拐及残疾人目标、摔倒的人目标、打架目标、多人聚集目标、人员拍照目标进行检测，当检测到相应目标后，返回目标标签及分数，判断发生特殊事件。

4.根据权利要求1所述的方法，其特征在于，所述告警信息包括告警类型、告警消息描述、区域信息、客户信息、异常行为发生时间信息。

5.根据权利要求4所述的方法，其特征在于，所述服务话术根据告警类型及客户信息推荐。

6.根据权利要求5所述的方法，其特征在于，根据第一终端收到的告警信息以及服务话术，对特殊事件进行处理方法包括：根据告警类型和告警消息描述，判断特殊事件类型，并根据特殊事件类型执行不同处理操作；所述特殊事件类型包括舆情事件和特殊关怀事件。

7.根据权利要求6所述的方法，其特征在于，当特殊事件为舆情事件时，事件处理人根据标准话术对舆情事件进行处理，通过及时干预和控制事件的发展，防止事态进一步恶化。

8.根据权利要求7所述的方法，其特征在于，处理完成后，处理人通过第一终端登记事件信息以及解决思路，并上传到行为识别系统；同时行为识别系统自动识别属于营业单位内部人员的处理人并记录到行为识别系统内，并根据监控视频分析记录舆情事件的相关信息，包括舆情事件的终止时间、处理人、开始处理时间、处理结果、完成处理时间。

9.根据权利要求6所述的方法，其特征在于，当判断特殊事件为特殊关怀事件时，处理人根据告警信息及客户身份信息，提供便利服务。

10.根据权利要求9所述的方法，其特征在于，对特殊关怀事件服务完成后，行为识别系统自动识别属于营业单位内部人员的处理人并记录到行为识别系统，并根据监控视频分析记录服务的相关信息，包括服务的终止时间、服务人、开始服务时间、完成服务时间。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括将特殊事件的全流程数据信息会同步上传后台服务器，后台服务器定期进行数据汇总，并获取特殊事件片段及事件处理时相应的视频片段，形成流水和汇总报表。

12.根据权利要求11所述的方法，其特征在于，所述神经网络模型为YOLOV5。

13.根据权利要求11所述的方法，其特征在于，所述方法还包括将特殊事件发生时和处理时的视频片段保存在服务器，用于对神经网络模型训练数据进行补充，并利用所述训练数据对神经网络模型进行持续训练和优化。

14.根据权利要求11所述的方法，其特征在于，所述第一终端为便携式智能终端。

15.根据权利要求11所述的方法，其特征在于，所属第二终端为智慧数据显示屏。

16.一种营业厅特殊事件精准处理的系统，其特征在于，利用权利要求1-15任一项所述的方法，对营业厅特殊事件进行精准处理。