CN110309967A - 客服会话评分等级的预测方法、系统、设备和存储介质 - Google Patents
客服会话评分等级的预测方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN110309967A CN110309967A CN201910567426.8A CN201910567426A CN110309967A CN 110309967 A CN110309967 A CN 110309967A CN 201910567426 A CN201910567426 A CN 201910567426A CN 110309967 A CN110309967 A CN 110309967A
- Authority
- CN
- China
- Prior art keywords
- history
- grading system
- customer service
- session data
- session
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002349 favourable effect Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000004140 cleaning Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 22
- 238000000605 extraction Methods 0.000 abstract description 10
- 238000011156 evaluation Methods 0.000 abstract description 9
- 239000000463 material Substances 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 67
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013499 data model Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种客服会话评分等级的预测方法、系统、设备和存储介质，所述预测方法包括：获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；级建立用于预测设定评分等级的概率预测模型；获取目标会话数据；将目标会话数据输入概率预测模型，获取目标会话数据对应设定评分等级的概率值；当概率值大于设定阈值时，确定目标会话数据对应的评分等级为设定评分等级。本发明弥补了现有的大量客服会话质量得不到考察的问题，能够及时发现未参评会话中的潜在差评并推送告警信息；能够及时发现好评数据，并将其应用在文本提取算法中提取好的培训素材，改善了现有的人工客服的服务质量，提升了公司对外形象。
Description
技术领域
本发明涉及数据分析技术领域，特别涉及一种客服会话评分等级的预测方法、系统、设备和存储介质。
背景技术
目前，互联网平台中为了实时方便用户了解相关产品的信息，普遍使用IM+系统(即时通信系统)来完成用户与客服实时会话的功能。其中，用户与客服会话场景分为智能机器人与人工客服，目前人工客服仍是提供客服服务的主要组成部分，主要处理复杂业务场景及问题的解答。因此，提升人工客服的服务质量对帮助提升公司对外形象以及提高产量都息息相关，其中对人工客服的服务质量考察的一个主要指标就是用户对客服的服务评分。
在实际客服评分过程当中主要出现以下两种情况：一是用户聊天结束之后忘记点评，二是存在客服人员引导用户不要点评，特别是当客服人员服务不好用户有打差评的倾向的时候，这样可以避免被考评，就会造成用户真实的参评率不到45％，导致每个客服约有一半的工作量得不到考察以及好的素材数据遗漏的问题。为了改善存在的问题，现有主要通过质检组的业务人员分配一定的人力对每天未参评的人工客服聊天数据进行抽样或者排查，及时发现其中的差评数据，但是这种通过人工排查的方式势必存在效率低下、数据统计不完整且人力成本较高等问题。
发明内容
本发明要解决的技术问题是为了克服现有技术中对于未参评的人工客服聊天数据采用人工方式进行抽查或者排查的方式来确定人工客服的服务质量，存在效率低下、数据统计不完整且人力成本较高的缺陷，提供一种客服会话评分等级的预测方法、系统、设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种客服会话评分等级的预测方法，所述预测方法包括：
获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；
根据所述历史会话数据和所述历史评分等级建立用于预测设定评分等级的概率预测模型；
获取用户未评分的目标客服会话场景对应的目标会话数据；
将所述目标会话数据输入所述概率预测模型，获取所述目标会话数据对应所述设定评分等级的概率值；
当所述概率值大于设定阈值时，确定所述目标会话数据对应的评分等级为所述设定评分等级；否则，确定所述目标会话数据对应的评分等级不是所述设定评分等级。
较佳地，所述根据所述历史会话数据和所述历史评分等级建立用于预测设定评分等级的概率预测模型的步骤包括：
对所述历史会话数据进行预处理；
对预处理后的所述历史会话数据进行分词处理，获取历史分词；
根据所述历史分词获取对应的历史词向量；
将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，建立用于预测设定评分等级的所述概率预测模型。
较佳地，所述对所述历史会话数据进行预处理的步骤包括：
对所述历史会话数据进行清洗；
对每个所述历史客服会话场景分别设置对应的聊天标识，并将清洗后的每个所述历史客服会话场景对应的所述历史会话数据中的会话内容按照时间戳依次串接处理。
较佳地，所述对预处理后的所述历史会话数据进行分词处理，获取历史分词的步骤包括：
采用结巴分词工具对预处理后的所述历史会话数据进行分词处理，获取所述历史分词；和/或，
所述根据所述历史分词获取对应的历史词向量的步骤包括：
采用BERT(一种预训练语言表示的方法)词向量模型对所述历史分词进行计算得到对应的所述历史词向量；和/或，
所述将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，建立用于预测设定评分等级的所述概率预测模型的步骤包括：
将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，采用GRU模型或LSTM模型(GRU模型、LSTM模型均为一种算法模型)建立用于预测设定评分等级的所述概率预测模型。
较佳地，所述设定评分等级包括好评、中评或差评；
当确定所述目标会话数据对应的评分等级为好评时，则选取所述目标会话数据中的好评数据；
当确定所述目标会话数据对应的评分等级为差评时，则推送告警信息。
本发明还提供一种客服会话评分等级的预测系统，所述预测系统包括历史信息获取模块、模型建立模块、目标数据获取模块、概率值获取模块和评分等级确定模块；
所述历史信息获取模块用于获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；
所述模型建立模块用于根据所述历史会话数据和所述历史评分等级建立用于预测设定评分等级的概率预测模型；
所述目标数据获取模块用于获取用户未评分的目标客服会话场景对应的目标会话数据；
所述概率值获取模块用于将所述目标会话数据输入所述概率预测模型，获取所述目标会话数据对应所述设定评分等级的概率值；
所述评分等级确定模块用于当所述概率值大于设定阈值时，确定所述目标会话数据对应的评分等级为所述设定评分等级；否则，确定所述目标会话数据对应的评分等级不是所述设定评分等级。
较佳地，所述模型建立模块包括预处理单元、分词处理单元、词向量获取单元和模型建立单元；
所述预处理单元用于对所述历史会话数据进行预处理；
所述分词处理单元用于对预处理后的所述历史会话数据进行分词处理，获取历史分词；
所述词向量获取单元用于根据所述历史分词获取对应的历史词向量；
所述模型建立单元用于将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，建立用于预测设定评分等级的所述概率预测模型。
较佳地，所述预处理单元包括清洗子单元、设置单元和内容串接单元；
所述清洗子单元用于对所述历史会话数据进行清洗；
所述设置单元用于对每个所述历史客服会话场景分别设置对应的聊天标识；
所述内容串接单元将每个所述历史客服会话场景对应的所述历史会话数据中的会话内容按照时间戳依次串接处理。
较佳地，所述词向量获取单元用于采用结巴分词工具对预处理后的所述历史会话数据进行分词处理，获取所述历史分词；和/或，
所述词向量获取单元用于采用BERT词向量模型对所述历史分词进行计算得到对应的所述历史词向量；和/或，
所述模型建立单元用于将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，采用GRU模型或LSTM模型建立用于预测设定评分等级的所述概率预测模型。
较佳地，所述设定评分等级包括好评、中评或差评；
当确定所述目标会话数据对应的评分等级为好评时，则选取所述目标会话数据中的好评数据；
当确定所述目标会话数据对应的评分等级为差评时，则推送告警信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的客服会话评分等级的预测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的客服会话评分等级的预测方法的步骤。
本发明的积极进步效果在于：
本发明中，基于对用户已经评分的历史客服会话场景对应的历史会话数据和历史评分等级训练模型，来预测任一用户未评分的目标会话数据是好评、中评还是差评，从而弥补了现有的大量客服会话质量得不到考察的问题，能够及时发现未参评会话中的潜在差评，并及时推送告警信息，以便于IM+系统进行监控并配合人工进行改善处理；同时能够及时发现潜在的好评数据，并将好评数据应用在文本提取算法中提取好的培训素材，进一步地改善了现有的人工客服的服务质量，有助于维护并提升公司对外形象，提高公司产量。
附图说明
图1为本发明实施例1的客服会话评分等级的预测方法的流程图。
图2为本发明实施例2的客服会话评分等级的预测方法的流程图。
图3为本发明实施例3的客服会话评分等级的预测系统的结构示意图。
图4为本发明实施例4的客服会话评分等级的预测系统的结构示意图。
图5为本发明实施例5中的实现客服会话评分等级的预测方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例的客服会话评分等级的预测方法包括：
S101、获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；
S102、根据历史会话数据和历史评分等级建立用于预测设定评分等级的概率预测模型；
S103、获取用户未评分的目标客服会话场景对应的目标会话数据；
S104、将目标会话数据输入概率预测模型，获取目标会话数据对应设定评分等级的概率值；
S105、当概率值大于设定阈值时，确定目标会话数据对应的评分等级为设定评分等级；否则，确定目标会话数据对应的评分等级不是设定评分等级。
其中，设定评分等级包括好评、中评或差评。
优选地，设定评分等级包括好评或差评，当对用户未评分的客服会话场景对应好评的概率超过设定阈值时，则确定当前客服会话场景的会话数据对应好评；否则确定当前客服会话场景的会话数据对应差评。或，当对用户未评分的客服会话场景对应差评的概率超过设定阈值时，则确定当前客服会话场景的会话数据对应差评；否则确定当前客服会话场景的会话数据对应好评。
另外，当确定目标会话数据对应的评分等级为好评时，则选取目标会话数据中的好评数据，将其存储至hive(一种数据仓库工具)的数据库表中；对选取出的好评数据使用文本提取算法提取好的话术作为客服人员的培训教材，从而有效地提高客服质量。其中使用文本提取算法从一堆数据中提取好的话术属于现有的成熟的技术，因此在此就不再赘述。
当确定目标会话数据对应的评分等级为差评时，则向IM+系统推送告警信息(同时向IM+系统发送客服会话场景对应的聊天标识)，通过及时推送表征差评的告警信息的方式，告知相关运维人员存在的潜在差评，以便于及时提醒相关客服人员及时纠正客服态度、言辞等，起到监督客服人员的作用，从而减少因售后服务质量的问题对公司产量以及品牌形象造成的影响。
本实施例中的会话数据一般是文本数据；若包括语音数据，则可以先将语音数据转换为对应的文本数据，再进行后续的处理过程。
本实施例中，根据实际需求，可以获取互联网平台的即时通信系统中前一天用户未参与评分的客服会话场景，然后采用概率预测模型对其进行预测，分别获取未评分的客服会话场景对应的评分等级，及时有效地处理前一天的未参与评分的客服会话场景，更有助于改善客服会话质量。
本实施例中，基于对用户已经评分的历史客服会话场景对应的历史会话数据和历史评分等级训练模型，来预测任一用户未评分的目标会话数据是好评、中评还是差评，从而弥补了现有的大量客服会话质量得不到考察的问题，能够及时发现未参评会话中的潜在差评，并及时推送告警信息，以便于IM+系统进行监控并配合人工进行改善处理；同时能够及时发现潜在的好评数据，并将好评数据应用在文本提取算法中提取好的培训素材，进一步地改善了现有的人工客服的服务质量，有助于维护并提升公司对外形象，提高公司产量。
实施例2
如图2所示，本实施例的客服会话评分等级的预测方法是对实施例1的进一步改进，具体地：
步骤S102具体包括：
S1021、对历史会话数据进行预处理；
其中，对历史会话数据进行预处理的过程包括：
对历史会话数据进行清洗；
对每个历史客服会话场景分别设置对应的聊天标识，并将清洗后的每个历史客服会话场景对应的历史会话数据中的会话内容按照时间戳依次串接处理。
具体地，所有客服会话场景下的会话数据均以JSON格式(一种数据格式)进行存储。
由于每个历史客服会话场景下的历史会话数据(JSON格式)中有价值的数据较少，需要对其进行清洗；可以根据实际需求，每天对前一天的历史会话数据进行清洗。
对清洗完成的前一天的每个历史客服会话场景设置对应的聊天标识ID(身份标识号)，用于表征不同的历史客服会话场景，并将每个历史客服会话场景中客服人员与用户之间互动的内容按照时间戳进行串接；同时，删除系统中自定义的无用数据，也可以添加上聊天身份标识，如用户ID，可以根据该用户ID得到用户投诉偏好等数据。另外，删除历史会话数据中对训练模型产生干扰的话术。
S1022、对预处理后的历史会话数据进行分词处理，获取历史分词；
具体地，采用JIEBA分词(结巴分词)工具对预处理后的历史会话数据进行分词处理，获取历史分词。
另外，利用停顿词去除停顿词以及无用符号。
为了便于后续模型的训练过程，需要使得每个历史客服会话场景下的历史会话数据的长度一致。
采用Keras(一种深度学习框架)的文本处理API(Application ProgrammingInterface，应用程序编程接口)将每个历史客服会话场景下的历史会话数据ID化表示。
S1023、根据历史分词获取对应的历史词向量；
具体地，采用BERT词向量模型对历史分词进行计算得到对应的历史词向量。
S1024、将每个历史客服会话场景对应的历史词向量作为输入，历史评分等级作为输出，建立用于预测设定评分等级的概率预测模型。
具体地，采用GRU模型或LSTM模型建立用于预测设定评分等级的概率预测模型。
采用两层双向BiLSTM网络(一种神经网络)，再采用softmax函数(归一化指数函数)做分类后得到的概率预测模型对应的效果：针对差评的数据准确率26.63％的时候召回率47.82％；而采用CuDNNGRU模型得到的概率预测模型对应的效果：针对差评的数据模型准确率70％的时候能准确召回50％的差评对话数据，针对好评的数据模型准确率94％的时候能准确召回96.5％的好评数据，即采用CuDNNGRU模型训练概率预测模型对应的准确召回效果明显提升，因此优选采用CuDNNGRU模型训练得到概率预测模型。其中CuDNN属于一种框架结构。
其中引入Attention Net(注意力网络)可以更加全面的捕获长文本上下文信息，网络搭建过程中引入dropout层(一种防止过拟合的算法)有效的防止模型过拟合。
本实施例中，基于对用户已经评分的历史客服会话场景对应的历史会话数据和历史评分等级训练模型，来预测任一用户未评分的目标会话数据是好评、中评还是差评，从而弥补了现有的大量客服会话质量得不到考察的问题，能够及时发现未参评会话中的潜在差评，并及时推送告警信息，以便于IM+系统进行监控并配合人工进行改善处理；同时能够及时发现潜在的好评数据，并将好评数据应用在文本提取算法中提取好的培训素材，进一步地改善了现有的人工客服的服务质量，有助于维护并提升公司对外形象，提高公司产量。
实施例3
如图3所示，本实施例的客服会话评分等级的预测系统包括历史信息获取模块1、模型建立模块2、目标数据获取模块3、概率值获取模块4和评分等级确定模块5。
历史信息获取模块1用于获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；
模型建立模块2用于根据历史会话数据和历史评分等级建立用于预测设定评分等级的概率预测模型；
目标数据获取模块3用于获取用户未评分的目标客服会话场景对应的目标会话数据；
概率值获取模块4用于将目标会话数据输入概率预测模型，获取目标会话数据对应设定评分等级的概率值；
评分等级确定模块5用于当概率值大于设定阈值时，确定目标会话数据对应的评分等级为设定评分等级；否则，确定目标会话数据对应的评分等级不是设定评分等级。
其中，设定评分等级包括好评、中评或差评。
优选地，设定评分等级包括好评或差评，当对用户未评分的客服会话场景对应好评的概率超过设定阈值时，则确定当前客服会话场景的会话数据对应好评；否则确定当前客服会话场景的会话数据对应差评。或，当对用户未评分的客服会话场景对应差评的概率超过设定阈值时，则确定当前客服会话场景的会话数据对应差评；否则确定当前客服会话场景的会话数据对应好评。
另外，当确定目标会话数据对应的评分等级为好评时，则选取目标会话数据中的好评数据，将其存储至hive的数据库表中；对选取出的好评数据使用文本提取算法提取好的话术作为客服人员的培训教材，从而有效地提高客服质量。其中使用文本提取算法从一堆数据中提取好的话术属于现有的成熟的技术，因此在此就不再赘述。
当确定目标会话数据对应的评分等级为差评时，则向IM+系统推送告警信息(同时向IM+系统发送客服会话场景对应的聊天标识)，通过及时推送表征差评的告警信息的方式，告知相关运维人员存在的潜在差评，以便于及时提醒相关客服人员及时纠正客服态度、言辞等，起到监督客服人员的作用，从而减少因售后服务质量的问题对公司产量以及品牌形象造成的影响。
本实施例中的会话数据一般是文本数据；若包括语音数据，则可以先将语音数据转换为对应的文本数据，再进行后续的处理过程。
本实施例中，根据实际需求，可以获取互联网平台的即时通信系统中前一天用户未参与评分的客服会话场景，然后采用概率预测模型对其进行预测，分别获取未评分的客服会话场景对应的评分等级，及时有效地处理前一天的未参与评分的客服会话场景，更有助于改善客服会话质量。
本实施例中，基于对用户已经评分的历史客服会话场景对应的历史会话数据和历史评分等级训练模型，来预测任一用户未评分的目标会话数据是好评、中评还是差评，从而弥补了现有的大量客服会话质量得不到考察的问题，能够及时发现未参评会话中的潜在差评，并及时推送告警信息，以便于IM+系统进行监控并配合人工进行改善处理；同时能够及时发现潜在的好评数据，并将好评数据应用在文本提取算法中提取好的培训素材，进一步地改善了现有的人工客服的服务质量，有助于维护并提升公司对外形象，提高公司产量。
实施例4
如图4所示，本实施例的客服会话评分等级的预测系统是对实施例3的进一步改进，具体地：
模型建立模块2包括预处理单元6、分词处理单元7、词向量获取单元8和模型建立单元9。
预处理单元6用于对历史会话数据进行预处理；
其中，预处理单元6包括清洗子单元、设置单元和内容串接单元；
清洗子单元用于对历史会话数据进行清洗；
设置单元用于对每个历史客服会话场景分别设置对应的聊天标识；
内容串接单元将每个历史客服会话场景对应的历史会话数据中的会话内容按照时间戳依次串接处理。
具体地，所有客服会话场景下的会话数据均以JSON格式进行存储。
由于每个历史客服会话场景下的历史会话数据中有价值的数据较少，需要对其进行清洗；可以根据实际需求，每天对前一天的历史会话数据进行清洗。
对清洗完成的前一天的每个历史客服会话场景设置对应的聊天标识ID，用于表征不同的历史客服会话场景，并将每个历史客服会话场景中客服人员与用户之间互动的内容按照时间戳进行串接；同时，删除系统中自定义的无用数据，也可以添加上聊天身份标识，如用户ID，可以根据该用户ID得到用户投诉偏好等数据。另外，删除历史会话数据中对训练模型产生干扰的话术。
分词处理单元7用于对预处理后的历史会话数据进行分词处理，获取历史分词；
具体地，词向量获取单元用于采用结巴分词工具对预处理后的历史会话数据进行分词处理，获取历史分词。
另外，利用停顿词去除停顿词以及无用符号。
为了便于后续模型的训练过程，需要使得每个历史客服会话场景下的历史会话数据的长度一致。
采用Keras的文本处理API将每个历史客服会话场景下的历史会话数据ID化表示。
词向量获取单元8用于根据历史分词获取对应的历史词向量；
具体地，词向量获取单元用于采用BERT词向量模型对历史分词进行计算得到对应的历史词向量。
模型建立单元9用于将每个历史客服会话场景对应的历史词向量作为输入，历史评分等级作为输出，建立用于预测设定评分等级的概率预测模型。
具体地，采用GRU模型或LSTM模型建立用于预测设定评分等级的概率预测模型。
采用两层双向BiLSTM网络，再采用softmax函数做分类后得到的概率预测模型对应的效果：针对差评的数据准确率26.63％的时候召回率47.82％；而采用CuDNNGRU模型得到的概率预测模型对应的效果：针对差评的数据模型准确率70％的时候能准确召回50％的差评对话数据，针对好评的数据模型准确率94％的时候能准确召回96.5％的好评数据，即采用CuDNNGRU模型训练概率预测模型对应的准确召回效果明显提升，因此优选采用CuDNNGRU模型训练得到概率预测模型。其中CuDNN属于一种框架结构。
其中引入Attention Net可以更加全面的捕获长文本上下文信息，网络搭建过程中引入dropout层有效的防止模型过拟合。
本实施例中，基于对用户已经评分的历史客服会话场景对应的历史会话数据和历史评分等级训练模型，来预测任一用户未评分的目标会话数据是好评、中评还是差评，从而弥补了现有的大量客服会话质量得不到考察的问题，能够及时发现未参评会话中的潜在差评，并及时推送告警信息，以便于IM+系统进行监控并配合人工进行改善处理；同时能够及时发现潜在的好评数据，并将好评数据应用在文本提取算法中提取好的培训素材，进一步地改善了现有的人工客服的服务质量，有助于维护并提升公司对外形象，提高公司产量。
实施例5
图5为本发明实施例5提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中任意一实施例中的客服会话评分等级的预测方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中任意一实施例中的客服会话评分等级的预测方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中任意一实施例中的客服会话评分等级的预测方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中任意一实施例中的客服会话评分等级的预测方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (12)
1.一种客服会话评分等级的预测方法，其特征在于，所述预测方法包括：
获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；
根据所述历史会话数据和所述历史评分等级建立用于预测设定评分等级的概率预测模型；
获取用户未评分的目标客服会话场景对应的目标会话数据；
将所述目标会话数据输入所述概率预测模型，获取所述目标会话数据对应所述设定评分等级的概率值；
当所述概率值大于设定阈值时，确定所述目标会话数据对应的评分等级为所述设定评分等级；否则，确定所述目标会话数据对应的评分等级不是所述设定评分等级。
2.如权利要求1所述的客服会话评分等级的预测方法，其特征在于，所述根据所述历史会话数据和所述历史评分等级建立用于预测设定评分等级的概率预测模型的步骤包括：
对所述历史会话数据进行预处理；
对预处理后的所述历史会话数据进行分词处理，获取历史分词；
根据所述历史分词获取对应的历史词向量；
将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，建立用于预测设定评分等级的所述概率预测模型。
3.如权利要求2所述的客服会话评分等级的预测方法，其特征在于，所述对所述历史会话数据进行预处理的步骤包括：
对所述历史会话数据进行清洗；
对每个所述历史客服会话场景分别设置对应的聊天标识，并将清洗后的每个所述历史客服会话场景对应的所述历史会话数据中的会话内容按照时间戳依次串接处理。
4.如权利要求2所述的客服会话评分等级的预测方法，其特征在于，所述对预处理后的所述历史会话数据进行分词处理，获取历史分词的步骤包括：
采用结巴分词工具对预处理后的所述历史会话数据进行分词处理，获取所述历史分词；和/或，
所述根据所述历史分词获取对应的历史词向量的步骤包括：
采用BERT词向量模型对所述历史分词进行计算得到对应的所述历史词向量；和/或，
所述将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，建立用于预测设定评分等级的所述概率预测模型的步骤包括：
将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，采用GRU模型或LSTM模型建立用于预测设定评分等级的所述概率预测模型。
5.如权利要求1所述的客服会话评分等级的预测方法，其特征在于，所述设定评分等级包括好评、中评或差评；
当确定所述目标会话数据对应的评分等级为好评时，则选取所述目标会话数据中的好评数据；
当确定所述目标会话数据对应的评分等级为差评时，则推送告警信息。
6.一种客服会话评分等级的预测系统，其特征在于，所述预测系统包括历史信息获取模块、模型建立模块、目标数据获取模块、概率值获取模块和评分等级确定模块；
所述历史信息获取模块用于获取历史时间段内用户已评分的每个历史客服会话场景对应的历史会话数据和历史评分等级；
所述模型建立模块用于根据所述历史会话数据和所述历史评分等级建立用于预测设定评分等级的概率预测模型；
所述目标数据获取模块用于获取用户未评分的目标客服会话场景对应的目标会话数据；
所述概率值获取模块用于将所述目标会话数据输入所述概率预测模型，获取所述目标会话数据对应所述设定评分等级的概率值；
所述评分等级确定模块用于当所述概率值大于设定阈值时，确定所述目标会话数据对应的评分等级为所述设定评分等级；否则，确定所述目标会话数据对应的评分等级不是所述设定评分等级。
7.如权利要求6所述的客服会话评分等级的预测系统，其特征在于，所述模型建立模块包括预处理单元、分词处理单元、词向量获取单元和模型建立单元；
所述预处理单元用于对所述历史会话数据进行预处理；
所述分词处理单元用于对预处理后的所述历史会话数据进行分词处理，获取历史分词；
所述词向量获取单元用于根据所述历史分词获取对应的历史词向量；
所述模型建立单元用于将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，建立用于预测设定评分等级的所述概率预测模型。
8.如权利要求7所述的客服会话评分等级的预测系统，其特征在于，所述预处理单元包括清洗子单元、设置单元和内容串接单元；
所述清洗子单元用于对所述历史会话数据进行清洗；
所述设置单元用于对每个所述历史客服会话场景分别设置对应的聊天标识；
所述内容串接单元将每个所述历史客服会话场景对应的所述历史会话数据中的会话内容按照时间戳依次串接处理。
9.如权利要求7所述的客服会话评分等级的预测系统，其特征在于，所述词向量获取单元用于采用结巴分词工具对预处理后的所述历史会话数据进行分词处理，获取所述历史分词；和/或，
所述词向量获取单元用于采用BERT词向量模型对所述历史分词进行计算得到对应的所述历史词向量；和/或，
所述模型建立单元用于将每个所述历史客服会话场景对应的所述历史词向量作为输入，所述历史评分等级作为输出，采用GRU模型或LSTM模型建立用于预测设定评分等级的所述概率预测模型。
10.如权利要求6所述的客服会话评分等级的预测系统，其特征在于，所述设定评分等级包括好评、中评或差评；
当确定所述目标会话数据对应的评分等级为好评时，则选取所述目标会话数据中的好评数据；
当确定所述目标会话数据对应的评分等级为差评时，则推送告警信息。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-5中任一项所述的客服会话评分等级的预测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的客服会话评分等级的预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910567426.8A CN110309967A (zh) | 2019-06-27 | 2019-06-27 | 客服会话评分等级的预测方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910567426.8A CN110309967A (zh) | 2019-06-27 | 2019-06-27 | 客服会话评分等级的预测方法、系统、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110309967A true CN110309967A (zh) | 2019-10-08 |
Family
ID=68076247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910567426.8A Pending CN110309967A (zh) | 2019-06-27 | 2019-06-27 | 客服会话评分等级的预测方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309967A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061815A (zh) * | 2019-12-13 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 会话数据分类方法 |
| CN111143537A (zh) * | 2019-12-30 | 2020-05-12 | 税友软件集团股份有限公司 | 一种基于智能客服系统的服务方法、装置、设备及介质 |
| CN112036923A (zh) * | 2020-07-06 | 2020-12-04 | 北京嘀嘀无限科技发展有限公司 | 一种服务评价方法、系统、装置及存储介质 |
| CN112101046A (zh) * | 2020-11-02 | 2020-12-18 | 北京淇瑀信息科技有限公司 | 一种基于通话行为的会话分析方法、装置和系统 |
| CN112699467A (zh) * | 2020-12-29 | 2021-04-23 | 香港理工大学深圳研究院 | 一种港口国监督检查船舶和检查员分配的方法 |
| CN113780610A (zh) * | 2020-12-02 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
| CN115695656A (zh) * | 2022-12-29 | 2023-02-03 | 北京青牛技术股份有限公司 | 一种通话内容质量评估和管理的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050234761A1 (en) * | 2004-04-16 | 2005-10-20 | Pinto Stephen K | Predictive model development |
| US20160316059A1 (en) * | 2015-04-27 | 2016-10-27 | TalkIQ, Inc. | Methods and systems for determining conversation quality |
| CN107464068A (zh) * | 2017-09-18 | 2017-12-12 | 前海梧桐（深圳）数据有限公司 | 基于神经网络的企业发展趋势预测方法及其系统 |
| CN108665122A (zh) * | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 一种服务质量评价方法及终端设备 |
| CN109327632A (zh) * | 2018-11-23 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 客服录音的智能质检系统、方法及计算机可读存储介质 |
| US10326879B1 (en) * | 2018-03-12 | 2019-06-18 | Ringcentral, Inc. | System and method for evaluating the quality of a communication session |
-
2019
- 2019-06-27 CN CN201910567426.8A patent/CN110309967A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050234761A1 (en) * | 2004-04-16 | 2005-10-20 | Pinto Stephen K | Predictive model development |
| US20160316059A1 (en) * | 2015-04-27 | 2016-10-27 | TalkIQ, Inc. | Methods and systems for determining conversation quality |
| CN108665122A (zh) * | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 一种服务质量评价方法及终端设备 |
| CN107464068A (zh) * | 2017-09-18 | 2017-12-12 | 前海梧桐（深圳）数据有限公司 | 基于神经网络的企业发展趋势预测方法及其系统 |
| US10326879B1 (en) * | 2018-03-12 | 2019-06-18 | Ringcentral, Inc. | System and method for evaluating the quality of a communication session |
| CN109327632A (zh) * | 2018-11-23 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 客服录音的智能质检系统、方法及计算机可读存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061815A (zh) * | 2019-12-13 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 会话数据分类方法 |
| CN111061815B (zh) * | 2019-12-13 | 2023-04-25 | 携程计算机技术（上海）有限公司 | 会话数据分类方法 |
| CN111143537A (zh) * | 2019-12-30 | 2020-05-12 | 税友软件集团股份有限公司 | 一种基于智能客服系统的服务方法、装置、设备及介质 |
| CN112036923A (zh) * | 2020-07-06 | 2020-12-04 | 北京嘀嘀无限科技发展有限公司 | 一种服务评价方法、系统、装置及存储介质 |
| CN112101046A (zh) * | 2020-11-02 | 2020-12-18 | 北京淇瑀信息科技有限公司 | 一种基于通话行为的会话分析方法、装置和系统 |
| CN113780610A (zh) * | 2020-12-02 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种客服画像构建方法和装置 |
| CN112699467A (zh) * | 2020-12-29 | 2021-04-23 | 香港理工大学深圳研究院 | 一种港口国监督检查船舶和检查员分配的方法 |
| CN115695656A (zh) * | 2022-12-29 | 2023-02-03 | 北京青牛技术股份有限公司 | 一种通话内容质量评估和管理的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309967A (zh) | 客服会话评分等级的预测方法、系统、设备和存储介质 | |
| CN110070391B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| US9053436B2 (en) | Methods and system for providing simultaneous multi-task ensemble learning | |
| US11223723B2 (en) | Call center system having reduced communication latency | |
| US20180322411A1 (en) | Automatic evaluation and validation of text mining algorithms | |
| CN109635292B (zh) | 基于机器学习算法的工单质检方法和装置 | |
| CN104281615B (zh) | 一种投诉处理的方法和系统 | |
| CN113468296B (zh) | 可配置业务逻辑的模型自迭代式智能客服质检系统与方法 | |
| CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
| CN108776900A (zh) | 网络投诉智能定界方法及系统 | |
| CN109710766B (zh) | 一种工单数据的投诉倾向分析预警方法及装置 | |
| CN111309859B (zh) | 一种景区网络口碑情感分析方法及装置 | |
| EP4134877A1 (en) | Training method and apparatus for fault recognition model, fault recognition method and apparatus, and electronic device | |
| CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
| CN114116998A (zh) | 答复语句生成方法、装置、计算机设备和存储介质 | |
| CN114494168A (zh) | 模型确定、图像识别与工业质检方法、设备及存储介质 | |
| CN111461283A (zh) | Ai模型的自动迭代运维方法、系统、设备及存储介质 | |
| CN112995690B (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
| CN108335236A (zh) | 一种房源泄漏经纪人检测方法及装置 | |
| CN107122464A (zh) | 一种辅助决策系统及方法 | |
| CN116308679A (zh) | 供应链异常订单处理方法、装置、设备及存储介质 | |
| CN111352820A (zh) | 一种高性能应用运行状态预测和监控方法、设备和装置 | |
| CN113411841B (zh) | 5g切片的割接合并方法、装置及计算设备 | |
| CN112968941B (zh) | 一种基于边缘计算的数据采集和人机协同标注方法 | |
| CN112749841A (zh) | 一种基于自训练学习的用户口碑预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191008 |
|
| RJ01 | Rejection of invention patent application after publication |