CN107833059A - 客服的服务质量评价方法与系统 - Google Patents
客服的服务质量评价方法与系统 Download PDFInfo
- Publication number
- CN107833059A CN107833059A CN201711077744.3A CN201711077744A CN107833059A CN 107833059 A CN107833059 A CN 107833059A CN 201711077744 A CN201711077744 A CN 201711077744A CN 107833059 A CN107833059 A CN 107833059A
- Authority
- CN
- China
- Prior art keywords
- service
- flow
- dialogue
- flow nodes
- dialogues
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
- G06Q30/016—After-sales
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种客服的服务质量评价方法,所述方法包括:在待分析对话中提取客服的所有服务对白;根据流程语料库获取与所有服务对白对应的流程节点;其中,流程语料库包括标准服务流程的所有流程节点、标准服务流程的所有流程节点的序号和语料;根据获取到的所有流程节点和所述序号获取顺序相似度;根据获取到的所有流程节点获取流程匹配程度;在获取到的所有流程节点中查找具有预设业务的流程节点;获取与具有预设业务的流程节点对应的业务执行记录;根据所有业务执行记录、流程匹配程度和顺序相似度对客服进行服务质量评价。本发明的客服的服务质量评价方法提高了服务质量评价的准确性,同时本发明还提供了一种客服的服务质量评价。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及客服的服务质量评价方法与系统。
背景技术
为保证企业为客户提供较高的服务水平,通常需要对客服的服务质量进行评价。目前,客服的服务质量评价方法采用人工方式,其通过对工作过程中客服人员的录音进行跟听,来监控客服人员的服务流程并给予一定评价。
发明人在实施本发明的过程中,发现现有的客服的服务质量评价方法具有如下缺点:
现有的客服的服务质量评价方法依赖于人力,检验效率不高,且在跟听录音过程中易出现漏听、错听等情况,而导致质检结果失去准确性。
发明内容
本发明提出客服的服务质量评价方法与系统,提高了客服的服务质量评价方法的准确性,降低了实现难度。
本发明一方面提供一种客服的服务质量评价方法,所述方法包括:
在待分析对话中提取客服的所有服务对白;
根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程;其中,所述流程语料库包括标准服务流程的所有流程节点、所述标准服务流程的所有流程节点的序号和对应于所述标准服务流程的各个流程节点的语料;
根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度;
根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度;
在获取到的所有流程节点中查找具有预设业务的流程节点;
获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间;
根据获取到的所有业务执行记录、所述流程匹配程度和所述顺序相似度对所述客服进行服务质量评价。
在一种可选的实施方式中,所述根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程,包括:
对所述所有服务对白分别提取各句服务对白的所有关键词;
对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白;
根据所述所有服务对白中与所述流程节点对应的服务对白获取所述所有服务对白的所有流程节点。
在一种可选的实施方式中,所述对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白,包括:
对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白。
在一种可选的实施方式中,所述根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度,包括:
获取所述所有服务对白在所述待分析对话中的前后顺序;
获取在所述待分析对话中顺序最前的服务对白的流程节点在所述标准服务流程中的序号,作为获取到的所述所有服务对白的流程节点的初始序号;
从所述初始序号开始按照所述前后顺序对所述所有服务对白进行编号,将对应于不同的流程节点的相邻的服务对白按照不同的序号进行编号,将对应于不同的流程节点的相邻的服务对白按照相同的序号进行编号,以得到所述所有服务对白的流程节点在所述客服的服务流程中的序号;
根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度。
在一种可选的实施方式中,所述获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间,包括:
获取与所有查找到的具有预设业务的流程节点对应的服务对白的对话时间;
根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录。
本发明另一方面还提供了一种客服的服务质量评价系统,所述系统包括:
提取模块,用于在待分析对话中提取客服的所有服务对白;
第一获取模块,用于根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程;其中,所述流程语料库包括标准服务流程的所有流程节点、所述标准服务流程的所有流程节点的序号和对应于所述标准服务流程的各个流程节点的语料;
第二获取模块,用于根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度;
第三获取模块,用于根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度;
查找模块,用于在获取到的所有流程节点中查找具有预设业务的流程节点;
第四获取模块,用于获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间;
评价模块,用于根据获取到的所有业务执行记录、所述流程匹配程度和所述顺序相似度对所述客服进行服务质量评价。
在一种可选的实施方式中,第一获取模块包括:
关键词提取单元,用于对所述所有服务对白分别提取各句服务对白的所有关键词;
关键词匹配单元,用于对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白;
流程节点获取单元,用于根据所述所有服务对白中与所述流程节点对应的服务对白获取所述所有服务对白的所有流程节点。
在一种可选的实施方式中,所述关键词提取单元包括:
服务对白匹配单元,用于对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白。
在一种可选的实施方式中,所述第二获取模块包括:
第一获取单元,用于获取所述所有服务对白在所述待分析对话中的前后顺序;
第三获取单元,用于获取在所述待分析对话中时间最早的服务对白的流程节点在所述标准服务流程中的序号,作为获取到的所述所有服务对白的流程节点的初始序号;
编号单元,用于从所述初始序号开始按照所述前后顺序对所述所有服务对白进行编号,将对应于不同的流程节点的相邻的服务对白按照不同的序号进行编号,将对应于不同的流程节点的相邻的服务对白按照相同的序号进行编号,以得到所述所有服务对白的流程节点在所述客服的服务流程中的序号;
第四获取单元,用于根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度。
在一种可选的实施方式中,所述第四获取模块包括:
对话时间获取单元,用于获取与所有查找到的具有预设业务的流程节点对应的服务对白的对话时间;
业务执行记录获取单元,用于根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间。
相比于现有技术,本发明具有如下突出的有益效果:本发明提供的客服的服务质量评价方法和系统,通过在待分析对话中提取客服的所有服务对白,避免对客服与客户的所有对白进行流程节点的获取,减少了数据处理量,提高了客服的服务质量评价的效率;根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程,提高客服的服务质量评价的准确性,避免了人工方式带来的主观影响,同时提高了质检效率;通过根据获取到的所有流程节点和序号获取所述顺序相似度,根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度,以及集合业务执行记录和流程节点的关系,将业务与服务流程联系起来,提高服务质量评价的客观性,实现客服的服务质量评价的智能化,提高客服的服务质量评价的效率。
附图说明
图1是本发明提供的客服的服务质量评价方法的一个实施例的流程示意图;
图2是本发明提供的客服的服务质量评价系统的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,是本发明提供的客服的服务质量评价方法的第一实施例的流程示意图,所述方法包括:
S101,在待分析对话中提取客服的所有服务对白;
S102,根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程;其中,所述流程语料库包括标准服务流程的所有流程节点、所述标准服务流程的所有流程节点的序号和对应于所述标准服务流程的各个流程节点的语料;
S103,根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度;
S104,根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度;
S107,在获取到的所有流程节点中查找具有预设业务的流程节点;
S106,获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间;
S107,根据获取到的所有业务执行记录、所述流程匹配程度和所述顺序相似度对所述客服进行服务质量评价。
在一种可选的实施方式中,所述获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间,包括:
获取与所有查找到的具有预设业务的流程节点对应的服务对白的对话时间;
根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录。
需要说明的是,所述标准服务流程的所有流程节点覆盖了所述客服的所有服务对白对应的流程节点。
在一种可选的实施方式中,所述方法还包括:在所述在待分析对话中提取客服的所有服务对白之前,获取客服与客户之间的对话语音;将所述对话语音转换为文本,以得到所述待分析对话。
在一种可选的实施方式中,所述根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录,具体为:将获取到的对话时间作为筛选条件输入至业务系统;接收所述业务系统根据所述筛选条件得到的所有业务执行记录,作为与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务系统预先存储了所述客服的所有业务执行记录。
即通过在待分析对话中提取客服的所有服务对白,避免对客服与客户的所有对白进行流程节点的获取,减少了数据处理量,提高了客服的服务质量评价的效率;根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程,提高客服的服务质量评价的准确性,避免了人工方式带来的主观影响,同时提高了质检效率;通过根据获取到的所有流程节点和序号获取所述顺序相似度,根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度,以及集合业务执行记录和流程节点的关系,将业务与服务流程联系起来,提高服务质量评价的客观性,实现客服的服务质量评价的智能化,提高客服的服务质量评价的效率。
在一种可选的实施方式中,所述在待分析对话中提取客服的所有服务对白,包括:
根据待分析对话的对白和区分性词语库获取所述待分析对话的对白的所有区分性词语;其中,所述区分性词语库包括预先获取的数量为第一设定数量的区分性词语;
根据所述待分析对话的对白的所有区分性词语和预先根据对话语料库建立的对话角色判决模型获取与所述待分析对话的对白对应的对话角色的标签;其中,所述对话语料库包括多句标准对白和对应于各句所述标准对白的对话角色的标签;
提取所述待分析对话中对话角色的标签为客服的所有对白,作为所述客服的所有服务对白。。
需要说明的是,在实际应用中,所述对话语料库为所述待分析对话所属领域的对话语料库;所述对话语料库的标准对白为所述对话语料库中包含的所有对话的对白;所述对话语料库存储的对应于各句所述标准对白的对话角色的标签应包括所述待分析对话的对白的所有对话角色的标签;例如,若所述待分析对话的对话角色包括客服与客户,则对话语料库存储的对应于所述标准对白的对话角色的标签应为客服或客户的标签。
即通过区分性词语库获得待分析对话的对白的区分性词语,降低对待分析对话的对白中区分性词语进行判断的复杂度,提高处理效率;通过结合对话语料库,不仅仅根据待分析对话的对白本身去区分对话角色,提高对话角色特征提取的准确性,便于通过提供更全面的对话语料库得到对话语料库的对话角色判别模型,以更准确地识别对话角色的标签,从而提高对话角色区分的准确性。
在一种可选的实施方式中,所述根据待分析对话的对白和区分性词语库获取所述待分析对话的对白的所有区分性词语,包括:
对所述待分析对话的对白进行预处理,以得到所述待分析对话的对白的所有词语;
根据所述待分析对话的对白的所有词语与所述区分性词语库的所有区分性词语获取所述待分析对话的对白的区分性词语。
在一种可选的实施方式中,所述对所述待分析对话的对白进行预处理,以得到所述待分析对话的对白的所有词语,包括:
对所述待分析对话的对白进行分词、替换奇异词,以得到所述待分析对话的对白的所有词语。
在一种可选的实施方式中,所述根据待分析对话的对白和区分性词语库获取所述待分析对话的对白的所有区分性词语,包括:
对所述待分析对话的对白进行分词,以得到所述待分析对话的对白的所有词语;
将所述待分析对话的对白的所有词语与所述区分性词语库的所有区分性词语进行匹配,以获取所述待分析对话的对白的区分性词语。
即通过对所述待分析对话的对白进行分词得到所述待分析对话的对白的所有词语,保留了所述待分析对话的对白中的停用词,避免因去停用词而降低对区分性词语进行选取的准确性,从而提高了对话角色区分的准确性。
在一种可选的实施方式中,所述根据所述待分析对话的对白的所有区分性词语和对话语料库获取与所述待分析对话的对白对应的对话角色的标签,包括:
分别获取所述待分析对话的对白的各个区分性词语在所述待分析对话的对白中的词频,作为第一组参量;
对所述待分析对话的对白的各个所述区分性词语,分别获取对话语料库中具有对应的区分性词语的标准对白的数量;
对所述待分析对话的对白的各个所述区分性词语,分别根据所述对话语料库的标准对白的总数和所述对话语料库中具有对应的区分性词语的标准对白的数量获取第二组参量;根据所述第一组参量和所述第二组参量生成所述待分析对话的对白的特征向量;
将所述待分析对话的对白的特征向量输入至所述对话语料库的对话角色判别模型,以识别出与所述待分析对话的对白对应的对话角色的标签。
在一种可选的实施方式中,所述对所述待分析对话的对白的各个所述区分性词语,分别根据所述对话语料库的标准对白的总数和所述对话语料库中具有对应的区分性词语的标准对白的数量获取第二组参量,包括:
对所述待分析对话的对白的各个所述区分性词语,分别对所述对话语料库中具有对应的区分性词语的标准对白的数量进行加1,作为第一有效分母;
对所述待分析对话的对白的各个所述区分性词语,分别计算所述对话语料库的标准对白的总数与所述第一有效分母的比值,作为第二组参量。
需要说明的是,所述词频是指词语出现的次数;所述待分析对话的对白的所有区分性词语在所述待分析对话的对白中的词频,即所述待分析对话的对白的所有区分性词语在所述待分析对话的对白中出现的次数。通过将所述对话语料库中具有对应的区分性词语的标准对白的数量进行加1,以使所述第二组参量的分母不为0。
在一种可选的实施方式中,所述根据所述第一组参量和所述第二组参量生成所述待分析对话的对白的特征向量包括:
对所述第二组参量进行对数变换,以得到对数变换后的第二组参量;
根据所述第一组参量和所述对数变换后的第二组参量生成所述待分析对话的对白的特征向量。
即通过所述区分性词语在待分析对话的对白中的词频和所述比值获得特征向量,再结合基于所述对话语料库建立的对话角色判别模型来获取对话角色的标签,充分考虑了所述区分性词语在待分析对话的对白中的重要程度,以及所述区分性词语在所述对话语料库中的重要程度,提高了对话角色区分的准确性。
在一种可选的实施方式中,所述根据所述待分析对话的对白的所有区分性词语和预先根据对话语料库建立的对话角色判决模型获取与所述待分析对话的对白对应的对话角色的标签,还包括:
在分别获取所述第一组参量之前,计算所述第一设定数量与所述待分析对话的对白的区分性词语的数量之间的数量差值;
所述根据所述第一组参量和所述第二组参量生成所述待分析对话的对白的特征向量,包括:
生成个数为所述数量差值的填充词频;所述填充词频为0;
生成个数为所述数量差值的填充比值;所述填充比值为0;
根据所述填充词频和所述第一组参量生成参量个数为所述第一设定数量的第一特征参数;
根据所述填充比值和所述第二组参量生成参量个数为所述第一设定数量的第二特征参数;
根据所述第一特征参数和第二特征参数生成所述待分析对话的对白的特征向量。
例如,若所述待分析对话的对白为“您好,请问您是收件人吗”,且假设其区分性词语为“您”和“吗”,则“您”这个词语在待分析对话的对白中的词频为2,“吗”这个词语在待分析对话的对白中的词频为1;若所述对话语料库中所有对话角色的标准对白的总数为100,假设所述对话语料库中具有“您”这个词语的标准对白的数量为60,具有“吗”这个词语的标准对白的数量为58,则所述对话语料库的标准对白的总数与所述对话语料库中具有“您”这个词语的标准对白的数量的比值为所述对话语料库的标准对白的总数与所述对话语料库中具有“吗”这个词语的标准对白的数量的比值为假设所述第一设定数量为3,则第一特征参数为(2,1,0),第二特征参数为(0.6,0.58,0),所述待分析对话的对白的特征向量为(2,1,0;0.6,0.58,0)。
即通过生成填充词频和填充比值,便于通过具有确定参数个数的特征向量,降低处理难度;通过生成空值的填充词频和填充比值,减少参数的代入计算,提高计算速度,从而提高处理效率。
在一种可选的实施方式中,所述方法还包括:
响应于训练所述对话角色判别模型的指令,对所述区分性词语库的各个区分性词语,分别获取对应的区分性词语在所述对话语料库的各句所述标准对白中的词频,作为第三组参量;
对所述区分性词语库的各个区分性词语,分别获取所述对话语料库中具有对应的区分性词语的标准对白的数量;
对所述区分性词语库的各个区分性词语,分别根据所述对话语料库的标准对白的总数和所述对话语料库中具有对应的区分性词语的标准对白的数量获取第四组参量;
根据所述第三组参量和所述第四组参量生成各句所述标准对白的特征向量;
基于朴素贝叶斯算法,根据所述各句所述标准对白的特征向量和所述对应于各句所述标准对白的对话角色的标签训练所述对话角色判别模型。
其中,朴素贝叶斯( Bayes)算法是基于贝叶斯定理与特征条件独立假设的分类方法。
在一种可选的实施方式中,所述对所述区分性词语库的各个区分性词语,分别根据所述对话语料库的标准对白的总数和所述对话语料库中具有对应的区分性词语的标准对白的数量获取第四组参量,包括:
对所述区分性词语库的各个区分性词语,分别对所述对话语料库中具有对应的区分性词语的标准对白的数量进行加1,作为第二有效分母;
对所述区分性词语库的各个区分性词语,分别计算所述对话语料库的标准对白的总数与所述第二有效分母的比值,作为第四组参量。
即基于朴素贝叶斯算法来训练对话角色判别模型,能够更准确地权衡各个区分性词语对区分对话角色的贡献,提高了对话角色区分的准确性;通过对所述对话语料库中具有对应的区分性词语的标准对白的数量进行加1,以使所述第二组参量的分母不为0。
在一种可选的实施方式中,所述方法还包括:
响应于获取所述区分性词语库的指令,对所述对话语料库的所有标准对白进行预处理,以得到所述对话语料库的所有词语;
对所述对话语料库的各个词语,分别获取对应的词语在所述对话语料库的各句所述标准对白中的词频,作为第五组参量;
对所述对话语料库的各个词语,分别获取所述对话语料库中具有对应的词语的标准对白的数量;
对所述对话语料库的各个词语,分别根据所述对话语料库的标准对白的总数和所述对话语料库中具有对应的词语的标准对白的数量获取第六组参量;
根据所述第五组参量和所述第六组参量生成各句所述标准对白的特征向量;
基于信息增益法,根据各句所述标准对白的特征向量和所述对应于各句所述标准对白的对话角色的标签在所述对话语料库的所有词语中选取数量为所述第一设定数量的词语,以得到所述区分性词语库。
在一种可选的实施方式中,对所述对话语料库的各个词语,分别根据所述对话语料库的标准对白的总数和所述对话语料库中具有对应的词语的标准对白的数量获取第六组参量,包括:
对所述对话语料库的各个词语,分别对所述对话语料库中具有对应的词语的标准对白的数量进行加1,作为第三有效分母;
对所述对话语料库的各个词语,分别计算所述对话语料库的标准对白的总数与所述第三有效分母的比值,作为第六组参量。
即通过信息增益法来选取区分性词语,克服了人工筛选的主观随意性与片面性,从而使得筛选的区分性词语与对话角色之间的关联性更大,进一步提高了对话角色区分的准确性;通过对所述对话语料库中具有对应的词语的标准对白的数量进行加1,以使所述第二组参量的分母不为0。
本发明还提供了客服的服务质量评价方法的又一实施例,包括上述实施例所述的客服的服务质量评价方法的步骤S101-S107,还进一步限定了,所述根据标准服务流程的所有流程节点和所述所有服务对白获取所述所有服务对白的所有流程节点,包括:
对所述所有服务对白分别提取各句服务对白的所有关键词;
对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白;
根据所述所有服务对白中与所述流程节点对应的服务对白获取所述所有服务对白的所有流程节点
即通过关键词匹配快速匹配流程节点,进一步提高服务质量评价的效率。
在一种可选的实施方式中,所述对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白,包括:
对所述所有服务对白分别通过通配符或正则表达式将所述服务对白的所有关键词与对应于各个流程节点的句型模板进行匹配,以得到所有与所述服务对白匹配的句型模板;
根据所有对应于与所述服务对白匹配的句型模板的流程节点获取所述所有服务对白中与所述流程节点对应的服务对白。
例如,若服务对白为:“您需要修改密码吗”,从该服务对白提取的关键词为“修改”、“密码”和“吗”,则通过通配符*修改*密码*吗*与各个流程节点的句型模板进行匹配,若匹配出的句型模板为“您是想修改密码吗”,则对应于该句型模板的流程节点即为与所述服务对白对应的流程节点,若没有匹配的句型模板,则没有与所述服务对白对应的流程节点。
即通过通过通配符或正则表达式进行快速匹配,降低计算的复杂程度,提高服务质量评价的效率。
在一种可选的实施方式中,所述对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白,包括:
对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白。
需要说明的是,概念图是某个主题的概念及其关系的图形化表示,概念图是用来组织和表征知识的工具。它通常将某一主题的有关概念置于圆圈或方框之中,然后用连线将相关的概念和命题连接,连线上标明两个概念之间的意义关系。
即通过概念图工具将关键词与流程节点之间的联系应用于所述服务对白中,从而实现更高效更准确地匹配出所述所有服务对白中与所述流程节点对应的服务对白,进一步提高服务质量评价的客观性和效率。
在一种可选的实施方式中,所述计算所述所有服务对白的所有流程节点与标准服务流程的流程匹配程度,包括:
获取与所述所有服务对白的所有流程节点一一对应的第一预设权重;其中,所述标准服务流程的所有流程节点的第一预设权重的和等于1;
对所述所有服务对白的所有流程节点分别获取对应的流程节点的所有预设操作行为;
对所述所有服务对白的所有流程节点分别获取对应的流程节点的客服操作行为;
根据所述所有服务对白的所有流程节点的所有预设操作行为和获取到的所有客服操作行为分别获取对应的所述流程节点的操作得分;
对所述所有服务对白的所有流程节点分别计算对应的操作得分与对应的第一预设权重的乘积,以得到所述所有服务对白的流程节点的匹配分值;
将所述所有服务对白的流程节点的匹配分值进行相加,以得到所述流程匹配程度。
即通过计算与各个流程节点一一对应的第一预设权重与对应的操作得分的乘积,便于通过对不同的流程节点设置不同的第一预设权重,充分考虑不同流程节点在服务流程中的重要程度,为流程匹配程度的计算增加数据粒度,进一步提高评价结果的客观性。
在一种可选的实施方式中,所述根据所述所有服务对白的所有流程节点的所有预设操作行为和获取到的所有客服操作行为分别获取对应的所述流程节点的操作得分,包括:
对所述所有服务对白的所有流程节点的所有预设操作行为分别获取对应的第二预设权重;其中,与所述标准服务流程对应的所有不同预设操作行为的第二预设权重的和等于1;
对所述所有服务对白的所有流程节点的所有客服操作行为分别获取与所述客服操作行为相同的预设操作行为;
对所述所有服务对白的所有流程节点,分别将与所述客户操作行为相同的预设操作行为的第二预设权重相加,以分别得到所述流程节点的操作得分。
需要说明的是,客服操作行为是在流程节点下客服所对应的对话行为和业务操作,例如:
客服:您是不是想要修改账户密码?
客户:是的。
客服:请稍等。
则客户的上述对话行为和之后客服进行密码修改的业务操作为客服操作行为。
例如,在得到客服的所述服务对白的所有流程节点后,设定第j个流程节点有M个预设操作行为,第i个预设操作行为对应的权值为Xi,并满足条件有若第i个预设操作行为与客户操作行为相同,则令Pi等于0或1,则第j个流程节点的客服的服务得分为Sj:
设定所述所有服务对白的所有流程节点为N个,第j个流程节点对应的权值为Yj,并满足条件有客服的服务对话与服务流程的匹配程度为D:
即通过对预设操作行为获取对应的第二预设权重,便于通过为不同预设操作行为设置不同的第二预设权重,充分考虑不同预设操作行为对流程节点的重要程度,为流程匹配程度的计算增加数据粒度,提高评价结果的客观性。
本发明还提供了客服的服务质量评价方法的又一实施例,包括上述实施例所述的客服的服务质量评价方法的步骤S101-S107,还进一步限定了,所述根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度,包括:
获取所述所有服务对白在所述待分析对话中的前后顺序;
获取在所述待分析对话中时间最早的服务对白的流程节点在所述标准服务流程中的序号,作为获取到的所述所有服务对白的流程节点的初始序号;
从所述初始序号开始按照所述前后顺序对所述所有服务对白进行编号,将对应于不同的流程节点的相邻的服务对白按照不同的序号进行编号,将对应于不同的流程节点的相邻的服务对白按照相同的序号进行编号,以得到所述所有服务对白的流程节点在所述客服的服务流程中的序号;
根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度。
例如,某空调的售后客服和客户之间的待分析对话为:
客服:你好,很高兴为您服务
客户:你好,我家的那个空调打不开了
客服:空调不能启动了是吗
客户:嗯
客服:是柜机还是挂机呢
客户:挂机
客服:方便提供一下您的订单号吗
客户:189383983
客服:您好,根据您反映的情况,这边将为您办理售后检测的预约
客服:请问您是江宏民江先生本人吗
客户:对
客服:好的,地址跟您确认一下:XX市XX县XX区XX路XX号楼
客户:对
客服:好的,这边已经完成申请
客服:请问还有其他问题可以帮到您吗
客户:没有了,谢谢
若该售后客服的标准服务流程的序号和流程节点包括:1问候、2确认售后问题、3核对商品订单号、4确认商品详情、5售后维修预约/退换货操作、6结束语。
所述客服的所有服务对白的流程节点和序号为:
你好,很高兴为您服务
空调不能启动了是吗(流程节点:2确认售后问题)
是柜机还是挂机呢(流程节点:3确认商品详情)
方便提供一下您的订单号吗(流程节点:4核对商品订单号)
您好,根据您反映的情况,这边将为您办理售后检测的预约(流程节点:5售后维修预约)
请问您是江宏民江先生本人吗(流程节点:5售后维修预约)
好的,地址跟您确认一下:XX市XX县XX区XX路XX号楼(流程节点:5售后维修预约)
好的,这边已经完成申请(流程节点:5售后维修预约)
客服:请问还有其他问题可以帮到您吗(流程节点:6结束语)
需要说明的是,上述标准服务流程的序号和流程节点、所有服务对白的流程节点和序号、标准对白仅为示例,所有服务对白的流程节点、标准服务流程的序号和流程节点以实际应用场合为准。
即通过对所有服务对白的流程节点进行编号获得服务对白的流程节点在所述客服的服务流程中的序号,以及通过服务对白的流程节点在所述客服的服务流程中的序号及其在标准服务流程中的序号来获取所述客服的服务流程与所述标准服务流程的顺序相似度,便于通过序号将所述客服的服务流程与所述标准服务流程的区别具体化,从而提高获取顺序相似度的准确性,进一步提高客服的服务质量评价的效率和准确性。
在一种可选的实施方式中,所述根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度,包括:
根据所述标准服务流程的所有流程节点的序号获取与所述所有服务对白一一对应的流程节点在所述标准服务流程中的序号;
查询所述所有服务对白的流程节点在所述客服的服务流程中的序号与所述所有服务对白的流程节点在所述标准服务流程中的序号相等的流程节点,以得到所述客服的服务流程中合格的流程节点;
获取所述客服的服务流程中所有合格的流程节点的预设权重;
计算所述客服的服务流程中所有合格的流程节点的预设权重的和,作为所述客服的服务流程与所述标准服务流程的顺序相似度。
例如,若该售后客服的标准服务流程的序号-流程节点-预设权重为:1-问候-0.2、2-确认售后问题-0.1、3-核对商品订单号-0.2、4-确认商品详情-0.1、5-售后维修预约/退换货操作-0.3、6-结束语-0.1;
获取到的所述所有服务对白的序号-流程节点为:1-问候、2-确认售后问题、3-确认商品详情、4-核对商品订单号、5-售后维修预约/退换货操作、6-结束语;
则所述所有服务对白的流程节点在所述客服的服务流程中的序号与所述所有服务对白的流程节点在所述标准服务流程中的序号相等的流程节点,即所述客服的服务流程中所有合格的流程节点为:问候、确认售后问题、售后维修预约/退换货操作、结束语,所述客服的服务流程中所有合格的流程节点的预设权重对应为:0.2、0.1、0.3、0.1;
所述客服的服务流程与所述标准服务流程的顺序相似度为:0.2+0.1+0.3+0.1=0.7。
即通过查询所述所有服务对白的流程节点在所述客服的服务流程中的序号及其在所述标准服务流程中的序号相等的流程节点,实现快速获得所述客服的服务流程中合格的流程节点,提高客服的服务质量评价的效率;通过获取所述客服的服务流程中所有合格的流程节点的预设权重,便于通过对不同重要程度的流程节点设置不同的预设权重,从而提高顺序相似度的数据粒度,在保证质检的准确性的同时,提高服务质量评价的合理性。
在一种可选的实施方式中,所述根据所述所有服务对白和所述流程语料库获取与所述所有服务对白一一对应的流程节点,包括:
对所述所有服务对白分别将提取服务对白的所有关键词
对所述所有服务对白分别查询所述流程语料库中包括所述服务对白的所有关键词的标准对白;
根据所述流程语料库获取对应于查询到的标准对白的流程节点,作为所述服务对白的流程节点。
例如,所述服务对白为“您是想修改密码吗”,假设其关键词为“修改”、“密码”和“吗”,若所述流程语料库中包括所述服务对白的所有关键词的标准对白为:“您需要修改密码吗”、“你打算修改密码吗”、“您的密码被修改了”,则包括关键词“修改”、“密码”和“吗”的标准对白为“您需要修改密码吗”、“你打算修改密码吗”,对应于查询到的标准对白的流程节点为“获得修改密码的确认”。
在一种可选的实施方式中,所述对所述所有服务对白分别查询所述流程语料库中包括所述服务对白的所有关键词的标准对白,包括:
基于通配符或正则表达式对所述所有服务对白分别获取所述服务对白的所有关键词的表达式;
对所述所有服务对白分别根据所述服务对白的所有关键词的表达式查询所述流程语料库,以分别得到所述流程语料库中包括所述服务对白的所有关键词的标准对白。
即通过对所述所有服务对白分别查询所述流程语料库中包括所述服务对白的所有关键词的标准对白,降低计算的复杂程度,提高服务质量评价的效率。
在一种可选的实施方式中,所述根据所述所有服务对白和所述流程语料库获取与所述所有服务对白一一对应的流程节点,包括:
将所述所有服务对白输入至预先基于神经网络算法根据流程语料库建立的流程匹配模型,以得到所述所有服务对白的所有流程节点。
即通过神经网络算法,实现更全面更准确的获取所述服务对白的流程节点,进一步提高服务质量评价的客观性。
在一种可选的实施方式中,所述根据所述所有服务对白和所述流程语料库获取与所述所有服务对白一一对应的流程节点,包括:
基于自然语义理解算法,对所述所有服务对白分别将提取服务对白的所有关键词;
对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具(Concept Map),以匹配出所述所有服务对白中与所述流程节点对应的服务对白;
根据匹配到的所述所有服务对白中与所述流程节点对应的服务对白获取所述客服的服务流程。
需要说明的是,概念图是某个主题的概念及其关系的图形化表示,概念图是用来组织和表征知识的工具,其通常将某一主题的有关概念置于圆圈或方框之中,然后用连线将相关的概念和命题连接,连线上标明两个概念之间的意义关系。
即通过自然语义理解算法对所述所有服务对白分别将提取服务对白的所有关键词,大大提高了关键词提取的准确性;通过概念图工具将流程语料库的关键词与流程节点之间的联系应用于所述服务对白中,从而实现更高效更准确地获取与所述所有服务对白一一对应的流程节点,进一步提高服务质量评价的客观性和效率。
所述根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录,包括:
对所有查找到的具有预设业务的流程节点分别查找执行时间与对话时间的差值等于第一预设差值的业务执行记录,以得到与所有查找到的具有预设业务的流程节点对应的业务执行记录。
即通过查找执行时间与对话时间的差值等于第一预设差值的业务执行记录,从而将业务执行记录与具有预设业务的流程节点进行关联,通过第一预设差值增加查找业务执行记录的容忍度,从而增加查找到业务执行记录的几率,在容忍度内为后续的处理增加数据来源,进而提高评价结果的客观性。
在一种可选的实施方式中,所述方法还包括:响应于用户的输入指令,根据查找到的具有预设业务的流程节点设置所述第一预设差值。即根据查找到的具有预设业务的流程节点设置所述第一预设差值,便于对不同的流程节点设置不同的第一预设差值,增加数据粒度,进一步提高评价结果的准确性。
在一种可选的实施方式中,所述根据与所有查找到的具有预设业务的流程节点对应的业务执行记录对所述客服进行服务质量评价,包括:
对所有查找到的具有预设业务的流程节点分别获取对应的所有预设业务;
对所有查找到的具有预设业务的流程节点分别将对应的所有预设业务与对应的业务执行记录进行匹配,以得到与所有查找到的具有预设业务的流程节点一一对应的业务匹配率;
获取与所有所述查找到的具有预设业务的流程节点一一对应的第一预设权重;其中,所述标准服务流程的各个流程节点的第一预设权重的和等于1;
对所有查找到的具有预设业务的流程节点分别计算对应的业务匹配率和对应的第一预设权重的乘积;
将与所有查找到的具有预设业务的流程节点对应的所述乘积相加,以得到所述所有服务对白的业务匹配分数;
根据所述所有服务对白的业务匹配分数对所述客服进行服务质量评价。
即通过计算与所有所述查找到的具有预设业务的流程节点一一对应的第一预设权重与对应的业务匹配率的乘积,便于通过对不同的流程节点设置不同的第一预设权重,充分考虑不同流程节点在服务流程中的重要程度,增加业务匹配分数的数据粒度,进一步提高评价结果的客观性。
在一种可选的实施方式中,所述对所有查找到的具有预设业务的流程节点分别将对应的所有预设业务与对应的业务执行记录进行匹配,以得到与所有查找到的具有预设业务的流程节点一一对应的业务匹配率,包括:
对所有查找到的具有预设业务的流程节点分别根据对应的业务执行记录在对应的所有预设业务中查找与所述已执行业务相同的预设业务;
获取与所有查找到的与已执行业务相同的预设业务一一对应的第二预设权重;其中,与所述标准服务流程对应的所有不同预设业务的第二预设权重的和等于1;
对所述查找到的所有具有预设业务的流程节点,分别将所有查找到的与已执行业务相同的预设业务的第二预设权重相加,以得到与所述查找到的所有具有预设业务的流程节点一一对应的业务匹配率。
例如业务系统中记录了客服的操作时间、操作行为、点击行为以及链接地址等等预设业务,设定第j个流程节点有M个预设业务,第i个预设业务对应的第二预设权重为Xi,并满足条件有第i个业务需求的得分为Pi,则第j个流程节点的业务匹配率Sj通过如下公式获得:
所述所有服务对白的所有流程节点共有N个流程节点,第j个流程节点对应的第一预设权重为Yj,并满足条件有客服的业务匹配分数D通过如下公式获得:
即通过对所有查找到的与已执行业务相同的预设业务获取对应的第二预设权重,便于通过为不同预设业务设置不同的第二预设权重,充分考虑不同预设业务对流程节点的重要程度,进一步增加业务匹配分数的数据粒度,提高评价结果的客观性。
需要说明的是,图1所示的流程图只是为了表达本发明一实施例的流程步骤,但本发明的流程步骤不限于严格地按照S101~S107的顺序执行。例如,S103、S104和S105是可以并列执行的。
参见图2,其是本发明提供的客服的服务质量评价系统的一个实施例的结构示意图,所述系统包括:
提取模块201,用于在待分析对话中提取客服的所有服务对白;
第一获取模块202,用于根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程;其中,所述流程语料库包括标准服务流程的所有流程节点、所述标准服务流程的所有流程节点的序号和对应于所述标准服务流程的各个流程节点的语料;
第二获取模块203,用于根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度;
第三获取模块204,用于根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度;
查找模块205,用于在获取到的所有流程节点中查找具有预设业务的流程节点;
第四获取模块206,用于获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间;
评价模块207,用于根据获取到的所有业务执行记录、所述流程匹配程度和所述顺序相似度对所述客服进行服务质量评价。
需要说明的是,所述标准服务流程的所有流程节点覆盖了所述客服的所有服务对白对应的流程节点。
通过在待分析对话中提取客服的所有服务对白,避免对客服与客户的所有对白进行流程节点的获取,减少了数据处理量,提高了客服的服务质量评价的效率;根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程,提高客服的服务质量评价的准确性,避免了人工方式带来的主观影响,同时提高了质检效率;通过根据获取到的所有流程节点和序号获取所述顺序相似度,根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度,以及集合业务执行记录和流程节点的关系,将业务与服务流程联系起来,提高服务质量评价的客观性,实现客服的服务质量评价的智能化,提高客服的服务质量评价的效率。
在一种可选的实施方式中,所述第一获取模块包括:
关键词提取单元,用于对所述所有服务对白分别提取各句服务对白的所有关键词;
关键词匹配单元,用于对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白;
流程节点获取单元,用于根据所述所有服务对白中与所述流程节点对应的服务对白获取所述所有服务对白的所有流程节点。
在一种可选的实施方式中,所述关键词提取单元包括:第三提取子单元,用于基于自然语义理解算法,对所述所有服务对白分别提取各句服务对白的所有关键词
在一种可选的实施方式中,所述关键词匹配单元包括:
句型模板匹配单元,用于对所述所有服务对白分别通过通配符或正则表达式将所述服务对白的所有关键词与对应于各个流程节点的句型模板进行匹配,以得到所有与所述服务对白匹配的句型模板;
第四获取单元,用于根据所有对应于与所述服务对白匹配的句型模板的流程节点获取所述所有服务对白中与所述流程节点对应的服务对白。
在一种可选的实施方式中,所述关键词匹配单元包括:
服务对白匹配单元,用于对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白。
在一种可选的实施方式中,所述计算模块包括:
第一获取单元,用于获取与所述所有服务对白的所有流程节点一一对应的第一预设权重;其中,所述标准服务流程的所有流程节点的第一预设权重的和等于1;
第二获取单元,用于对所述所有服务对白的所有流程节点分别获取对应的流程节点的所有预设操作行为;
第三获取单元,用于对所述所有服务对白的所有流程节点分别获取对应的流程节点的客服操作行为;
第四获取单元,用于根据所述所有服务对白的所有流程节点的所有预设操作行为和获取到的所有客服操作行为分别获取对应的所述流程节点的操作得分;
第一计算单元,用于对所述所有服务对白的所有流程节点分别计算对应的操作得分与对应的第一预设权重的乘积,以得到所述所有服务对白的流程节点的匹配分值;
第一相加单元,用于将所述所有服务对白的流程节点的匹配分值进行相加,以得到所述流程匹配程度。
在一种可选的实施方式中,所述第四获取单元包括:
第一获取子单元,用于对所述所有服务对白的所有流程节点的所有预设操作行为分别获取对应的第二预设权重;其中,与所述标准服务流程对应的所有不同预设操作行为的第二预设权重的和等于1;
第二获取子单元,用于对所述所有服务对白的所有流程节点的所有客服操作行为分别获取与所述客服操作行为相同的预设操作行为;
第一相加子单元,用于对所述所有服务对白的所有流程节点,分别将与所述客服的操作行为相同的预设操作行为的第二预设权重相加,以分别得到所述流程节点的操作得分。
在一种可选的实施方式中,所述第一获取模块包括:
第一获取单元,用于获取所述所有服务对白在所述待分析对话中的前后顺序;
第三获取单元,用于获取在所述待分析对话中时间最早的服务对白的流程节点在所述标准服务流程中的序号,作为获取到的所述所有服务对白的流程节点的初始序号;
编号单元,用于从所述初始序号开始按照所述前后顺序对所述所有服务对白进行编号,将对应于不同的流程节点的相邻的服务对白按照不同的序号进行编号,将对应于不同的流程节点的相邻的服务对白按照相同的序号进行编号,以得到所述所有服务对白的流程节点在所述客服的服务流程中的序号;
第四获取单元,用于根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度。
在一种可选的实施方式中,所述第四获取单元包括:
第五获取单元,用于根据所述标准服务流程的所有流程节点的序号获取与所述所有服务对白一一对应的流程节点在所述标准服务流程中的序号;
第一查询单元,用于查询所述所有服务对白的流程节点在所述客服的服务流程中的序号与所述所有服务对白的流程节点在所述标准服务流程中的序号相等的流程节点,以得到所述客服的服务流程中合格的流程节点;
第六获取单元,用于获取所述客服的服务流程中所有合格的流程节点的预设权重;
第一计算单元,用于计算所述客服的服务流程中所有合格的流程节点的预设权重的和,作为所述客服的服务流程与所述标准服务流程的顺序相似度。
在一种可选的实施方式中,所述识别模块包括:
第三提取单元,用于对所述所有服务对白分别将提取服务对白的所有关键词
第二查询单元,用于对所述所有服务对白分别查询所述流程语料库中包括所述服务对白的所有关键词的标准对白;
第十三获取单元,用于根据所述流程语料库获取对应于查询到的标准对白的流程节点,作为所述服务对白的流程节点。
在一种可选的实施方式中,所述第二查询单元包括:
第三获取子单元,用于基于通配符或正则表达式对所述所有服务对白分别获取所述服务对白的所有关键词的表达式;
查询子单元,用于对所述所有服务对白分别根据所述服务对白的所有关键词的表达式查询所述流程语料库,以分别得到所述流程语料库中包括所述服务对白的所有关键词的标准对白。
在一种可选的实施方式中,所述识别模块包括:
第一匹配单元,将所述所有服务对白输入至预先基于神经网络算法根据流程语料库建立的流程匹配模型,以得到所述所有服务对白的所有流程节点。
在一种可选的实施方式中,所述识别模块包括:
第一提取单元,用于基于自然语义理解算法,对所述所有服务对白分别将提取服务对白的所有关键词;
第二匹配单元,用于对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白;
服务流程获取单元,用于根据匹配到的所述所有服务对白中与所述流程节点对应的服务对白获取所述客服的服务流程。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种客服的服务质量评价方法,其特征在于,所述方法包括:
在待分析对话中提取客服的所有服务对白;
根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程;其中,所述流程语料库包括标准服务流程的所有流程节点、所述标准服务流程的所有流程节点的序号和对应于所述标准服务流程的各个流程节点的语料;
根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度;
根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度;
在获取到的所有流程节点中查找具有预设业务的流程节点;
获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间;
根据获取到的所有业务执行记录、所述流程匹配程度和所述顺序相似度对所述客服进行服务质量评价。
2.如权利要求1所述的客服的服务质量评价方法,其特征在于,所述根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程,包括:
对所述所有服务对白分别提取各句服务对白的所有关键词;
对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白;
根据所述所有服务对白中与所述流程节点对应的服务对白获取所述所有服务对白的所有流程节点。
3.如权利要求2所述的客服的服务质量评价方法,其特征在于,所述对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白,包括:
对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白。
4.如权利要求1所述的客服的服务质量评价方法,其特征在于,所述根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度,包括:
获取所述所有服务对白在所述待分析对话中的前后顺序;
获取在所述待分析对话中顺序最前的服务对白的流程节点在所述标准服务流程中的序号,作为获取到的所述所有服务对白的流程节点的初始序号;
从所述初始序号开始按照所述前后顺序对所述所有服务对白进行编号,将对应于不同的流程节点的相邻的服务对白按照不同的序号进行编号,将对应于不同的流程节点的相邻的服务对白按照相同的序号进行编号,以得到所述所有服务对白的流程节点在所述客服的服务流程中的序号;
根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度。
5.如权利要求4所述的客服的服务质量评价方法,其特征在于,所述获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间,包括:
获取与所有查找到的具有预设业务的流程节点对应的服务对白的对话时间;
根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录。
6.一种客服的服务质量评价系统,其特征在于,所述系统包括:
提取模块,用于在待分析对话中提取客服的所有服务对白;
第一获取模块,用于根据流程语料库获取与所述所有服务对白一一对应的流程节点,以得到所述客服的服务流程;其中,所述流程语料库包括标准服务流程的所有流程节点、所述标准服务流程的所有流程节点的序号和对应于所述标准服务流程的各个流程节点的语料;
第二获取模块,用于根据获取到的所有流程节点和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度;
第三获取模块,用于根据获取到的所有流程节点获取所述客服的服务流程与所述标准服务流程的流程匹配程度;
查找模块,用于在获取到的所有流程节点中查找具有预设业务的流程节点;
第四获取模块,用于获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间;
评价模块,用于根据获取到的所有业务执行记录、所述流程匹配程度和所述顺序相似度对所述客服进行服务质量评价。
7.如权利要求6所述的客服的服务质量评价系统,其特征在于,第一获取模块包括:
关键词提取单元,用于对所述所有服务对白分别提取各句服务对白的所有关键词;
关键词匹配单元,用于对所述标准服务流程的所有流程节点分别根据所述流程节点和所述所有服务对白的所有关键词匹配出所述所有服务对白中与所述流程节点对应的服务对白;
流程节点获取单元,用于根据所述所有服务对白中与所述流程节点对应的服务对白获取所述所有服务对白的所有流程节点。
8.如权利要求7所述的客服的服务质量评价系统,其特征在于,所述关键词提取单元包括:
服务对白匹配单元,用于对所述标准服务流程的所有流程节点分别将所述流程节点和所述所有服务对白的所有关键词输入至预先根据所述流程语料库配置的概念图工具,以匹配出所述所有服务对白中与所述流程节点对应的服务对白。
9.如权利要求6所述的客服的服务质量评价系统,其特征在于,所述第二获取模块包括:
第一获取单元,用于获取所述所有服务对白在所述待分析对话中的前后顺序;
第三获取单元,用于获取在所述待分析对话中时间最早的服务对白的流程节点在所述标准服务流程中的序号,作为获取到的所述所有服务对白的流程节点的初始序号;
编号单元,用于从所述初始序号开始按照所述前后顺序对所述所有服务对白进行编号,将对应于不同的流程节点的相邻的服务对白按照不同的序号进行编号,将对应于不同的流程节点的相邻的服务对白按照相同的序号进行编号,以得到所述所有服务对白的流程节点在所述客服的服务流程中的序号;
第四获取单元,用于根据所述所有服务对白的流程节点在所述客服的服务流程中的序号和所述标准服务流程的所有流程节点的序号获取所述客服的服务流程与所述标准服务流程的顺序相似度。
10.如权利要求9所述的客服的服务质量评价系统,其特征在于,所述第四获取模块包括:
对话时间获取单元,用于获取与所有查找到的具有预设业务的流程节点对应的服务对白的对话时间;
业务执行记录获取单元,用于根据获取到的对话时间获取与所有查找到的具有预设业务的流程节点对应的业务执行记录;其中,所述业务执行记录包括已执行业务和执行时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711077744.3A CN107833059B (zh) | 2017-11-03 | 2017-11-03 | 客服的服务质量评价方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711077744.3A CN107833059B (zh) | 2017-11-03 | 2017-11-03 | 客服的服务质量评价方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107833059A true CN107833059A (zh) | 2018-03-23 |
CN107833059B CN107833059B (zh) | 2021-06-18 |
Family
ID=61654478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711077744.3A Active CN107833059B (zh) | 2017-11-03 | 2017-11-03 | 客服的服务质量评价方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107833059B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881646A (zh) * | 2018-05-30 | 2018-11-23 | 平安科技(深圳)有限公司 | 呼叫中心的任务跟踪方法、装置、设备及存储介质 |
CN110866032A (zh) * | 2019-11-14 | 2020-03-06 | 北京首汽智行科技有限公司 | 一种客服人员服务质量检验方法 |
CN111883115A (zh) * | 2020-06-17 | 2020-11-03 | 马上消费金融股份有限公司 | 语音流程质检的方法及装置 |
CN113674765A (zh) * | 2021-08-18 | 2021-11-19 | 中国联合网络通信集团有限公司 | 语音客服质检方法、装置、设备及存储介质 |
CN114997640A (zh) * | 2022-05-30 | 2022-09-02 | 平安科技(深圳)有限公司 | 基于人工智能的客服质检方法及相关设备 |
CN116362589A (zh) * | 2023-02-23 | 2023-06-30 | 中国标准化研究院 | 一种质量工作考核评价方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101662550A (zh) * | 2009-09-11 | 2010-03-03 | 中兴通讯股份有限公司 | 呼叫中心服务质量检测方法及系统 |
CN102831506A (zh) * | 2012-08-28 | 2012-12-19 | 焦玉刚 | 一种通过语音进行服务流程管理的方法及系统 |
CN102945628A (zh) * | 2011-12-23 | 2013-02-27 | 江西省电力公司信息通信中心 | 事故后果信息获取方法、装置及培训系统 |
US20140122468A1 (en) * | 2010-04-30 | 2014-05-01 | Alibaba Group Holding Limited | Vertical Search-Based Query Method, System and Apparatus |
CN104301554A (zh) * | 2013-07-18 | 2015-01-21 | 中兴通讯股份有限公司 | 一种对客服人员的服务质量进行质检的装置及方法 |
CN105184315A (zh) * | 2015-08-26 | 2015-12-23 | 北京中电普华信息技术有限公司 | 一种质检处理方法及系统 |
CN106485504A (zh) * | 2015-08-12 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种对客服的操作行为进行判别的方法和设备 |
US20170111245A1 (en) * | 2015-10-14 | 2017-04-20 | International Business Machines Corporation | Process traces clustering: a heterogeneous information network approach |
CN107093431A (zh) * | 2016-02-18 | 2017-08-25 | 中国移动通信集团辽宁有限公司 | 一种对服务质量进行质检的方法及装置 |
-
2017
- 2017-11-03 CN CN201711077744.3A patent/CN107833059B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101662550A (zh) * | 2009-09-11 | 2010-03-03 | 中兴通讯股份有限公司 | 呼叫中心服务质量检测方法及系统 |
US20140122468A1 (en) * | 2010-04-30 | 2014-05-01 | Alibaba Group Holding Limited | Vertical Search-Based Query Method, System and Apparatus |
CN102945628A (zh) * | 2011-12-23 | 2013-02-27 | 江西省电力公司信息通信中心 | 事故后果信息获取方法、装置及培训系统 |
CN102831506A (zh) * | 2012-08-28 | 2012-12-19 | 焦玉刚 | 一种通过语音进行服务流程管理的方法及系统 |
CN104301554A (zh) * | 2013-07-18 | 2015-01-21 | 中兴通讯股份有限公司 | 一种对客服人员的服务质量进行质检的装置及方法 |
CN106485504A (zh) * | 2015-08-12 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种对客服的操作行为进行判别的方法和设备 |
CN105184315A (zh) * | 2015-08-26 | 2015-12-23 | 北京中电普华信息技术有限公司 | 一种质检处理方法及系统 |
US20170111245A1 (en) * | 2015-10-14 | 2017-04-20 | International Business Machines Corporation | Process traces clustering: a heterogeneous information network approach |
CN107093431A (zh) * | 2016-02-18 | 2017-08-25 | 中国移动通信集团辽宁有限公司 | 一种对服务质量进行质检的方法及装置 |
Non-Patent Citations (1)
Title |
---|
常关羽等: "面向综合特征提取的流程相似度模型", 《哈尔滨工业大学学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881646A (zh) * | 2018-05-30 | 2018-11-23 | 平安科技(深圳)有限公司 | 呼叫中心的任务跟踪方法、装置、设备及存储介质 |
CN108881646B (zh) * | 2018-05-30 | 2021-04-02 | 平安科技(深圳)有限公司 | 呼叫中心的任务跟踪方法、装置、设备及存储介质 |
CN110866032A (zh) * | 2019-11-14 | 2020-03-06 | 北京首汽智行科技有限公司 | 一种客服人员服务质量检验方法 |
CN111883115A (zh) * | 2020-06-17 | 2020-11-03 | 马上消费金融股份有限公司 | 语音流程质检的方法及装置 |
CN113674765A (zh) * | 2021-08-18 | 2021-11-19 | 中国联合网络通信集团有限公司 | 语音客服质检方法、装置、设备及存储介质 |
CN114997640A (zh) * | 2022-05-30 | 2022-09-02 | 平安科技(深圳)有限公司 | 基于人工智能的客服质检方法及相关设备 |
CN116362589A (zh) * | 2023-02-23 | 2023-06-30 | 中国标准化研究院 | 一种质量工作考核评价方法 |
CN116362589B (zh) * | 2023-02-23 | 2023-08-25 | 中国标准化研究院 | 一种质量工作考核评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107833059B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109493166B (zh) | 一种针对电子商务导购场景任务型对话系统的构建方法 | |
CN107833059A (zh) | 客服的服务质量评价方法与系统 | |
CN107886231A (zh) | 客服的服务质量评价方法与系统 | |
CN110582762A (zh) | 自动响应服务器装置、终端装置、响应系统、响应方法及程序 | |
CN107818164A (zh) | 一种智能问答方法及其系统 | |
Idris et al. | Genetic programming and adaboosting based churn prediction for telecom | |
CN110188047B (zh) | 一种基于双通道卷积神经网络的重复缺陷报告检测方法 | |
CN105808590B (zh) | 搜索引擎实现方法、搜索方法以及装置 | |
CN107704482A (zh) | 方法、装置以及程序 | |
CN108304468A (zh) | 一种文本分类方法以及文本分类装置 | |
CN104750674B (zh) | 一种人机会话满意度预测方法及系统 | |
CN108052505A (zh) | 文本情感分析方法及装置、存储介质、终端 | |
CN106897262A (zh) | 一种文本分类方法和装置以及处理方法和装置 | |
CN110349597A (zh) | 一种语音检测方法及装置 | |
CN109597493A (zh) | 一种表情推荐方法及装置 | |
CN109325780A (zh) | 一种面向电子政务领域的智能客服系统的交互方法 | |
CN108304424A (zh) | 文本关键词提取方法及文本关键词提取装置 | |
CN109726253A (zh) | 人才图谱及人才画像的构建方法、装置、设备及介质 | |
CN110046943A (zh) | 一种网络消费者细分的优化方法及优化系统 | |
CN112528031A (zh) | 一种工单智能派发方法和系统 | |
CN110532363A (zh) | 一种基于决策树的任务导向型自动对话方法 | |
CN107766560A (zh) | 客服服务流程的评价方法和系统 | |
CN108228950A (zh) | 一种信息处理方法及装置 | |
CN117494760A (zh) | 一种基于超大规模语言模型的富语义标签数据增广方法 | |
CN107886233A (zh) | 客服的服务质量评价方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |