CN110135879A - 基于自然语言处理的客服质量自动评分方法 - Google Patents
基于自然语言处理的客服质量自动评分方法 Download PDFInfo
- Publication number
- CN110135879A CN110135879A CN201811411593.5A CN201811411593A CN110135879A CN 110135879 A CN110135879 A CN 110135879A CN 201811411593 A CN201811411593 A CN 201811411593A CN 110135879 A CN110135879 A CN 110135879A
- Authority
- CN
- China
- Prior art keywords
- customer service
- score
- word
- words
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003058 natural language processing Methods 0.000 title claims abstract description 18
- 238000013077 scoring method Methods 0.000 title claims abstract description 14
- 238000013518 transcription Methods 0.000 claims abstract description 55
- 230000035897 transcription Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 7
- SBNFWQZLDJGRLK-UHFFFAOYSA-N phenothrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 SBNFWQZLDJGRLK-UHFFFAOYSA-N 0.000 claims description 20
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000002035 prolonged effect Effects 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 abstract 1
- 230000035807 sensation Effects 0.000 abstract 1
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于自然语言处理的客服质量自动评分方法。首先对客服通话录音进行语音转写，之后对于转写的结果进行简单矫正；然后按照客户给出的评分细则对文字进行分析评分；最后输出每一项评分细则的评分结果、给分理由和总分。本发明是基于分析目前已大量实际应用的客服通话录音系统产生的录音，因此不需要为收集客服通话录音而重新部署采集设备；相对于传统的基于人工聆听和人工的主观感觉对于客服质量进行评分，本发明能在保持高准确率和高效率的前提下对客服质量进行评分。另外，本发明采用的评分方法还能够随着业务变化，由用户自主更新规则，而无需修改代码就可以更新评分模型，计算简单，评分速度快，节省大量人力，可应用于实时环境。
Description
技术领域
本发明一般涉及互联网金融客户服务质量监控监控领域，具体涉及基于自然语言处理的客服质量自动评分方法。
背景技术
过去在企业营销活动中，大多数的企业只重视新客户的开发，对于现有的老客户，不注意维持，从而造成了老客户的大量流失。提高客户服务质量，能够有效的阻止老客户的流失，同时能够吸引到更多的新客户。重视客服质量，能够达到事半功倍的效果。因此，通过评分，来监测客户服务的质量，可以有效提高客服质量。
最初，是由人工阅读，或者聆听通话录音，来实现对客服质量的评分。这种人工评分的方式效率低下，很大程度浪费人了人力资源。而且人工评分准确度不高，不同的人评分的标准不同，不利于统计结果。
确定了评分标准之后，通过机器自动评分的方式，可以提高评分的工作效率和准确率。自动评分系统按照不同的评分细则，使用不同的实现方式对客服的文字进行评分，最后将所有评分相加，得出总分。自动评分系统能大大提高客服质量检查的效率和准确率，同时也方便统计结果。
自然语言处理是使用机器处理人类语言的理论和技术。自然语言处理将语言作为计算对象来研究相应的算法，其目标是通过自然语言的形式与机器系统进行人机交互，从而实现更高效和便捷的信息管理。自然语言处理的关键是让计算机“理解”自然语言。
对于文字自动评分算法，目前国内外有一些对于作文进行自动评分应用。但大部分都是偏重于语法正确与否的检测。英文自动评分，往往是根据时态是否正确、人称、单复数等语法规则进行检测。中文自动评分，往往是根据错别字、词汇应用是否准确、是否存在词不达意等等情况进行自动评分。这两类评分都是针对由一个人完成的文本进行评分。而本算法中，客服文字自动评分，是针对“对话”进行评分，文本包含两个人对话的内容，对话是需要进行区分的。本发明提出的评分系统不重视语法和词汇的正确运用，评分的重要依据是客服的表达是否礼貌准确。
发明内容
本发明针对当前人工对客服质量进行评分的低效，提供了基于自然语言处理的客服质量自动评分算法。本发明的目的在于自动对客服质量进行评分，从而减少人工评分消耗的人力，使评分更加公平公正。评分分为两个部分，一是对客服录音进行转写，二是根据评分规则和知识库转写之后的结果进行评分。
本发明的目的至少通过如下技术方案之一实现。
一种基于自然语言处理的客服质量自动评分方法，其包括以下步骤：
(a)对采集到的客服录音进行转写，转写成文字；
(b)利用文本信息特征的统计规律和语法规律进行中文文本校对，利用人工校准结果统计形成的错词知识库，并对录音转写成的文字结果进行校准；
(c)使用基于规则的方法对步骤(a)中转写的文字结果进行分析；
(d)根据评分细则的具体要求，对评分细则进行分类；
(e)对于不涉及具体业务知识的评分细则，直接根据规则进行评分，得到FR；
(f)对于涉及具体业务知识的评分细则，收集知识库，每次对文本评分都需要与知识库中的信息进行比对，得到FK；
(g)计算步骤(e)和步骤(f)中评分的总和，得到最终结果。
进一步的，步骤(a)包括以下步骤：
(a-1)以放置语音文件的文件夹路径作为输入，读取该文件中所有需要被转写的语音文件；
利用TestLfasr类中的transform函数首先遍历文件夹中的文件，并且做判断，如果是符合mp3以及wav格式的文件，则进行转写，并输出，如果是其他文件格式，则跳过；接下来，对于文件夹中的子文件夹，递归调用transfrom函数，直到所有的音频文件都完成转写；
(a-2)转写结果的输出
从原语音文件的文件名中提取客服人员姓名、客户电话号码、通话时间、客服是否在通话后正确发送短信的信息，组成新的文件名，保存在同一文件夹下，以便文本分析使用转写结果按照json文件格式输出在一个txt文档中，每一句以字典的数据结构{speaker：“”，bg：“”，ed：“”，Onebest：“”}进行存储；其中speaker属性表示说话人， bg表示该句话开始的时间，ed表示该句话结束的时间；Onebest表示说话的内容；所有的dictionary以列表形式存储在文件里。
进一步的，步骤(b)包括以下步骤：
(b-1)首先根据语法规则，对于文本进行初步校准；
由于转写的文本可能存在错误转写的字词，所以寻找文本中句子的每个字词的可能候选，构造句子的字词候选矩阵；将需要校对的句子中的每个字Cz作为基字，以它的同音字集作为Cz的候选字集；从该候选集中依词频从高到低挑选出m个候选字，与基字Cz共同组成一列字词候选向量Zz；因此当句子S中的汉字个数为n时，句子S的字词候选向量构成了句子S的字词候选矩阵MATRIX(S)＝z1z2...zn()；在此基础上，利用语言本身所具有的语法规律及统计特征，从字词候选矩阵中选出句子的最佳字词候选序列将其与原句对照，找出错误的字词，并以第一候选即最有可能是正确字词的候选加以改正；同时给出其它可能的候选字词，此时得到初步校准之后的文本；
(b-2)收集正样本和负样本，也就是收集通过转写之后得到的文本，和人工校准之后的文本；
(b-2)对于样本进行分析，统计所有出现率高于设定值的错误词汇，形成错词知识库； (b-3)从初步校准之后的文本中检索，查看是否存在错词知识库中的词语，如果存在，根据上下文分析该词语错误的概率；根据公式(1)计算错误概率；当错误概率超过预先设定的阈值时，表示需要修改该词语，否则不需要修改，
mistake＝(wf+wb+ww)/3 (1)
其中当该字词上文的字词为f时，wf＝1，否则wf＝0，该字词下文的字词为b时，wb＝1，否则wb＝0，ww为该字词本身为错误的概率。
进一步的，步骤(c)包括以下步骤：
(c-1)读取(a-2)中的转写结果；
(c-2)按照speaker进行分类；
首先根据是否有客服人员标志话语，对于speaker进行识别，转写结果中包含speaker1和speaker2，分别代表客服或者客户，要根据如下规则来判断具体哪一组是客服：
若speaker1的话语中出现“您好，团购网，请问有什么可以帮到您”那么speaker1为客服，speaker2为客户；若speaker2的话语中出现“您好，团购网，请问有什么可以帮到您”那么speaker2为客服，speaker1为客户；如果speaker1和speaker2的话语中都没有出现“您好，团购网，请问有什么可以帮到您”，则第一个说话人为客服，另外一个说话人为客户；
根据判断结果分类，将不同speaker话语存储在不同数组中，以便进行分析。
进一步的，步骤(d)包括以下步骤：
(d-1)根据具体的评分规则来进行分类，分类标准包含在(d-2)和(d-3)；
(d-2)对其中不需要知识库的评分细则有：首位用于规范、礼貌用语、语速、语音语调、表达流畅、倾听、提问技巧、引导能力、后续跟进、短信发送；
(d-3)需要知识库的评分细则有：积极回应、业务知识、信息运用、确认、同理心、问题澄清、无机械式回答、建议\解决方案、无推诿、合规性。
进一步的，步骤(e)包括以下细节：
(e-1)首尾用语规范
开头包含“您好”“团购网”“请问”“帮”，给一分，并判断该说话人，为客服；公司在文件名中给出标记，判断是否为客服挂断电话，如果是，同时结尾包含“请问”“还有什么问题”给一分，“评价”“生活愉快”“再见”，给一分，否则不给分；如果客服没有说“请问”“还有什么问题”，但是客户说了“没问题”“再见”“没事了”，给分；如果不是客服挂断电话，直接给两分；
(e-2)礼貌用语
在客服的话语中，“请”“您”“麻烦”出现的次数小于等于三次，不给分；出现不礼貌的话语，例如脏话等，不给分，否则给满分；
(e-3)语速
如果客户反馈“你说的太快了”“说慢点”大于两次，不给分；否则给满分；
(e-4)语音语调
如果客户反馈“你能好好说话吗”、“你态度能好点吗”不给分，否则给满分；
(e-5)表达流畅
对于长时间的空白，如果客户说：“等一下”，给分；如果客服说“稍等”，不给分；如果客户提出问题，空白了很长时间之后，客户问“听到吗”，客服回答“线路问题”“系统问题”“没有声音”，给分，如果客服只是回答问题而没有给出解释，不给分；假设在整段录音中，整段录音长度为i，允许出现“的话”的次数为ti，客服的话中出现“的话”的次数为x，x<＝ti,得满分；如果x>＝ti，0分，否则，给3分；
(e-6)倾听
客户说完话之后，不到一秒钟，客服说话，判断为打断，给0分，出现“你先听客服说完”，给0分，在客户连续说话五分钟以上，客服打断，给满分；
(e-7)提问技巧
出现“你等一下”“听我说”“你说什么”给0分，否则给满分；
(e-8)引导能力：
与业务知识一起判断，如果业务知识中不能一次回答准确，扣掉引导能力的分数；
(e-9)后续跟进:
涉及到两通电话的问题，暂时在程序中不做判断，如果因为这种情况出现不合理扣分，由客服人员自己反馈，鉴定过后，可修改分数；
(e-10)短信发送:
由公司的技术人员发匹配的excel表格，其中包含是否正确发送了信息，由程序作出判断，加在总分中。
进一步的，步骤(f)包括以下步骤：
(f-1)积极回应：
根据积极回应知识库，对于知识库中的问题，如果客服的回答时长小于一秒，判断为不积极回应，给0分；
(f-2)业务知识：
根据业务知识知识库，如果客户提问了其中的问题，客服必须按照知识库中的正确答案进行回答，否则给0分；
(f-3)信息运用
如果客户提出了知识库中的问题，并且在客服的回答中找到了正确的答案给7分；如果客服没有一次性回答正确，导致客户重复问题，或者出现“我不是这个意思”“难道你没理解吗”出现上述情况，大于两次，给5分；如果答非所问，并且客户没有再次提问，给0分；
(f-4)确认：
根据确认知识库，如果客户没有提出明确的问题，客服需要根据业务知识进行确认，直到问题明确再进行回答，否则不给分。
进一步的，步骤g包含以下步骤：
(g-1)根据如下公式将评分细则的评分结果相加：
该公式中F(x)表示总分，fi(x)表示每一个评分细则的得分，SR表示整个评分细则的集合。与现有技术相比，本发明具有如下优点和技术效果：
本发明是基于分析目前已大量实际应用的客服通话录音系统产生的录音，因此不需要为收集客服通话录音而重新部署采集设备；相对于传统的基于人工聆听和人工的主观感觉对于客服质量进行评分，本发明能在保持高准确率和高效率的前提下对客服质量进行评分。另外，本发明采用的评分方法还能够随着业务变化，由用户自主更新规则，而无需修改代码就可以更新评分模型，计算简单，评分速度快，节省大量人力，可应用于实时环境。
附图说明
图1为实施例中一种基于自然语言处理的客服质量自动评分方法整体流程图；
图2为实施例中评分结果具体示例图。
具体实施方式
下面将结合附图以及具体实例来详细说明本发明，再次本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
如图1，基于自然语言处理的客服质量自动评分系统，其主要流程包括以下步骤：
(a)对采集到的客服录音进行转写，转写成文字；
(b)利用文本信息特征的统计规律和语法规律进行中文文本校对，利用人工校准结果统计形成的错词知识库，并对录音转写成的文字结果进行校准；
(c)使用基于规则的方法对步骤(a)中转写的文字结果进行分析；
(d)根据评分细则的具体要求，对评分细则进行分类；
(e)对于不涉及具体业务知识的评分细则，直接根据规则进行评分，得到FR；
(f)对于涉及具体业务知识的评分细则，收集知识库，每次对文本评分都需要与知识库中的信息进行比对，得到FK；
(g)计算步骤(e)和步骤(f)中评分的总和，得到最终结果。
9.步骤(a)要求音频格式必须为mp3或wav，进行语音转写工作，需要注意的是，语音转写可能出现不准确的情况，本方法在能够提高评分准确度的前提下，对转写结果进行校准。
10.步骤(a)主要包含以下步骤：
(a-1)以放置语音文件的文件夹路径作为输入，读取该文件中所有需要被转写的语音文件；
TestLfasr类中的transform函数首先遍历文件夹中的文件，并且做判断，如果是符合mp3 以及wav格式的文件，则进行转写，并输出，如果是其他文件格式，则跳过；接下来，对于文件夹中的子文件夹，递归调用transfrom函数，直到所有的音频文件都完成转写；
(a-2)转写结果的输出
从原语音文件的文件名中提取客服人员姓名，客户电话号码，通话时间等信息，组成新的文件名，保存在同一文件夹下，以便文本分析使用转写结果按照json文件格式输出在一个txt文档中。例如原音频文件名：“01011111111陈先生2017_10_18 14_17_16.mp3”其中“01011111111”字段为客户电话号码，“陈先生”字段为客服人员姓名，“2017_10_18 14_17_16”字段为通话时间。重组后形成新的文件名“陈先生 0101111111120171018141716.txt”。
转写结果每一句以字典的数据结构({speaker：“”，bg：“”，ed：“”，Onebest：“”})进行存储；其中speaker属性表示说话人，bg表示该句话开始的时间，ed表示该句话结束的时间；Onebest表示说话的内容；所有的dictionary以列表形式存储在文件里。例如{"bg":"380","ed":"13000","onebest":"你好，团购网，请问什么可以帮您啊 ","speaker":"2"}
步骤(b)主要目的是对转写结果进行校准，以提高文本评分的准确率。
步骤(a)主要包含以下步骤：
步骤(b)包括以下步骤：
(b-1)首先根据语法规则，对于文本进行初步校准；
由于转写的文本可能存在错误转写的字词，所以寻找文本中句子的每个字词的可能候选，构造句子的字词候选矩阵；将需要校对的句子中的每个字Cz作为基字，以它的同音字集作为Cz的候选字集；从该候选集中依词频从高到低挑选出m个候选字，与基字Cz共同组成一列字词候选向量Zz；因此当句子S中的汉字个数为n时，句子S的字词候选向量构成了句子S的字词候选矩阵MATRIX(S)＝z1z2...zn()；在此基础上，利用语言本身所具有的语法规律及统计特征，从字词候选矩阵中选出句子的最佳字词候选序列将其与原句对照，找出错误的字词，并以第一候选加以改正(最有可能是正确字词的候选)；同时给出其它可能的候选字词，此时得到初步校准之后的文本；
(b-2)收集正样本和负样本，也就是收集通过转写之后得到的文本，和人工校准之后的文本；例如转写得到的文本中，“团购网”被转写成“团购完”的次数过多，则将该词和该词的上下文词汇记录到错词知识库中。
(b-2)对于样本进行分析，统计所有出现率高于80％的错误词汇，形成错词知识库；
(b-3)从初步校准之后的文本中检索，查看是否存在错词知识库中的词语，如果存在，根据上下文分析该词语错误的概率；根据公式(1)计算错误概率；当错误概率超过设定的阈值时，表示需要修改该词语，否则不需要修改。
mistake＝(wf+wb+ww)/3 (1)
其中当该字词上文的字词为f时，wf＝1，否则wf＝0，该字词下文的字词为b时，wb＝1，否则wb＝0，ww为该字词本身为错误的概率。
例如预先设定阈值为0.7例如“团购网”被转写成“团购完”，若转写之后的文本出现“团购完”一词，并且上文为“您好”，下文为“请问有什么可以帮您”，“团购完”本身的错误概率为0.,7，则mistake＝0.9，超过预先设定的阈值，则该词错误，将“团购完”修改为“团购网”
步骤(c)主要对说话人进行区分。
步骤(c)包括以下步骤：
(c-1)读取(a-2)中的转写结果
(c-2)按照speaker进行分类；
首先根据是否有客服人员标志话语，对于speaker进行识别，转写结果中包含speaker1和speaker2，分别代表客服或者客户，要根据如下规则来判断具体哪一组是客服：
若speaker1的话语中出现“您好，团购网，请问有什么可以帮到您”那么speaker1为客服，speaker2为客户。若speaker2的话语中出现“您好，团购网，请问有什么可以帮到您”那么speaker2为客服，speaker1为客户。如果speaker1和speaker2的话语中都没有出现“您好，团购网，请问有什么可以帮到您”，则第一个说话人为客服，另外一个说话人为客户。
根据判断结果分类，将不同speaker话语存储在不同数组中，以便进行分析。
步骤(d)主要对评分规则进行分类。
步骤(d)包括以下步骤：
(d-1)根据具体的评分规则来进行分类，分类标准包含在(d-2)和(d-3)；
(d-2)对其中不需要知识库的评分细则有：首位用于规范、礼貌用语、语速、语音语调、表达流畅、倾听、提问技巧、引导能力、后续跟进、短信发送；
(d-3)需要知识库的评分细则有：积极回应、业务知识、信息运用、确认、同理心、问题澄清、无机械式回答、建议\解决方案、无推诿、合规性。
步骤(e)主要对不需要知识库的评分细则进行评分。
步骤(e)包括以下细节：
(e-1)首尾用语规范
开头包含“您好”“团购网”“请问”“帮”，给一分，并判断该说话人，为客服；公司在文件名中给出标记，判断是否为客服挂断电话，如果是，同时结尾包含“请问”“还有什么问题”给一分，“评价”“生活愉快”“再见”，给一分，否则不给分；如果客服没有说“请问”“还有什么问题”，但是客户说了“没问题”“再见”“没事了”，给分；如果不是客服挂断电话，直接给两分，如图2中“首尾用语规范”打分；
(e-2)礼貌用语
在客服的话语中，“请”“您”“麻烦”出现的次数小于等于三次，不给分；出现不礼貌的话语，例如脏话等，不给分，否则给满分，如图2所示，礼貌用语次数为10词，所以给满分；
(e-3)语速
如果客户反馈“你说的太快了”“说慢点”大于两次，不给分；否则给满分，如图2 中的“语速”。
(e-4)语音语调
如果客户反馈“你能好好说话吗”“你态度能好点吗”不给分，否则给满分；
(e-5)表达流畅
对于长时间的空白，如果客户说：“等一下”，给分；如果客服说“稍等”，不给分；如果客户提出问题，空白了很长时间之后，客户问“听到吗”，客服回答“线路问题”“系统问题”“没有声音”，给分，如果客服只是回答问题而没有给出解释，不给分；假设在整段录音中，整段录音长度为i，允许出现“的话”的次数为ti，客服的话中出现“的话”的次数为x，x<＝ti,得满分；如果x>＝ti，0分，否则，给3分；
(e-6)倾听
客户说完话之后，不到一秒钟，客服说话，判断为打断，给0分，出现“你先听客服说完”，给0分，在客户连续说话五分钟以上，客服打断，给满分，如图2中，当发现打断次数过多，则扣掉该项分数，并且输出“打断次数过多”这一扣分理由。
(e-7)提问技巧
出现“你等一下”“听我说”“你说什么”给0分，否则给满分；
(e-8)引导能力：
与业务知识一起判断，如果业务知识中不能一次回答准确，扣掉引导能力的分数；
(e-9)后续跟进:
涉及到两通电话的问题，暂时在程序中不做判断，如果因为这种情况出现不合理扣分，由客服人员自己反馈，鉴定过后，可修改分数。
(e-10)短信发送:
由公司的技术人员发匹配的excel表格，其中包含是否正确发送了信息，由程序作出判断，加在总分中。
步骤(f)主要对需要知识库的评分细则进行评分。
步骤(f)包括以下步骤：
(f-1)积极回应：
根据积极回应知识库，对于知识库中的问题，如果客服的回答时长小于一秒，判断为不积极回应，给0分；
(f-2)业务知识：
根据业务知识知识库，如果客户提问了其中的问题，客服必须按照知识库中的正确答案进行回答，否则给0分；
(f-3)信息运用
如果客户提出了知识库中的问题，并且在客服的回答中找到了正确的答案给7分；如果客服没有一次性回答正确，导致客户重复问题，或者出现“我不是这个意思”“难道你没理解吗”出现上述情况，大于两次，给5分；如果答非所问，并且客户没有再次提问，给0分；
(f-4)确认：
根据确认知识库，如果客户没有提出明确的问题，客服需要根据业务知识进行确认，直到问题明确再进行回答，否则不给分；
(f-5)建议/解决方案：
根据知识库，如果客户提出的问题在“建议/解决方案”知识库中，则对比客服给出的答案是否包含知识库中该问题答案的所有关键词，若包含，则给满分，否则不给分。如图2，客户提出问题“京东”(京东为该问题的关键词，只要客户话语中包含该问题的关键词，就认为客户提出了该问题)，客服给出了相应答案，因此给满分；
步骤(g)主要计算总分。
步骤(g)包含以下步骤：
(g-1)根据如下公式将评分细则的评分结果相加：
该公式中F(x)表示总分，fi(x)表示每一个评分细则的得分，SR表示整个评分细则的集合。
Claims (8)
1.一种基于自然语言处理的客服质量自动评分方法，其特征在于，包括以下步骤：
(a)对采集到的客服录音进行转写，转写成文字；
(b)利用文本信息特征的统计规律和语法规律进行中文文本校对，利用人工校准结果统计形成的错词知识库，并对录音转写成的文字结果进行校准；
(c)使用基于规则的方法对步骤(a)中转写的文字结果进行分析；
(d)根据评分细则的具体要求，对评分细则进行分类；
(e)对于不涉及具体业务知识的评分细则，直接根据规则进行评分，得到FR；
(f)对于涉及具体业务知识的评分细则，收集知识库，每次对文本评分都需要与知识库中的信息进行比对，得到FK；
(g)计算步骤(e)和步骤(f)中评分的总和，得到最终结果。
2.根据权利要求1所述基于一种基于自然语言处理的客服质量自动评分方法，其特征在于，步骤(a)包括以下步骤：
(a-1)以放置语音文件的文件夹路径作为输入，读取该文件中所有需要被转写的语音文件；
利用TestLfasr类中的transform函数首先遍历文件夹中的文件，并且做判断，如果是符合mp3以及wav格式的文件，则进行转写，并输出，如果是其他文件格式，则跳过；接下来，对于文件夹中的子文件夹，递归调用transfrom函数，直到所有的音频文件都完成转写；
(a-2)转写结果的输出
从原语音文件的文件名中提取客服人员姓名、客户电话号码、通话时间、客服是否在通话后正确发送短信的信息，组成新的文件名，保存在同一文件夹下，以便文本分析使用转写结果按照json文件格式输出在一个txt文档中，每一句以字典的数据结构{speaker：“”，bg：“”，ed：“”，Onebest：“”}进行存储；其中speaker属性表示说话人，bg表示该句话开始的时间，ed表示该句话结束的时间；Onebest表示说话的内容；所有的dictionary以列表形式存储在文件里。
3.根据权利要求1所述基于一种基于自然语言处理的客服质量自动评分方法，其特征在于，步骤(b)包括以下步骤：
(b-1)首先根据语法规则，对于文本进行初步校准；
由于转写的文本可能存在错误转写的字词，所以寻找文本中句子的每个字词的可能候选，构造句子的字词候选矩阵；将需要校对的句子中的每个字Cz作为基字，以它的同音字集作为Cz的候选字集；从该候选集中依词频从高到低挑选出m个候选字，与基字Cz共同组成一列字词候选向量Zz；因此当句子S中的汉字个数为n时，句子S的字词候选向量构成了句子S的字词候选矩阵MATRIX(S)＝z1z2...zn()；在此基础上，利用语言本身所具有的语法规律及统计特征，从字词候选矩阵中选出句子的最佳字词候选序列将其与原句对照，找出错误的字词，并以第一候选即最有可能是正确字词的候选加以改正；同时给出其它可能的候选字词，此时得到初步校准之后的文本；
(b-2)收集正样本和负样本，也就是收集通过转写之后得到的文本，和人工校准之后的文本；
(b-2)对于样本进行分析，统计所有出现率高于设定值的错误词汇，形成错词知识库；
(b-3)从初步校准之后的文本中检索，查看是否存在错词知识库中的词语，如果存在，根据上下文分析该词语错误的概率；根据公式(1)计算错误概率；当错误概率超过预先设定的阈值时，表示需要修改该词语，否则不需要修改，
mistake＝(wf+wb+ww)/3 (1)
其中当该字词上文的字词为f时，wf＝1，否则wf＝0，该字词下文的字词为b时，wb＝1，否则wb＝0，ww为该字词本身为错误的概率。
4.根据权利要求1所述基于一种基于自然语言处理的客服质量自动评分方法，其特征在于，步骤(c)包括以下步骤：
(c-1)读取(a-2)中的转写结果；
(c-2)按照speaker进行分类；
首先根据是否有客服人员标志话语，对于speaker进行识别，转写结果中包含speaker1和speaker2，分别代表客服或者客户，要根据如下规则来判断具体哪一组是客服：
若speaker1的话语中出现“您好，团购网，请问有什么可以帮到您”那么speaker1为客服，speaker2为客户；若speaker2的话语中出现“您好，团购网，请问有什么可以帮到您”那么speaker2为客服，speaker1为客户；如果speaker1和speaker2的话语中都没有出现“您好，团购网，请问有什么可以帮到您”，则第一个说话人为客服，另外一个说话人为客户；
根据判断结果分类，将不同speaker话语存储在不同数组中，以便进行分析。
5.根据权利要求1所述基于一种基于自然语言处理的客服质量自动评分方法，其特征在于，步骤(d)包括以下步骤：
(d-1)根据具体的评分规则来进行分类，分类标准包含在(d-2)和(d-3)；
(d-2)对其中不需要知识库的评分细则有：首位用于规范、礼貌用语、语速、语音语调、表达流畅、倾听、提问技巧、引导能力、后续跟进、短信发送；
(d-3)需要知识库的评分细则有：积极回应、业务知识、信息运用、确认、同理心、问题澄清、无机械式回答、建议\解决方案、无推诿、合规性。
6.根据权利要求1所述基于自然语言处理的客服质量自动评分方法，其特征在于，步骤(e)包括以下细节：
(e-1)首尾用语规范
开头包含“您好”“团购网”“请问”“帮”，给一分，并判断该说话人，为客服；公司在文件名中给出标记，判断是否为客服挂断电话，如果是，同时结尾包含“请问”“还有什么问题”给一分，“评价”“生活愉快”“再见”，给一分，否则不给分；如果客服没有说“请问”“还有什么问题”，但是客户说了“没问题”“再见”“没事了”，给分；如果不是客服挂断电话，直接给两分；
(e-2)礼貌用语
在客服的话语中，“请”“您”“麻烦”出现的次数小于等于三次，不给分；出现不礼貌的话语，例如脏话等，不给分，否则给满分；
(e-3)语速
如果客户反馈“你说的太快了”“说慢点”大于两次，不给分；否则给满分；
(e-4)语音语调
如果客户反馈“你能好好说话吗”、“你态度能好点吗”不给分，否则给满分；
(e-5)表达流畅
对于长时间的空白，如果客户说：“等一下”，给分；如果客服说“稍等”，不给分；如果客户提出问题，空白了很长时间之后，客户问“听到吗”，客服回答“线路问题”“系统问题”“没有声音”，给分，如果客服只是回答问题而没有给出解释，不给分；假设在整段录音中，整段录音长度为i，允许出现“的话”的次数为ti，客服的话中出现“的话”的次数为x，x<＝ti,得满分；如果x>＝ti，0分，否则，给3分；
(e-6)倾听
客户说完话之后，不到一秒钟，客服说话，判断为打断，给0分，出现“你先听客服说完”，给0分，在客户连续说话五分钟以上，客服打断，给满分；
(e-7)提问技巧
出现“你等一下”“听我说”“你说什么”给0分，否则给满分；
(e-8)引导能力：
与业务知识一起判断，如果业务知识中不能一次回答准确，扣掉引导能力的分数；(e-9)后续跟进:
涉及到两通电话的问题，暂时在程序中不做判断，如果因为这种情况出现不合理扣分，由客服人员自己反馈，鉴定过后，可修改分数；
(e-10)短信发送:
由公司的技术人员发匹配的excel表格，其中包含是否正确发送了信息，由程序作出判断，加在总分中。
7.根据权利要求1所述基于自然语言处理的客服质量自动评分方法，其特征在于，步骤(f)包括以下步骤：
(f-1)积极回应：
根据积极回应知识库，对于知识库中的问题，如果客服的回答时长小于一秒，判断为不积极回应，给0分；
(f-2)业务知识：
根据业务知识知识库，如果客户提问了其中的问题，客服必须按照知识库中的正确答案进行回答，否则给0分；
(f-3)信息运用
如果客户提出了知识库中的问题，并且在客服的回答中找到了正确的答案给7分；如果客服没有一次性回答正确，导致客户重复问题，或者出现“我不是这个意思”“难道你没理解吗”出现上述情况，大于两次，给5分；如果答非所问，并且客户没有再次提问，给0分；
(f-4)确认：
根据确认知识库，如果客户没有提出明确的问题，客服需要根据业务知识进行确认，直到问题明确再进行回答，否则不给分。
8.根据权利要求1所述的基于自然语言处理的客服质量自动评分方法，其特征在于，步骤g包含以下步骤：
(g-1)根据如下公式将评分细则的评分结果相加：
该公式中F(x)表示总分，fi(x)表示每一个评分细则的得分，SR表示整个评分细则的集合。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811370269 | 2018-11-17 | ||
| CN2018113702693 | 2018-11-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110135879A true CN110135879A (zh) | 2019-08-16 |
| CN110135879B CN110135879B (zh) | 2024-01-16 |
Family
ID=67568197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811411593.5A Active CN110135879B (zh) | 2018-11-17 | 2018-11-25 | 基于自然语言处理的客服质量自动评分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135879B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852119A (zh) * | 2019-11-11 | 2020-02-28 | 广州点动信息科技股份有限公司 | 一种电子商务自动客服系统 |
| CN111461543A (zh) * | 2020-03-31 | 2020-07-28 | 广东奥园奥买家电子商务有限公司 | 一种基于电商平台的客服服务质量评价方法和系统 |
| CN111582708A (zh) * | 2020-04-30 | 2020-08-25 | 北京声智科技有限公司 | 医疗信息的检测方法、系统、电子设备及计算机可读存储介质 |
| CN111754980A (zh) * | 2020-05-21 | 2020-10-09 | 华南理工大学 | 一种基于语义识别的智能评分方法、装置及存储介质 |
| CN112733674A (zh) * | 2020-12-31 | 2021-04-30 | 北京华图宏阳网络科技有限公司 | 一种公务员申论考试应用文智能批改方法及系统 |
| CN112767940A (zh) * | 2020-12-22 | 2021-05-07 | 泰康保险集团股份有限公司 | 一种语音培训识别方法、系统、设备及存储介质 |
| CN113361969A (zh) * | 2021-07-07 | 2021-09-07 | 北京容联七陌科技有限公司 | 一种灵活可配置模板的智能质检系统 |
| CN117079640A (zh) * | 2023-10-12 | 2023-11-17 | 深圳依时货拉拉科技有限公司 | 语音监测方法、装置、计算机设备及计算机可读存储介质 |
| US11861540B2 (en) | 2020-02-17 | 2024-01-02 | Allstate Insurance Company | Natural language processing platform for automated training and performance evaluation |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120130771A1 (en) * | 2010-11-18 | 2012-05-24 | Kannan Pallipuram V | Chat Categorization and Agent Performance Modeling |
| CN103811009A (zh) * | 2014-03-13 | 2014-05-21 | 华东理工大学 | 一种基于语音分析的智能电话客服系统 |
| CN105184315A (zh) * | 2015-08-26 | 2015-12-23 | 北京中电普华信息技术有限公司 | 一种质检处理方法及系统 |
| CN105279149A (zh) * | 2015-10-21 | 2016-01-27 | 上海应用技术学院 | 一种中文文本自动校正方法 |
| CN105302795A (zh) * | 2015-11-11 | 2016-02-03 | 河海大学 | 基于汉语模糊发音和语音识别的中文文本校验系统及方法 |
| CN106357942A (zh) * | 2016-10-26 | 2017-01-25 | 广州佰聆数据股份有限公司 | 基于上下文对话语义识别的智能应答方法及系统 |
| WO2017061753A1 (ko) * | 2015-10-05 | 2017-04-13 | 주식회사 이르테크 | 텍스트 시각화와 학습자 말뭉치를 이용한 언어학습 시스템 |
| CN107154257A (zh) * | 2017-04-18 | 2017-09-12 | 苏州工业职业技术学院 | 基于客户语音情感的客服服务质量评价方法及系统 |
| CN107305768A (zh) * | 2016-04-20 | 2017-10-31 | 上海交通大学 | 语音交互中的易错字校准方法 |
| CN107832294A (zh) * | 2017-11-06 | 2018-03-23 | 广州杰赛科技股份有限公司 | 客服质量评价方法和装置 |
-
2018
- 2018-11-25 CN CN201811411593.5A patent/CN110135879B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120130771A1 (en) * | 2010-11-18 | 2012-05-24 | Kannan Pallipuram V | Chat Categorization and Agent Performance Modeling |
| CN103811009A (zh) * | 2014-03-13 | 2014-05-21 | 华东理工大学 | 一种基于语音分析的智能电话客服系统 |
| CN105184315A (zh) * | 2015-08-26 | 2015-12-23 | 北京中电普华信息技术有限公司 | 一种质检处理方法及系统 |
| WO2017061753A1 (ko) * | 2015-10-05 | 2017-04-13 | 주식회사 이르테크 | 텍스트 시각화와 학습자 말뭉치를 이용한 언어학습 시스템 |
| CN105279149A (zh) * | 2015-10-21 | 2016-01-27 | 上海应用技术学院 | 一种中文文本自动校正方法 |
| CN105302795A (zh) * | 2015-11-11 | 2016-02-03 | 河海大学 | 基于汉语模糊发音和语音识别的中文文本校验系统及方法 |
| CN107305768A (zh) * | 2016-04-20 | 2017-10-31 | 上海交通大学 | 语音交互中的易错字校准方法 |
| CN106357942A (zh) * | 2016-10-26 | 2017-01-25 | 广州佰聆数据股份有限公司 | 基于上下文对话语义识别的智能应答方法及系统 |
| CN107154257A (zh) * | 2017-04-18 | 2017-09-12 | 苏州工业职业技术学院 | 基于客户语音情感的客服服务质量评价方法及系统 |
| CN107832294A (zh) * | 2017-11-06 | 2018-03-23 | 广州杰赛科技股份有限公司 | 客服质量评价方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 何薇;张剑;于雪霞;吴佐平;张小华;陈晨;: "基于文本挖掘的电网客户服务满意度评价模型", 电子世界, no. 07, pages 83 - 85 * |
| 黄翊;: "基于智能语音分析的客服智慧运营管理系统解决方案", 科技传播, no. 03, pages 137 - 139 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852119A (zh) * | 2019-11-11 | 2020-02-28 | 广州点动信息科技股份有限公司 | 一种电子商务自动客服系统 |
| US11861540B2 (en) | 2020-02-17 | 2024-01-02 | Allstate Insurance Company | Natural language processing platform for automated training and performance evaluation |
| CN111461543A (zh) * | 2020-03-31 | 2020-07-28 | 广东奥园奥买家电子商务有限公司 | 一种基于电商平台的客服服务质量评价方法和系统 |
| CN111582708A (zh) * | 2020-04-30 | 2020-08-25 | 北京声智科技有限公司 | 医疗信息的检测方法、系统、电子设备及计算机可读存储介质 |
| CN111754980A (zh) * | 2020-05-21 | 2020-10-09 | 华南理工大学 | 一种基于语义识别的智能评分方法、装置及存储介质 |
| CN112767940A (zh) * | 2020-12-22 | 2021-05-07 | 泰康保险集团股份有限公司 | 一种语音培训识别方法、系统、设备及存储介质 |
| CN112767940B (zh) * | 2020-12-22 | 2023-05-16 | 泰康保险集团股份有限公司 | 一种语音培训识别方法、系统、设备及存储介质 |
| CN112733674A (zh) * | 2020-12-31 | 2021-04-30 | 北京华图宏阳网络科技有限公司 | 一种公务员申论考试应用文智能批改方法及系统 |
| CN113361969A (zh) * | 2021-07-07 | 2021-09-07 | 北京容联七陌科技有限公司 | 一种灵活可配置模板的智能质检系统 |
| CN113361969B (zh) * | 2021-07-07 | 2022-03-08 | 北京容联七陌科技有限公司 | 一种灵活可配置模板的智能质检系统 |
| CN117079640A (zh) * | 2023-10-12 | 2023-11-17 | 深圳依时货拉拉科技有限公司 | 语音监测方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110135879B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135879A (zh) | 基于自然语言处理的客服质量自动评分方法 | |
| Schuller et al. | The INTERSPEECH 2021 computational paralinguistics challenge: COVID-19 cough, COVID-19 speech, escalation & primates | |
| CN109767791B (zh) | 一种针对呼叫中心通话的语音情绪识别及应用系统 | |
| US11037553B2 (en) | Learning-type interactive device | |
| CN1157710C (zh) | 会话数据开采 | |
| US8676586B2 (en) | Method and apparatus for interaction or discourse analytics | |
| US7725318B2 (en) | System and method for improving the accuracy of audio searching | |
| Mariooryad et al. | Building a naturalistic emotional speech corpus by retrieving expressive behaviors from existing speech corpora | |
| US20100104087A1 (en) | System and Method for Automatically Generating Adaptive Interaction Logs from Customer Interaction Text | |
| CN113297365B (zh) | 一种用户意向判定方法、装置、设备及存储介质 | |
| JP6208794B2 (ja) | 会話分析装置、方法及びコンピュータプログラム | |
| CN107240394A (zh) | 一种动态自适应语音分析技术以用于人机口语考试的方法及系统 | |
| CN113626573A (zh) | 一种销售会话异议及应对提取方法及系统 | |
| CN110059161A (zh) | 一种基于文本分类技术的电话语音机器人系统 | |
| Wagner et al. | Applying cooperative machine learning to speed up the annotation of social signals in large multi-modal corpora | |
| CN111010484A (zh) | 一种通话录音自动质检方法 | |
| CN113505606B (zh) | 一种培训信息获取方法、装置、电子设备及存储介质 | |
| CN110675292A (zh) | 一种基于人工智能的儿童语言能力评测方法 | |
| Cao et al. | Combining ranking and classification to improve emotion recognition in spontaneous speech | |
| CN116911869A (zh) | 一种基于人工智能的智能客服系统及其方法 | |
| KR102407055B1 (ko) | 음성인식 후 자연어 처리를 통한 대화 품질지수 측정장치 및 그 방법 | |
| WO2020144636A1 (en) | Artificial intelligence system for business processes | |
| US11763242B2 (en) | Automatic evaluation of recorded interactions | |
| Saito12 et al. | VocalTurk: Exploring feasibility of crowdsourced speaker identification | |
| CN112767940B (zh) | 一种语音培训识别方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |