CN115759882A - 一种计算人工客服问题解决率的方法及系统 - Google Patents
一种计算人工客服问题解决率的方法及系统 Download PDFInfo
- Publication number
- CN115759882A CN115759882A CN202310006839.5A CN202310006839A CN115759882A CN 115759882 A CN115759882 A CN 115759882A CN 202310006839 A CN202310006839 A CN 202310006839A CN 115759882 A CN115759882 A CN 115759882A
- Authority
- CN
- China
- Prior art keywords
- question
- sentences
- customer service
- answer
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012163 sequencing technique Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000001303 quality assessment method Methods 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种计算人工客服问题解决率的方法及系统，属于人工客服服务质量评估技术领域，该方法包括：将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句；将所述问题语句以及客服答复语句进行配对，组成问答语句；判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题；将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。本发明对用户语句进行筛选，只提取其中需要回答的问题语句，将关注度从用户语句中的杂讯转移开，只对明确的问题语句做解决与否的判断。使得模型本身的判断能力也会有所增强，结果的噪音变小，随机性减弱。使得对人工客户用户满意度的评估更加客观。
Description
技术领域
本发明属于人工客服服务质量评估技术领域，尤其涉及一种在问题答复过程中，客服问题解决率的计算方法及系统。
背景技术
随着AI技术的不断发展，对客服行业已有明显的提升，智能客服已经在很多场景下应用起来，在自动问答技术的支持下，经过对海量会话的学习，可以达到自动问答的水平。通过机器自动回答问题，减少人工客服的压力，缩短相应时间，提升用户体验。但在一些应用场景中，出于对场景的复杂性和重要性的考虑，智能客服并不能完全的替代人工，在这些场景下，AI只能提升一些辅助功能，比如答案提示，而实际的回答还是要依靠人工客服。
然而现有对人工客服的评估的方法一直都不太智能化，通常需要根据对买家进行满意度调研来得到客服的服务质量评估，这种方式得到的服务质量评估一来是基于买家的主观感受，准确性无法得到保证；二来调研的方式效率不高，互动的方式需要买家配合，整体数据量较小，偶然性大。
发明内容
有鉴于此，本发明提供一种计算人工客服问题解决率的方法和系统，通过分析人工客户与用户的对话，提取对话中用户提出的需要解决的问题，通过判断人工客户对用户问题的解决程度，从而计算出问题解决率，用于对人工客服的服务质量进行评估。
为解决以上技术问题，本发明的技术方案为采用一种计算人工客服问题解决率的方法，包括：
将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句；
将所述问题语句以及客服答复语句进行配对，组成问答语句；
判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题；
将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。
作为一种改进，提取需要解决的问题语句的方法包括：
判断用户语句是否语义明确；
若语义明确则判断该用户语句中是否包含疑问；
若包含疑问则判断该用户语句是否需要回答；
若需要回答则标记为需要解决的问题语句。
作为一种进一步的改进，将某条需要解决的问题语句后M分钟内的N句客服答复语句作为配对范围进行问题语句和答复语句的配对。
作为另一种更进一步的改进，所述判断客服答复语句是否解决了用户问题语句中的问题的方法包括：
对配对的问答进行分类，包括未解决、部分解决、完全解决；
将分类为完全解决的问题语句记作已解决的问题语句。
作为一种改进，对于未解决的问答语句，提取其所在的对话信息中前后L分钟内的H条用于供分析。
本发明还提供一种计算人工客服问题解决率的系统，包括：
问题语句提取模块，用于将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句；
语句配对模块，用于将所述问题语句以及客服答复语句进行配对，组成问答语句；
判断模块，用于判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题；
计算模块，用于将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。
作为一种改进，所述问题语句提取模块包括：
语义判断模块，用于判断用户语句是否语义明确；
疑问判断模块，用于判断该用户语句中是否包含疑问；
答复需求判断模块，用于判断该用户语句是否需要回答；
标记模块，用于将需要回答的语句标记为需要解决的问题语句。
作为一种改进， 所述判断模块包括：
分类模块，用于对配对的问答语句进行分类，包括未解决、部分解决、完全解决；
标记模块，用于将分类为完全解决的问题语句记作已解决的问题语句。
本发明还提供一种计算机系统，包括处理器、存储器；所述处理器在执行存储器中存储的计算机程序时，能实现上述计算人工客服问题解决率的方法。
本发明的有益之处在于：
本发明对用户语句进行筛选，只提取其中需要回答的问题语句，将关注度从用户语句中的杂讯转移开，只对明确的问题语句做解决与否的判断。在这部分语句上，大众认知更一致，普适性更能被大众接受。同时，模型本身的判断能力也会有所增强，结果的噪音变小，随机性减弱。使得对人工客户用户满意度的评估更加客观。
附图说明
图1为本发明的流程图。
图2为提取需要解决的问题语句的流程图。
图3为本发明的结构原理图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
现有的问答匹配模型只对一些问题明确的问题进行判断。如果直接作用到客服会话上，会因为很多用户语句并没有实际问题或者有问题并没有标准答案，导致模型本身判断能力减弱，同时得到的结论置信度也不高。
为了对人工客户问题解决率进行较为精确的计算用以对其用户满意度进行评估，如图1所示，本发明提供一种计算人工客服问题解决率的方法，包括以下步骤：
S1将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句。
具体地，提取用户提出的需要解决的问题语句的方法如图2所示，包括：
S11判断用户语句是否语义明确。
一些用户语句不可理解，语句不通顺，读不通，没意义，可能是错别字的原因，此类语句应当舍去。
S12若语义明确则判断该用户语句中是否包含疑问。
而一些语句尽管语义可以理解，但并不包含疑问，只是一般的陈述句，对于此类语句，人工客服没有同一回复模式，因此同样应当舍去，如“发货太慢了”、“嗯，就是这个地址”、“身高165体重155”等。
有些语句似乎包含疑问，但此类疑问只需简单统一的正面回答即可，但实际解决了问题与否不确定，如“帮我查下物流”、“给我退货”、“发我看看”等。也要在此步骤中被筛出。
S13若包含疑问则判断该用户语句是否需要回答。
在包含疑问的语句中，有些疑问是无需回答或者说是无法回答的，包括缺少关键信息，如“为什么”、“怎么办”、“问一下”等，还有些字词的多义性或错别字，如“这么贵哈”、“这个是电池的嘛”、“那个好”等，也需要舍去。
另外，带有情绪的问句（反问），虽然形式上是疑问，但实际上并不需要做对应的回答，这类语句同样需要舍去，比如“都催几次了”、“我怎么知道”、“你们客服就不能看看消息吗”、“都3天了，非要等到5天吗”等，同样需要舍去。
S14若需要回答则标记为需要解决的问题语句。
经过上述步骤的筛选，剩余的都是客户提出的需要解决的问题语句，如“请问什么时候发货”、“请问这两款有什么区别”、“身高165体重155穿哪个号”等。
本实施例中，通过人工智能分类模型来实现自动提取用户提出的需要解决的问题语句。只需要标注出需要解决的问题语句然后进行统计即可。
S2将所述问题语句以及客服答复语句进行配对，组成问答语句。
为了减少系统开销以及配对的准确性，需要划定配对的范围，即将某条需要解决的问题语句后M分钟内的N句客服答复语句作为配对范围进行问题语句和答复语句的配对。本实施例中，考察用户问题语句提出后5分钟内的最近的10条人工客服的答复作为匹配范围。
同样，本实施例中，通过现有的问答语句匹配模型进行配对。配对后获得的问答语句形式如下：Q$$$A，其中Q为问题语句、A为答复语句、$$$为连接符。
同一个问题语句有可能匹配多个答复语句。
S3判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题，具体包括：
S31对配对的问答语句进行分类，包括未解决、部分解决、完全解决。
对于同一个问题，存在不同程度上的回答。不同的行业，店铺，对于问题有没有解决也有不同的标准，需要制定一套普适性较强的规则。
比如问题“什么时候发货”，有的回答A“我们会尽快发货的”，有的回答B“一般下单后7天内发货”，或者直接回答C“明天就能发货”，三句回答都能对应上这个问题，但实际上A句只是做了一个应答，在买家看来并没有获取到任何的知识量，B句更明确一些，但随下单的前提有所变化，而在对话中这个前提可能通过上下文已经知晓了，就会显得B不够直接，而C就直接给出最简明的回答。从单句看，C优于B优于A
但如果我们按照单个问法来制定规则，问法很多，非常复杂，因此需要统一一下回答的分类，我们按解决的程度分为3个等级。
第一类未解决。人工客服的回答完全没回答到问题的方向上，或者就是没有信息量的应付一下，如：
1、你们从哪里发货呢$$$这边帮您看下呢；
2、包安装吗$$$开孔多少；
3、我提交了退货申请，怎么没有地址发给我，$$$您好亲亲，在的呢~；
第二类部分解决。人工客服虽然回答了买家问题，但并没有完全解决，如：
1、问题方向正确，但没有直面问题，“167男孩骑，选哪个尺寸$$$您可以参考下上图的尺寸图哦~，尺寸选对了，骑着腿部会比较顺畅，长途骑行也不会有疲惫哦”；
2、通过提问明确需求，“168穿的会短吗$$$$小仙女，身高168厘米，请问体重是多少”；
3、没有直接回答问题，但回答的东西可以推测出问题答案，如“今天可以发货吗$$$ 亲亲，您的订单仓库已在加急安排中噢，亲亲记得关注下订单状态噢！”
第三类完全解决，如：
1、材质是什么，是塑胶的吗$$$采用进口的pc材质呢亲亲；
2、那个线是给耳机仓充电的，$$$是的哦亲亲；
3、20包和30包一样价格，有什么区别吗$$$数量尺寸不一样呢。
S32将分类为完全解决的问题语句记作已解决的问题语句。
由于本发明的目的在于计算人工客服的问题解决率，因此部分解决的问题只能记作应答，不算解决。因此只需要将完全解决的问题语句进行标记并统计即可。
本实施例中，同样采用人工智能分类模型进行分类并标记。
S4将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。
在统计完已解决的问题语句数量后，将其除以总的需要解决的问题语句数量就能获得人工客服的问题解决率。此方法不仅适用于单个人工客服，也可以对客服团体进行评价。
另外，对于步骤S3中分类出来的未解决的问题，提取其所在的对话信息中前后L分钟内的H条用于供分析。客服培训师或者客服自己可以根据之前的行为，做原因分析，方案讨论等措施，进一步的形成工作经验，提升服务质量。
如图3所示，本发明还提供一种计算人工客服问题解决率的系统，包括：
问题语句提取模块，用于将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句；
语句配对模块，用于将所述问题语句以及客服答复语句进行配对，组成问答语句；
判断模块，用于判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题；
计算模块，用于将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。
所述问题语句提取模块具有又包括：
语义判断模块，用于判断用户语句是否语义明确；
疑问判断模块，用于判断该用户语句中是否包含疑问；
答复需求判断模块，用于判断该用户语句是否需要回答；
标记模块，用于将需要回答的语句标记为需要解决的问题语句。
所述判断模块具体又包括：
分类模块，用于对配对的问答语句进行分类，包括未解决、部分解决、完全解决；
标记模块，用于将分类为完全解决的问题语句记作已解决的问题语句。
另外，本发明还提供种计算机系统，包括处理器、存储器；所述处理器在执行存储器中存储的计算机程序时，能实现上述计算人工客服问题解决率的方法。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种计算人工客服问题解决率的方法，其特征在于，包括：
将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句；
将所述问题语句以及客服答复语句进行配对，组成问答语句；
判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题；
将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。
2.根据权利要求1所述的一种计算人工客服问题解决率的方法，其特征在于，提取需要解决的问题语句的方法包括：
判断用户语句是否语义明确；
若语义明确则判断该用户语句中是否包含疑问；
若包含疑问则判断该用户语句是否需要回答；
若需要回答则标记为需要解决的问题语句。
3.根据权利要求1所述的一种计算人工客服问题解决率的方法，其特征在于，将某条需要解决的问题语句后M分钟内的N句客服答复语句作为配对范围进行问题语句和答复语句的配对。
4.根据权利要求1所述的一种计算人工客服问题解决率的方法，其特征在于，判断客服答复语句是否解决了用户问题语句中的问题的方法包括：
对配对的问答语句进行分类，包括未解决、部分解决、完全解决；
将分类为完全解决的问题语句记作已解决的问题语句。
5.根据权利要求4所述的一种计算人工客服问题解决率的方法，其特征在于，对于未解决的问答语句，提取其所在的对话信息中前后L分钟内的H条用于供分析。
6.一种计算人工客服问题解决率的系统，其特征在于，包括：
问题语句提取模块，用于将客服与用户的对话信息按时间进行排序，并提取其中用户提出的需要解决的问题语句；
语句配对模块，用于将所述问题语句以及客服答复语句进行配对，组成问答语句；
判断模块，用于判断问答语句中客服答复语句是否已经解决了用户问题语句中的问题；
计算模块，用于将已解决的问答语句数量除以总的需要解决的问题语句数量获得问题解决率。
7.根据权利要求6 所述的一种计算人工客服问题解决率的系统，其特征在于，所述问题语句提取模块包括：
语义判断模块，用于判断用户语句是否语义明确；
疑问判断模块，用于判断该用户语句中是否包含疑问；
答复需求判断模块，用于判断该用户语句是否需要回答；
标记模块，用于将需要回答的语句标记为需要解决的问题语句。
8.根据权利要求6所述的一种计算人工客服问题解决率的系统，其特征在于，所述判断模块包括：
分类模块，用于对配对的问答语句进行分类，包括未解决、部分解决、完全解决；
标记模块，用于将分类为完全解决的问题语句记作已解决的问题语句。
9.一种计算机系统，包括处理器、存储器；其特征在于，所述处理器在执行存储器中存储的计算机程序时，能实现权利要求1~5中任意一项所述的计算人工客服问题解决率的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006839.5A CN115759882A (zh) | 2023-01-04 | 2023-01-04 | 一种计算人工客服问题解决率的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006839.5A CN115759882A (zh) | 2023-01-04 | 2023-01-04 | 一种计算人工客服问题解决率的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115759882A true CN115759882A (zh) | 2023-03-07 |
Family
ID=85348484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310006839.5A Pending CN115759882A (zh) | 2023-01-04 | 2023-01-04 | 一种计算人工客服问题解决率的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115759882A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220353A (zh) * | 2017-06-01 | 2017-09-29 | 深圳追科技有限公司 | 一种智能客服机器人满意度自动评价方法及系统 |
| CN111311286A (zh) * | 2020-02-27 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 一种智能客服数据处理方法、装置及计算设备、存储介质 |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN113051526A (zh) * | 2019-12-27 | 2021-06-29 | 北京国双科技有限公司 | 一种量化评估方法及装置 |
| CN114328908A (zh) * | 2021-11-08 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种问答语句质检方法、装置及相关产品 |
-
2023
- 2023-01-04 CN CN202310006839.5A patent/CN115759882A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220353A (zh) * | 2017-06-01 | 2017-09-29 | 深圳追科技有限公司 | 一种智能客服机器人满意度自动评价方法及系统 |
| CN113051526A (zh) * | 2019-12-27 | 2021-06-29 | 北京国双科技有限公司 | 一种量化评估方法及装置 |
| CN111311286A (zh) * | 2020-02-27 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 一种智能客服数据处理方法、装置及计算设备、存储介质 |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN114328908A (zh) * | 2021-11-08 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种问答语句质检方法、装置及相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657038A (zh) | 一种问答对数据的挖掘方法、装置及电子设备 | |
| CN110263155B (zh) | 数据分类方法、数据分类模型的训练方法及系统 | |
| CN107895230A (zh) | 客服质量评价方法和装置 | |
| CN112199474B (zh) | 一种语音客服服务方法及系统 | |
| CN116663530B (zh) | 数据生成方法、装置、电子设备及存储介质 | |
| CN112101231A (zh) | 学习行为的监控方法、终端、小程序以及服务器 | |
| CN111510659A (zh) | 在线交互方法、装置、存储介质及电子设备 | |
| CN105101124A (zh) | 标注短信类别的方法及装置 | |
| CN110047473B (zh) | 一种人机协作交互方法及系统 | |
| CN109409759B (zh) | 一种基于煤矿安全培训游戏的数据挖掘系统及方法 | |
| CN114691903A (zh) | 一种智能课程测试方法及系统、电子设备、存储介质 | |
| CN115050457A (zh) | 在线问诊服务质量的评估方法、装置、设备、介质及产品 | |
| CN110633072A (zh) | 一种可供自动批改的编程训练题目构造方法及装置 | |
| CN110516049A (zh) | 服务生成方法、服务生成装置、计算机设备及计算机可读存储介质 | |
| CN113408880A (zh) | 试卷生成方法、装置以及智能考试系统 | |
| CN113918529A (zh) | 基于小程序的问卷调查方法、装置及存储介质 | |
| CN118036724A (zh) | 一种政务服务智能客服系统及其服务方法 | |
| CN115759882A (zh) | 一种计算人工客服问题解决率的方法及系统 | |
| CN112487817A (zh) | 命名实体识别模型训练方法、样本标注方法、装置及设备 | |
| CN116030788B (zh) | 一种智能语音交互方法及装置 | |
| CN116738293A (zh) | 一种业务评价处理方法、装置及电子设备 | |
| CN107784080B (zh) | 自动建立用户知识框架的方法、装置、系统及存储介质 | |
| CN111061852A (zh) | 数据处理方法、装置及系统 | |
| CN110796364A (zh) | 在线课堂的质检方法、装置、电子设备及存储介质 | |
| CN112990030B (zh) | 一种基于表情图像的学生情绪分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230307 |
|
| RJ01 | Rejection of invention patent application after publication |