CN107220353B - 一种智能客服机器人满意度自动评价方法及系统 - Google Patents

一种智能客服机器人满意度自动评价方法及系统 Download PDF

Info

Publication number
CN107220353B
CN107220353B CN201710402608.0A CN201710402608A CN107220353B CN 107220353 B CN107220353 B CN 107220353B CN 201710402608 A CN201710402608 A CN 201710402608A CN 107220353 B CN107220353 B CN 107220353B
Authority
CN
China
Prior art keywords
satisfaction
customer service
service robot
user
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710402608.0A
Other languages
English (en)
Other versions
CN107220353A (zh
Inventor
徐易楠
杨振宇
刘云峰
吴悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chase Technology Co Ltd
Original Assignee
Shenzhen Chase Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chase Technology Co Ltd filed Critical Shenzhen Chase Technology Co Ltd
Priority to CN201710402608.0A priority Critical patent/CN107220353B/zh
Publication of CN107220353A publication Critical patent/CN107220353A/zh
Application granted granted Critical
Publication of CN107220353B publication Critical patent/CN107220353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种智能客服机器人满意度自动评价方法及系统，评价方法包括：根据用户消息和客服机器人回复得到相关度分值；根据相关度分值以及客服机器人回复是否解决用户消息，计算得到相关度修正系数；根据用户消息和客服机器人回复得到理论满意度值；根据相关度修正系数以及用户与客服机器人的交互轮数，计算得到满意度修正系数；根据理论满意度值和满意度修正系数，计算得到实际满意度值；根据实际满意度值以及用户与客服机器人的交互轮数，计算得到最终满意度值。本发明能够减少满意度评价对于人工干预的依赖；引入客观评价指标对客服机器人进行客观公正评价，防止主观因素对客服机器人的性能产生影响；提升用户对于客服机器人的使用体验。

Description

一种智能客服机器人满意度自动评价方法及系统
技术领域
本发明属于计算机技术领域，具体涉及一种智能客服机器人满意度自动评价方法及系统。
背景技术
客服是企业获得用户反馈意见、解决用户产品疑问的一个主要途径。传统的客服业务主要由专业的人工客服人员来处理，使得企业在客服方面的投入会随着客服业务量的增加而高速增长，成为不可忽视的支出。针对这一问题，目前比较先进的方案是引入智能客服机器人。其做法首先是对用户高频、意图明确的热门问题进行分析，抽象成若干类标准问句(Frequently Asked Questions，简称FAQ)，对每一个FAQ由专业的业务人员配置好标准答案，然后针对未来用户的问题，采用技术手段分析该问题是否规约到任何一个已有FAQ，如果是则将预先配置好的答案返回给用户，实现高效地解决用户疑问的效果。客服机器人的引入可以显著降低人工客服量，节约大量客服成本。
客服机器人应用在客服工作中确实有着显而易见的优势：一是能够提高用户感知，为企业在线客服、新媒体客服等提供统一智能的自助服务支撑，降低用户消息得到解决的难度和复杂度；二是能够提升服务效率，缩短咨询处理时限，分流传统人工客服压力，节省服务成本；三是能够快速收集用户诉求和行为数据，支撑产品迭代优化。虽然客服机器人有着以上种种优势，但是并不是所有的智能机器人都适合做智能客服，而且需要用客观的、可以量化的指标来衡量智能客服机器人。目前智能客服行业已有一套评价体系，涉及的关键指标主要有：问题预判准确率、问题识别率、24H未转人工率、客户满意度等。智能客服机器人的主要职责是为客户提供专业的解决问题的服务，其关注的焦点是聚焦在业务范围内，有多大的解决问题的能力。所以，对智能客服机器人应该是评价其处理问题的能力。
对于一个线上的智能客服机器人，现有的技术指标中只有问题预判准确率和24小时未转人工率能够对线上客服机器人进行实时评价，问题识别准确率需要大量人工对其结果进行评价，不能对其进行自动评价。对于客户满意度，在服务完成后，多数用户不乐于进行服务评分。外呼的调查方式优点固然很好，能够对智能客服机器人进行一个完整的评价，但是其也存在以下缺点：一是需要很多人力进行调查，二是这种评价不一定适合客服机器人，这种评价方式略显主观，对智能客服机器人来说，应以是否专业地解决客户问题为评价基准。
发明内容
为了解决现有技术存在的上述问题，本发明提供了一种智能客服机器人满意度自动评价方法及系统。
为实现上述目的，本发明采取以下技术方案：一种智能客服机器人满意度自动评价方法包括以下步骤：
根据用户消息和客服机器人回复得到相关度分值；
根据相关度分值以及客服机器人回复是否解决用户消息，计算得到相关度修正系数；
根据用户消息和客服机器人回复得到理论满意度值；
根据相关度修正系数以及用户与客服机器人的交互轮数，计算得到满意度修正系数；
根据理论满意度值和满意度修正系数，计算得到实际满意度值；
根据实际满意度值以及用户与客服机器人的交互轮数，计算得到最终满意度值。
进一步地，所述根据用户消息和客服机器人回复得到相关度分值的具体过程为：
收集用户消息、客服机器人回复以及人工标注的用户消息与客服机器人回复的相关度，并将其作为输入，将相关度得分作为输出，采用机器学习算法或搜索算法对相关度模型进行训练，得到相关度打分模型；
将新输入的用户消息和客服机器人回复输入相关度打分模型中，得到相关度分值。
进一步地，所述根据用户消息和客服机器人回复得到理论满意度值的具体过程为：
采用收集的用户消息、客服机器人回复以及人工标注的用户对客服机器人回复的满意度数据对满意度模型进行训练，得到理论满意度打分模型；
将新输入的用户消息和客服机器人回复输入理论满意度打分模型中，得到理论满意度值。
进一步地，所述根据相关度修正系数以及用户与客服机器人的交互轮数计算得到满意度修正系数的步骤采用指数递减算法得到满意度修正系数，其具体过程为：
用户与客服机器人第i次交互的满意度修正系数αi：
αi＝βi*e-(i-1)/T；
式中，T表示一个对话轮数控制系数，βi表示用户与客服机器人第i次交互的相关度修正系数。
进一步地，所述根据相关度修正系数以及用户与客服机器人的交互轮数计算得到满意度修正系数的步骤采用线性算法得到满意度修正系数，其具体过程为：
用户与客服机器人第i次交互的满意度修正系数αi：
αi＝1-k(i-1)；
式中，如果αi<0，则取αi＝0；k表示线性系数，k取小于1的数。
进一步地，所述根据理论满意度值和满意度修正系数计算得到实际满意度值的具体过程为：
用户与客服机器人第i次交互的实际满意度Si r为：
Si r＝αi*Si；
式中，Si为用户与客服机器人第i次交互的理论满意度值。
进一步地，所述根据实际满意度值以及用户与客服机器人的交互轮数计算得到最终满意度值的步骤采用加权平均得到最终满意度值的过程为：
用户与客服机器人交互n轮后，最终满意度值
Figure BDA0001310027680000045
为：
Figure BDA0001310027680000041
其中，
Figure BDA0001310027680000042
式中，γi为每轮对话对应的权重。
进一步地，所述根据实际满意度值以及用户与客服机器人的交互轮数计算得到最终满意度值的步骤采用几何平均得到最终满意度值的过程为：
用户与客服机器人交互n轮后，最终满意度值
Figure BDA0001310027680000044
为：
Figure BDA0001310027680000043
一种智能客服机器人满意度自动评价系统包括相关度分值获取模块、相关度修正系数计算模块、理论满意度值获取模块、满意度修正系数计算模块、实际满意度值计算模块、最终满意度值计算模块；所述相关度分值获取模块用于获取用户消息与客服机器人回复的相关度分值，所述相关度修正系数计算模块用于根据相关度分值以及客服机器人回复是否解决用户问题得到相关度修正系数，所述理论满意度值获取模块用于获取用户对客服机器人回复的理论满意度值，所述满意度修正系数计算模块用于根据关度修正系数以及用户与客服机器人的交互轮数得到满意度修正系数，所述实际满意度值计算模块用于根据理论满意度值和满意度修正系数得到实际满意度值，所述最终满意度值计算模块用于根据实际满意度值以及用户与客服机器人的交互轮数得到最终满意度值。
进一步地，所述理论满意度值获取模块包括问答采集模块、满意度标注模块、满意度模型和理论满意度值输出模块；所述问答采集模块用于采集用户输入的消息以及客服机器人回复的消息，所述满意度标注模块用于接收人工对用户消息与客服机器人回复的满意度标注的数据，所述满意度模型用于训练得到理论满意度打分模型，所述理论满意度值输出模块用于输出理论满意度值
由于采取以上技术方案，本发明具有以下优点：本发明一方面能够减少满意度评价对于人工干预的依赖，实时获得用户对于客服机器人的满意度，降低获得满意度调查需要的人力资源及其带来的滞后性；另一方面引入客观评价指标对客服机器人进行客观公正评价，防止主观因素对客服机器人的性能产生影响。本发明还能够快速迭代客服机器人，提升用户对于客服机器人的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中提供的一种智能客服机器人满意度自动评价方法的流程图；
图2是本发明一实施例中提供的一种智能客服机器人满意度自动评价系统的结构示意图。
图中：1-相关度分值获取模块；11-问答采集模块；12-相关度标注模块；13-相关度模型；14-相关度分值输出模块；2-相关度修正系数计算模块；3-理论满意度值获取模块；31-满意度标注模块；32-满意度模型；33-理论满意度值输出模块；4-满意度修正系数计算模块；5-实际满意度值计算模块；6-最终满意度值计算模块；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
如图1所示，本发明提供了一种智能客服机器人满意度自动评价方法，其包括以下步骤：
S1、根据用户消息和客服机器人回复得到相关度分值，其具体包括以下步骤：
1)收集用户消息、客服机器人回复以及人工标注的用户消息与客服机器人回复的相关度，并将其作为输入，将相关度得分作为输出，采用机器学习算法或搜索算法对相关度模型进行训练，得到相关度打分模型。
相关度模型可以采用循环神经网络或卷积神经网络。相关度打分模型对用户消息和客服机器人回复进行特征提取，再利用提取的特征判断用户消息和客服机器人回复的相关度。
2)将新输入的用户消息和客服机器人回复输入相关度打分模型中，得到相关度分值。其中，相关度分值采用0～1的小数。
S2、根据相关度分值以及客服机器人回复是否解决用户消息，计算得到相关度修正系数。相关度修正系数可以采用机器学习算法或查表方法得到。
当采用机器学习算法时，采用一个线性网络y＝wx+b，其中，将相关度分值和是否解决用户问题(解决用户问题为1，未解决用户问题为0)作为输入，带入x中。例如，相关度分值为0.9，解决用户问题，则x＝[0.9，1]；相关度分值为0.9，未解决用户问题，则x＝[0.9，0]。将参数对输入模型中进行训练，最终得到相关度修正系数。
当采用查表方法时，首先建立一个相关度查询表格，如果相关度查询表格中有要查询的相关度分值，则查表得到对应的相关度修正系数；如果相关度查询表格中没有要查询的相关度分值，则采用插值方法得到相关度修正系数。
S3、根据用户消息和客服机器人回复得到理论满意度值，其具体包括以下步骤：
1)采用收集的用户消息、客服机器人回复以及人工标注的用户对客服机器人回复的满意度数据对满意度模型进行训练，得到理论满意度打分模型。
满意度模型可以采用循环神经网络或卷积神经网络。
2)将新输入的用户消息和客服机器人回复输入理论满意度打分模型中，得到理论满意度值。其中，理论满意度值可以采用1～5的连续值。
S4、根据相关度修正系数以及用户与客服机器人的交互轮数，计算得到满意度修正系数。
满意度修正系数可以采用指数递减算法得到。
用户与客服机器人第i次交互的满意度修正系数αi：
αi＝βi*e-(i-1)/T。式中，T表示一个对话轮数控制系数，βi表示用户与客服机器人第i次交互的相关度修正系数。一般，T取值为5。
满意度修正系数也可以采用线性算法得到。
用户与客服机器人第i次交互的满意度修正系数αi：
αi＝1-k(i-1)。
式中，如果αi<0，则取αi＝0；k表示线性系数，k可以取一个小于1的数，例如0.2。
S5、根据理论满意度值和满意度修正系数，计算得到实际满意度值。
用户与客服机器人第i次交互的实际满意度Si r为：
Si r＝αi*Si。
式中，Si为用户与客服机器人第i次交互的理论满意度值。
S6、根据实际满意度值以及用户与客服机器人的交互轮数，计算得到最终满意度值。最终满意度值可以采用加权平均得到，也可以采用几何平均得到。
当采用加权平均计算得到最终满意度值时，用户与客服机器人交互n轮后，最终满意度值
Figure BDA0001310027680000071
为：
Figure BDA0001310027680000072
其中，
Figure BDA0001310027680000073
式中，γi为每轮对话对应的权重。
当采用几何平均计算得到最终满意度值时，用户与客服机器人交互n轮后，最终满意度值
Figure BDA0001310027680000075
为：
Figure BDA0001310027680000074
上述步骤S3与S4的顺序是可以互换的。
上述步骤S1中，人工标注的用户消息与客服机器人回复的相关度可以由单人标注得到，也可以对多人标注的相关度求平均值得到。上述步骤S3中，人工标注的用户对客服机器人回复的满意度数据可以由单人标注得到，也可以对多人标注的相关度求平均值得到。采用对多人标注的数据求平均值的方法能够获得更为准确的数据，提高模型的效果。
本发明不限于满意度的评价广度及其表现形式，也可以使用满意度的五种离散状态，即“非常满意”，“比较满意”，“一般”，“不满意”，“非常不满意”，本发明也不限于满意度的分级细化程度，可以根据具体需求设计更粗粒度或者更细粒度的满意度划分方式。
实施例
用户输入消息：你好。
客服机器人回复：hi，请问有什么可以帮到你的吗？
用户输入消息：怎么才能支付？
客户机器人回复：微信支付是集成在微信客户端的支付功能，用户可以通过手机完成快速的支付流程。钱包操作入口：(轻触此处)。微信支付向用户提供安全、快捷、高效的支付服务，以绑定银行卡的快捷支付为基础。支付场景：公众账号支付、APP支付、线下扫码支付。
采用本发明智能客服机器人满意度自动评价方法对上述用户与客服机器人的交互过程进行满意度自动评价，其具体过程为：
(1)采用相关度打分模型预测得到用户与客户机器人第一轮交互时用户消息与客服机器人回复之间的相关度分值为r1＝0.9。
(2)用户与客户机器人的第一轮交互并没有解决用户的问题，用户继续输入。采用查表方法，查询如表1所示的相关度表格。
表1相关度表格
Figure BDA0001310027680000081
相关度表格中并未查到相关度分值0.9，则采用插值方法计算得到相关度分值0.9对应的相关度修正系数为
Figure BDA0001310027680000082
(3)采用满意度打分模型预测得到用户与客户机器人第一轮交互时用户消息与客服机器人回复之间的理论满意度值为S1＝3.5。
(4)用户与客户机器人第一轮交互时用户消息与客服机器人回复之间的满意度修正系数α1＝β1*e-(1-1)/T＝0.63。
(5)用户与客服机器人第一次交互的实际满意度为：
S1 r＝α1*S1＝0.63*3.5＝2.205。
(6)采用相关度打分模型预测得到用户与客户机器人第二轮交互时用户消息与客服机器人回复之间的相关度分值为r2＝0.95。
(7)用户与客户机器人的第二轮交互解决了用户的问题。采用查表方法，查询如表1所示的相关度表格。相关度表格中并未查到相关度分值0.95，则采用插值方法计算得到相关度分值0.95对应的相关度修正系数为β2＝0.95。
(8)采用满意度打分模型预测得到用户与客户机器人第二轮交互时用户消息与客服机器人回复之间的理论满意度值为S2＝4.5。
(9)用户与客户机器人第二轮交互时用户消息与客服机器人回复之间的满意度修正系数α2＝0.95*e-(2-1)/5＝0.78。
(10)用户与客服机器人第二次交互的实际满意度为：
S2 r＝α2*S2＝0.78*4.5＝3.5。
(11)用户与客服机器人此次交互的最终满意度为：
Figure BDA0001310027680000091
如图2所示，本发明提供了一种智能客服机器人满意度自动评价系统，其包括相关度分值获取模块1、相关度修正系数计算模块2、理论满意度值获取模块3、满意度修正系数计算模块4、实际满意度值计算模块5、最终满意度值计算模块6。相关度分值获取模块1用于获取用户消息与客服机器人回复的相关度分值。相关度修正系数计算模块2用于根据相关度分值以及客服机器人回复是否解决用户问题得到相关度修正系数。理论满意度值获取模块3用于获取用户对客服机器人回复的理论满意度值。满意度修正系数计算模块4用于根据关度修正系数以及用户与客服机器人的交互轮数得到满意度修正系数。实际满意度值计算模块5用于根据理论满意度值和满意度修正系数得到实际满意度值。最终满意度值计算模块6用于根据实际满意度值以及用户与客服机器人的交互轮数得到最终满意度值。
上述实施例中，相关度分值获取模块1包括问答采集模块11、相关度标注模块12、相关度模型13和相关度分值输出模块14。其中，问答采集模块11和相关度标注模块12均与相关度模型13的输入端连接，相关度分值输出模块14与相关度模型13的输出端连接。
问答采集模块11用于采集用户输入的消息以及客服机器人回复的消息。相关度标注模块12用于接收人工对用户消息与客服机器人回复的相关度标注的数据。用户输入的消息、客服机器人回复的消息以及用户消息与客服机器人回复的相关度的标注数据输入相关度模型13中用于训练相关度模型13，得到相关度打分模型。将当前用户输入的消息以及客服机器人回复的消息输入相关度打分模型中，得到当前用户输入的消息与客服机器人回复的消息之间的相关度分值，相关度分值输出模块14用于输出相关度分值。
上述实施例中，理论满意度值获取模块3包括问答采集模块11、满意度标注模块31、满意度模型32和理论满意度值输出模块33。其中，问答采集模块11和满意度标注模块31均与满意度模型32的输入端连接，理论满意度值输出模块33与满意度模型32的输出端连接。
问答采集模块11用于采集用户输入的消息以及客服机器人回复的消息。满意度标注模块31用于接收人工对用户消息与客服机器人回复的满意度标注的数据。用户输入的消息、客服机器人回复的消息以及用户消息与客服机器人回复的满意度的标注数据输入满意度模型32中用于训练满意度模型32，得到理论满意度打分模型。将当前用户输入的消息以及客服机器人回复的消息输入理论满意度打分模型中，得到当前用户输入的消息与客服机器人回复的消息之间的理论满意度值，理论满意度值输出模块33用于输出理论满意度值。
本发明一方面能够减少满意度评价对于人工干预的依赖，实时获得用户对于客服机器人的满意度，降低获得满意度调查需要的人力资源及其带来的滞后性；另一方面引入客观评价指标对客服机器人进行客观公正评价，防止主观因素对客服机器人的性能产生影响。本发明还能够快速迭代客服机器人，提升用户对于客服机器人的使用体验。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种智能客服机器人满意度自动评价方法，其特征在于，包括以下步骤：
根据用户消息和客服机器人回复得到相关度分值；
根据相关度分值以及客服机器人回复是否解决用户消息，计算得到相关度修正系数；
根据用户消息和客服机器人回复得到理论满意度值；
根据相关度修正系数以及用户与客服机器人的交互轮数，计算得到满意度修正系数；
根据理论满意度值和满意度修正系数，计算得到实际满意度值；
根据实际满意度值以及用户与客服机器人的交互轮数，计算得到最终满意度值。
2.如权利要求1所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据用户消息和客服机器人回复得到相关度分值的具体过程为：
收集用户消息、客服机器人回复以及人工标注的用户消息与客服机器人回复的相关度，并将其作为输入，将相关度得分作为输出，采用机器学习算法或搜索算法对相关度模型进行训练，得到相关度打分模型；
将新输入的用户消息和客服机器人回复输入相关度打分模型中，得到相关度分值。
3.如权利要求1所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据用户消息和客服机器人回复得到理论满意度值的具体过程为：
采用收集的用户消息、客服机器人回复以及人工标注的用户对客服机器人回复的满意度数据对满意度模型进行训练，得到理论满意度打分模型；
将新输入的用户消息和客服机器人回复输入理论满意度打分模型中，得到理论满意度值。
4.如权利要求1或2或3所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据相关度修正系数以及用户与客服机器人的交互轮数计算得到满意度修正系数的步骤采用指数递减算法得到满意度修正系数，其具体过程为：
用户与客服机器人第i次交互的满意度修正系数αi：
αi＝βi*e-(i-1)/T；
式中，T表示一个对话轮数控制系数，βi表示用户与客服机器人第i次交互的相关度修正系数。
5.如权利要求1或2或3所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据相关度修正系数以及用户与客服机器人的交互轮数计算得到满意度修正系数的步骤采用线性算法得到满意度修正系数，其具体过程为：
用户与客服机器人第i次交互的满意度修正系数αi：
αi＝1-k(i-1)；
式中，如果αi<0，则取αi＝0；k表示线性系数，k取小于1的数。
6.如权利要求1或2或3所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据理论满意度值和满意度修正系数计算得到实际满意度值的具体过程为：
用户与客服机器人第i次交互的实际满意度
Figure FDA0002358248430000021
为：
Figure FDA0002358248430000022
式中，Si为用户与客服机器人第i次交互的理论满意度值；αi为用户与客服机器人第i次交互的满意度修正系数。
7.如权利要求1或2或3所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据实际满意度值以及用户与客服机器人的交互轮数计算得到最终满意度值的步骤采用加权平均得到最终满意度值的过程为：
用户与客服机器人交互n轮后，最终满意度值
Figure FDA0002358248430000023
为：
Figure FDA0002358248430000024
其中，
Figure FDA0002358248430000025
式中，γi为每轮对话对应的权重；
Figure FDA0002358248430000026
为用户与客服机器人第i次交互的实际满意度。
8.如权利要求1或2或3所述的一种智能客服机器人满意度自动评价方法，其特征在于，所述根据实际满意度值以及用户与客服机器人的交互轮数计算得到最终满意度值的步骤采用几何平均得到最终满意度值的过程为：
用户与客服机器人交互n轮后，最终满意度值
Figure FDA0002358248430000031
为：
Figure FDA0002358248430000032
式中，
Figure FDA0002358248430000033
为用户与客服机器人第i次交互的实际满意度。
9.一种智能客服机器人满意度自动评价系统，其特征在于，它包括相关度分值获取模块、相关度修正系数计算模块、理论满意度值获取模块、满意度修正系数计算模块、实际满意度值计算模块、最终满意度值计算模块；所述相关度分值获取模块用于获取用户消息与客服机器人回复的相关度分值，所述相关度修正系数计算模块用于根据相关度分值以及客服机器人回复是否解决用户问题得到相关度修正系数，所述理论满意度值获取模块用于获取用户对客服机器人回复的理论满意度值，所述满意度修正系数计算模块用于根据相关度修正系数以及用户与客服机器人的交互轮数得到满意度修正系数，所述实际满意度值计算模块用于根据理论满意度值和满意度修正系数得到实际满意度值，所述最终满意度值计算模块用于根据实际满意度值以及用户与客服机器人的交互轮数得到最终满意度值。
10.如权利要求9所述的一种智能客服机器人满意度自动评价系统，其特征在于，所述理论满意度值获取模块包括问答采集模块、满意度标注模块、满意度模型和理论满意度值输出模块；所述问答采集模块用于采集用户输入的消息以及客服机器人回复的消息，所述满意度标注模块用于接收人工对用户消息与客服机器人回复的满意度标注的数据，所述满意度模型用于训练得到理论满意度打分模型，所述理论满意度值输出模块用于输出理论满意度值。
CN201710402608.0A 2017-06-01 2017-06-01 一种智能客服机器人满意度自动评价方法及系统 Active CN107220353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710402608.0A CN107220353B (zh) 2017-06-01 2017-06-01 一种智能客服机器人满意度自动评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710402608.0A CN107220353B (zh) 2017-06-01 2017-06-01 一种智能客服机器人满意度自动评价方法及系统

Publications (2)

Publication Number Publication Date
CN107220353A CN107220353A (zh) 2017-09-29
CN107220353B true CN107220353B (zh) 2020-03-24

Family

ID=59947276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710402608.0A Active CN107220353B (zh) 2017-06-01 2017-06-01 一种智能客服机器人满意度自动评价方法及系统

Country Status (1)

Country Link
CN (1) CN107220353B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993562B (zh) * 2018-01-02 2021-09-14 中国移动通信有限公司研究院 一种满意度仿真方法、装置及终端设备
CN108388926B (zh) * 2018-03-15 2019-07-30 百度在线网络技术（北京）有限公司 语音交互满意度的确定方法及设备
CN110392168B (zh) * 2018-04-16 2021-06-01 华为技术有限公司 呼叫处理方法、装置、服务器、存储介质和系统
CN109086400A (zh) * 2018-07-30 2018-12-25 深圳追科技有限公司 客服机器人的自检方法和装置
US12125054B2 (en) 2018-09-25 2024-10-22 Valideck International Corporation System, devices, and methods for acquiring and verifying online information
CN109949103B (zh) * 2019-03-29 2021-10-22 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN109993434B (zh) * 2019-03-29 2023-04-28 联想(北京)有限公司 信息处理方法
CN110096582A (zh) * 2019-04-30 2019-08-06 广东电网有限责任公司 一种电力业务中会话机器人的训练方法
CN110533343B (zh) * 2019-09-04 2023-12-15 腾讯科技（深圳）有限公司 智能客服系统的数据处理方法、装置及电子设备
CN112799747A (zh) * 2019-11-14 2021-05-14 中兴通讯股份有限公司 智能助理评价、推荐方法、系统、终端及可读存储介质
CN111311309A (zh) * 2020-01-19 2020-06-19 百度在线网络技术（北京）有限公司 用户满意度确定方法、装置、设备和介质
CN112036923A (zh) * 2020-07-06 2020-12-04 北京嘀嘀无限科技发展有限公司 一种服务评价方法、系统、装置及存储介质
CN112711656A (zh) * 2021-01-06 2021-04-27 北京中科深智科技有限公司 一种聊天机器人构建方法和系统
CN113592315B (zh) * 2021-08-04 2024-08-16 北京沃东天骏信息技术有限公司 一种处理纠纷单的方法和装置
CN115759882A (zh) * 2023-01-04 2023-03-07 成都晓多科技有限公司 一种计算人工客服问题解决率的方法及系统
CN116596549B (zh) * 2023-07-14 2023-10-20 山东交控科技有限公司 一种用于轨道交通客服机器人的问答响应管理方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186604B (zh) * 2011-12-30 2017-10-27 北京百度网讯科技有限公司 用于确定用户对搜索结果满意度的方法、装置和设备
US20140019199A1 (en) * 2012-07-13 2014-01-16 International Business Machines Corporation Automatically evaluating customer satisfaction
CN105654250A (zh) * 2016-02-01 2016-06-08 百度在线网络技术（北京）有限公司 一种满意度自动测评的方法和装置
CN106228286A (zh) * 2016-07-15 2016-12-14 西安美林数据技术股份有限公司 一种针对人工客服工作质量评估的数据分析方法

Also Published As

Publication number Publication date
CN107220353A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220353B (zh) 一种智能客服机器人满意度自动评价方法及系统
CN110070391B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN106445905B (zh) 问答数据处理、自动问答方法及装置
CN106844686A (zh) 基于solr的智能客服问答机器人及其实现方法
US20190236497A1 (en) System and method for automated model selection for key performance indicator forecasting
AU2010281345A1 (en) Method for undertaking market research of a target population
CN109697636A (zh) 一种商户推荐方法、商户推荐装置、电子设备和介质
JP2018077615A (ja) 広告画像生成装置、広告画像生成方法、広告画像生成装置用プログラム
CN109858919A (zh) 异常账号的确定方法及装置、在线下单方法及装置
CN107993019A (zh) 一种简历评估方法及装置
CN109189902A (zh) 自动应答咨询的方法及装置
CN106022836A (zh) 一种结合广告主效果反馈的广告推广方法
CN109165274A (zh) 一种在线自动客服方法、系统及电子设备
CN110766438A (zh) 一种通过人工智能对电网用户的用户行为进行分析的方法
Hayek et al. Machine learning and external auditor perception: An analysis for UAE external auditors using technology acceptance model
CN111079894B (zh) Bp神经网络模型构建、商家评价方法与装置
CN116703250A (zh) 二手车业务监督预测系统
CN110942180A (zh) 基于xgboost算法的工业设计匹配服务方预测方法
CN115982391A (zh) 信息处理方法及装置
CN110348807A (zh) 一种信息处理方法和相关装置
CN106296253A (zh) 一种广告数据安全控制和发布的方法及系统
CN115408606A (zh) 保险信息推送方法、装置、存储介质及计算机设备
Feng [Retracted] Research on the Contribution of Electronic Commerce to Economic Development: An Empirical Analysis Based on Artificial Neural Network
CN108009735A (zh) 一种简历评估方法及装置
CN114492852A (zh) 基于联邦学习的数据匹配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and system for automatically evaluating satisfaction degree on intelligent customer-service robot

Effective date of registration: 20200623

Granted publication date: 20200324

Pledgee: Shenzhen Branch of Guoren Property Insurance Co.,Ltd.

Pledgor: SHENZHEN ZHUIYI TECHNOLOGY Co.,Ltd.

Registration number: Y2020980003344

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20210818

Granted publication date: 20200324

Pledgee: Shenzhen Branch of Guoren Property Insurance Co.,Ltd.

Pledgor: SHENZHEN ZHUIYI TECHNOLOGY Co.,Ltd.

Registration number: Y2020980003344

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method and System for Automatic Satisfaction Evaluation of Intelligent Customer Service Robots

Effective date of registration: 20230831

Granted publication date: 20200324

Pledgee: Bank of Communications Limited Shenzhen Branch

Pledgor: SHENZHEN ZHUIYI TECHNOLOGY Co.,Ltd.

Registration number: Y2023980054754

PE01 Entry into force of the registration of the contract for pledge of patent right