CN107239538B - 具有自学习功能的平行客服机器人系统及其自学习方法 - Google Patents

Abstract

本发明涉及一种具有自学习功能的平行客服机器人系统及其自学习方法，平行客服机器人系统包括用户端、客服机器人、人工客服端和反馈单元，用户端将用户端问句发送给客服机器人、人工客服端和反馈单元；客服机器人根据用户端问句将FAQ推荐数据组发送给人工客服端和反馈单元；人工客服端将应用户端问句的FAQ数据发送给用户端和反馈单元；反馈单元根据接收到的用户端问句、FAQ推荐数据组和修正后的对应该用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给客服机器人；客服机器人根据接收到的反馈数据进行自学习。本发明能够在真实的客服场景中收集整理相似问句，供客服机器人进行学习，减少人工标注的成本投入。

Description

具有自学习功能的平行客服机器人系统及其自学习方法

技术领域

本发明属于计算机技术领域，具体涉及一种具有自学习功能的平行客服机器人系统及其自学习方法。

背景技术

现有的机器人客服采用计算机对客服场景中的用户端提问进行判断，并提供相应的回答从而减少客服场景中的人工坐席参与，目的在于减少客服中的人工成本。目前的机器人客服多采用对用户端的每一个问句进行一个相应的回答，而这个回答的内容一般为预设好的标准回答。这些标准回答是针对FAQ(Frequently Asked Questions，常见问题解答)设计的。

现有机器人客服的实现方式主要分为两种，分别是基于搜索技术的实现方式和基于机器学习技术的实现方式。其中，基于搜索技术的实现方式又分为基于句法模板的搜索和基于相似问句的搜索。基于机器学习技术的实现方式主要也是基于相似问句的机器学习。因此，相似问句是多数客服机器人的学习依据。

当前收集获取相似问句的方式主要有两种：1)收集客服场景中的数据，例如用户端访问客服的历史会话。将这些会话中的用户端问句，通过人工标注的方式，对应到知识库FAQ上，一个问句只能对应一个FAQ。2)给知识库中的每一个FAQ寻找相应的相似问句，或者编写可能的用户端问法作为相似问句。收集获取相似问句之后，采用搜索技术的机器人将相似问句建入索引，当新的用户端访问请求问句输入时，若当前用户端问句与相似问句搜索相关性较高，则将这个相似问句所对应的FAQ，作为针对当前用户端问句的回复。采用机器学习技术的机器人，用机器学习的方法判断当前用户端问句和FAQ以及相似问句的匹配度，匹配度较高的相似问句对应的FAQ，作为当前用户端问句的回复。可见相似问句的收集获取，在整个智能客服机器人当中，发挥重要作用。相似问句的获取成本、准确度，决定了搭建客服机器人的成本和准确度。

现有的技术方案中，收集整理相似问句是非常重要的一个环节，也是机器人客服的一个主要成本构成。对于现有的客服机器人技术，不论是搜索方案还是机器学习方案，机器人都是通过学习相似问句以及对应的FAQ这一方式来提高自身的准确性。而收集整理相似问句的方式，作为机器人学习的基础，存在以下不足：识别和标注会话中相似问句的工作量巨大；由于标注过程中使用的是用户端历史会话中的问句，因此人工标注结果与真实客服场景存在一定的差异。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种具有自学习功能的平行客服机器人系统及其自学习方法。

为实现上述目的，本发明采取以下技术方案：一种具有自学习功能的平行客服机器人系统包括用户端、客服机器人、人工客服端和反馈单元，所述用户端将用户端问句发送给所述客服机器人、人工客服端和反馈单元；所述客服机器人根据用户端问句将FAQ推荐数据组发送给所述人工客服端和反馈单元；所述人工客服端将应用户端问句的FAQ数据发送给所述用户端和反馈单元；所述反馈单元根据接收到的用户端问句、FAQ推荐数据组和修正后的对应该用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给所述客服机器人；所述客服机器人根据接收到的反馈数据进行自学习。

进一步地，所述客服机器人包括控制器以及与所述控制器连接的第一采集模块、相似问句生成模块、相似问句索引库、相似问句排序模块、FAQ数据库和FAQ推荐数据组输出模块；

所述第一采集模块用于采集所述用户端提问时的问句，并将采集到的用户端问句发送给所述控制器；所述控制器控制所述相似问句生成模块在所述相似问句索引库中查找并生成对应该用户端问句的相似问句；所述相似问句生成模块将生成到的相似问句发送给所述控制器，所述控制器控制所述相似问句排序模块对相似问句按照其与用户端问句的匹配度进行打分排序；所述相似问句排序模块将排序后的相似问句发送给所述控制器，所述控制器将排在首位的相似问句与所述FAQ数据库中的FAQ数据进行比对，所述FAQ推荐数据组输出模块输出对应的FAQ推荐数据或输出无FAQ推荐数据的提示信息。

更进一步地，所述客服机器人还包括相似问句筛选模块，所述相似问句筛选模块与相似问句排序模块连接，所述相似问句排序模块将排序后的相似问句发送给所述相似问句筛选模块，所述相似问句筛选模块筛选出匹配度分值大于或等于匹配度阈值的相似问句。

进一步地，所述相似问句生成模块包括关键词提取模块、关键词匹配模块和相似问句选择模块；所述关键词提取模块用于提取出用户端问句中的关键词，所述关键词匹配模块用于将提取出的关键词与所述相似问句索引库中的关键词进行匹配，所述相似问句选择模块用于根据匹配度在所述相似问句索引库中选择相应的相似问句。

进一步地，所述反馈单元包括第二采集模块、FAQ推荐数据获取模块、标准回答对应的FAQ获取模块、标注数据生成模块、标注数据反馈模块；所述第二采集模块、FAQ推荐数据获取模块和标准回答对应的FAQ获取模块均与所述标注数据生成模块连接，所述标注数据生成模块与标注数据反馈模块连接。

进一步地，所述用户端和人工客服端均采用智能手机、笔记本电脑或计算机。

进一步地，所述人工客服端输出的标准回答对应的FAQ数据采用文字信息、语音信息或动作手势信息。

一种具有自学习功能的平行客服机器人系统的自学习方法包括以下步骤：

客服机器人获取用户端提问时的问句；

客服机器人根据用户端问句生成FAQ推荐数据组并发送给人工客服端和反馈单元；

人工客服端根据接收到的FAQ推荐数据组得到对应用户端问句的FAQ数据，并发送给反馈单元，同时将对应用户端问句的标准回答发送给用户端；

反馈单元根据用户端问句、FAQ推荐数据组和对应用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给客服机器人；

客服机器人根据反馈数据进行自学习。

进一步地，所述步骤客服机器人根据用户端问句生成FAQ推荐数据组并发送给人工客服端和反馈单元的具体过程为：

采集用户端问句；

根据用户端问句查找相似问句索引库并生成对应该用户端问句的相似问句；

根据相似问句与用户端问句的匹配度，对相似问句进行排序；

将排在首位的相似问句与FAQ数据库中的FAQ数据进行比对；

根据比对结果，输出与排在首位的相似问句相对应的FAQ推荐数据或输出无FAQ推荐数据的提示信息。

更进一步地，所述将排在首位的相似问句与FAQ数据库中的FAQ数据进行比对的步骤之前设置以下步骤：对排序后的相似问句进行筛选，筛选出与用户端问句之间的匹配度分值大于或等于预设的匹配度阈值的相似问句。

由于采取以上技术方案，本发明具有以下优点：本发明能够在真实的客服场景中收集整理相似问句，供客服机器人进行学习，减少人工标注的成本投入。客服机器人能够在实际的线上运行中通过新收集的相似问句不断提高FAQ推荐数据的准确性。本发明不仅能够提高人工客服端的工作效率，而且能够大大降低直接采用客服机器人回答导致的高错误率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中提供的一种具有自学习功能的平行客服机器人系统的整体结构示意图；

图2是本发明一实施例中提供的一种具有自学习功能的平行客服机器人系统中客服机器人的结构示意图；

图3是本发明一实施例中提供的一种具有自学习功能的平行客服机器人系统中反馈单元的结构示意图；

图4是本发明一实施例中提供的一种具有自学习功能的平行客服机器人系统的自学习方法的流程图。

图中：1-用户端；2-客服机器人；21-控制器；22-第一采集模块；23-相似问句生成模块；24-相似问句索引库；25-相似问句排序模块；26-FAQ数据库；27-FAQ推荐数据组输出模块；3-人工客服端；4-反馈单元；41-第二采集模块；42-FAQ推荐数据获取模块；43-标准回答对应的FAQ获取模块；44-标注数据生成模块；45-标注数据反馈模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1所示，本发明提供了一种具有自学习功能的平行客服机器人系统，其包括用户端1、客服机器人2、人工客服端3和反馈单元4。其中，用户端1将用户端问句发送给客服机器人2、人工客服端3和反馈单元4。客服机器人2根据用户端问句将FAQ推荐数据组发送给人工客服端3和反馈单元4。人工客服端3对接收到的FAQ推荐数据组中的FAQ数据进行判断，如果FAQ推荐数据组中有FAQ数据与用户端问句匹配，则人工客服端3选择该FAQ数据并发送给用户端1；否则人工客服端3对FAQ推荐数据组中的FAQ数据进行修正，并将修正后的对应该用户端问句的FAQ数据发送给用户端1和反馈单元4。反馈单元4根据接收到的用户端问句、FAQ推荐数据组和修正后的对应该用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给客服机器人2。客服机器人2根据接收到的反馈数据进行自学习，从而提高客服机器人2输出的FAQ推荐数据组的准确性。

进一步地，用户端1和人工客服端3均可以采用智能手机、笔记本电脑或计算机等。

进一步地，人工客服端输出的标准回答对应的FAQ数据包含但不限于文字、语音或动作手势等形式的信息。

在本发明具有自学习功能的平行客服机器人系统中，用户端1与人工客服端3形成一个闭环回路，即用户端1发出提问，最终对应该提问的回答由人工客服端3发出。客服机器人2独立于户端与人工客服端3形成的闭环回路之外，为人工客服端3的最终回答提供参考，这种模式的客服机器人2称为平行客服机器人2。客服机器人2与人工客服端3和反馈单元4构成一个反馈回路。客服机器人2基于反馈单元4的反馈数据进行自学习。

本发明具有自学习功能的平行客服机器人系统利用实际场景中人工客服端3输出的修正后的FAQ收集整理相似问句，不断积累新的样本，为客服机器人2提供自学习的依据，从而便于在实际使用中不断提高客服机器人2输出的推荐FAQ组的准确性。

上述实施例中，如图2所示，客服机器人2包括控制器21以及与控制器21连接的第一采集模块22、相似问句生成模块23、相似问句索引库24、相似问句排序模块25、FAQ数据库26和FAQ推荐数据组输出模块27。第一采集模块22用于采集用户端1提问时的问句。第一采集模块22将采集到的用户端问句发送给控制器21。根据接收到的用户端问句，控制器21控制相似问句生成模块23在相似问句索引库24中查找并生成对应该用户端问句的相似问句。相似问句生成模块23将生成到的相似问句发送给控制器21。控制器21根据接收到的相似问句控制相似问句排序模块25对相似问句按照其与用户端问句的匹配度进行打分排序。相似问句排序模块25将排序后的相似问句发送给控制器21。控制器21将排在首位的相似问句与FAQ数据库26中的FAQ数据进行比对，如果FAQ数据库26中存储有与排在首位的相似问句相对应的FAQ数据，则FAQ推荐数据组输出模块27输出对应的FAQ推荐数据；否则，FAQ推荐数据组输出模块27输出无FAQ推荐数据的提示信息。

上述实施例中，客服机器人2还包括相似问句筛选模块，相似问句筛选模块与相似问句排序模块25连接，相似问句排序模块25将排序后的相似问句发送给相似问句筛选模块。相似问句筛选模块将相似问句与用户端问句的匹配度分值与预设的匹配度阈值进行比较，并筛选出匹配度分值大于或等于匹配度阈值的相似问句。相似问句筛选模块将筛选出的相似问句发送给控制器21。

上述实施例中，相似问句生成模块23包括关键词提取模块、关键词匹配模块和相似问句选择模块。关键词提取模块用于提取出用户端问句中的关键词，关键词匹配模块用于将提取出的关键词与相似问句索引库24中的关键词进行匹配，相似问句选择模块用于根据匹配度在相似问句索引库24中选择相应的相似问句。

上述实施例中，如图3所示，反馈单元4包括第二采集模块41、FAQ推荐数据获取模块42、标准回答对应的FAQ获取模块43、标注数据生成模块44、标注数据反馈模块45。第二采集模块41、FAQ推荐数据获取模块42和标准回答对应的FAQ获取模块43均与标注数据生成模块44连接，标注数据生成模块44与标注数据反馈模块45连接。

第二采集模块41用于采集用户端1提问时的问句，FAQ推荐数据获取模块42用于获取客服机器人2输出的FAQ推荐数据，标准回答对应的FAQ获取模块43用于获取人工客服端3输出的标准回答对应的FAQ。标注数据生成模块44根据标准回答对应的FAQ对FAQ推荐数据进行删除、添加和调整等修改处理后，将用户端问句及其对应的正确的FAQ数据进行配对生成标注数据。生成的标注数据传输至标注数据反馈模块45。标注数据反馈模块45将接收到的标注数据作为反馈数据反馈给客服机器人2。

如图4所示，本发明还提供了一种具有自学习功能的平行客服机器人系统的自学习方法，其包括以下步骤：

S1、客服机器人2获取用户端1提问时的问句。

S2、客服机器人2根据用户端问句生成FAQ推荐数据组并发送给人工客服端3和反馈单元4，其具体过程为：

S21、采集用户端问句。

S22、根据用户端问句查找相似问句索引库24并生成对应该用户端问句的相似问句。

S23、根据相似问句与用户端问句的匹配度，对相似问句进行排序。

S24、将排在首位的相似问句与FAQ数据库26中的FAQ数据进行比对。

S25、根据比对结果，输出与排在首位的相似问句相对应的FAQ推荐数据或输出无FAQ推荐数据的提示信息。

S3、人工客服端3根据接收到的FAQ推荐数据组得到对应用户端问句的FAQ数据，并发送给反馈单元4，同时将对应用户端问句的标准回答发送给用户端1，其具体过程为：

人工客服端3对接收到的FAQ推荐数据组中的FAQ数据进行判断，如果FAQ推荐数据组中有FAQ数据与用户端问句匹配，则人工客服端3选择该FAQ数据并发送给用户端1；否则人工客服端3对FAQ推荐数据组中的FAQ数据进行修正，并将修正后的对应该用户端问句的FAQ数据发送给用户端1和反馈单元4。

S4、反馈单元4根据用户端问句、FAQ推荐数据组和对应用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给客服机器人2，其具体过程为：

S41、采集用户端问句。

S42、获取客服机器人2输出的FAQ推荐数据和人工客服端3输出的标准回答对应的FAQ。

S43、根据标准回答对应的FAQ对FAQ推荐数据进行删除、添加和调整等修改处理后，将用户端问句及其对应的正确的FAQ数据进行配对生成标注数据。

S44、将标注数据作为反馈数据反馈给客服机器人2。

S5、客服机器人2根据反馈数据进行自学习。

上述步骤S2中，在步骤S24之前还设置步骤S26、对排序后的相似问句进行筛选，筛选出与用户端问句之间的匹配度分值大于或等于预设的匹配度阈值的相似问句。

实施例1

用户端1提出问题：我买的衣服下单是红色的，为什么寄到以后是绿色的？

客服机器人2根据该问题，判断出若干相关的FAQ：“如何退货”、“产品有质量问题怎么办”、“订单出现问题怎么办”。这些推荐FAQ提供给人工客服端3作为参考。

人工客服端3根据用户端1的提问，可以从推荐的FAQ中选择一个认为正确的。例如，人工客服端3认为用户端1的提问对应的正确FAQ是“如何退货”，则人工客服端3将这个FAQ对应的标准回答回复给用户端1。同时，人工客服端3选择的正确FAQ“如何退货”以及客服机器人2给出的推荐FAQ发送给反馈单元4。

反馈单元4根据人工客服端3的选择以及客服机器人2提供的推荐FAQ生成反馈数据并反馈给客服机器人2。将人工客服端3认为正确的FAQ作为这个用户端1提问的标签。这样，在面对不同的用户端1提问时，人工客服端3的选择便可以很好地发现其中的相似问句，并有效地为这些相似问句提供正确的FAQ数据。

实施例2

用户端1提出问题：我需要开发票。

客服机器人2根据该问题，判断出若干相关的FAQ：“如何修改订单”、“如何退货”、“如何查找商品”。这些推荐FAQ提供给人工客服端3作为参考。

显然，“如何开具发票”并未在客服机器人2提供的若干相关FAQ中。人工客服端3给出正确的FAQ，并将其对应的标准回答反馈给用户端1。由此可见，无论客服机器人2给出的FAQ推荐数据是否正确，人工客服端3给出的正确FAQ都会发送给反馈单元4。反馈单元4将正确FAQ“如何开具发票”和用户端1提问“我需要开发票”配对，形成一个样本反馈给客服机器人2，客服机器人2接到新的样本后进行优化，同时这个样本更新到FAQ数据库26中。这样便可以通过实际客服场景中人工客服端3的选择，不断积累新的样本，从而达到在线上运行的同时有效收和集整理相似问句，并同时优化客服机器人2的目的。

本发明具有自学习功能的平行客服机器人系统中的客服机器人2通过学习人工客服端3的回答方式进行训练。客服机器人2同时为人工客服端3提供回答参考，从而降低人工客服端3的工作负担，进而降低人工客服端3的成本。

本发明能够在真实的客服场景中收集整理相似问句，供客服机器人2进行学习，减少人工标注的成本投入。客服机器人2可以在实际的线上运行中通过新收集的相似问句不断提高FAQ推荐数据的准确性。提升了对用户端1回答的准确性，在提高人工客服端3工作效率的同时能够大大降低直接采用客服机器人2回答导致的高错误率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种具有自学习功能的平行客服机器人系统，其特征在于，它包括用户端、客服机器人、人工客服端和反馈单元，所述用户端将用户端问句发送给所述客服机器人、人工客服端和反馈单元；所述客服机器人根据用户端问句将FAQ推荐数据组发送给所述人工客服端和反馈单元；所述人工客服端将应用户端问句的FAQ数据发送给所述用户端和反馈单元；所述反馈单元根据接收到的用户端问句、FAQ推荐数据组和修正后的对应该用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给所述客服机器人；所述客服机器人根据接收到的反馈数据进行自学习；

所述反馈单元包括第二采集模块、FAQ推荐数据获取模块、标准回答对应的FAQ获取模块、标注数据生成模块、标注数据反馈模块；所述第二采集模块、FAQ推荐数据获取模块和标准回答对应的FAQ获取模块均与所述标注数据生成模块连接，所述标注数据生成模块与标注数据反馈模块连接。

2.如权利要求1所述的具有自学习功能的平行客服机器人系统，其特征在于，所述客服机器人包括控制器以及与所述控制器连接的第一采集模块、相似问句生成模块、相似问句索引库、相似问句排序模块、FAQ数据库和FAQ推荐数据组输出模块；

所述第一采集模块用于采集所述用户端提问时的问句，并将采集到的用户端问句发送给所述控制器；所述控制器控制所述相似问句生成模块在所述相似问句索引库中查找并生成对应该用户端问句的相似问句；所述相似问句生成模块将生成到的相似问句发送给所述控制器，所述控制器控制所述相似问句排序模块对相似问句按照其与用户端问句的匹配度进行打分排序；所述相似问句排序模块将排序后的相似问句发送给所述控制器，所述控制器将排在首位的相似问句与所述FAQ数据库中的FAQ数据进行比对，所述FAQ推荐数据组输出模块输出对应的FAQ推荐数据或输出无FAQ推荐数据的提示信息。

3.如权利要求2所述的具有自学习功能的平行客服机器人系统，其特征在于，所述客服机器人还包括相似问句筛选模块，所述相似问句筛选模块与相似问句排序模块连接，所述相似问句排序模块将排序后的相似问句发送给所述相似问句筛选模块，所述相似问句筛选模块筛选出匹配度分值大于或等于匹配度阈值的相似问句。

4.如权利要求2或3所述的具有自学习功能的平行客服机器人系统，其特征在于，所述相似问句生成模块包括关键词提取模块、关键词匹配模块和相似问句选择模块；所述关键词提取模块用于提取出用户端问句中的关键词，所述关键词匹配模块用于将提取出的关键词与所述相似问句索引库中的关键词进行匹配，所述相似问句选择模块用于根据匹配度在所述相似问句索引库中选择相应的相似问句。

5.如权利要求1或2或3所述的具有自学习功能的平行客服机器人系统，其特征在于，所述用户端和人工客服端均采用智能手机、笔记本电脑或计算机。

6.如权利要求1或2或3所述的具有自学习功能的平行客服机器人系统，其特征在于，所述人工客服端输出的标准回答对应的FAQ数据采用文字信息、语音信息或动作手势信息。

7.一种具有自学习功能的平行客服机器人系统的自学习方法，其特征在于，包括以下步骤：

客服机器人获取用户端提问时的问句；

客服机器人根据用户端问句生成FAQ推荐数据组并发送给人工客服端和反馈单元；

人工客服端根据接收到的FAQ推荐数据组得到对应用户端问句的FAQ数据，并发送给反馈单元，同时将对应用户端问句的标准回答发送给用户端；

反馈单元根据用户端问句、FAQ推荐数据组和对应用户端问句的FAQ数据生成反馈数据，并将反馈数据发送给客服机器人；具体过程为：采集用户端问句；获取客服机器人输出的FAQ推荐数据和人工客服端输出的标准回答对应的FAQ；根据标准回答对应的FAQ对FAQ推荐数据进行删除、添加和调整修改处理后，将用户端问句及其对应的正确的FAQ数据进行配对生成标注数据；将标注数据作为反馈数据反馈给客服机器人；

客服机器人根据反馈数据进行自学习。

8.如权利要求7所述的具有自学习功能的平行客服机器人系统的自学习方法，其特征在于，所述步骤客服机器人根据用户端问句生成FAQ推荐数据组并发送给人工客服端和反馈单元的具体过程为：

采集用户端问句；

根据用户端问句查找相似问句索引库并生成对应该用户端问句的相似问句；

根据相似问句与用户端问句的匹配度，对相似问句进行排序；

将排在首位的相似问句与FAQ数据库中的FAQ数据进行比对；

根据比对结果，输出与排在首位的相似问句相对应的FAQ推荐数据或输出无FAQ推荐数据的提示信息。

9.如权利要求8所述的具有自学习功能的平行客服机器人系统的自学习方法，其特征在于，所述将排在首位的相似问句与FAQ数据库中的FAQ数据进行比对的步骤之前设置以下步骤：对排序后的相似问句进行筛选，筛选出与用户端问句之间的匹配度分值大于或等于预设的匹配度阈值的相似问句。

Images