CN107341157A - 一种客服对话聚类方法和装置 - Google Patents

Abstract

本申请提出一种客服对话聚类方法和装置，包括：对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；对每一类所述角色语料分别进行预处理，获得每一类角色分词语料；融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；对所述过滤语料进行文本处理；对经过文本处理后的所述过滤语料进行聚类操作，本发明在保留了原始对话的信息基础上，充分考虑了对话文本的不同参与者这一特性，对不同参与者进行不同的处理，有效地提高了聚类的准确性；在实际对话文本的聚类应用中效果理想。

Description

一种客服对话聚类方法和装置

技术领域

本发明涉及产品网站客服领域，具体涉及一种客服对话聚类方法和装置。

背景技术

目前产品网站用户量迅速增加，产品的迅速迭代更新，每天收到的用户咨询量也迅速增大，同时也积累了大量的客服对话数据；从行为学的角度，每一次用户的咨询都包含用户对产品的关注焦点、心理预期等诉求。这些数据包含着业务问题、用户需求、产品BUG(缺陷)等对公司非常有价值的信息。发现这些信息最有效的办法就是文本聚类。

当前对话文本聚类是由普通文本聚类方法过滤而来的。然而普通文本一般都是由一个作者编写，其具有语言比较通顺，上下文联系紧密，逻辑合理，全文的表达方式统一等特点。而客服对话文本一般包含两个或者三个参与者，其语句大多是比较简短的问答句式，具有主题脉络混乱、语文歧义等特点。如图1所示，普通文本(结构清晰、主题明确、比较正式)与客服对话(口头语、上下文不明确、参与对象的观点、表达方式各不相同)在语言特性上有着本质的区别。直接把普通文本聚类的方法应用到客服对话，忽略了每个参与者本身的特点，所以效果不理想。

发明内容

本发明提供一种客服对话聚类方法和装置，充分考虑了对话文本的不同参与者这一特性，使得聚类具有较高的准确性。

为了实现上述发明目的，本发明采取的技术方案如下：

一种客服对话聚类方法，包括：

对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；

对每一类所述角色语料分别进行预处理，获得每一类角色分词语料；

融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；

对所述过滤语料进行文本处理；

对经过文本处理后的所述过滤语料进行聚类操作。

可选地，对每一类所述角色语料分别进行预处理包括：按照所述预设类型对应的操作要求对所述角色语料进行修改和/或删除和/或添加处理。

可选地，对每一类所述角色语料分别进行预处理还包括:

对经过处理的每一类的角色语料按照语义和/或词表进行分词处理，所述分词处理包括将所述每一类的角色预料从无间隔的字串映射到有间隔的字词串。

可选地，融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料包括:

删除每一类角色分词语料中的无意义的词。

可选地，对每一类所述过滤语料进行文本处理包括：

计算所述过滤语料的每个词语的术语频率-逆文档频率TF-IDF权重,将所述TF-IDF权重小于设定阈值对应的词语删除。

可选地，对经过处理的每一类的角色语料按照语义和/或词表进行分词处理之后还包括：在分词处理后获得的每个词语前添加所述预设类型对应的标识。

本发明还提供一种客服对话聚类装置，包括：

划分模块，设置为对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；

预处理模块，设置为对每一类所述角色语料进行预处理，获得每一类角色分词语料；

过滤模块，设置为融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；

文本模块，设置为对所述过滤语料进行文本处理；

聚类模块，设置为对经过文本处理后的所述过滤语料进行聚类操作。

可选地，所述预处理模块包括：

初选单元，设置为按照所述预设类型对应的操作要求对所述角色语料进行修改和/或删除和/或添加处理。

可选地，所述预处理模块还包括:

分词单元，设置为对经过处理的每一类的角色语料按照语义和/或词表进行分词处理，所述分词处理包括将所述每一类的角色预料从无间隔的字串映射到有间隔的字词串。

可选地，过滤模块融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料是指:

删除每一类角色分词语料中的无意义的词。

可选地，所述文本模块设置为：

计算所述过滤语料的每个词语的术语频率-逆文档频率TF-IDF权重,将所述TF-IDF权重小于设定阈值对应的词语删除。

可选地，所述预处理模块还包括：

标识单元，设置为在分词处理后获得的每个词语前添加所述预设类型对应的标识。

本发明和现有技术相比，具有如下有益效果：

本发明将对话文本中引入了角色的概念，在保留了原始对话的信息基础上，充分考虑了对话文本的不同参与者这一特性，对不同参与者进行不同的处理，有效地提高了聚类的准确性；在实际对话文本的聚类应用中效果理想。

附图说明

图1为相关技术创建配置任务的示意图；

图2为本发明实施例的客服对话聚类方法的流程图；

图3为本发明实施例的客服对话聚类装置的结构示意图；

图4为本发明实施例1的客服对话聚类任务的流程图；

图5为本发明实施例1的客服对话聚类任务的分类示意图；

图6为本发明实施例1的客服对话聚类任务的预处理示意图。

具体实施方式

为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。

如图2所示，本发明实施例提供一种客服对话聚类方法，包括：

S101、对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；

S102、对每一类所述角色语料分别进行预处理，获得每一类角色分词语料；

S103、融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；

S104、对所述过滤语料进行文本处理；

S105、对经过文本处理后的所述过滤语料进行聚类操作。

其中，S101中所述预设类型在本发明实施例中可以为参与对话的角色，将原始客服对话按照预设类型进行划分：本实施例中按照参与对话的角色进行划分，获得每一角色对应的角色语料。

其中，S102包括：

S1021、按照所述预设类型对应的操作要求对所述角色语料进行修改和/或删除和/或添加处理；

S1022、对经过处理的每一类的角色语料按照语义和/或词表进行分词处理，所述分词处理包括将所述每一类的角色预料从无间隔的字串映射到有间隔的字词串；

S1023、在分词处理后获得的每个词语前添加所述预设类型对应的标识。

S1021中，针对每个类型的角色语料和角色语料中的每句对话内容分别修改和/或删除和/或添加处理。

S1022中，分词是汉语信息处理中的一项基础工程，常用的分词包括：结构标准、语义标准、音节标准、频度标准、其中，结构标准包括：单用标准和扩展标准。在上述标准之上，利用这些标准制定出一套可操作性强的分词规范作为制定词表和具体分词工作的依据。利用计算机作为辅助手段，从分析语言事实的过程中归纳出分词规范。

S1023中添加标识可以清晰显示分词处理后获得的每个词语对应的类型。

S103中融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料包括:删除每一类角色分词语料中的无意义的词。

如语料中的：的、嘞、啦、哈哈、不好意思、诶等这些词去掉。

S104对所述过滤语料进行文本处理包括：

计算所述过滤语料的每个词语的术语频率-逆文档频率TF-IDF权重,将所述TF-IDF权重小于设定阈值对应的词语删除。

S105对经过文本处理后的所述过滤语料进行聚类操作可以使用任何文本聚类算法，本发明实施例中使用文档主题生成模型LDA聚类算法。

如图3所示，本发明实施例提供一种客服对话聚类装置，包括：

划分模块，设置为对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；

预处理模块，设置为对每一类所述角色语料进行预处理，获得每一类角色分词语料；

过滤模块，设置为融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；

文本模块，设置为对所述过滤语料进行文本处理；

聚类模块，设置为对经过文本处理后的所述过滤语料进行聚类操作。

所述预处理模块包括：

初选单元，设置为按照所述预设类型对应的操作要求对所述角色语料进行修改和/或删除和/或添加处理；

分词单元，设置为对经过处理的每一类的角色语料按照语义和/或词表进行分词处理，所述分词处理包括将所述每一类的角色预料从无间隔的字串映射到有间隔的字词串；

标识单元，设置为在分词处理后获得的每个词语前添加所述预设类型对应的标识。

过滤模块对融合每一类所述角色分词语料，进行过滤停用词处理是指:

删除每一类角色分词语料中的无意义的词。

所述文本模块设置为：

计算所述过滤语料的每个词语的术语频率-逆文档频率TF-IDF权重,将所述TF-IDF权重小于设定阈值对应的词语删除。

实施例1

本发明实施例说明引入多角色参与的客服对话聚类方法，如图4所示：

第一步：如图5所示，将原始客服对话按照预设类型进行划分；本实施例中划分为三种类型，分别为系统自动回复、客服、用户。

第二步：按照不同类型分别进行预处理进行预处理，本实施例中对于系统自动回复文本，采用删除处理，或者描述为忽略处理；对于客服文本，采用去掉问候语、去掉高频标准回答处理；对于用户文本，采用过滤表情等无意义文本处理。

第三步：如图6所示，对每个类型的对话分别进行分词，然后加入类型标识信息；使得可以区分一个词语是来自用户还是客服。简单的处理方式，可以分词后的结果中加入不同的前缀来实现。

第四步：融合每个类型的分词后的结果，统一过滤停用词。

第五步：使用文本处理方法，计算每个词的TF-IDF权重，过滤其中较低的词。

第六步：进行聚类操作，实际业务中可以使用的LDA聚类算法，但本框架适用于任何文本聚类算法。

本实施例通过引入角色的概念，刻画不同角色的特点，充分考虑了对话文本的不同参与者这一特性，使得聚类具有较高的准确性。

实施例2

分词处理是把一个无间隔的字串映射到有间隔的字词串，本发明实施例中的办法是：在中文文本中词与词之间加上空格。

分词的依据有很多：语义、词表等；

本发明实施例中添加标识可以区分这个词的来源，这样在之后的聚类中可以把不同角色的语料区别对待，聚类可以赋予其不同的权重。比如：同是一个词“微分证”，从用户处获得与从客服处获得其含义可能是不一样的。

例如：

用户：身份证被另一个账号认证了，怎么办？

客服：请报一下你的身份证号，我帮你查一下。

此例子中：用户口中的“身份证”与认证关联很强；而客服口中的“身份证”是一个常用询问。其关联的意义不一样。

实施例3

本实施例模拟的对话内容如下：

系统：会话建立

用户：被诈骗了怎么办

客服：您好，请您提供下您的账户可以吗？(一般是您的手机或邮箱)？

用户：xxxx@xxx.com张三

客服：感谢您的配合，请问您的这个账户信息是本人身份证信息注册的吗？

用户：是的

系统：客服主动推送

系统：推屏服务成功推送

客服：目前您咨询的问题需要您先验证【身份证末8位】后给您解答，否则小二无法点击下一步继续查询哦(后八位一般是从您的生日月份开始)。麻烦您了

系统：访客提供信息

用户：我刚付了一笔款，但是后台却还是显示未付款

客服：请问您当时在进行交易的时候是您本人输入的密码吗？

用户：……

首先，对上述对话按照预设类型进行划分；系统、客服、用户。

其次，按照不同类型分别进行预处理进行预处理，本实施例中对于系统自动回复文本，采用删除处理，或者描述为忽略处理；对于客服文本，采用去掉问候语、去掉高频标准回答处理；对于用户文本，采用过滤表情等无意义文本处理。

再次，进行分词、过滤停用词处理，本实施例中分词过滤后的用户结果：诈骗、账号、姓名、刚、付款、后台、显示、未付款等。分词过滤后的客服结果：提供、账户、账户信息、本人、身份证信息、注册、目前、咨询、问题、验证、身份证、末8位、交易、本人、输入、密码。

最后，进行文本处理和聚类操作。

实施例4

以下是抽取的一个对话中的用户说的部分：

原始语句1：

我转出的钱为什么还没有到账 我的都好几天了 8号转到银行卡的钱 8号 因为我手机坏了，电脑能用两个小时快速到账吗 9月29日23点转出的转到银行卡的 你好 余额宝提现 好的谢谢 我朋友他们的今天转的 今天都到了 那必须等到八号啦 因为我需要用这笔钱，能不能加急一下 可是为啥我朋友的他们都没有就我要等 那那天才会到账呢 亲在吗 3852元钱 没有了。

分词过滤后的结果1：

转出 钱 什 到账 天 号 转 银行卡 钱 号 手机 坏 电脑 能 两 小时快速 到账 月 日 点 转出 转 银行卡 余额宝 提现 朋友 今天 转 今天 必须 八号 需要 笔 钱 能不能 加急 一下 朋友 天才 到账 元 钱

原始语句2：

恩恩 恩恩 可是今天还没有到账 72.65是用账户余额转到余额宝 可是我转 72.65之后余额宝的金额并没有增加呀 不知道怎么弄 恩恩，好的，谢谢 然后我用电脑查，不知道怎么可以看到可以像支付宝那样转进或支出多少账户还有多少余额 一直没到账怎么办 不是 昨天

分词过滤后来的结果2：

今天 到账 账户 余额 转 余额宝 转 之后 余额宝 金额 增加 不知道用电 脑 查 不知道 看到 支付宝 样 转 进 支出 多少 账户 多少 余额 一直 没到账 办 昨天

原始语句3：

谢谢 退回余额宝但好像没有到 是，但我感觉好像在退款前我的余额还有钱。

分词过滤后的结果3：

退回 余额宝 好像 感觉 好像 退款 前 余额 有钱

虽然本发明所揭示的实施方式如上，但其内容只是为了便于理解本发明的技术方案而采用的实施方式，并非用于限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的核心技术方案的前提下，可以在实施的形式和细节上做任何修改与变化，但本发明所限定的保护范围，仍须以所附的权利要求书限定的范围为准。

Claims (12)

1.一种客服对话聚类方法，其特征在于，包括：

对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；

对每一类所述角色语料分别进行预处理，获得每一类角色分词语料；

融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；

对所述过滤语料进行文本处理；

对经过文本处理后的所述过滤语料进行聚类操作。

2.如权利要求1所述的方法，其特征在于：对每一类所述角色语料分别进行预处理包括：按照所述预设类型对应的操作要求对所述角色语料进行修改和/或删除和/或添加处理。

3.如权利要求2所述的方法，其特征在于：对每一类所述角色语料分别进行预处理还包括:

对经过处理的每一类的角色语料按照语义和/或词表进行分词处理，所述分词处理包括将所述每一类的角色预料从无间隔的字串映射到有间隔的字词串。

4.如权利要求1所述的方法，其特征在于：融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料包括:

删除每一类角色分词语料中的无意义的词。

5.如权利要求1所述的方法，其特征在于：对每一类所述过滤语料进行文本处理包括：

计算所述过滤语料的每个词语的术语频率-逆文档频率TF-IDF权重,将所述TF-IDF权重小于设定阈值对应的词语删除。

6.如权利要求3所述的方法，其特征在于：对经过处理的每一类的角色语料按照语义和/或词表进行分词处理之后还包括：在分词处理后获得的每个词语前添加所述预设类型对应的标识。

7.一种客服对话聚类装置，其特征在于，包括：

划分模块，设置为对收集到的原始语料按照预设类型进行划分，获得每一类角色语料；

预处理模块，设置为对每一类所述角色语料进行预处理，获得每一类角色分词语料；

过滤模块，设置为融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料；

文本模块，设置为对所述过滤语料进行文本处理；

聚类模块，设置为对经过文本处理后的所述过滤语料进行聚类操作。

8.如权利要求7所述的装置，其特征在于：所述预处理模块包括：

初选单元，设置为按照所述预设类型对应的操作要求对所述角色语料进行修改和/或删除和/或添加处理。

9.如权利要求8所述的装置，其特征在于：所述预处理模块还包括:

分词单元，设置为对经过处理的每一类的角色语料按照语义和/或词表进行分词处理，所述分词处理包括将所述每一类的角色预料从无间隔的字串映射到有间隔的字词串。

10.如权利要求7所述的装置，其特征在于：过滤模块融合每一类所述角色分词语料，进行过滤停用词处理，获得过滤语料是指:

删除每一类角色分词语料中的无意义的词。

11.如权利要求7所述的装置，其特征在于：所述文本模块设置为：

计算所述过滤语料的每个词语的术语频率-逆文档频率TF-IDF权重,将所述TF-IDF权重小于设定阈值对应的词语删除。

12.如权利要求9所述的装置，其特征在于：所述预处理模块还包括：

标识单元，设置为在分词处理后获得的每个词语前添加所述预设类型对应的标识。