CN108573031A - 一种基于内容的投诉分类方法和系统 - Google Patents

Abstract

本发明涉及一种基于内容的投诉分类方法和系统，包括如下步骤：获取历史诉求件、历史案例文本，并根据内容进行分类，打上标签；对文本进行学习模型训练，生成机器学习分类模型；训练决策树机器学习模型，再进行细分，随后分配到各部门。本发明实现对大量的诉求件的准确识别以及精确分类，使得投诉工作流程系统化，自动化，智能化，大大节约了人工成本，并且降低了人员流动对工作效率产生影响的风险。

Description

一种基于内容的投诉分类方法和系统

技术领域

本发明涉及公共信息服务业务支撑领域和计算机软件领域，具体涉及一种基于内容的投诉分类方法和系统。

背景技术

随着社会的发展，市民的维权意识不断的增强，政府为了顺应人民群众的需求也相应增加了各种各样的在线投诉渠道，比如投诉热线，便民服务平台等等。但是目前受理诉求件、咨询的交办工作完全依赖人工完成，已经面临非常大的压力。

当前，解决市民投诉问题的关键是投诉的识别定位和具体职能部门的准确分发。目前投诉的一般处理流程为：

1、首先，接线人员根据市民来电进行沟通，记录诉求件内容。

2、建好后诉求件后系统流转到交办处，交办员阅读诉求件内容，根据内容交办到各个职能部门。

3、职能部门接收后进行实际办理，然后再从系统中反馈到平台。

4、最后，接线人员根据系统回访显示进行回访。

存在的问题和不足：

1、交办工作完全依赖人工完成(即人工分类、交办)。随着人民群众维权和参与市政建设的意识的不断增强，诉求需求必会迅速增加。诉求件交办如仍依赖人工，工作量必将明显增大，所消耗的人力资源也必将增多。

2、诉求件交办需要业务能手。由于诉求件必须交办到上百个职能部门去办理，需要交办人员对部门职能非常熟悉，需要长时间的学习和积累经验，当目前的交办人员发生岗位变动或休息时，容易造成交办诉求件积压。

3、处理速度受限。由于人工处理需要一个一个的阅读，判断，在诉求件处理速度上，依赖于阅读速度、业务熟悉程度，无法快速的进行批量处理。

CN201310288121.6号专利申请公开了一种投诉处理的方法和系统，该方法包括输入投诉文本；分析投诉文本与投诉解决方案数据的相关性，确定样本数据；训练神经网络对投诉文本的识别；识别系统结果与实际结果，进行误差分析，并修改对应的权值。该技术方案由于采用文本空间向量表示将投诉文本可以准确分类，避免了由于文本语言表达问题，更能方便工作人员对于投诉情况进行归类、分析，具有投诉定位快、问题修正快、完全自动化的优势。

发明内容

本发明为解决现有的问题，旨在提供一种基于内容的投诉分类方法和系统。为了达到上述目的，本发明采用的技术方案是其特征在于包括如下步骤：

步骤一，获取历史诉求件、历史案例文本，并根据内容进行分类，打上标签；

步骤二，对文本进行朴素贝叶斯机器学习模型训练，生成机器学习分类模型；

步骤三，训练决策树机器学习模型，并使用决策树模型对诉求件再进行细分，随后分配到各部门。

其中，步骤一完成后，对历史诉求件、历史案例文本分词、去除停用词，把每一个文本转化为词袋数据，然后使用词袋数据进行模型训练。

其中，步骤二中，有新诉求件进入后，则使用机器学习模型对新的诉求件进行分类。

其中，还包括步骤四，当新的诉求件积累后，用新增的诉求件和历史数据再次进行机器学习模型训练，更新分类模型。

步骤三中，当诉求件分类错误时，由职能部门反馈给交办人员，由交办人员进行人工纠错。

本发明还提供一种对投诉事件自动分类和交办系统，包括文本采集存储模块、数据处理模块、机器学习模块和反馈模块，所述文本采集存储模块、数据处理模块、机器学习模块和反馈模块依次接入总线，且和若干终端进行数据连接，并接通历史诉求件、历史案例文本，其中：文本采集存储模块，用于获取每个投诉事件的投诉文本，并进行存储，并能根据标签和时间对投诉文本进行准确的查找；数据处理模块，用于对投诉文本进行数据处理，具体包括分词，去除停用词，把投诉文本数据转化为词袋数据；机器学习模块，用于训练机器学习模块，生成分类模型；反馈模块，用于接线人员了解诉求件进展情况，并根据实际情况进行回访。

和现有技术相比，本发明实现对大量的诉求件的准确识别以及精确分类，使得投诉工作流程系统化，自动化，智能化，加快了分类的速度，节约了人工成本，并且降低了人员流动对工作效率产生影响的风险；使用朴素贝叶斯模型和决策树模型相结合的方式，诉求件得以更加准确的分发到各个职能部门；模型定期进行重新训练，可以不断修正模型，使得分类模型可以一直保持较高的分类准确率。

附图说明

图1为本发明实施例的流程示意图；

图2为对投诉事件自动分类和交办系统的结构示意图；

图3为本发明实施例中，决策树分类器分类示例图；

图4为本发明实施例中，机器学习模型训练和进行分类的流程示意图。

具体实施方式

现结合附图对本发明作进一步地说明。

参见图1至图4，为本发明提供的一种投诉事件的投诉内容分类判定方法流程图，图2为对投诉事件自动分类和交办系统的结构示意图，包括步骤：

步骤一：获取历史诉求件和历史案例文本，进行人工分类判定，存储到MongoDB数据库中。这里选取MongoDB数据库是因为：诉求件文本主要为文档型数据，而MongoDB数据库是优秀的文档型数据库，它是基于分布式文件存储的数据库，非常适合在分布式的情况下存储数据，从而在数据库级别保证了数据服务的稳定性和扩展性，为服务数据的一致性和安全性提供有力保障。

步骤二：使用数据处理模块，对投诉文本进行数据处理，具体包括：

使用分词算法对投诉文本进行分词；

使用正则表达式去除投诉内容分词后的中文标点符号和停用词(例如：你、我、他、的、是等)，把文本数据转化为词袋数据。

步骤三：使用上述词袋数据，进行朴素贝叶斯机器学习模型训练，具体包括：设投诉分类有n种，分别为分类1、分类2…分类n；

设训练词袋数据中有m个词，分别为词1、词2…词m；

计算P(分类i)＝分类i的诉求件数/总的诉求件数；

计算P(词j|分类i)＝(分类i中每个诉求件中出现词j的次数的总和+1)/(分类i中所有词出现次数+n)

把上述步骤计算出的每个P(分类i)和每个P(词j|分类i)取对数(本示例一律取底数为2)转化为log P(分类i)和log P(词j|分类i)存到hash表中，完成朴素贝叶斯机器学习模型训练。

步骤四：使用上述朴素贝叶斯分类器对历史诉求件进行分类，在这个基础上用每个分类训练决策树模型,用于细分诉求件到具体职能部门。具体包括：

使用卡方特征词选取法构建特征词词表：

χ²用来衡量特征词条t和类别ci之间的统计相关性。假设特征t和类别ci之间是符合一阶自由度的χ²分布，则特征词t对于类别ci的χ²统计公式定义如上式。其中，A表示属于ci类且包含t的文档频数，B表示不属于ci类但是包含t的文档频数，C表示属于ci类但是不包含t的文档频数，D表示不属于ci类且不包含t的文档频数。

分别计算t对于每个类别的卡方统计值，用下面的公式计算特征t对于整个样本的卡方统计值：

其中P(ci)为每个类别的概率值，n为类别数。

计算每个词t的χ²卡方统计值，排序，取前m个组成特征词表。

对诉求件向量化：

对于每个诉求件，计算特征词表中每个词的TF-IDF值，把每个诉求件文本向量化为m维的向量。

TF为词汇频率(Term-Frequency)，其中，N表示文本的总词汇数，N_w表示词w在文本中出现的次数，TF的值越大，词w与文本的相关性就越强。

IDF为逆文档频率(Inverse Document Frequency)，其中，D_w表示包含词w的文档数，D表示语料库中的总文档数目，IDF值越大，该词与文档的相关性越低。

TF-IDF＝TF*IDF

用向量化后的数据集进行决策树模型训练，生成决策树分类器：

使用ID3算法生成决策树模型，即在决策树各个节点上应用信息增益准则选择特征，递归的构建决策树。

步骤五：用生成的机器学习模型对新的诉求件进行分类，具体包括：

使用数据处理模块对新的诉求件文本进行处理，分词，去除中文标点和停用词，把文本数据转化为词袋数据。

根据条件独立假设和朴素贝叶斯公式计算新诉求件为各个类别的概率值。

比较新诉求件为各个类别概率的大小，取概率最大值的类别即为新诉求件的判定类别。

假如投诉分为三类，{交通、市容、环境}；

新诉求内容，“XX街有小贩乱摆摊行为。”

对新诉求文本进行分词去中文标点，{XX街、有、小贩、乱、摆摊、行为}；计算

log P(交通|XX街，有，小贩，乱，摆摊，行为)

＝log P(XX街|交通)+log P(有|交通)+log P(小贩|交通)…

+log P(乱|交通)+log P(摆摊|交通)+log P(行为|交通)…

+log P(交通)

log P(市容|XX街，有，小贩，乱，摆摊，行为)

＝log P(XX街|市容)+log P(有|市容)+log P(小贩|市容)…

+log P(乱|市容)+log P(摆摊|市容)+log P(行为|市容)…

+log P(市容)

log P(环境|XX街，有，小贩，乱，摆摊，行为)

＝log P(XX街|环境)+log P(有|环境)+log P(小贩|环境)…

+log P(乱|环境)+log P(摆摊|环境)+log P(行为|环境)…

+log P(环境)

随后，比较上述三个概率对数值，最大值为log P(市容|XX街，…)，则新投诉“XX街有小贩乱摆摊行为。”分类为市容。

参见图3，根据分类为市容的决策树分类器，对诉求件进一步进行细分。细分结果为，城管大队。

步骤六：当诉求件分类错误时，由职能部门通过系统的反馈模块反馈给交办人员，由交办人员进行人工纠错。

步骤七：当新的诉求件积累到一定数量时，用新增的诉求件和历史数据再次进行机器学习模型训练，更新分类模型。

本实施例将传统的市民投诉工作流程系统化，自动化，智能化，大大节约了人工成本。其中技术优点有：

使用训练的机器学习模型进行分类，大大加快了分类的速度。

模型定期进行重新训练，可以不断修正模型，使得分类模型可以一直保持较高的分类准确率。

创造性的使用朴素贝叶斯模型和决策树模型相结合的方式，使得诉求件更加准确的分发到各个职能部门。

上面结合附图及实施例描述了本发明的实施方式，实施例给出的结构并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。

Claims (6)

1.一种基于内容的投诉分类方法，其特征在于包括如下步骤：

步骤一，获取历史诉求件、历史案例文本，并根据内容进行分类，打上标签；

步骤二，对文本进行朴素贝叶斯机器学习模型训练，生成机器学习分类模型；

步骤三，训练决策树机器学习模型，并使用决策树模型对诉求件再进行细分，随后分配到各部门。

2.根据权利要求1所述的一种基于内容的投诉分类方法，其特征在于：步骤一完成后，对历史诉求件、历史案例文本进行分词、去除停用词，把每一个文本转化为词袋数据，然后使用词袋数据进行模型训练。

3.根据权利要求1所述的一种基于内容的投诉分类方法，其特征在于：步骤三中，有新诉求件进入后，则使用机器学习模型对新的诉求件进行分类。

4.根据权利要求1、2或3所述的一种基于内容的投诉分类方法，其特征在于：还包括步骤四，当新的诉求件积累后，用新增的诉求件和历史数据再次进行机器学习模型训练，更新分类模型。

5.根据权利要求1所述的一种基于内容的投诉分类方法，其特征在于：步骤三中，当诉求件分类错误时，由职能部门反馈给交办人员，由交办人员进行人工纠错。

6.一种对投诉事件自动分类和交办系统，其特征在于：包括文本采集存储模块、数据处理模块、机器学习模块和反馈模块，所述文本采集存储模块、数据处理模块、机器学习模块和反馈模块依次接入总线，且和若干终端进行数据连接，并接通历史诉求件、历史案例文本，

其中：

文本采集存储模块，用于获取每个投诉事件的投诉文本，并进行存储，并能根据标签和时间对投诉文本进行准确的查找；

数据处理模块，用于对投诉文本进行数据处理，具体包括分词，去除停用词，把投诉文本数据转化为词袋数据；

机器学习模块，用于训练机器学习模块，生成分类模型；

反馈模块，用于接线人员了解诉求件进展情况，并根据实际情况进行回访。