CN111861201A - 一种基于大数据分类算法的政务智能派单的方法 - Google Patents

Abstract

本发明公开了一种基于大数据分类算法的政务智能派单方法，首先对获取的投诉信息录入生成工单，并对所述工单进行切词和删除停用词处理；然后根据词条长度与阈值的比较，并在需要进行特征提取时，利用词频逆文档频算法对对应的词条进行特征提取；接着根据对应的所述词条内容，利用BERT模型对所述工单进行智能派单，并在派单出现错误时，进行人工的二次派单，提高资源的利用率。

Description

一种基于大数据分类算法的政务智能派单的方法

技术领域

本发明涉及政务处理技术领域，尤其涉及一种基于大数据分类算法的政务智能派单方法。

背景技术

在传统的市长热线派单工作中，庞大的派单工作量，需要大量的人力对工单进行分类派发，以保证工单的派发不延误，庞大的工作量极大的消耗了人力，物力和财力。基于大数据分类算法的政务智能派单方法，辅助人工处理数量庞大的重复性工作，缓解劳动压力，降低劳动负荷，促进工单快速准确流转，提升行政效能，成为一种必然选择。

在基于大数据分类算法的政务智能派单方法中，使用机器学习中深度学习 BERT(Bidirectional Encoder Representations from Transformers)算法，抽取工单数据中有效特征，学习派单规则，建立基于政务数据的工单推送模型，对获取到的工单地址、内容、备注等信息进行提取、建模、分析等处理，最终得出推荐部门。现有派单系统中人工线上提取和派发的情况，在工单受理量巨大的今天，现有派单系统不能有效提升派单的效率，同时在派单的过程中部分承办单位职责重叠、边界不明、地域重叠，部分部门职能不一致，政府职能调整等问题使得派单的操作复杂度提升，人力成本上升，造成资源的浪费。

发明内容

本发明的目的在于提供一种基于大数据分类算法的政务智能派单方法，提高资源利用率。

为实现上述目的，本发明提供了一种基于大数据分类算法的政务智能派单方法，包括：

获取投诉信息，并对对应的工单进行切词和删除停用词处理；

根据词条长度，判断所述词条是否进行特征提取；

根据所述词条内容，利用BERT模型对所述工单进行智能派单。

其中，根据词条长度，判断所述词条是否进行特征提取，包括：

若词条长度小于阈值，则将对应的词条内容进行保存，若词条长度大于或等于阈值，则利用词频逆文档频算法对对应的词条进行特征提取。

其中，根据词条长度，判断所述词条是否进行特征提取，还包括：

根据所述词条内容，分别计算出对应的词频和逆向文件频率，同时对所述词频和所述逆向文件频率分配权重后，对所述权重值按降序排列，并按照对应的评估方法在得到的功能集中选择出设定特征子集。

其中，根据所述词条内容，利用BERT模型对所述工单进行智能派单，包括：

根据所述设定特征子集或者未进行特征提取的所述词条内容，利用BERT模型将对应的所述工单派发至对应的被派发部门中，同时判断所述工单是否派发正确。

其中，根据所述词条内容，利用BERT模型对所述工单进行智能派单，还包括：

若所述工单派发正确，则所述被派发部门对所述工单进行处理；

若所述工单派发不正确，则在语料库中收录所述工单中的词条内容，并将所述工单发送至人工派单部门进行二次派单，完成工单办结。

本发明的一种基于大数据分类算法的政务智能派单方法，首先对获取的投诉信息录入生成工单，并对所述工单进行切词和删除停用词处理；然后根据词条长度与阈值的比较，并在需要进行特征提取时，利用词频逆文档频算法对对应的词条进行特征提取；接着根据对应的所述词条内容，利用BERT模型对所述工单进行智能派单，并在派单出现错误时，进行人工的二次派单，提高资源的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于大数据分类算法的政务智能派单方法的步骤示意图。

图2是本发明提供的一种基于大数据分类算法的政务智能派单方法的流程示意图。

图3是本发明提供的BERT模型的结构示意图。

图4是本发明提供的词图连接示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种基于大数据分类算法的政务智能派单方法，包括：

S101、获取投诉信息，并对对应的工单进行切词和删除停用词处理。

具体的，12345政府服务热线时用来帮助百姓诉求解决生活、生产中所遇困难和问题，是市委、市政府关注民生、倾听民意的平台，其通常会由话务员记录电话内容，进而对记录的内容进行文本分类，由对应的相关部分解决所反映的问题和困难，当12345热线接到工单投诉时，将具体的投诉信息进行录入，按照顺序线性输入地址、标题和内容，生成工单，这两个句子由定界符分隔，另外两个识别符号添加在前端和后端，然后对所述工单按照基于词典的切词方法中的正向最大匹配法，或采用用基于词典的切词方法中最短路径法进行切词。

在进行切词时，需要额外建立一个词图，词图是一个全联通图，如图4提供的词图连接示意图所示，每个顶点代表词典(语料库)中的一个词，顶点之间代表两个词组合的距离，最短路径法是一种自动切词的算法。它将一句话中的字元视为节点，先找出该句子中存在的所有词语，一个词语的两端：词尾字元和词之前一个字之间视为具有连接。(连接权值可以全为1，或者根据语料库中的词频取对数附加权值。)找出从句子头到尾字元中间的最短路径，便完成了切词。比如，输入：“流形感冒确诊病例”，正向最大匹配法切词：“流形/ 感冒/确诊/病例”；最短路径法切词：“流形感冒/确诊病例”。而具体对输入的地址，标题或内容进行切词和删除停用词进行预处理为：

输入：“该人员和之前溧水区石湫镇的流形感冒确诊病例住的很近”

切词：“该/人员/和/之前/溧水区/石湫镇/的/流形/感冒/确诊/病例/住/的/ 很/近”

删除停用词后：“溧水区/石湫镇//流形/感冒/确诊/病例”

能准确的将文本信息进行切词和删除停用词，为有效提升模型推送的准确率做了强大的支撑。

S102、根据词条长度，判断所述词条是否进行特征提取。

具体的，对已进行切词和删除停用词处理后的词条进行判断，若词条长度小于阈值64，则将对应的词条内容进行保存，若词条长度大于或等于阈值64，则利用词频逆文档频算法对对应的词条进行特征提取，根据所述词条内容，分别计算出对应的词频和逆向文件频率，同时对所述词频和所述逆向文件频率分配权重后，对所述权重值按降序排列，并按照对应的评估方法在得到的功能集中选择出设定特征子集；特征提取是一种文本降维技术，是从高维空间投影到低维空间的过程。文字表示是在特征提取的前一步中，大多数数据集的维数高达数十万，无法一步处理。文本表示将文本矢量化并加粗分配，其作用可以减小特征空间的尺寸。文本表示模型主要包括：布尔模型，VSM向量空间模型，概率模型和一些权重计算，包括布尔权重，词频权重，TF-IDF，TFC，LTC，熵重量。目前，主要特征提取包括潜在语义索引(LSI)，主体成分分析(PCA)，线性判别分析(LDA)等，从而减少了根据主题模型和语义空间的高维特征空间。

采用的词频逆文档频率(TF-IDF)由Salton提出，该方法充分考虑了频率和逆文件的频率。TF-IDF在特征权重的计算中取得了良好的效果，将特征权重计算应用于特征提取是当前最常用的特征提取方法，广泛应用于文本分类领域。其主要思想在于单词或短语在文章中频繁出现，而在其他文章中很少出现，则该单词或短语被认为对本文很重要，表明该词具有良好的分类能力。

而词频逆文档频率算法(TF-IDF)包括词频(TF)和逆向文件频率(IDF)，计算公式分别为：

TF：指示文章中单词或短语的频率，即术语频率：

其中，N_i,j表示单词i在文档j中出现的次数，k表示所有的单词数，Σ是文档j中出现的单词总数。

IDF：包含单词或短语的文档数量，该数量的导数，即逆向文件频率。在数据集中，如果包含特征词的文本数较少，则它表示特征词具有较高的IDF值，值越高，则文字特征词的分类能力：

其中，D表示语料库文档的总数，i表示出现在所有文档中单词i的个数，而card({j|i∈d_i})表示包含词汇j的文档数。

因此，词频逆文档频率算法(TF-IDF)的计算公式为：

TF-IDF_(i,j)＝TF×IDF

词频逆文档频率算法(TF-IDF)表示单词或短语在文章中频繁出现，而在其他文章中很少出现，则该单词或短语被认为对本文很重要，表明该词具有良好的分类能力。

S103、根据所述词条内容，利用BERT模型对所述工单进行智能派单。

具体的，根据所述设定特征子集或者未进行特征提取的所述词条内容，利用BERT模型将对应的所述工单派发至对应的被派发部门中，其中，如图3提供的BERT模型的结构示意图所示，BERT(Bidirectional Encoder Representation from Transformers)，BERT的模型架构基于多层双向转换解码，因为解码器无法获得要预测的信息。该模型的主要创新在于预训练方法，该方法使用MaskedLM和 Next Sentence Prediction分别捕获单词和句子级表示，然后判断所述工单是否派发正确，如图2所提供的基于大数据分类算法的政务智能派单方法的流程示意图所示，若所述工单派发正确，则所述被派发部门对所述工单进行处理；若所述工单派发不正确，比如因为所述词条中的某些词语的切词过程出现错误，与原有的语料库中收录的词语相对应，则会造成派单错误，则在语料库中收录所述工单中的词条内容，并将所述工单发送至人工派单部门进行二次派单，完成工单办结，并对所述语料库进行更新，同时将更新后的语料库对所述BERT模型进行训练，保证派单的准确率，使用TF-IDF算法对文本信息进行矢量化特征处理，其对文本精准的切词和删除停用词的预处理，使得BERT模型在进行分类和派发的准确率高达92％。其工作不受情绪影响和时间限制，有效的减少了相关人工的工作量，极大的节省了人力成本，同时，人工的干预机制也使得该模型的准确程度更高，提高资源利用率。

本发明的一种基于大数据分类算法的政务智能派单方法，首先对获取的投诉信息录入生成工单，并对所述工单进行切词和删除停用词处理；然后根据词条长度与阈值的比较，并在需要进行特征提取时，利用词频逆文档频算法对对应的词条进行特征提取；接着根据对应的所述词条内容，利用BERT模型对所述工单进行智能派单，并在派单出现错误时，进行人工的二次派单，提高资源的利用率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (5)

1.一种基于大数据分类算法的政务智能派单方法，其特征在于，包括：

获取投诉信息，并对对应的工单进行切词和删除停用词处理；

根据词条长度，判断所述词条是否进行特征提取；

根据所述词条内容，利用BERT模型对所述工单进行智能派单。

2.如权利要求1所述的基于大数据分类算法的政务智能派单方法，其特征在于，根据词条长度，判断所述词条是否进行特征提取，包括：

若词条长度小于阈值，则将对应的词条内容进行保存，若词条长度大于或等于阈值，则利用词频逆文档频算法对对应的词条进行特征提取。

3.如权利要求2所述的基于大数据分类算法的政务智能派单方法，其特征在于，根据词条长度，判断所述词条是否进行特征提取，还包括：

根据所述词条内容，分别计算出对应的词频和逆向文件频率，同时对所述词频和所述逆向文件频率分配权重后，对所述权重值按降序排列，并按照对应的评估方法在得到的功能集中选择出设定特征子集。

4.如权利要求3所述的基于大数据分类算法的政务智能派单方法，其特征在于，根据所述词条内容，利用BERT模型对所述工单进行智能派单，包括：

根据所述设定特征子集或者未进行特征提取的所述词条内容，利用BERT模型将对应的所述工单派发至对应的被派发部门中，同时判断所述工单是否派发正确。

5.如权利要求4所述的基于大数据分类算法的政务智能派单方法，其特征在于，根据所述词条内容，利用BERT模型对所述工单进行智能派单，还包括：

若所述工单派发正确，则所述被派发部门对所述工单进行处理；

若所述工单派发不正确，则在语料库中收录所述工单中的词条内容，并将所述工单发送至人工派单部门进行二次派单，完成工单办结。

Images