CN108563791A - 一种建筑质量投诉文本分类的方法和系统 - Google Patents

Abstract

本发明公开了一种建筑质量投诉文本分类的方法和系统，方法包括数据收集和分析：收集现有的建筑质量投诉文本，并给每条投诉人工匹配投诉类别；投诉文本预处理：使用分词软件将投诉文本分词处理并删除停用词；模型构建：构建基于卷积神经网络的文本分类模型；模型优化：利用已标记的文本数据，进行模型的训练与验证，对比不同批次验证结果的准确率，自动调整模型参数，最终得到最优分类模型。本发明的技术方案由于采用基于卷积神经网络的机器学习，将投诉文本表示为包含语义信息的空间向量，能够对投诉文本进行高效、准确的自动化分类，避免了人工分类方式下由于文本语言表达问题造成的理解偏差，有利于支持建筑质量投诉文本的后续处理。

Description

一种建筑质量投诉文本分类的方法和系统

技术领域

本发明属于自然语言处理和建筑工程领域，更具体地，涉及一种建筑质量投诉文本分类的方法和系统。

背景技术

随着建筑行业的快速发展，各种建筑质量相关问题不断涌现，相关投诉日益增多。传统的建筑质量投诉方法是，用户通过电话、信件或者面谈等方式提出投诉请求，由工作人员记录投诉内容。随着互联网技术的发展迅速，作为政府电子政务系统的重要组成部分，多种电子投诉渠道(如政府投诉网站、微博、微信平台等)得到快速发展，因此建筑质量投诉规模越来越大。如何快速有效的解决大量用户投诉，成为政府急需解决的问题。

在处理建筑质量投诉的过程中，首先需要对不同投诉分门别类，以便后续快速、准确的将不同类别的投诉分配给不同部门的专业人员进行处理。因此文本分类是处理建筑质量投诉的首要任务。

传统建筑质量投诉文本分类过程是由相关工作人员针对投诉内容进行人工分类。传统建筑质量投诉文本分类过程需要大量劳动力，不适应当前快速增长的投诉量。另外，由于参与分类的工作人员由于专业知识的偏差，容易造成错误的分类，影响后期投诉处理的效率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种建筑质量投诉文本分类的方法和系统，其目的在于，应用计算机技术自动处理投诉文本，实现高效准确的分类。

为实现上述目的，按照本发明的一个方面，提供了一种建筑质量投诉文本分类的方法，包括以下步骤：

步骤1：收集现有的建筑质量投诉文本，提取每条投诉的投诉内容及投诉类别；

步骤2：将投诉内容分词处理，构建投诉文本二维矩阵；

步骤3：将投诉内容文本二维矩阵输入卷积神经网络，对卷积神经网络进行训练，得到文本分类模型。

进一步地，步骤2中，分词处理包括将投诉文本切词并将删除停用词，分词处理后将投诉文本转换为二维空间矩阵。

进一步地，投诉文本转换为二维空间矩阵的方法如下：

2.1、建立建筑质量投诉领域词汇词典；

2.2、将投诉文本中包含的关键词，分别在投诉领域词汇词典中进行检索；

2.3、按照关键词的序列，将从词典中查找的关键词向量组合成投诉文本的二维空间矩阵。

进一步地，步骤3中的文本分类模型包括特征提取和文本分类两部分；

特征提取部分包括卷积核和全连接层，卷积核中包括卷积层、激活层和池化层；

文本分类部分包括输入层、隐藏层和输出层。

进一步地，文本分类模型中的模型参数包括；输入层参数x_i，隐藏层参数y_r，输出层参数C_l，输入层与隐藏层之间为W_ir，隐藏层与输出层之间参数为V_rl；其中，

I表示输入层总共有I个输入参数，R表示隐藏层总共有R个隐藏参数。

进一步地，训练前，将x_i、y_r、C_l、W_ir、V_rl赋予随机值，以进行初始化。

进一步地，还包括如下模型优化步骤：

步骤4：将多份已知类别的建筑质量投诉文本分批作为训练集和验证集，按照步骤1、2处理后，输入步骤3的文本分类模型进行训练与验证，将不同批次计算结果的准确率作对比，挑选准确率最高的批次对应的模型参数对文本分类模型进行更新，得到最优参数模型。

进一步地，步骤4包括如下子步骤：

步骤4.1、第k-1次参数更新时，得到x_i、y_r、C_l、W_ir、V_rl的参数集P_k-1，使用验证集数据对第k-1次参数更新更新后的文本分类模型进行测试，得出第k-1次验证时的准确率为A_k-1；

步骤4.2、在第k-1次参数更新的基础上，使用第k次训练集数据对文本分类模型进行训练；

步骤4.3、经过步骤4.2模型训练后，得到参数集P_k，使用验证集在参数集P_k下进行测试，得出k次时的准确率A_k；

步骤4.4、比较第k-1和第k次的验证准确率，若A_k>A_k-1，则删除参数集P_k-1，保留P_k作为步骤1.1中的文本分类模型参数，返回步骤1.1继续第k+1次的参数更新；反之，若A_k<A_k-1，则删除参数集P_k，保留P_k-1作为步骤1.1中的文本分类模型参数，返回步骤1.1继续第k+1次的参数更新，直至得到最优参数集。

进一步地，更新文本分类模型的参数时，使用梯度下降算法对参数更新进行更新方向指导，更新公式如下：

其中，θ表示模型参数集；

J(θ)表示损失函数；

x⁽ⁱ⁾表示样本输入特征；

y⁽ⁱ⁾表示样本输出特征；

h_θ表示假设函数，用于拟合输入样本(x⁽ⁱ⁾，y⁽ⁱ⁾)；

α表示学习速率，用于成功找到最佳参数集θ；

m表示总共有m个样本。

为了实现上述目的，本发明还提供了一种建筑质量投诉文本分类的系统，包括投诉文本预处理模块、投诉文本特征提取模块、投诉文本分类模块和参数优化模块，其中，

投诉文本预处理模块用于获取建筑质量投诉文本后对建筑质量投诉文本进行分词处理，并将投诉文本转换成二维空间矩阵表示；

投诉文本特征提取模块用于根据投诉文本的二维空间矩阵提取投诉文本的特征；

投诉文本分类模块用于根据提取的投诉文本的特征，计算投诉文本的所属类别，得到最终分类结果；

参数优化模块用于更新文本分类模块的分类模型参数，得到更优参数组合。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明的技术方案采用文本二维空间向量表示，并用卷积神经网络处理，不仅文本表达过程中包含语义信息，分类过程中也能利用语义信息实现分类，保证分类准确性。

2、本发明中基于卷积神经网络的文本分类模型在参数优化后，可应用于建筑质量投诉文本的自动化、快速分类，分类准确率高，无需人工参与，可满足对大量投诉文本进行高效分类的需求。

附图说明

图1是本发明实施例中的建筑质量投诉文本特征提取流程图；

图2是本发明实施例中的文本分类模型结构示意图；

图3是本发明实施例中的参数自动优化流程图；

图4是本发明实施例中的建筑投诉文本分类系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参阅图1所示，是本发明实施例中的建筑质量投诉文本特征提取流程图。该建筑质量投诉文本特征提取流程包括以下步骤：

步骤1、获取建筑质量相关投诉文档，提取其中需要的投诉内容和投诉类别。

步骤2、使用分词软件对提取出的投诉文档内容进行切词并删除停用词。

将切词并删除停用词后的投诉内容词组在领域词典中查找，根据投诉内容词组顺序，组成投诉内容文本二维矩阵。建筑投诉文本领域词典包含所有建筑投诉领域词汇，每条词汇最开始是计算机随机给定元素的一维向量，所有词汇构成二维空间矩阵。投诉文本转换为二维空间矩阵的方法如下：

2.1、建立建筑质量投诉领域词汇词典；

2.2、将投诉文本中包含的关键词，分别在投诉领域词汇词典中进行检索；

2.3、按照关键词的序列，将从词典中查找的关键词向量组合成投诉文本的二维空间矩阵。

例如：某次投诉文本切词并删除停用词后的投诉内容为：外墙/渗水/导致/内墙/发霉/漏水，每个词组在领域词典中查找词组的一维向量为w₁,w₂,w₃,w₄,w₅,w₆,组成该投诉内容文本二维矩阵为[w₁,w₂,w₃,w₄,w₅,w₆]^T。

步骤3、将投诉内容文本二维矩阵输入卷积神经网络，对卷积神经网络进行训练，得到文本分类模型。具体地，如图2、图3所示，包括如下步骤：

3.1、使用最开始由计算机随机给定元素的卷积矩阵对步骤2生成的二维矩阵进行卷积操作，得到一维向量。

3.2、使用Relu激活函数对步骤3.1生成的一维向量进行激活操作，得到激活后的一维向量。

3.3、使用Max pooling操作对步骤3.2生成的一维向量进行处理，得到此卷积矩阵处理后的数值。

步骤108、将不同的卷积矩阵最终处理后得到的数值连接起来，形成代表此条投诉文本的一维向量。

当用户输入多条建筑质量投诉文本时，通过本流程提取出投诉中的文本特征，得到不同的一维向量。在特征提取过程中，领域词典包含了不同词汇不同语义特征，卷积过程也提取了不同词汇上下文语境下的语义，因此能够保证最终分类较高的准确率，具有重要的意义。

如图2所示，是本发明面向建筑质量投诉文本的文本分类模型结构示意图。文本分类模型模型包含输入层、隐藏层、输出层和Softmax四层结构。

输入层为x_i，与建筑质量投诉文本特征提取流程图处理形成的一维向量中的元素相对应，隐藏层为y_r，输出层为C_l，Softmax为需要进行分类所有类别，输入层与隐藏层之间参数为W_ir，隐藏层与输出层之间参数为V_rl。

隐藏层隐藏层包含Relu激活函数，对隐藏层参数进行激活操作。

输出层

Softmax是对输出层参数C_l使用Softmax函数进行处理，得出一条投诉条文在每一个类别中的相关度，数值最高则表示通过计算该投诉条文属于该类别。

如图3所示，是本发明面向建筑质量投诉文本的参数自动优化流程图。参数自动优化中的参数包括领域词典二维矩阵的元素、卷积核卷积矩阵中的元素和文本分类模型中的参数W_ir和V_rl。

步骤4：将多份已知类别的建筑质量投诉文本分批作为训练集和验证集，按照步骤1、2处理后，输入步骤3的文本分类模型进行训练与验证，将不同批次计算结果的准确率作对比，挑选准确率最高的批次对应的模型参数对文本分类模型进行更新，得到最优参数模型。具体地：

4.1、第k-1次参数更新时，得到参数集P_k-1，使用验证集数据对此参数模型进行测试，得出第k-1次验证时的准确率为A_k-1。

4.2、在第k-1次参数基础上，使用第k次训练集数据对模型训练，使用梯度下降算法对参数更新进行更新方向指导，梯度下降算法

4.3、经过步骤4.2模型训练后，得到参数集P_k，使用验证集在此参数下进行测试，得出k次时的准确率A_k。

4.4、比较第k-1和第k次的验证准确率，若A_k>A_k-1，则删除参数集P_k-1，保留P_k作为步骤4.1的参数，继续第k+1次的参数更新；反之，若A_k<A_k-1，则删除参数集P_k，保留P_k-1作为步骤4.1参数，继续第k+1次参数更新。

通过设置每次训练集大小和参数更新次数，最终得到最优参数组合，实现在测试集上测试得到较高的准确率。

参阅图4所示，是本发明面向建筑质量投诉文本分类系统的结构示意图。所述建筑质量投诉文本分类系统包括文本预处理模块、投诉文本特征提取模块、投诉文本分类模块和参数优化模块。

文本预处理模块是得到建筑质量投诉文本后提取所需的投诉内容和投诉类别两项所需内容，对投诉内容进行处理，转化成文本二维空间矩阵，发送给文本特征提取模块。

文本特征提取模块接收输入文本二维空间矩阵，使用特征提取模型提取投诉文本语义特征，形成不同的代表投诉文本的一维向量，发送给投诉文本分类模块。

投诉文本分类模块使用文本分类模型对输入的一维向量进行计算，得到投诉文本与不同投诉类别相关度，最终实现输入的投诉文本归属哪一个投诉类别。

参数优化模块在模型训练阶段，使用梯度下降算法对文本预处理模块、文本特征提取模块和投诉文本分类模块中使用的模型参数进行训练并找到最优参数组合，保证模型在投诉文本分类中的准确率。

本发明实施例对比传统建筑投诉文本分类，适应当前互联网发展对建筑投诉领域的影响，实现分类自动化和智能化，所需工作人员和劳动量都大大减少。其中技术优点有：

1、采用最新机器学习中的卷积神经网络和文本分类模型用于建筑质量投诉文本分类，充分利用投诉文本词组语义和上下文相关语义信息，实现更高的分类准确率；

2、模型训练完成之后进行分类操作速度快、准确率高，且配置要求低，有利于实际条件下的应用；

3、本发明的技术方案由于采用基于卷积神经网络的机器学习，将投诉文本表示为包含语义信息的空间向量，能够对投诉文本进行高效、准确的自动化分类，避免了人工分类方式下由于文本语言表达问题造成的理解偏差，有利于支持建筑质量投诉文本的后续处理。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种建筑质量投诉文本分类的方法，其特征在于，包括以下步骤：

步骤1：收集现有的建筑质量投诉文本，提取每条投诉的投诉内容及投诉类别；

步骤2：将投诉内容分词处理，构建投诉文本二维矩阵；

步骤3：将投诉内容文本二维矩阵输入卷积神经网络，对卷积神经网络进行训练，得到文本分类模型。

2.根据权利要求1所述的一种建筑质量投诉文本分类的方法，其特征在于，步骤2中，分词处理包括将投诉文本切词并将删除停用词，分词处理后将投诉文本转换为二维空间矩阵。

3.根据权利要求2所述的一种建筑质量投诉文本分类的方法，其特征在于，投诉文本转换为二维空间矩阵的方法如下：

2.1、建立建筑质量投诉领域词汇词典；

2.2、将投诉文本中包含的关键词，分别在投诉领域词汇词典中进行检索；

2.3、按照关键词的序列，将从词典中查找的关键词向量组合成投诉文本的二维空间矩阵。

4.根据权利要求1～3任意一项所述的一种建筑质量投诉文本分类的方法，其特征在于，步骤3中的文本分类模型包括特征提取和文本分类两部分；

特征提取部分包括卷积核和全连接层，卷积核中包括卷积层、激活层和池化层；

文本分类部分包括输入层、隐藏层和输出层。

5.根据权利要求4所述的一种建筑质量投诉文本分类的方法，其特征在于，文本分类模型中的模型参数包括；输入层参数x_i，隐藏层参数y_r，输出层参数C_l，输入层与隐藏层之间为W_ir，隐藏层与输出层之间参数为V_rl；其中，

I表示输入层总共有I个输入参数，R表示隐藏层总共有R个隐藏参数。

6.根据权利要求5所述的一种建筑质量投诉文本分类的方法，其特征在于，训练前，将x_i、y_r、C_l、W_ir、V_rl赋予随机值，以进行初始化。

7.根据权利要求1或5所述的一种建筑质量投诉文本分类的方法，其特征在于，还包括如下模型优化步骤：

步骤4：将多份已知类别的建筑质量投诉文本分批作为训练集和验证集，按照步骤1、2处理后，输入步骤3的文本分类模型进行训练与验证，将不同批次计算结果的准确率作对比，挑选准确率最高的批次对应的模型参数对文本分类模型进行更新，得到最优参数模型。

8.根据权利要求7所述的一种建筑质量投诉文本分类的方法，其特征在于，步骤4包括如下子步骤：

步骤4.1、第k-1次参数更新时，得到x_i、y_r、C_l、W_ir、V_rl的参数集P_k-1，使用验证集数据对第k-1次参数更新更新后的文本分类模型进行测试，得出第k-1次验证时的准确率为A_k-1；

步骤4.2、在第k-1次参数更新的基础上，使用第k次训练集数据对文本分类模型进行训练；

步骤4.3、经过步骤4.2模型训练后，得到参数集P_k，使用验证集在参数集P_k下进行测试，得出k次时的准确率A_k；

步骤4.4、比较第k-1和第k次的验证准确率，若A_k>A_k-1，则删除参数集P_k-1，保留P_k作为步骤1.1中的文本分类模型参数，返回步骤1.1继续第k+1次的参数更新；反之，若A_k<A_k-1，则删除参数集P_k，保留P_k-1作为步骤1.1中的文本分类模型参数，返回步骤1.1继续第k+1次的参数更新，直至得到最优参数集。

9.根据权利要求8所述的一种建筑质量投诉文本分类的方法，其特征在于，更新文本分类模型的参数时，使用梯度下降算法对参数更新进行更新方向指导，更新公式如下：

其中，θ表示模型参数集；

J(θ)表示损失函数；

x⁽ⁱ⁾表示样本输入特征；

y⁽ⁱ⁾表示样本输出特征；

h_θ表示假设函数；

α表示学习速率；

m表示总共有m个样本。

10.一种建筑质量投诉文本分类的系统，其特征在于，包括投诉文本预处理模块、投诉文本特征提取模块、投诉文本分类模块和参数优化模块，其中，

投诉文本预处理模块用于获取建筑质量投诉文本后对建筑质量投诉文本进行分词处理，并将投诉文本转换成二维空间矩阵表示；

投诉文本特征提取模块用于根据投诉文本的二维空间矩阵提取投诉文本的特征；

投诉文本分类模块用于根据提取的投诉文本的特征，计算投诉文本的所属类别，得到最终分类结果；

参数优化模块用于更新文本分类模块的分类模型参数，得到更优参数组合。