CN110377909B - 一种客户反馈信息的分类方法及装置 - Google Patents

一种客户反馈信息的分类方法及装置 Download PDF

Info

Publication number
CN110377909B
CN110377909B CN201910658921.XA CN201910658921A CN110377909B CN 110377909 B CN110377909 B CN 110377909B CN 201910658921 A CN201910658921 A CN 201910658921A CN 110377909 B CN110377909 B CN 110377909B
Authority
CN
China
Prior art keywords
filter
training
feedback information
contribution degree
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910658921.XA
Other languages
English (en)
Other versions
CN110377909A (zh
Inventor
刘馨靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201910658921.XA priority Critical patent/CN110377909B/zh
Publication of CN110377909A publication Critical patent/CN110377909A/zh
Application granted granted Critical
Publication of CN110377909B publication Critical patent/CN110377909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种客户反馈信息的分类方法，该方法包括：步骤1根据网络参数，确定卷积神经网络分类模型中的贡献度，其中，网络参数为使用反向传播算法计算获得的参数，网络参数包括滤波器的权重；步骤2根据贡献度，确定总滤波器集合；步骤3根据卷积区域的数目、每个卷积区域内的总滤波器集合和文本训练集，计算获得文本训练集的类别概率；步骤4对比类别概率和概率预设值，获得对比结果；步骤5根据对比结果，确定是否停止文本分类模型的训练，若是，则更新网络参数，并重复步骤1，继续训练；否则，停止训练，获得文本分类模型；步骤6将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别，精确提炼有用信息。

Description

一种客户反馈信息的分类方法及装置
技术领域
本发明实施例涉及人工智能和自然语言处理技术领域，特别涉及一种客户反馈信息的分类方法及装置。
背景技术
目前，随着人工智能技术的快速发展，自然语言处理技术被广泛应用于很多领域。在产品的售后部门，每个客服人员都会接收到大量的客户咨询或投诉问题，在这些咨询或投诉问题中，存在多种反馈信息。例如，在网络运营商的客户咨询或投诉信息中，会包含客户对于网络质量、网络服务以及网络资费等多种问题的反馈信息。
在众多客户的反馈信息中，存在很多有价值的信息，例如对于如何提升网络质量的建议、提高网络服务的建议以及请求降低网络资费的诉求等。目前，主要通过人工客服来收集上述有价值的信息，但由于上述有价值的信息多零散的分布在不同的客户反馈的信息中，导致收集上来的信息不完整，无法做到分类清楚，精确提炼，不能通过汇总的信息总结客户的主要诉求，导致客户体验度差。
发明内容
为此，本发明提供一种客户反馈信息的分类方法及装置，以解决现有技术中由于人工收集的反馈信息分类不清楚而导致的无法精确提炼客户的主要诉求，使得客户体验度差的问题。本发明要解决的问题是：通过文本分类模型对客户反馈信息进行语义分析，避免无法获知客户的主要诉求和建议，使得客户体验度差的问题。
为了实现上述目的，本发明的第一方面提供一种客户反馈信息的分类方法及装置，该方法包括：步骤1：根据卷积神经网络分类模型中的网络参数，确定滤波器的贡献度，其中，网络参数为使用反向传播算法计算获得的参数，网络参数包括滤波器的权重；步骤2：根据滤波器的贡献度，确定总滤波器集合，总滤波器集合为参与本次文本分类模型的训练的滤波器的集合；步骤3：根据卷积区域的数目、每个卷积区域内的总滤波器集合和文本训练集，计算获得文本训练集的类别概率，文本训练集包括客户反馈信息；步骤4：对比类别概率和概率预设值，获得对比结果；步骤5：根据对比结果，确定是否停止文本分类模型的训练，若是，则更新网络参数，并重复步骤1，继续训练；否则，停止训练，获得文本分类模型；步骤6：将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别。
其中，步骤2包括：根据贡献度计算函数，计算获得滤波器的贡献度；根据滤波器的贡献度和预设阈值判断每个滤波器是否参与训练，以确定总滤波器集合。
其中，步骤1包括：根据网络参数，确定滤波器的输出值；根据输出值和贡献度计算函数，确定滤波器的贡献度。
其中，贡献度计算函数的公式为：
Figure BDA0002136927280000021
其中，A表示滤波器a的贡献度，i表示第i个样本，i为小于或等于N的自然数；N表示文本训练集中包括的样本个数，N为大于1的自然数；log为对数运算符号；Yi表示第一滤波器集合中的第i个输入样本输入到滤波器中对应的输出，Yia表示第二滤波器集合中的第i个输入样本输入到滤波器中对应的输出，
Figure BDA0002136927280000022
表示滤波器a不参与训练时的损失值；第一滤波器集合为所有滤波器都参与训练时的滤波器集；第二滤波器集合为滤波器a不参与训练时的滤波器集，a为小于或等于N的自然数。
其中，根据滤波器的贡献度和预设阈值判断每个滤波器是否参与训练，以确定总滤波器集合的步骤，包括：对比滤波器的贡献度和预设阈值；若滤波器的贡献度大于预设阈值，则确定滤波器参与训练，并将滤波器归入第一滤波器集；若滤波器的贡献度小于或等于预设阈值，则将滤波器归入待选择滤波器集；从待选择滤波器集中，随机选择x个滤波器，获得第二滤波器集，其中，x为小于或等于M的自然数，M为待选择滤波器集包含的滤波器的个数，M大于1的自然数；将第一滤波器集和第二滤波器集合并获得总滤波器集合。
其中，步骤3包括：根据文本训练集，获得滤波器的输入矩阵；根据卷积区域的数目、每个卷积区域内的总滤波器集合和输入矩阵，确定卷积后的结果；将卷积后的结果进行归一化处理，确定词向量的类别概率。
其中，根据文本训练集，获得滤波器的输入矩阵的步骤，包括：获取文本训练集中的每个训练样本的原始词向量；将原始词向量输入到词向量模型中进行训练，获得训练词向量和训练词向量的维度；根据训练词向量在客户反馈信息中的出现频率，确定训练词向量的权重；根据训练词向量、训练词向量的维度和训练词向量的权重，确定输入矩阵。
其中，将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别的步骤，包括：将目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息所对应的分类概率；选择分类概率最大的类别作为目标客户反馈信息的类别。
为了实现上述目的，本发明第二方面提供一种媒体文件的处理装置，包括：一种客户反馈信息的分类装置，包括：贡献度确定模块，用于根据卷积神经网络分类模型中的网络参数，确定滤波器的贡献度，其中，网络参数为使用反向传播算法计算获得的参数，网络参数包括滤波器的权重；总滤波器集合确定模块，用于根据滤波器的贡献度，确定总滤波器集合，总滤波器集合为参与本次文本分类模型的训练的滤波器的集合；计算模块，用于根据卷积区域的数目、每个卷积区域内的总滤波器集合和文本训练集，计算获得文本训练集的类别概率，文本训练集包括客户反馈信息；对比模块，用于对比类别概率和概率预设值，获得对比结果，同时更新网络参数；分类模型确定模块，用于根据对比结果，确定是否停止文本分类模型的训练，若是，则重复步骤1，继续训练；否则，停止训练，获得文本分类模型；类别确定模块，用于将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别。
其中，总滤波器集合确定模块，包括：贡献度计算子模块，用于根据贡献度计算函数，计算获得滤波器的贡献度；总滤波器集合生成子模块，用于根据滤波器的贡献度和预设阈值判断每个滤波器是否参与训练，以确定总滤波器集合。
本发明具有如下优点：通过步骤1至步骤4的迭代训练，主要根据卷积层中的每个滤波器对应的贡献度确定参与训练的总滤波器集合，进而计算获得文本训练集的类别概率，将类别概率与概率预设值做比较，最终确定文本分类模型，通过将目标客户反馈信息的词向量输入到训练获得的文本分类模型中，确定目标客户反馈信息的类别，使得能快速获知该客户反馈信息中对应的问题是哪种类型，精确提炼反馈信息中的有价值的信息，进而获知客户的主要诉求和建议，根据这些主要诉求和建议，辅助修复通信网络，改善网络服务质量或调整通信资费等，提升客户体验度。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明第一实施方式中提供的一种客户反馈信息的分类方法流程方框图；
图2为本发明第二实施方式中提供的一种客户反馈信息的分类方法流程方框图；
图3为本发明第三实施方式中提供的一种客户反馈信息的分类装置方框图；
图4为本发明第三实施方式中提供的总滤波器集合确定模块的方框图。
在附图中：
301：贡献度确定模块 302：总滤波器集合确定模块
303：计算模块 304：对比模块
305：分类模型确定模块 306：类别确定模块
401：贡献度计算子模块 402：总滤波器集合生成子模块
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明的第一实施方式涉及一种客户反馈信息的分类方法。用于精确提炼反馈信息中的有价值的信息，获知客户的主要诉求和建议，根据这些主要诉求和建议，辅助修复通信网络，改善网络服务质量或调整通信资费等，提升客户体验度。
下面对本实施方式中的媒体文件的处理方法的实现细节进行具体的说明，以下内容仅为方便理解本方案的实现细节，并非实施本方案的必须。
图1为本实施方式中的客户反馈信息的分类方法的流程图，该方法可用于服务器。该方法可包括如下步骤。
在步骤101中，根据卷积神经网络分类模型中的网络参数，确定滤波器的贡献度。
需要说明的是，用于文本分类的卷积神经网络(Text Convolutional NeuralNetwork，Text-CNN)分类模型中的网络参数是通过使用反向传播算法计算获得的，网络参数具体可包括滤波器的权重和相关预设阈值等。具体地，利用反向传播算法更新Text-CNN分类模型中各网络参数包括：对激活函数求导，获得各网络参数，具体获得各滤波器的权重和相关预设阈值等。
在一个具体实现中，根据网络参数，确定滤波器的输出值；根据输出值和贡献度计算函数，确定滤波器的贡献度。
常见的损失函数包括均方差函数、交叉熵函数和逻辑回归函数等，通过损失函数和滤波器的输入值，计算获得该滤波器对应的输出值。例如，通过均方差函数：
Figure BDA0002136927280000051
计算获得滤波器的损失值，并通过求导的方式，优化其中的网络参数。其中，y为输出值，a＝f(w*x+b)，x为输入值，f()为激活函数，w为滤波器的权重，b为预设阈值，N为文本训练集中的样本的个数。当设置f()对w求导等于0时，计算得到滤波器的权重w，当设置f()对b求导等于0时，计算得到预设阈值b，通过以上求导优化，计算得到滤波器的权重及预设阈值，再通过贡献度计算函数，将以上经过优化的网络参数和滤波器的输出值输入到贡献度计算函数中，获得滤波器的贡献度。
具体地，贡献度计算函数的公式为：
Figure BDA0002136927280000061
其中，A表示滤波器a的贡献度，i表示第i个样本，i为小于或等于N的自然数；N表示文本训练集中包括的样本个数，N为大于1的自然数；log为对数运算符号；Yi表示第一滤波器集合中的第i个输入样本输入到滤波器中对应的输出，Yia表示第二滤波器集合中的第i个输入样本输入到滤波器中对应的输出，
Figure BDA0002136927280000062
表示滤波器a不参与文本分类模型的训练时的损失值；第一滤波器集合为所有滤波器都参与文本分类模型的训练时的滤波器集；第二滤波器集合为滤波器a不参与文本分类模型的训练时的滤波器集，a为小于或等于N的自然数。
需要说明的是，文本分类模型的训练需要先进行初始化，即首次计算时，是所有滤波器都参与该文本分类模型的训练，通过反向传播算法计算获得初始的网络参数；在第二次及后续的迭代训练中，通过贡献度计算函数，计算得到滤波器的贡献度，并通过损失函数更新网络参数。
在步骤102中，根据滤波器的贡献度，确定总滤波器集合。
其中，总滤波器集合为参与本次文本分类模型的训练的滤波器的集合。
在一个具体实现中，通过滤波器的贡献度来控制该滤波器的动态调整门，确定该滤波器是否参与文本分类模型的训练。其中的动态调整门用于控制滤波器是否参与文本分类模型的训练。
其中，根据贡献度计算函数，计算获得滤波器的贡献度；根据滤波器的贡献度和预设阈值判断每个滤波器是否参与文本分类训练，以确定总滤波器集合。
例如，设定滤波器的预设阈值为100，若当前滤波器的贡献度小于100时，则将该滤波器的动态调整门设置为关闭，表示该滤波器不参与文本分类模型的训练；若当前滤波器的贡献度大于或等于100时，则将该滤波器的动态调整门设置为打开，表示该滤波器参与文本分类模型的训练。通过设置卷积层中的所有滤波器的动态调整门，来获得总滤波器集合。
在一个具体实现中，对比滤波器的贡献度和预设阈值；若滤波器的贡献度大于预设阈值，则确定滤波器参与文本分类模型的训练，并将滤波器归入第一滤波器集；若滤波器的贡献度小于或等于预设阈值，则将滤波器归入待选择滤波器集；从待选择滤波器集中，随机选择x个滤波器，获得第二滤波器集，其中，x为小于或等于M的自然数，M为待选择滤波器集包含的滤波器的个数，M大于1的自然数；将第一滤波器集和第二滤波器集合并获得总滤波器集合。
需要说明的是，通过从包含M个滤波器的待选择滤波器集中，随机选择x个滤波器，获得第二滤波器集；使第二滤波器集作为第一滤波器的补充，防止因预设阈值设置过大，或，贡献度计算函数存在误差而导致的筛选出的滤波器数量过少，使得第一滤波器集和第二滤波器集合并后的总滤波器集合更加符合网络环境，训练模型更加合理化，有效提高网络的精确度。
在步骤103中，根据卷积区域的数目、每个卷积区域内的总滤波器集合和文本训练集，计算获得文本训练集的类别概率。
需要说明的是，文本训练集为用于训练文本分类模型的客户反馈信息的集合，具体包括通过不同渠道(比如客服系统、网络爬虫等)获得的客户反馈信息，以及该反馈信息所对应的问题类型，其中的问题类型可采用人工标注的方式获得，也可通过语义分析获得。具体地，问题类型主要包括以下几大类：网络问题，服务问题和通信资费问题等，不同的客户反馈信息对应的问题类型也不同。
在计算获得文本训练集的类别概率之前，还需要通过对文本训练集中的每个训练样本进行分词处理，获得文本训练集中的每一个训练样本的分词结果。具体地，通过字符串匹配或全切分方法进行分词，其中，字符串匹配方法为按照正向最大匹配、反向最大匹配或双向最大匹配等规则，通过逐个查找词库进行分词。而全切分方法为先切分出与词库中的词相匹配的、所有可能的词，然后将以上分词结果以词网格的形式表示出来，再运用统计语言模型(例如：汉语语言模型(n-gram))找到最优路径，即利用上下文中相邻词间的搭配信息，得到最优的切分结果。
当获得分词结果后，通过词向量的构建，获得每个训练样本对应的词向量和该词向量的维度，词向量每一维的值代表一个具有一定的语义和语法上解释的特征。所以，可以将词向量的每一维称为一个词语特征。例如，其中的一个训练样本经过分词后，可获得K个维度的词向量，其中的K表示该词向量的维度，K为大于或等于1的自然数。然后通过每个卷积区域内的总滤波器集合和文本训练集可计算得到该卷积区域内的所有滤波器的信息，针对这些信息，进行卷积运算；再结合卷积区域的数目，可获知整个卷积层的信息；经过池化层和全连接层的处理，获得当前文本分类模型中，以文本训练集的词向量作为输入，获得文本训练集中的每个训练样本的类别概率。
例如，设定卷积区域的数目为M，每个区域内卷积滤波器个数N，则卷积滤波器个数为M×N，其中，N为大于或等于1的自然数。例如，当M＝3，N＝2时，卷积层一共包括6个滤波器，对输入到这些滤波器中的词向量进行卷积运算，并将计算结果输入到池化层和全连接层，可获得文本训练集中的每个训练样本的类别概率。
在步骤104中，对比类别概率和概率预设值，获得对比结果。
需要说明的是，概率预设值是根据类别概率误差值设定的，表示计算获得的类别概率最低不得超过该概率预设值，通过对比类别概率和概率预设，可获得对比结果。该对比结果包括：类别概率大于该概率预设值，或，类别概率小于等于该概率预设值。
在步骤105中，根据对比结果，确定是否停止文本分类模型的训练。
其中，若对比结果为：类别概率大于该概率预设值，即表示计算获得的类别概率超出了概率误差的允许范围，需要继续训练文本分类模型，例如，更新滤波器的权重及相关预设阈值等，以方便用于下次训练文本分类模型；若对比结果为：类别概率小于或等于该概率预设值，即表示计算获得的类别概率符合要求，可停止文本分类模型的训练，得到所需要的文本分类模型。
需要说明的是，若对比结果为停止文本分类模型的训练，则进入步骤106；否则，若对比结果为继续文本分类模型的训练，则执行步骤107。
在步骤106中，将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别。
需要说明的是，目标客户反馈信息也需要经过步骤103中所描述的分词处理，进而通过词向量的构建，获得该目标客户反馈信息的词向量。
在一个具体实现中，将目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息所对应的分类概率；选择分类概率最大的类别作为目标客户反馈信息的类别。具体地，将获得的分类概率根据大小进行排序，并获得排序结果，取排序结果中分类概率最大的类别对应的问题类型，作为目标客户反馈信息的类别。
在步骤107中，更新网络参数。
需要说明的是，根据步骤101中所描述的损失函数，更新网络参数，其中，网络参数包括滤波器的权重，相关预设阈值等。在执行完步骤107后，继续执行步骤101，重新进行文本分类模型的训练。
在本实施方式中，通过步骤101至步骤104的迭代训练，主要根据卷积层中的每个滤波器对应的贡献度确定参与训练的总滤波器集合，进而计算获得文本训练集中的每一个训练样本的类别概率，将类别概率与概率预设值做比较，最终确定文本分类模型，通过将目标客户反馈信息的词向量输入到训练获得的文本分类模型中，确定目标客户反馈信息的类别，能快速获知该客户反馈信息中对应的问题是哪种类型，精确提炼反馈信息中的有价值的信息，进而获知客户的主要诉求和建议，根据这些主要诉求和建议，辅助修复通信网络，改善网络服务质量或调整通信资费等，提升客户体验度。
本发明的第二实施方式涉及一种客户反馈信息的分类方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：通过使用词向量(Word To Vector，Word2Vec)模型，对文本训练集中的每个训练样本的原始词向量进行训练，获得输入矩阵，再根据卷积区域的数目、每个卷积区域内的总滤波器集合和输入矩阵，进行卷积运算，并将卷积后的结果进行归一化处理，确定词向量的类别概率。
图2为本实施方式中客户反馈信息的分类方法的流程图，该方法可用于服务器。该方法可包括如下步骤。
在步骤201中，根据网络参数，确定卷积神经网络分类模型中的贡献度。
在步骤202中，根据贡献度，确定总滤波器集合。
需要说明的是，本实施例中的步骤201～202，与第一实施方式中的步骤101～102的内容相同，在此不再赘述。
在步骤203中，根据文本训练集，获得滤波器的输入矩阵。
在一个具体实现中，获取文本训练集中的每个训练样本的原始词向量；将原始词向量输入到Word2Vec模型中进行训练，获得训练词向量和训练词向量的维度；根据训练词向量在客户反馈信息中的出现频率，确定训练词向量的权重；根据训练词向量、训练词向量的维度和训练词向量的权重，确定输入矩阵。
需要说明的是，其中，Word2Vec模型是一个词袋模型，不考虑词与词之间的顺序；该模型假设词与词之间相互独立(在大多数情况下，词与词是相互影响的)进而使得通过Word2Vec模型训练后，得到的词向量对应的特征是离散稀疏的。在训练完成之后，可将文本训练集中的每个训练样本的原始词向量都映射到一个具有K个维度的词向量，该词向量用来表示词对词之间的关系，其中的K表示该词向量的维度是K个，即该词向量具有K个维度的词语特征，K为大于或等于1的自然数。例如，设定文本训练集中的每个训练样本的词向量为K个维度的词向量，则卷积区域内的所有滤波器的输入样本，对应的最大的词向量的维数为M×N×K。例如，当M＝3，N＝2，K＝100时，卷积层一共包括6个卷积滤波器，输入到卷积层的词向量的维度为600。
进一步地，设置TEXT-CNN模型的通道数量为2，第一通道为分词后的具有K个维度的词向量；第二通道为在训练过程中，动态调整该词向量后等到的词向量，具体地，通过计算训练词向量在客户反馈信息中的出现频率，为该训练词向量赋予一定的权重，根据该词向量和词向量所对应的权重，确定第二通道内的词向量；再将第一通道内的词向量作为输入矩阵的第一列，将第二人通道内的词向量作为输入矩阵的第二列，获得输入矩阵。
需要说明的是，动态调整的方法有很多，此处通过设定词向量的权重来获得动态调整后的词向量只是举例说明，其他未举例的动态调整方法也在本发明的保护范围内。
在步骤204中，根据卷积区域的数目、每个卷积区域内的总滤波器集合和输入矩阵，确定卷积后的结果。
需要说明的是，通过对每个卷积区域内的总滤波器集合和输入矩阵进行卷积运算，获得卷积后的结果，再通过采用最大池(k-max pooling)算法的池化层，保留了TEXT-CNN模型中的每个卷积区域内、两个通道内的所有滤波器所对应的K个维度的词语特征。
在步骤205中，将卷积后的结果进行归一化处理，确定词向量的类别概率。
需要说明的是，通过全连接层的归一化指数函数(softmax)对卷积后的结果进行归一化处理，获得输入到当前文本分类模型中的训练样本所对应的每个类别的概率，确定该训练样本可能对应的类别有哪些，例如，通过以上处理，获知该训练样本可能是网络问题的概率是30％，该训练样本可能是服务质量问题的概率是40％，该训练样本可能是建议调整通信资费的问题的概率是10％等多个类别概率。
在步骤206中，对比类别概率和概率预设值，获得对比结果。
在步骤207中，根据对比结果，确定是否停止文本分类模型的训练。
需要说明的是，若对比结果为停止文本分类模型的训练，则进入步骤208；否则，若对比结果为继续文本分类模型的训练，则执行步骤209。
在步骤208中，将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别。
在步骤209中，更新网络参数。
需要说明的是，执行完步骤209后，继续执行步骤201，重新进行文本分类模型的训练。
本实施例中的步骤206～209，与第一实施方式中的步骤104～107的内容相同，在此不再赘述。
在本实施方式中，通过使用Word2Vec模型，对文本训练集中的每个训练样本的原始词向量进行训练，获得输入矩阵，突出了文本训练集中的各个训练样本的词语特征，提高了文本分类模型的训练精确度；再根据卷积区域的数目、每个卷积区域内的总滤波器集合和输入矩阵，进行卷积运算，并将卷积后的结果进行归一化处理，确定词向量的类别概率，使得词向量的类别概率能够唯一的表征出来。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种客户反馈信息的分类装置，该装置的具体实施可参见第一实施方式的相关描述，重复之处不再赘述。值得说明的是，本实施方式中的装置的具体实施也可参见第二实施方式的相关描述，但不局限于以上两个实施例，其他未说明的实施例也在本装置的保护范围之内。
如图3所示，该装置主要包括：贡献度确定模块301，用于根据卷积神经网络分类模型中的网络参数，确定滤波器的贡献度，其中，网络参数为使用反向传播算法计算获得的参数，网络参数包括滤波器的权重；总滤波器集合确定模块302，用于根据滤波器的贡献度，确定总滤波器集合，总滤波器集合为参与本次文本分类模型的训练的滤波器的集合；计算模块303，用于根据卷积区域的数目、每个卷积区域内的总滤波器集合和文本训练集，计算获得文本训练集的类别概率，文本训练集包括客户反馈信息；对比模块304，用于对比类别概率和概率预设值，获得对比结果，同时更新网络参数；分类模型确定模块305，用于根据对比结果，确定是否停止文本分类模型的训练，若是，则重复步骤1，继续训练；否则，停止训练，获得文本分类模型；类别确定模块306，用于将获得的目标客户反馈信息的词向量输入到文本分类模型中，确定目标客户反馈信息的类别。
在一个例子中，如图4所示，总滤波器集合确定模块302，包括：贡献度计算子模块401，用于根据贡献度计算函数，计算获得滤波器的贡献度；总滤波器集合生成子模块402，用于根据滤波器的贡献度和预设阈值判断每个滤波器是否参与训练，以确定总滤波器集合。
在本实施方式中，通过总滤波器集合确定模块获得总滤波器集合；并通过确定类别概率模块、对比模块和分类模型确定模块最终获得文本分类模型，然后将客户反馈信息的词向量输入到训练获得的文本分类模型中，确定该客户反馈信息的类别，通过该客户反馈信息的类别，能够具体确定该客户反馈信息所对应的类型，精确提炼反馈信息中的有价值的信息，进而获知客户的主要诉求和建议，根据这些主要诉求和建议，辅助修复通信网络，改善网络服务质量或调整通信资费等，提升客户体验度。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (9)

1.一种客户反馈信息的分类方法，其特征在于，所述方法包括：
步骤1：根据卷积神经网络分类模型中的网络参数，确定滤波器的贡献度，其中，所述网络参数为使用反向传播算法计算获得的参数，所述网络参数包括所述滤波器的权重；
步骤2：根据所述滤波器的贡献度，确定总滤波器集合，所述总滤波器集合为参与本次文本分类模型的训练的所述滤波器的集合；
步骤3：根据卷积区域的数目、每个卷积区域内的所述总滤波器集合和文本训练集，计算获得所述文本训练集的类别概率，所述文本训练集包括客户反馈信息；
步骤4：对比所述类别概率和概率预设值，获得对比结果；
步骤5：根据所述对比结果，确定是否停止文本分类模型的训练，若是，则更新所述网络参数，并重复步骤1，继续所述训练；否则，停止所述训练，获得所述文本分类模型；
步骤6：将获得的目标客户反馈信息的词向量输入到所述文本分类模型中，确定所述目标客户反馈信息的类别；
所述步骤2，包括：根据贡献度计算函数，计算获得所述滤波器的贡献度；
其中，所述贡献度计算函数的公式为：
Figure FDA0003794692680000011
其中，A表示滤波器a的贡献度，i表示第i个样本，i为小于或等于N的自然数；N表示文本训练集中包括的样本个数，N为大于1的自然数；log为对数运算符号；Yi表示第一滤波器集合中的第i个输入样本输入到滤波器中对应的输出，Yia表示第二滤波器集合中的第i个输入样本输入到滤波器中对应的输出，
Figure FDA0003794692680000012
表示滤波器a不参与所述训练时的损失值；第一滤波器集合为所有滤波器都参与所述训练时的滤波器集；第二滤波器集合为滤波器a不参与所述训练时的滤波器集，a为小于或等于N的自然数。
2.根据权利要求1所述的客户反馈信息的分类方法，其特征在于，所述步骤2，包括：
根据所述滤波器的贡献度和预设阈值判断每个所述滤波器是否参与训练，以确定所述总滤波器集合。
3.根据权利要求1所述的客户反馈信息的分类方法，其特征在于，所述步骤1，包括：
根据所述网络参数，确定所述滤波器的输出值；
根据所述输出值和所述贡献度计算函数，确定所述滤波器的贡献度。
4.根据权利要求2所述的客户反馈信息的分类方法，其特征在于，所述根据所述滤波器的贡献度和预设阈值判断每个所述滤波器是否参与训练，以确定所述总滤波器集合的步骤，包括：
对比所述滤波器的贡献度和所述预设阈值；
若所述滤波器的贡献度大于所述预设阈值，则确定所述滤波器参与所述训练，并将所述滤波器归入第一滤波器集；
若所述滤波器的贡献度小于或等于所述预设阈值，则将所述滤波器归入待选择滤波器集；
从所述待选择滤波器集中，随机选择x个所述滤波器，获得第二滤波器集，其中，x为小于或等于M的自然数，M为所述待选择滤波器集包含的所述滤波器的个数，M大于1的自然数；
将所述第一滤波器集和所述第二滤波器集合并获得所述总滤波器集合。
5.根据权利要求1至3中任一项所述的客户反馈信息的分类方法，其特征在于，所述步骤3，包括：
根据所述文本训练集，获得所述滤波器的输入矩阵；
根据卷积区域的数目、每个卷积区域内的所述总滤波器集合和所述输入矩阵，确定卷积后的结果；
将所述卷积后的结果进行归一化处理，确定所述词向量的类别概率。
6.根据权利要求5所述的客户反馈信息的分类方法，其特征在于，所述根据所述文本训练集，获得所述滤波器的输入矩阵的步骤，包括：
获取所述文本训练集中的每个训练样本的原始词向量；
将所述原始词向量输入到词向量模型中进行训练，获得训练词向量和所述训练词向量的维度；
根据所述训练词向量在所述客户反馈信息中的出现频率，确定所述训练词向量的权重；
根据所述训练词向量、所述训练词向量的维度和所述训练词向量的权重，确定所述输入矩阵。
7.根据权利要求1至3中任一项所述的客户反馈信息的分类方法，其特征在于，所述将获得的目标客户反馈信息的词向量输入到所述文本分类模型中，确定所述目标客户反馈信息的类别的步骤，包括：
将所述目标客户反馈信息的词向量输入到所述文本分类模型中，确定所述目标客户反馈信息所对应的分类概率；
选择所述分类概率最大的类别作为所述目标客户反馈信息的类别。
8.一种客户反馈信息的分类装置，其特征在于，包括：
贡献度确定模块，用于根据卷积神经网络分类模型中的网络参数，确定滤波器的贡献度，其中，所述网络参数为使用反向传播算法计算获得的参数，所述网络参数包括所述滤波器的权重；
总滤波器集合确定模块，用于根据所述滤波器的贡献度，确定总滤波器集合，所述总滤波器集合为参与本次文本分类模型的训练的所述滤波器的集合；
计算模块，用于根据卷积区域的数目、每个卷积区域内的所述总滤波器集合和文本训练集，计算获得所述文本训练集的类别概率，所述文本训练集包括客户反馈信息；
对比模块，用于对比所述类别概率和概率预设值，获得对比结果，同时更新所述网络参数；
分类模型确定模块，用于根据所述对比结果，确定是否停止文本分类模型的训练，若是，则重复步骤1，继续所述训练；否则，停止所述训练，获得所述文本分类模型；
类别确定模块，用于将获得的目标客户反馈信息的词向量输入到所述文本分类模型中，确定所述目标客户反馈信息的类别；
所述总滤波器集合确定模块，包括：
贡献度计算子模块，用于根据贡献度计算函数，计算获得所述滤波器的贡献度；
其中，所述贡献度计算函数的公式为：
Figure FDA0003794692680000041
其中，A表示滤波器a的贡献度，i表示第i个样本，i为小于或等于N的自然数；N表示文本训练集中包括的样本个数，N为大于1的自然数；log为对数运算符号；Yi表示第一滤波器集合中的第i个输入样本输入到滤波器中对应的输出，Yia表示第二滤波器集合中的第i个输入样本输入到滤波器中对应的输出，
Figure FDA0003794692680000042
表示滤波器a不参与所述训练时的损失值；第一滤波器集合为所有滤波器都参与所述训练时的滤波器集；第二滤波器集合为滤波器a不参与所述训练时的滤波器集，a为小于或等于N的自然数。
9.根据权利要求8所述的客户反馈信息的分类装置，其特征在于，所述总滤波器集合确定模块，包括：
总滤波器集合生成子模块，用于根据所述滤波器的贡献度和预设阈值判断每个所述滤波器是否参与所述训练，以确定所述总滤波器集合。
CN201910658921.XA 2019-07-19 2019-07-19 一种客户反馈信息的分类方法及装置 Active CN110377909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910658921.XA CN110377909B (zh) 2019-07-19 2019-07-19 一种客户反馈信息的分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910658921.XA CN110377909B (zh) 2019-07-19 2019-07-19 一种客户反馈信息的分类方法及装置

Publications (2)

Publication Number Publication Date
CN110377909A CN110377909A (zh) 2019-10-25
CN110377909B true CN110377909B (zh) 2022-09-23

Family

ID=68254603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910658921.XA Active CN110377909B (zh) 2019-07-19 2019-07-19 一种客户反馈信息的分类方法及装置

Country Status (1)

Country Link
CN (1) CN110377909B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830499B (zh) * 2019-11-21 2021-08-27 中国联合网络通信集团有限公司 一种网络攻击应用检测方法和系统
CN113570380A (zh) * 2020-04-28 2021-10-29 中国移动通信集团浙江有限公司 基于语义分析的业务投诉处理方法、装置、设备及计算机可读存储介质
CN115511124B (zh) * 2022-09-27 2023-04-18 上海网商电子商务有限公司 一种基于售后维修记录的客户分级方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834909A (zh) * 2015-05-07 2015-08-12 长安大学 一种基于Gabor综合特征的图像特征描述方法
CN106485324A (zh) * 2016-10-09 2017-03-08 成都快眼科技有限公司 一种卷积神经网络优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170308790A1 (en) * 2016-04-21 2017-10-26 International Business Machines Corporation Text classification by ranking with convolutional neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834909A (zh) * 2015-05-07 2015-08-12 长安大学 一种基于Gabor综合特征的图像特征描述方法
CN106485324A (zh) * 2016-10-09 2017-03-08 成都快眼科技有限公司 一种卷积神经网络优化方法

Also Published As

Publication number Publication date
CN110377909A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110377909B (zh) 一种客户反馈信息的分类方法及装置
US20170330054A1 (en) Method And Apparatus Of Establishing Image Search Relevance Prediction Model, And Image Search Method And Apparatus
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN109948149B (zh) 一种文本分类方法及装置
CN110674850A (zh) 一种基于注意力机制的图像描述生成方法
CN108170848B (zh) 一种面向中国移动智能客服的对话场景分类方法
US11803731B2 (en) Neural architecture search with weight sharing
CN112347248A (zh) 一种方面级文本情感分类方法及系统
CN111125334A (zh) 一种基于预训练的搜索问答系统
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
He et al. Towards more accurate uncertainty estimation in text classification
CN110516070A (zh) 一种基于文本纠错与神经网络的中文问句分类方法
CN116992005B (zh) 基于大模型及本地知识库的智能对话方法、系统及设备
CN111309859A (zh) 一种景区网络口碑情感分析方法及装置
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
CN110795411B (zh) 一种基于类别门机制的文本分类方法
CN111353040A (zh) 基于gru的属性级别情感分析方法
CN113886562A (zh) 一种ai简历筛选方法、系统、设备和存储介质
CN111813893B (zh) 基于深度迁移学习的房地产市场分析方法、装置及设备
CN116245102B (zh) 一种基于多头注意力和图神经网络的多模态情感识别方法
CN109033413B (zh) 一种基于神经网络的需求文档和服务文档匹配方法
CN117033961A (zh) 一种上下文语境感知的多模态图文分类方法
CN116756303A (zh) 一种多主题文本摘要自动生成方法及系统
CN115344695A (zh) 一种基于领域bert模型的服务文本分类方法
CN114969511A (zh) 基于分片的内容推荐方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant