CN110737773A - 一种基于神经网络的信息分类方法和系统 - Google Patents
一种基于神经网络的信息分类方法和系统 Download PDFInfo
- Publication number
- CN110737773A CN110737773A CN201910986273.0A CN201910986273A CN110737773A CN 110737773 A CN110737773 A CN 110737773A CN 201910986273 A CN201910986273 A CN 201910986273A CN 110737773 A CN110737773 A CN 110737773A
- Authority
- CN
- China
- Prior art keywords
- text information
- historical
- word vector
- classification model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于神经网络的信息分类方法和系统。该方法包括：构建信息分类模型，而且，在构建信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，所述隐层向量是所述信息分类模型的模型参数；获取当前反馈文本信息，获取所述当前反馈文本信息对应的当前词向量，将所述当前词向量输入所述信息分类模型，获取所述当前反馈文本信息的类型。该方法可以有效地防止模型过拟合，准确地获取反馈信息的类型，提高反馈信息的分类精确度和分类效率。
Description
技术领域
本发明涉及互联网技术领域，具体涉及一种基于神经网络的信息分类方法和系统。
背景技术
用户的咨询、投诉等反馈信息中往往包含了大量的关于当前服务的有用信息，例如网络质量问题和资费不合理问题等，对这些信息进行分类分析可以高效并有针对性地提出优化当前服务的方案。
传统的信息进行分类方式是自然语言处理技术，即提取特征，然后将多个特征串联起来组成一个高维度的特征向量，最后使用机器学习训练各种分类模型进行分类。
当前在训练分类模型的过程中，为了保障分类模型的精确度，会对模型中的所有参数不断进行训练优化。但是，参与训练的参数过多容易使分类模型过于复杂，产生过拟合，表现为分类模型对训练数据分类表现良好而对测试数据分类表现很差，造成信息分类精确度差、分类效率低。
发明内容
为此，本发明提供一种基于神经网络的信息分类方法和系统，以解决现有技术中由于训练的模型易产生过拟合而导致的信息分类精确度差、分类效率低的问题。
为了实现上述目的，本发明第一方面提供一种基于神经网络的反馈信息分类方法，该方法包括
步骤S1，构建信息分类模型，而且，在构建该信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，该隐层向量是信息分类模型的模型参数；
步骤S2，获取当前反馈文本信息；
步骤S3，获取当前反馈文本信息对应的当前词向量；
步骤S4，将上述当前词向量输入信息分类模型，获取上述当前反馈文本信息的类型。
其中，构建信息分类模型步骤，包括：
步骤S11，获取历史反馈文本信息；该历史反馈文本信息预先标记类型；
步骤S12，获取历史反馈文本信息对应的历史词向量；
步骤S13，根据上述历史词向量训练信息分类模型；
步骤S14，根据后向反馈算法优化信息分类模型的模型参数。
优选地，上述根据历史词向量训练信息分类模型步骤，包括：
根据TextRNN模型对历史词向量进行词向量编码；
选择多个隐层向量参与词向量编码，其余隐层向量设置为零；隐层向量是信息分类模型的模型参数；
根据Attention机制对编码后的历史词向量加权，生成历史句向量；
根据TextRNN机制对历史句向量进行句向量编码；
选择多个隐层向量参与上述句向量编码，其余隐层向量设置为零；
根据Attention机制对编码后的历史句向量加权，以生成输出向量；
根据输出向量获取历史反馈文本信息的类型对应的概率。
其中，根据后向反馈算法优化信息分类模型的模型参数步骤，包括：
根据后向反馈算法更新信息分类模型的模型参数；
重复步骤S13,根据历史反馈文本信息的类型对应的概率获取概率值误差；
判断概率值误差是否超过预设阈值；如果该概率值误差大于预设阈值，则重复步骤S14；如果该概率值误差小于等于预设阈值，则执行步骤S2。
优选地，获取当前反馈文本信息对应的当前词向量步骤，包括：
对当前反馈文本信息进行分词处理，生成多个词语；
生成每个词语对应的当前词向量。
优选地，将上述当前词向量输入信息分类模型，以获取当前反馈文本信息的类型步骤，包括：
将上述当前词向量输入信息分类模型，获取当前反馈文本信息每个类型对应的概率；将概率最大的当前反馈文本信息的类型作为当前反馈文本信息的类型。
本发明第二方面提供一种基于神经网络的反馈信息分类系统，该系统包括：
模型生成装置，用于构建信息分类模型,而且，在构建信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，该隐层向量是信息分类模型的模型参数；
文本信息获取装置，用于获取当前反馈文本信息；
词向量获取装置，用于获取当前反馈文本信息对应的当前词向量；
输入装置，用于将当前词向量输入信息分类模型；
输出装置，用于输出获取的当前反馈文本信息的类型。
其中，上述文本信息获取装置，还用于获取历史反馈文本信息；该历史反馈文本信息预先标记类型；
上述词向量获取装置，还用于获取历史反馈文本信息对应的历史词向量；
上述模型生成装置，包括：
训练模块，用于根据历史词向量训练信息分类模型；
优化模块，用于根据后向反馈算法优化信息分类模型的模型参数。
优选地，上述训练模块还包括：
词向量编码单元，用于根据TextRNN模型对历史词向量进行词向量编码；选择多个隐层向量参与词向量编码和句向量编码，其余隐层向量设置为零；隐层向量是信息分类模型的模型参数；
词向量加权单元，用于根据Attention机制对编码后的历史词向量加权，生成历史句向量；
句向量编码单元，还用于根据TextRNN机制对历史句向量进行句向量编码；
句向量加权单元，还用于根据Attention机制对编码后的历史句向量加权，以生成输出向量；
训练获取单元，用于根据输出向量获取历史反文本馈信息的类型对应的概率；
该优化模块还包括：
更新单元，用于根据后向反馈算法更新信息分类模型的模型参数；
优化获取单元，用于重复步骤S13后根据历史反馈文本信息的类型对应的概率获取概率值误差；
判断单元，用于判断概率值误差是否超过预设阈值；如果概率值误差大于预设阈值，则重复步骤S14；如果概率值误差小于等于预设阈值，则执行步骤S2。
优选地，上述系统还包括：
选择装置，用于当输入装置将当前词向量输入信息分类模型，获取当前反馈文本信息的每个类型对应的概率后，选择概率最大的类型作为当前反馈文本信息的类型以使输出装置进行输出。
本发明具有如下优点：
本发明提供的基于神经网络的信息分类方法，获取当前反馈文本信息后，获取当前反馈文本信息对应的当前词向量，将当前词向量输入预先构建的信息分类模型，在预先构建信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，可以有效地防止模型过拟合，准确地获取反馈信息的类型，提高反馈信息的分类精确度和分类效率。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明实施例提供的一种基于神经网络的反馈信息分类方法的流程图；
图2为本发明实施例提供的一种构建信息分类模型的流程图；
图3为本发明实施2提供的一种基于神经网络的反馈信息分类系统的结构示意图。
在附图中：
31：模型生成装置 311：训练模块
312：优化模块 32：存储装置
33：文本信息获取装置 34：词向量获取装置
35：输入装置 36：输出装置
37：选择装置
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本实施例提供一种基于神经网络的信息分类方法，如图1所示，该方法包括以下步骤：
步骤S1，构建信息分类模型。
其中，信息分类模型用于识别信息的类型。
如图2所示，信息分类模型通过以下步骤获得：
步骤S11，获取历史反馈文本信息。
其中，获取历史反馈文本信息的方式包括但不限定于从客服系统导出和/或通过网络爬虫抓取。
需要说明的是，该历史反馈文本信息预先标记类型，即获取该历史反馈文本信息后，标记该历史反馈文本信息对应的类型。在一个实施方式中，历史反馈文本信息对应的类型可以包括：网络质量问题、服务资费问题、员工服务评价和/或其他等。标记方式采用但不限于人工标记。
步骤S12，获取历史反馈文本信息对应的历史词向量。
在获取历史反馈文本信息对应的历史词向量的过程中，需要首先对历史反馈文本信息进行分词处理，得到多个词语，然后生成每个词语对应的历史词向量。
其中，对历史反馈文本信息进行分词处理的方法包括字符串匹配方法和/或全切分方法等。字符串匹配方法是按照正向最大匹配、反向最大匹配或双向最大匹配等规则，逐个查找词库进行分词处理。全切分方法是切分出与词库匹配的所有可能的词语，并将所有可能的词语以网格形式表示，再运用统计语言模型，例如n-gram模型，找到最优路径，决定最优的分词结果。
对历史反馈文本信息进行分词处理得到多个词语，可以通过Word2Vec等算法将每个词语表示为一个多维的历史词向量。
步骤S13，根据历史词向量训练信息分类模型。
需要说明的是，信息分类模型中包含模型参数。初始的信息分类模型中的模型参数的值是随机生成或者根据经验预先设定的，因此需要根据历史词向量训练该信息分类模型以调整模型参数，使信息分类模型能够识别历史词向量对应的历史反馈文本信息的类型。
根据历史词向量训练信息分类模型的训练过程包括：将历史词向量输入信息分类模型，采用TextRNN+Attention机制训练信息分类模型。具体的，首先，根据TextRNN模型对历史词向量进行词向量编码，随机选择多个隐层向量参与词向量编码，其余隐层向量设置为零，该隐层向量是信息分类模型的模型参数。其次，根据Attention(注意力)机制对编码后的历史词向量加权，生成历史句向量。然后根据TextRNN机制对历史句向量进行句向量编码，随机选择多个隐层向量参与句向量编码，其余隐层向量设置为零。最后，根据Attention机制对编码后的历史句向量加权，以生成输出向量。
生成输出向量后，根据输出向量获取历史反馈文本信息的类型对应的概率。在一个实施方式中，将输出向量通过softmax层，得到历史反馈文本信息的每一个类型的概率，从中选择历史反馈文本信息被预先标记的类型对应的概率。
步骤S14，根据后向反馈算法优化信息分类模型的模型参数。
在一个实施方式中，根据后向反馈算法优化信息分类模型的模型参数的步骤包括：根据后向反馈算法更新信息分类模型的模型参数；重复步骤S13,根据历史反馈文本信息的类型对应的概率获取概率值误差；判断该概率值误差是否超过预设阈值；如果该概率值误差大于预设阈值，则重复步骤S14；如果该概率值误差小于等于预设阈值，则执行步骤S2。
其中，根据后向反馈算法更新信息分类模型的模型参数包括：首先获取当前模型的损失函数，然后通过对损失函数中的模型参数进行求导来优化模型参数。损失函数包括均方差函数、交叉熵函数或逻辑回归函数等。在一个实施方式中，当前模型的均方差函数如公式1所示：
公式1中，a＝f(z)＝f(w·x+b)，f()为激活函数、w和b为模型参数、x为输入、y为输出、N指的是输入的总个数。一般的，输入x为矩阵时，N指的是输入x的矩阵的元素个数。通过对公式1中的w和b求偏导后更新信息分类模型的模型参数。
更新信息分类模型的模型参数后，重复步骤S13，即根据历史词向量训练模型参数已经被更新的信息分类模型，获取此时历史反馈文本信息对应的类型的概率，根据该历史反馈文本信息的类型对应的概率获取概率值误差，该概率值误差是该历史反馈文本信息的类型对应的概率与标准概率之间的差值。标准概率指的是历史反馈文本信息的某一类型被绝对认定为是该历史反馈文本信息的类型时所需要达到的概率标准，本实施例中可以设定标准概率的值为1。
判断该概率值误差是否超过预设阈值；如果该概率值误差大于预设阈值，则重复步骤S14。需要说明的是，如果该概率值误差大于预设阈值，则表示当前的参数已经被更新的信息分类模型在分类时误差过大，精确度还需要继续提高，因此需要重新根据后向反馈算法优化信息分类模型的模型参数，并根据历史词向量训练模型参数被再次更新的信息分类模型，然后再次获取此时历史反馈文本信息对应的类型的概率，根据该历史反馈文本信息的类型对应的概率再次获取概率值误差，判断该概率值误差是否超过预设阈值，如果该概率值误差依旧大于预设阈值，则再次重复步骤S14，直到该概率值误差小于等于预设阈值时停止。
在一个实施方式中，历史反馈文本信息的类型被预先标记为网络服务问题，在训练信息分类模型时，将历史反馈文本信息对应的历史词向量输入信息分类模型后，获取的历史反馈文本信息的类型为网络服务问题的概率为65％。由于本实施例中标准概率的值设定为1，所以获得的概率值误差为35％。预设阈值为50％，则此时概率值误差小于预设阈值，信息分类模型分类精确度较好，信息分类模型已经构建完成。
步骤S2，获取当前反馈文本信息
其中，获取当前反馈文本信息的方式包括但不限定于从客服系统导出和/或通过网络爬虫抓取。在一个实施方式中，历史反馈文本信息对应的类型可以包括：网络质量问题、服务资费问题、员工服务评价和/或其他等。
步骤S3，获取当前反馈文本信息对应的当前词向量。
在获取当前反馈文本信息对应的当前词向量的过程中，需要首先对当前反馈文本信息进行分词处理，得到多个词语，然后生成每个词语对应的当前词向量。
其中，对当前反馈文本信息进行分词处理的方法包括字符串匹配和/或全切分方法等。字符串匹配方法是按照正向最大匹配、反向最大匹配或双向最大匹配等规则，逐个查找词库进行分词。全切分方法是切分出与词库匹配的所有可能的词语，并将所有可能的词语以网格形式表示，再运用统计语言模型，例如n-gram模型，找到最优路径，决定最优的切分结果。
对当前反馈文本信息分词处理得到多个词语后，可以通过Word2Vec等算法将每个词语表示为一个多维的当前词向量。
步骤S4，将当前词向量输入信息分类模型，获取当前反馈文本信息的类型。
其中，将当前词向量输入信息分类模型后，可以获取当前反馈文本信息每个类型对应的概率，将概率最大反馈信息的类型作为当前反馈文本信息的类型。在一个实施方式中，将当前词向量输入信息分类模型后，得到对应的当前反馈文本信息的每个类型的概率为：网络质量问题的概率为67％、服务资费问题的概率为23％、员工服务评价的概率为5％、其他的概率为5％，因此，认定当前反馈文本信息的类型为网络质量问题。
本实施例提供一种基于神经网络的信息分类方法，获取当前反馈文本信息，进而获取当前反馈文本信息对应的当前词向量，将当前词向量输入预先构建的信息分类模型，在预先构建信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，可以有效防止模型过拟合，准确获取反馈信息的类型，提高反馈信息的分类精确度和分类效率。
本实施例提供一种基于神经网络的信息分类系统，如图3所示，该系统包括：模型生成装置31、存储装置32、文本信息获取装置33、词向量获取装置34、输入装置35、输出装置36和选择装置37。
模型生成装置31，用于构建信息分类模型,而且，在构建信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，该隐层向量是信息分类模型的模型参数。
其中，模型生成装置还包括训练模块311和优化模块312。
训练模块311，用于根据历史词向量训练信息分类模型。
该训练模块包括词向量编码单元、句向量编码单元、词向量加权单元、句向量加权单元和训练获取单元。
其中，词向量编码单元，用于根据TextRNN模型对历史词向量进行词向量编码；选择多个隐层向量参与词向量编码和句向量编码，其余隐层向量设置为零；该隐层向量是信息分类模型的模型参数。
句向量编码单元，用于根据TextRNN机制对历史句向量进行句向量编码。
词向量加权单元，用于根据Attention机制对编码后的历史词向量加权，生成历史句向量。
句向量加权单元，用于根据Attention机制对编码后的历史句向量加权，以生成输出向量。
训练获取单元，用于根据输出向量获取历史反馈文本信息的类型对应的概率。
优化模块312，用于根据后向反馈算法优化信息分类模型的模型参数。
该优化模块包括更新单元、优化获取单元和判断单元。其中：
更新单元，用于根据后向反馈算法更新信息分类模型的模型参数。
优化获取单元，用于使训练模块重复步骤S13后根据历史反馈文本信息的类型对应的概率获取概率值误差。
判断单元，用于判断概率值误差是否超过预设阈值；如果概率值误差大于预设阈值，则使优化模块312重复步骤S14；如果概率值误差小于等于预设阈值，则使文本信息获取装置33执行步骤S2。
存储装置32，用于存储模型生成装置31生成的信息分类模型。
文本信息获取装置33，用于获取当前反馈文本信息或历史反馈文本信息，该历史反馈文本信息预先标记类型。
词向量获取装置34，用于获取当前反馈文本信息对应的当前词向量或历史反馈文本信息对应的历史词向量。
输入装置35，用于将当前词向量输入信息分类模型。
输出装置36，用于输出获取的当前信息的类型。
在一个实施方式中，该系统还包括：
选择装置37，用于当输入装置将当前词向量输入信息分类模型，获取当前反馈文本信息的每个类型对应的概率后，选择概率最大的类型作为当前反馈文本信息的类型以使输出装置进行输出。
本实施例提供的基于神经网络的反馈信息分类系统中各模块和单元的工作方式与基于神经网络的反馈信息分类方法中各步骤对应，因此，基于神经网络的反馈信息分类系统中各模块和单元的详细工作方式可参见本实施例提供的基于神经网络的反馈信息分类方法。
本实施例还提供一种基于神经网络的信息分类系统，通过文本信息获取装置33获取当前反馈文本信息对应的当前反馈文本信息，进而通过词向量获取装置34获取当前反馈文本信息对应的当前词向量，输入装置35将当前词向量输入预先构建的信息分类模型，在模型生成模块31预先构建信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，可以有效防止模型过拟合，使输出装置36输出准确获取的反馈信息的类型，提高反馈信息的分类精确度和分类效率。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种基于神经网络的信息分类方法，其特征在于，所述方法包括：
步骤S1，构建信息分类模型，而且，在构建所述信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，所述隐层向量是所述信息分类模型的模型参数；
步骤S2，获取当前反馈文本信息；
步骤S3，获取所述当前反馈文本信息对应的当前词向量；
步骤S4，将所述当前词向量输入所述信息分类模型，获取所述当前反馈文本信息的类型。
2.根据权利要求1所述的方法，其特征在于，所述构建信息分类模型步骤，包括：
步骤S11，获取历史反馈文本信息；所述历史反馈文本信息预先标记类型；
步骤S12，获取所述历史反馈文本信息对应的历史词向量；
步骤S13，根据所述历史词向量训练信息分类模型；
步骤S14，根据后向反馈算法优化所述信息分类模型的模型参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述历史词向量训练信息分类模型步骤，包括：
根据TextRNN模型对所述历史词向量进行词向量编码；
选择多个隐层向量参与所述词向量编码，其余隐层向量设置为零；所述隐层向量是所述信息分类模型的模型参数；
根据Attention机制对编码后的所述历史词向量加权，生成历史句向量；
根据TextRNN机制对所述历史句向量进行句向量编码；
选择多个所述隐层向量参与所述句向量编码，其余隐层向量设置为零；
根据Attention机制对所述编码后的历史句向量加权，以生成输出向量；
根据所述输出向量获取所述历史反馈文本信息的类型对应的概率。
4.根据权利要求3所述的方法，其特征在于，所述根据后向反馈算法优化所述信息分类模型的模型参数步骤，包括：
根据后向反馈算法更新所述信息分类模型的模型参数；
重复步骤S13,根据所述历史反馈文本信息的类型对应的概率获取概率值误差；
判断所述概率值误差是否超过预设阈值；如果所述概率值误差大于预设阈值，则重复步骤S14；如果所述概率值误差小于等于预设阈值，则执行步骤S2。
5.根据权利要求1所述的方法，其特征在于，所述获取所述当前反馈文本信息对应的当前词向量步骤，包括：
对所述当前反馈文本信息进行分词处理，生成多个词语；
生成每个所述词语对应的当前词向量。
6.根据权利要求1所述的方法，其特征在于，所述将所述当前词向量输入所述信息分类模型，以获取所述当前反馈文本信息的类型步骤，包括：
将所述当前词向量输入所述信息分类模型，获取所述当前反馈文本信息每个类型对应的概率；将概率最大的当前反馈文本信息的类型作为所述当前反馈文本信息的类型。
7.一种基于神经网络的信息分类系统，所述系统包括：
模型生成装置，用于构建信息分类模型,而且，在构建所述信息分类模型时，选择多个隐层向量参与词向量编码和句向量编码，所述隐层向量是所述信息分类模型的模型参数；
文本信息获取装置，用于获取当前反馈文本信息；
词向量获取装置，用于获取所述当前反馈文本信息对应的当前词向量；
输入装置，用于将所述当前词向量输入所述信息分类模型；
输出装置，用于输出获取的所述当前反馈文本信息的类型。
8.根据权利要求7所述的系统，其特征在于，所述文本信息获取装置，还用于获取历史反馈文本信息；所述历史反馈文本信息预先标记类型；
所述词向量获取装置，还用于获取所述历史反馈文本信息对应的历史词向量；
所述模型生成装置，包括：
训练模块，用于根据所述历史词向量训练所述信息分类模型；
优化模块，用于根据后向反馈算法优化所述信息分类模型的模型参数。
9.根据权利要求8所述的系统，其特征在于，所述训练模块还包括：
词向量编码单元，用于根据TextRNN模型对所述历史词向量进行词向量编码；选择多个隐层向量参与词向量编码和句向量编码，其余隐层向量设置为零；所述隐层向量是所述信息分类模型的模型参数；
词向量加权单元，用于根据Attention机制对编码后的所述历史词向量加权，生成历史句向量；
句向量编码单元，还用于根据TextRNN机制对所述历史句向量进行句向量编码；
句向量加权单元，还用于根据Attention机制对所述编码后的历史句向量加权，以生成输出向量；
训练获取单元，用于根据所述输出向量获取所述历史反文本馈信息的类型对应的概率；
所述优化模块还包括：
更新单元，用于根据后向反馈算法更新所述信息分类模型的模型参数；
优化获取单元，用于重复步骤S13后根据所述历史反馈文本信息的类型对应的概率获取概率值误差；
判断单元，用于判断所述概率值误差是否超过预设阈值；如果所述概率值误差大于预设阈值，则重复步骤S14；如果所述概率值误差小于等于预设阈值，则执行步骤S2。
10.根据权利要求7所述的系统，其特征再于，所述系统，还包括：
选择装置，用于当所述输入装置将所述当前词向量输入所述信息分类模型，获取所述当前反馈文本信息的每个类型对应的概率后，选择概率最大的类型作为所述当前反馈文本信息的类型以使所述输出装置进行输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910986273.0A CN110737773B (zh) | 2019-10-17 | 2019-10-17 | 一种基于神经网络的信息分类方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910986273.0A CN110737773B (zh) | 2019-10-17 | 2019-10-17 | 一种基于神经网络的信息分类方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110737773A true CN110737773A (zh) | 2020-01-31 |
| CN110737773B CN110737773B (zh) | 2022-06-10 |
Family
ID=69269129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910986273.0A Active CN110737773B (zh) | 2019-10-17 | 2019-10-17 | 一种基于神经网络的信息分类方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110737773B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170068888A1 (en) * | 2015-09-09 | 2017-03-09 | Intel Corporation | Cost-sensitive classification with deep learning using cost-aware pre-training |
| CN108597519A (zh) * | 2018-04-04 | 2018-09-28 | 百度在线网络技术（北京）有限公司 | 一种话单分类方法、装置、服务器和存储介质 |
| CN109146152A (zh) * | 2018-08-01 | 2019-01-04 | 北京京东金融科技控股有限公司 | 一种线上事故等级预测方法和装置 |
| CN109543183A (zh) * | 2018-11-16 | 2019-03-29 | 西安交通大学 | 基于深度神经网络和标注策略的多标签实体-关系联合提取方法 |
| CN109726268A (zh) * | 2018-08-29 | 2019-05-07 | 中国人民解放军国防科技大学 | 基于分层神经网络的文本表示方法和装置 |
| CN109902154A (zh) * | 2018-11-30 | 2019-06-18 | 华为技术有限公司 | 信息处理方法、装置、服务设备及计算机可读存储介质 |
| CN110147449A (zh) * | 2019-05-27 | 2019-08-20 | 中国联合网络通信集团有限公司 | 文本分类方法和装置 |
-
2019
- 2019-10-17 CN CN201910986273.0A patent/CN110737773B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170068888A1 (en) * | 2015-09-09 | 2017-03-09 | Intel Corporation | Cost-sensitive classification with deep learning using cost-aware pre-training |
| CN108597519A (zh) * | 2018-04-04 | 2018-09-28 | 百度在线网络技术（北京）有限公司 | 一种话单分类方法、装置、服务器和存储介质 |
| CN109146152A (zh) * | 2018-08-01 | 2019-01-04 | 北京京东金融科技控股有限公司 | 一种线上事故等级预测方法和装置 |
| CN109726268A (zh) * | 2018-08-29 | 2019-05-07 | 中国人民解放军国防科技大学 | 基于分层神经网络的文本表示方法和装置 |
| CN109543183A (zh) * | 2018-11-16 | 2019-03-29 | 西安交通大学 | 基于深度神经网络和标注策略的多标签实体-关系联合提取方法 |
| CN109902154A (zh) * | 2018-11-30 | 2019-06-18 | 华为技术有限公司 | 信息处理方法、装置、服务设备及计算机可读存储介质 |
| CN110147449A (zh) * | 2019-05-27 | 2019-08-20 | 中国联合网络通信集团有限公司 | 文本分类方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110737773B (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Istrate et al. | Tapas: Train-less accuracy predictor for architecture search | |
| CN108647226B (zh) | 一种基于变分自动编码器的混合推荐方法 | |
| Zhuang et al. | Mali: A memory efficient and reverse accurate integrator for neural odes | |
| WO2019155064A1 (en) | Data compression using jointly trained encoder, decoder, and prior neural networks | |
| CN111144548B (zh) | 抽油机井工况的识别方法及装置 | |
| CN112987664A (zh) | 一种基于深度强化学习的流水车间调度方法 | |
| CN112069310A (zh) | 基于主动学习策略的文本分类方法及系统 | |
| CN110334208B (zh) | 基于贝叶斯信念网络的lkj故障预测诊断方法和系统 | |
| CN113127737B (zh) | 融合注意力机制的个性化搜索方法和搜索系统 | |
| CN114117029B (zh) | 一种基于多层次信息增强的解决方案推荐方法及系统 | |
| CN114881173A (zh) | 基于自注意力机制的简历分类方法和装置 | |
| CN115496144A (zh) | 配电网运行场景确定方法、装置、计算机设备和存储介质 | |
| CN112905906B (zh) | 一种融合局部协同与特征交叉的推荐方法及系统 | |
| CN107169830B (zh) | 一种基于聚类pu矩阵分解的个性化推荐方法 | |
| CN113159441A (zh) | 银行业务项目实施情况的预测方法及装置 | |
| CN116402630B (zh) | 一种基于表征学习的财务风险预测方法及系统 | |
| Liu et al. | AutoDC: Automated data-centric processing | |
| CN110737773B (zh) | 一种基于神经网络的信息分类方法和系统 | |
| CN108363738B (zh) | 一种工业设备数据分析算法的推荐方法 | |
| CN112749530B (zh) | 文本编码方法、装置、设备及计算机可读存储介质 | |
| CN114385876A (zh) | 一种模型搜索空间生成方法、装置及系统 | |
| Paranjape et al. | Automated Data Preprocessing for Machine Learning Based Analyses | |
| Robles et al. | Interval estimation naïve bayes | |
| Pranav et al. | Control parameter adaptation strategies for mutation and crossover rates of differential evolution algorithm-An insight | |
| CN117010459B (zh) | 基于模块化和序列化自动生成神经网络的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |