CN113434685A - 一种资讯分类处理的方法及系统 - Google Patents

一种资讯分类处理的方法及系统 Download PDF

Info

Publication number
CN113434685A
CN113434685A CN202110762167.1A CN202110762167A CN113434685A CN 113434685 A CN113434685 A CN 113434685A CN 202110762167 A CN202110762167 A CN 202110762167A CN 113434685 A CN113434685 A CN 113434685A
Authority
CN
China
Prior art keywords
information
text
data
features
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762167.1A
Other languages
English (en)
Other versions
CN113434685B (zh
Inventor
徐晓健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202110762167.1A priority Critical patent/CN113434685B/zh
Publication of CN113434685A publication Critical patent/CN113434685A/zh
Application granted granted Critical
Publication of CN113434685B publication Critical patent/CN113434685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种资讯分类处理的方法及系统，涉及自然语言处理及机器学习技术领域，该方法包括：采集资讯数据，对所述资讯数据进行预处理；建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。

Description

一种资讯分类处理的方法及系统
技术领域
本发明涉及自然语言处理及机器学习技术领域，尤指一种资讯分类处理的方法及系统。
背景技术
手机银行APP作为重要对客渠道，在银行数字化转型中发挥着重要的作用。为进一步提升客户体验，手机银行加入了资讯功能，考虑到每天均会产生各种新资讯，为更好地管理资讯，手机银行需要根据资讯内容对资讯进行分类；考虑到资讯数据量，单纯依靠人工的方式成本高昂且效率低下。
综上来看，亟需一种可以克服上述缺陷，能够高效、准确的进行资讯分类的技术方案。
发明内容
为解决现有技术存在的问题，本发明提出了一种资讯分类处理的方法及系统。本发明通过提取标题文本中信息，并对其进行加工后对资讯进行分类。
在本发明实施例的第一方面，提出了一种资讯分类处理的方法，该方法包括：
采集资讯数据，对所述资讯数据进行预处理；
建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；
根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；
根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；
获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
进一步的，采集资讯数据，对所述资讯数据进行预处理，包括：
对收集的资讯数据进行筛选和标注，提取资讯的标题文本并标注资讯类别。
进一步的，建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息，包括：
根据文本中词语之间的关系，利用LSTM对文本进行前向及后向特征提取，得到文本特征的前向和后向语义信息；
将文本特征的前向和后向语义信息进行整合，按照特征维度进行拼接得到新特征；其中，文本中的每个文字通过相应的所述新特征、文本特征的前向和后向语义信息进行表示。
进一步的，根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型，包括：
对新特征进行处理，选择性增大有效特征的影响，并抑制无效特征的影响，其中，信息增强的选择逻辑为：
设置输入数据维度为[B,S,H*2]，其中，B表示数据批量，S表示文本长度，H表示LSTM隐层神经元数；
将S个文字的特征按矩阵第二个维度相加，并求均值得到[B,1,H*2]维度的第一数据，其中，第一数据包含了整个文本所有的信息；
将第一数据的矩阵输入一个全连接神经网络中，输入神经元数为H*2，隐层神经元数为H，输出层神经元数为H*2，全连接神经网络最终输出一个[H*2,1]维度的第一权重矩阵，所述第一权重矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强；
利用所述第一权重矩阵与输入数据[B,S,H*2]相乘，得到[B,S,1]的第二权重矩阵，所述第二权重矩阵代表文本中每个文字的权重，用于对文字特征进行增强，利用第二权重矩阵与输入数据[B,S,H*2]相乘，得到最终的文本特征矩阵[B,H*2]，将最终的文本特征矩阵输入到分类层中，得到最终的分类结果；
按照特征重要度对每个文字的特征进行增强或抑制，对所有文字的特征按重要度进行增强或抑制，优化资讯分类模型。
进一步的，根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试，包括：
利用训练集对优化后的资讯分类模型进行训练；
根据测试集的资讯标题对训练的模型进行测试，判断分类结果是否正确；其中，若正确率达到预设值，模型训练完成。
在本发明实施例的第二方面，提出了一种资讯分类处理的系统，该系统包括：
数据采集模块，用于采集资讯数据，对所述资讯数据进行预处理；
特征处理模块，用于建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；
模型优化模块，用于根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；
模型训练模块，用于根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；
资讯分类模块，用于获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
进一步的，数据采集模块具体用于：
对收集的资讯数据进行筛选和标注，提取资讯的标题文本并标注资讯类别。
进一步的，特征处理模块具体用于：
根据文本中词语之间的关系，利用LSTM对文本进行前向及后向特征提取，得到文本特征的前向和后向语义信息；
将文本特征的前向和后向语义信息进行整合，按照特征维度进行拼接得到新特征；其中，文本中的每个文字通过相应的所述新特征、文本特征的前向和后向语义信息进行表示。
进一步的，模型优化模块具体用于：
对新特征进行处理，选择性增大有效特征的影响，并抑制无效特征的影响，其中，信息增强的选择逻辑为：
设置输入数据维度为[B,S,H*2]，其中，B表示数据批量，S表示文本长度，H表示LSTM隐层神经元数；
将S个文字的特征按矩阵第二个维度相加，并求均值得到[B,1,H*2]维度的第一数据，其中，第一数据包含了整个文本所有的信息；
将第一数据的矩阵输入一个全连接神经网络中，输入神经元数为H*2，隐层神经元数为H，输出层神经元数为H*2，全连接神经网络最终输出一个[H*2,1]维度的第一权重矩阵，所述第一权重矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强；
利用所述第一权重矩阵与输入数据[B,S,H*2]相乘，得到[B,S,1]的第二权重矩阵，所述第二权重矩阵代表文本中每个文字的权重，用于对文字特征进行增强，利用第二权重矩阵与输入数据[B,S,H*2]相乘，得到最终的文本特征矩阵[B,H*2]，将最终的文本特征矩阵输入到分类层中，得到最终的分类结果；
按照特征重要度对每个文字的特征进行增强或抑制，对所有文字的特征按重要度进行增强或抑制，优化资讯分类模型。
进一步的，模型训练模块具体用于：
利用训练集对优化后的资讯分类模型进行训练；
根据测试集的资讯标题对训练的模型进行测试，判断分类结果是否正确；其中，若正确率达到预设值，模型训练完成。
在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现资讯分类处理的方法。
在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现资讯分类处理的方法。
本发明提出的资讯分类处理的方法及系统通过卷积核提取文本特征，用法简单、使用便捷、高效，可节约大量时间成本、人力成本；在资讯分类处理的过程中采用信息增强的数据处理机制，可以充分提取文本中的特征，提高信息利用率，改善资讯分类模型性能，从而有效提高资讯分类的准确率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例的资讯分类处理的方法流程示意图。
图2是本发明一实施例的资讯分类流程示意图。
图3是本发明一实施例的架构关系示意图。
图4是本发明一实施例的资讯分类处理的系统架构示意图。
图5是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种资讯分类处理的方法及系统，涉及自然语言处理及机器学习技术领域。利用人工智能技术对资讯标题进行处理，通过提取标题文本中信息，并对其进行加工后对资讯进行分类。
在本发明实施例中，需要说明的术语有：
LSTM：长短期记忆人工神经网络，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的资讯分类处理的方法流程示意图。如图1所示，该方法包括：
步骤S101，采集资讯数据，对所述资讯数据进行预处理；
步骤S102，建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；
步骤S103，根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；
步骤S104，根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；
步骤S105，获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
为了对上述资讯分类处理的方法进行更为清楚的解释，下面结合每一步骤来进行详细说明。
步骤S101，数据采集，预处理：
预处理的过程为：对收集的资讯数据进行筛选和标注，提取资讯的标题文本并标注资讯类别。
步骤S102，提取文本特征：
根据文本中词语之间的关系，利用LSTM对文本进行前向及后向特征提取，得到文本特征的前向和后向语义信息；
将文本特征的前向和后向语义信息进行整合，按照特征维度进行拼接得到新特征；其中，文本中的每个文字通过相应的所述新特征、文本特征的前向和后向语义信息进行表示。
步骤S103，优化资讯分类模型：
对新特征进行处理，选择性增大有效特征的影响，并抑制无效特征的影响，其中，信息增强的选择逻辑为：
设置输入数据维度为[B,S,H*2]，其中，B表示数据批量，S表示文本长度，H表示LSTM隐层神经元数；
将S个文字的特征按矩阵第二个维度相加，并求均值得到[B,1,H*2]维度的第一数据，其中，第一数据包含了整个文本所有的信息；
将第一数据的矩阵输入一个全连接神经网络中，输入神经元数为H*2，隐层神经元数为H，输出层神经元数为H*2，全连接神经网络最终输出一个[H*2,1]维度的第一权重矩阵，所述第一权重矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强；
利用所述第一权重矩阵与输入数据[B,S,H*2]相乘，得到[B,S,1]的第二权重矩阵，所述第二权重矩阵代表文本中每个文字的权重，用于对文字特征进行增强，利用第二权重矩阵与输入数据[B,S,H*2]相乘，得到最终的文本特征矩阵[B,H*2]，将最终的文本特征矩阵输入到分类层中，得到最终的分类结果；
按照特征重要度对每个文字的特征进行增强或抑制，对所有文字的特征按重要度进行增强或抑制，优化资讯分类模型。
步骤S104，模型训练，测试：
利用训练集对优化后的资讯分类模型进行训练；
根据测试集的资讯标题对训练的模型进行测试，判断分类结果是否正确；其中，若正确率达到预设值，模型训练完成。
步骤S105，资讯分类：
获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
相较于现有技术，本发明设计了资讯分类的专用模型；对于文本中的每个文字，利用其与文本间的前向语义信息、后向语义信息2部分信息进行表示；对文本中每个文字的特征进行了特征增强、抑制以及对文本中所有文字进行了特征增强和抑制。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
为了对上述资讯分类处理的方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
参考图2，为本发明一具体实施例的资讯分类处理的流程示意图。如图2所示，具体流程为：
步骤S201，训练数据预处理：
通过人工对收集的资讯数据进行筛选和标注。
步骤S202，搭建神经网络模型，通过信息增强优化：
搭建进行资讯分类的模型。
模型如图3所示，标题文本输入模型后，模型将文本映射到高维空间以得到得到文本中词语之间的关系。在图3中，Text：文本；Embedding：将离散变量转变为连续向量；Concat：Concat层实现输入数据的拼接；Class：类别。
利用LSTM对文本进行前向、后向特征提取，可以表示当前词的前向和后向语义信息。
将提取到的2部分信息进行整合，将2部分特征按照特征维度进行拼接得到新特征，即文本中的每个文字都会用其与文本间的前向语义信息、后向语义信息2部分信息进行表示。
对提取的上述文本特征进行处理，选择性增大部分有效特征的影响同时抑制部分无效特征的影响。
信息增强具体选择逻辑为：
假设输入数据维度为[batch_size,seq_len,hidden_size*2]，其中，batch_size表示数据批量，seq_len表示文本长度，hidden_size表示LSTM隐层神经元数。
首先，将seq_len个文字的特征按矩阵第二个维度的相加并求均值得到[batch_size,1,hidden_size*2]维度的数据，该数据包含了整个文本所有的信息，将该矩阵输入一个全连接神经网络中，其输入神经元数为hidden_size*2，隐层神经元数为hidden_size，输出层神经元数为hidden_size*2，全连接神经网络最终输出一个[hidden_size*2,1]维度的权重矩阵，该矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强。
利用该矩阵与输入数据[batch_size,seq_len,hidden_size*2]相乘，得到一个[batch_size,seq_len,1]的权重矩阵，该矩阵代表文本中每个文字的权重，用于对文字特征进行增强；
利用该矩阵与输入数据[batch_size,seq_len,hidden_size*2]相乘，得到最终的文本特征矩阵[batch_size,hidden_size*2]，将该最终的文本特征输入到分类层中，得到最后的分类结果。
通过对文本特征的上述操作，既按特征重要度对每个文字的特征进行了增强和抑制，又对所有文字的特征按重要度进行了增强和抑制。
通过有效特征增强和无效特征抑制，进一步提升模型性能。
步骤S203，模型训练：
利用步骤S201得到的数据对步骤S202建立的模型进行训练。
步骤S204，资讯分类：
利用步骤S203训练好的模型对用于测试的资讯数据进行判断。
本发明的资讯分类处理的方法利用人工智能技术对资讯标题进行处理，通过提取标题文本中信息，并对其进行加工后对资讯进行分类，过程中无需人为操作，快速、省力、高效、低成本。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图4对本发明示例性实施方式的资讯分类处理的系统进行介绍。
资讯分类处理的系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思，本发明还提出了一种资讯分类处理的系统，如图4所示，该系统包括：
数据采集模块410，用于采集资讯数据，对所述资讯数据进行预处理；
特征处理模块420，用于建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；
模型优化模块430，用于根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；
模型训练模块440，用于根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；
资讯分类模块450，用于获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
在本实施例中，数据采集模块410具体用于：
对收集的资讯数据进行筛选和标注，提取资讯的标题文本并标注资讯类别。
在本实施例中，特征处理模块420具体用于：
根据文本中词语之间的关系，利用LSTM对文本进行前向及后向特征提取，得到文本特征的前向和后向语义信息；
将文本特征的前向和后向语义信息进行整合，按照特征维度进行拼接得到新特征；其中，文本中的每个文字通过相应的所述新特征、文本特征的前向和后向语义信息进行表示。
在本实施例中，模型优化模块430具体用于：
对新特征进行处理，选择性增大有效特征的影响，并抑制无效特征的影响，其中，信息增强的选择逻辑为：
设置输入数据维度为[B,S,H*2]，其中，B表示数据批量，S表示文本长度，H表示LSTM隐层神经元数；
将S个文字的特征按矩阵第二个维度相加，并求均值得到[B,1,H*2]维度的第一数据，其中，第一数据包含了整个文本所有的信息；
将第一数据的矩阵输入一个全连接神经网络中，输入神经元数为H*2，隐层神经元数为H，输出层神经元数为H*2，全连接神经网络最终输出一个[H*2,1]维度的第一权重矩阵，所述第一权重矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强；
利用所述第一权重矩阵与输入数据[B,S,H*2]相乘，得到[B,S,1]的第二权重矩阵，所述第二权重矩阵代表文本中每个文字的权重，用于对文字特征进行增强，利用第二权重矩阵与输入数据[B,S,H*2]相乘，得到最终的文本特征矩阵[B,H*2]，将最终的文本特征矩阵输入到分类层中，得到最终的分类结果；
按照特征重要度对每个文字的特征进行增强或抑制，对所有文字的特征按重要度进行增强或抑制，优化资讯分类模型。
在本实施例中，模型训练模块440具体用于：
利用训练集对优化后的资讯分类模型进行训练；
根据测试集的资讯标题对训练的模型进行测试，判断分类结果是否正确；其中，若正确率达到预设值，模型训练完成。
应当注意，尽管在上文详细描述中提及了资讯分类处理的系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图5所示，本发明还提出了一种计算机设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理器520执行所述计算机程序530时实现前述资讯分类处理的方法。
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述资讯分类处理的方法。
本发明提出的资讯分类处理的方法及系统通过卷积核提取文本特征，用法简单、使用便捷、高效，可节约大量时间成本、人力成本；在资讯分类处理的过程中采用信息增强的数据处理机制，可以充分提取文本中的特征，提高信息利用率，改善资讯分类模型性能，从而有效提高资讯分类的准确率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种资讯分类处理的方法，其特征在于，该方法包括：
采集资讯数据，对所述资讯数据进行预处理；
建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；
根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；
根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；
获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
2.根据权利要求1所述的资讯分类处理的方法，其特征在于，采集资讯数据，对所述资讯数据进行预处理，包括：
对收集的资讯数据进行筛选和标注，提取资讯的标题文本并标注资讯类别。
3.根据权利要求2所述的资讯分类处理的方法，其特征在于，建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息，包括：
根据文本中词语之间的关系，利用LSTM对文本进行前向及后向特征提取，得到文本特征的前向和后向语义信息；
将文本特征的前向和后向语义信息进行整合，按照特征维度进行拼接得到新特征；其中，文本中的每个文字通过相应的所述新特征、文本特征的前向和后向语义信息进行表示。
4.根据权利要求3所述的资讯分类处理的方法，其特征在于，根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型，包括：
对新特征进行处理，选择性增大有效特征的影响，并抑制无效特征的影响，其中，信息增强的选择逻辑为：
设置输入数据维度为[B,S,H*2]，其中，B表示数据批量，S表示文本长度，H表示LSTM隐层神经元数；
将S个文字的特征按矩阵第二个维度相加，并求均值得到[B,1,H*2]维度的第一数据，其中，第一数据包含了整个文本所有的信息；
将第一数据的矩阵输入一个全连接神经网络中，输入神经元数为H*2，隐层神经元数为H，输出层神经元数为H*2，全连接神经网络最终输出一个[H*2,1]维度的第一权重矩阵，所述第一权重矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强；
利用所述第一权重矩阵与输入数据[B,S,H*2]相乘，得到[B,S,1]的第二权重矩阵，所述第二权重矩阵代表文本中每个文字的权重，用于对文字特征进行增强，利用第二权重矩阵与输入数据[B,S,H*2]相乘，得到最终的文本特征矩阵[B,H*2]，将最终的文本特征矩阵输入到分类层中，得到最终的分类结果；
按照特征重要度对每个文字的特征进行增强或抑制，对所有文字的特征按重要度进行增强或抑制，优化资讯分类模型。
5.根据权利要求4所述的资讯分类处理的方法，其特征在于，根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试，包括：
利用训练集对优化后的资讯分类模型进行训练；
根据测试集的资讯标题对训练的模型进行测试，判断分类结果是否正确；其中，若正确率达到预设值，模型训练完成。
6.一种资讯分类处理的系统，其特征在于，该系统包括：
数据采集模块，用于采集资讯数据，对所述资讯数据进行预处理；
特征处理模块，用于建立资讯分类模型，将预处理后的资讯数据输入至资讯分类模型中，通过所述资讯分类模型将资讯数据映射到高维空间得到文本中词语之间的关系，并利用LSTM提取文本特征的语义信息；
模型优化模块，用于根据文本特征的语义信息分析得到特征权重，按照特征权重进行信息增强，优化资讯分类模型；
模型训练模块，用于根据预处理后的资讯数据设置训练集及测试集，对优化后的资讯分类模型进行训练，并利用测试集对训练模型进行测试；
资讯分类模块，用于获取待分类的资讯数据，利用训练完成的资讯分类模型对待分类的资讯数据进行类别划分，得到分类结果。
7.根据权利要求6所述的资讯分类处理的系统，其特征在于，数据采集模块具体用于：
对收集的资讯数据进行筛选和标注，提取资讯的标题文本并标注资讯类别。
8.根据权利要求7所述的资讯分类处理的系统，其特征在于，特征处理模块具体用于：
根据文本中词语之间的关系，利用LSTM对文本进行前向及后向特征提取，得到文本特征的前向和后向语义信息；
将文本特征的前向和后向语义信息进行整合，按照特征维度进行拼接得到新特征；其中，文本中的每个文字通过相应的所述新特征、文本特征的前向和后向语义信息进行表示。
9.根据权利要求8所述的资讯分类处理的系统，其特征在于，模型优化模块具体用于：
对新特征进行处理，选择性增大有效特征的影响，并抑制无效特征的影响，其中，信息增强的选择逻辑为：
设置输入数据维度为[B,S,H*2]，其中，B表示数据批量，S表示文本长度，H表示LSTM隐层神经元数；
将S个文字的特征按矩阵第二个维度相加，并求均值得到[B,1,H*2]维度的第一数据，其中，第一数据包含了整个文本所有的信息；
将第一数据的矩阵输入一个全连接神经网络中，输入神经元数为H*2，隐层神经元数为H，输出层神经元数为H*2，全连接神经网络最终输出一个[H*2,1]维度的第一权重矩阵，所述第一权重矩阵代表文本中每个文字在每个特征维度上的权重，用于对特征按重要性进行增强；
利用所述第一权重矩阵与输入数据[B,S,H*2]相乘，得到[B,S,1]的第二权重矩阵，所述第二权重矩阵代表文本中每个文字的权重，用于对文字特征进行增强，利用第二权重矩阵与输入数据[B,S,H*2]相乘，得到最终的文本特征矩阵[B,H*2]，将最终的文本特征矩阵输入到分类层中，得到最终的分类结果；
按照特征重要度对每个文字的特征进行增强或抑制，对所有文字的特征按重要度进行增强或抑制，优化资讯分类模型。
10.根据权利要求9所述的资讯分类处理的系统，其特征在于，模型训练模块具体用于：
利用训练集对优化后的资讯分类模型进行训练；
根据测试集的资讯标题对训练的模型进行测试，判断分类结果是否正确；其中，若正确率达到预设值，模型训练完成。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
CN202110762167.1A 2021-07-06 2021-07-06 一种资讯分类处理的方法及系统 Active CN113434685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762167.1A CN113434685B (zh) 2021-07-06 2021-07-06 一种资讯分类处理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762167.1A CN113434685B (zh) 2021-07-06 2021-07-06 一种资讯分类处理的方法及系统

Publications (2)

Publication Number Publication Date
CN113434685A true CN113434685A (zh) 2021-09-24
CN113434685B CN113434685B (zh) 2024-05-28

Family

ID=77759240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762167.1A Active CN113434685B (zh) 2021-07-06 2021-07-06 一种资讯分类处理的方法及系统

Country Status (1)

Country Link
CN (1) CN113434685B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962335A (zh) * 2021-12-22 2022-01-21 北京恒信启华信息技术股份有限公司 一种可灵活配置的数据全过程处理方法
CN114036949A (zh) * 2021-11-08 2022-02-11 中国银行股份有限公司 基于资讯信息分析的投资策略确定方法及装置
CN116414972A (zh) * 2023-03-08 2023-07-11 浙江方正印务有限公司 一种资讯内容自动播报和生成简讯的方法
CN117131257A (zh) * 2023-10-26 2023-11-28 环球数科集团有限公司 一种基于aigc的资讯文档收集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609897A (zh) * 2019-08-12 2019-12-24 北京化工大学 一种融合全局和局部特征的多类别中文文本分类方法
CN110851607A (zh) * 2019-11-19 2020-02-28 中国银行股份有限公司 资讯分类模型的训练方法及装置
CN110909164A (zh) * 2019-11-22 2020-03-24 科大国创软件股份有限公司 一种基于卷积神经网络的文本增强语义分类方法及系统
CN111382271A (zh) * 2020-03-09 2020-07-07 支付宝(杭州)信息技术有限公司 文本分类模型的训练方法及装置、文本分类方法及装置
CN112784884A (zh) * 2021-01-07 2021-05-11 重庆兆琨智医科技有限公司 一种医学图像分类方法、系统、介质及电子终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609897A (zh) * 2019-08-12 2019-12-24 北京化工大学 一种融合全局和局部特征的多类别中文文本分类方法
CN110851607A (zh) * 2019-11-19 2020-02-28 中国银行股份有限公司 资讯分类模型的训练方法及装置
CN110909164A (zh) * 2019-11-22 2020-03-24 科大国创软件股份有限公司 一种基于卷积神经网络的文本增强语义分类方法及系统
CN111382271A (zh) * 2020-03-09 2020-07-07 支付宝(杭州)信息技术有限公司 文本分类模型的训练方法及装置、文本分类方法及装置
CN112784884A (zh) * 2021-01-07 2021-05-11 重庆兆琨智医科技有限公司 一种医学图像分类方法、系统、介质及电子终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114036949A (zh) * 2021-11-08 2022-02-11 中国银行股份有限公司 基于资讯信息分析的投资策略确定方法及装置
CN113962335A (zh) * 2021-12-22 2022-01-21 北京恒信启华信息技术股份有限公司 一种可灵活配置的数据全过程处理方法
CN113962335B (zh) * 2021-12-22 2022-04-12 北京恒信启华信息技术股份有限公司 一种可灵活配置的数据全过程处理方法
CN116414972A (zh) * 2023-03-08 2023-07-11 浙江方正印务有限公司 一种资讯内容自动播报和生成简讯的方法
CN116414972B (zh) * 2023-03-08 2024-02-20 浙江方正印务有限公司 一种资讯内容自动播报和生成简讯的方法
CN117131257A (zh) * 2023-10-26 2023-11-28 环球数科集团有限公司 一种基于aigc的资讯文档收集系统
CN117131257B (zh) * 2023-10-26 2023-12-26 环球数科集团有限公司 一种基于aigc的资讯文档收集系统

Also Published As

Publication number Publication date
CN113434685B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN113434685A (zh) 一种资讯分类处理的方法及系统
CN111311401A (zh) 一种基于LightGBM的金融违约概率预测模型
CN109886021A (zh) 一种基于api全局词向量和分层循环神经网络的恶意代码检测方法
CN116361801B (zh) 基于应用程序接口语义信息的恶意软件检测方法及系统
CN114816497B (zh) 基于bert预训练模型的链接生成方法
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN112884569A (zh) 一种信用评估模型的训练方法、装置及设备
CN113641906A (zh) 基于资金交易关系数据实现相似目标人员识别处理的系统、方法、装置、处理器及其介质
CN116627490A (zh) 一种智能合约字节码相似性检测方法
CN112035345A (zh) 一种基于代码片段分析的混合深度缺陷预测方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN111666748B (zh) 一种自动化分类器的构造方法以及识别决策的方法
CN113705215A (zh) 一种基于元学习的大规模多标签文本分类方法
CN112882899A (zh) 一种日志异常检测方法及装置
CN113434686A (zh) 一种基于多重语义信息的资讯分类方法及系统
CN110472231A (zh) 一种识别法律文书案由的方法和装置
CN114610576A (zh) 一种日志生成监控方法和装置
CN114817480A (zh) 一种土地资源值确定方法、装置、电子设备及存储介质
CN111046934B (zh) 一种swift报文软条款识别方法及装置
CN113901793A (zh) 结合rpa和ai的事件抽取方法及装置
CN113837167A (zh) 一种文本图像识别方法、装置、设备及存储介质
CN114255300A (zh) 流程图的提取模型训练方法、获取方法、设备及介质
CN115080732A (zh) 投诉工单处理方法、装置、电子设备和存储介质
CN109558582B (zh) 基于视角的句子情感分析方法及装置
CN113297356A (zh) 一种基于bert模型的资讯分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant