CN110298041A - 垃圾文本过滤方法、装置、电子设备及存储介质 - Google Patents

垃圾文本过滤方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110298041A
CN110298041A CN201910549627.5A CN201910549627A CN110298041A CN 110298041 A CN110298041 A CN 110298041A CN 201910549627 A CN201910549627 A CN 201910549627A CN 110298041 A CN110298041 A CN 110298041A
Authority
CN
China
Prior art keywords
text
filtered
participle
word segmentation
advance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910549627.5A
Other languages
English (en)
Other versions
CN110298041B (zh
Inventor
张毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910549627.5A priority Critical patent/CN110298041B/zh
Publication of CN110298041A publication Critical patent/CN110298041A/zh
Application granted granted Critical
Publication of CN110298041B publication Critical patent/CN110298041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供的垃圾文本过滤方法、装置、电子设备及存储介质，通过利用预先训练的深度学习网络模型提取分词结果特征信息，通过注意力机制模型对垃圾文本中不同的组成成分赋予不同的权重，以注意力权重组合特征信息，捕捉到文本局部关键信息，对待过滤文本进行分类，过滤垃圾文本，提高了垃圾文本过滤的准确度。

Description

垃圾文本过滤方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机通信网络技术领域，特别是涉及垃圾文本过滤方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的快速发展，文本系统为用户提供了交流信息的场所，用户拥有更加自由的发表言论的天地。随着文本系统的应用日益广泛，广告、色情、涉政、暴恐等多类垃圾文本涌现。垃圾文本扰乱正常上网秩序，影响用户正常体验，为网站健康发展带来重大隐患。为了网站健康持续发展，改善用户网络环境体验，需要将垃圾文本找出并过滤。
现有的过滤方式是基于关键词匹配的方法对待过滤文本进行过滤，通过对待过滤文本分词，保留单一分词方案，依靠关键词词库的关键词与待过滤文本逐一匹配，当待过滤文本分词结果与关键词词库的关键词一致时，对其进行过滤。此方法仅依靠简单词语的匹配进行过滤，无法理解文本的语义信息，不能深入把握文本的内涵。另外，垃圾文本发布者会利用增加标点符号、繁体替换或者使用拼音等方式对文本进行转换，这样的分词效果，导致传统的基于关键词匹配的方法无法得到语义关联信息，无法捕捉到关键词汇。总之，现有方法无法解决中文歧义问题，存在较多漏判，误判现象，造成过滤效果不理想。
发明内容
本申请实施例的目的在于提供垃圾文本过滤方法、装置、电子设备、存储介质及包含指令的计算机程序产品，以实现解决文本中的中文歧义问题，提高垃圾文本过滤的准确度。
具体技术方案如下：
第一方面，本申请实施例提供了一种垃圾文本过滤方法，包括：
获取待过滤文本；
对所述待过滤文本进行分词处理，得到所述待过滤文本的分词结果；
对所述分词结果中的分词进行向量化，得到所述分词的词向量；
将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果，其中，所述预先训练的模型为基于预设训练集训练得到的级联模型，所述预设训练集中包括训练文本分词的词向量以及用于标识所述训练文本是否为垃圾文本的标签，所述级联模型为深度学习网络模型与注意力机制模型组成的；
对所述分类结果为垃圾文本的待过滤文本进行过滤。
可选的，在所述对所述待过滤文本进行分词处理步骤之前，该方法还包括：对所述待过滤文本进行规范化处理，其中，规范化处理的步骤具体包括：
将所述待过滤文本中的标点符号、特殊字符及空格进行清理，提取规范文本；
基于预设规则对所述规范文本中的变形词进行处理，得到变形处理后的文本；
过滤所述变形处理后的文本中的停用词，得到规范化处理后的文本。
可选的，对所述待过滤文本进行分词处理，得到所述待过滤文本的分词结果，包括：
基于多种预设分词算法将所述待过滤文本进行分词处理，得到各预设分词算法对应的分词结果；
基于各预设分词算法对应的分词结果，确定所述待过滤文本的分词结果。
可选的，所述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型；
所述将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果的步骤，包括：
将所述分词的词向量输入预先训练的双层双向长短期神经网络BI-LSTM模型中进行特征提取，得到所述分词的特征向量；
基于所述分词的特征向量，通过预先训练的注意力机制模型，确定所述特征向量的权重；
将所述特征向量与该特征向量权重相乘，得到最终特征向量；
根据所述最终特征向量对所述待过滤文本进行分类，得到所述待过滤文本的分类结果。
第二方面，本申请实施例提供了一种垃圾文本过滤装置，包括：
采集模块，用于获取待过滤文本；
分词模块，用于对所述待过滤文本进行分词处理，得到所述待过滤文本的分词结果；
向量化模块，用于对所述分词结果中的分词进行向量化，得到所述分词的词向量；
处理模块，用于将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果，其中，所述预先训练的模型为基于预设训练集训练得到的级联模型，所述预设训练集中包括训练文本分词的词向量以及用于标识所述训练文本是否为垃圾文本的标签，所述级联模型为深度学习网络模型与注意力机制模型组成的；
过滤模块，用于对所述分类结果为垃圾文本的待过滤文本进行过滤。
可选的，所述装置还包括：预处理模块，所述预处理模块用于：
将所述待过滤文本中的标点符号、特殊字符及空格进行清理，提取规范文本；
基于预设规则对所述规范文本中的变形词进行处理，得到变形处理后的文本；
过滤所述变形处理后的文本中的停用词，得到规范化处理后的文本。
可选的，所述分词模块具体用于：
基于多种预设分词算法将所述待过滤文本进行分词处理，得到各预设分词算法对应的分词结果；
基于各预设分词算法对应的分词结果，确定所述待过滤文本的分词结果。
可选的，所述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型；
所述将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果的步骤，包括：
将所述分词的词向量输入预先训练的双层双向长短期神经网络BI-LSTM模型中进行特征提取，得到所述分词的特征向量；
基于所述分词的特征向量，通过预先训练的注意力机制模型，确定所述特征向量的权重；
将所述特征向量与该特征向量权重相乘，得到最终特征向量；
根据所述最终特征向量对所述待过滤文本进行分类，得到所述待过滤文本的分类结果。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中：
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的垃圾文本过滤方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的垃圾文本过滤方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的垃圾文本过滤方法。
本申请实施例提供的垃圾文本过滤方法、装置、电子设备、存储介质及包含指令的计算机程序产品，通过利用预先训练的深度学习网络模型提取分词结果特征信息，通过注意力机制模型对垃圾文本中不同的组成成分赋予不同的权重，以注意力权重组合特征信息，捕捉到文本局部关键信息，对待过滤文本进行分类，过滤垃圾文本，提高了垃圾文本过滤的准确度。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的垃圾文本过滤的一种示意图；
图2为本申请实施例的垃圾文本过滤方法的数据处理过程的一种示意图；
图3为本申请实施例的垃圾文本过滤装置的一种示意图；
图4为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种垃圾文本过滤方法、装置、电子设备、存储介质及包含指令的计算机程序产品，以下分别进行说明。
本申请实施例提供了垃圾文本过滤方法，参见图1，图1为本申请实施例的垃圾文本过滤方法的一种示意图，包括如下步骤：
步骤110，获取待过滤文本。
本申请实施例的垃圾文本过滤方法可以通过电子设备实现，具体的，该电子设备可以为服务器。
电子设备获取待过滤文本，该待过滤文本可以为任意电子设备可以识别的格式。在一种可能的实施方式中。处理文本为doc(Document，文件)格式，待过滤文本doc中可以包含m个句子，例如包含4个句子等。
步骤120，对上述待过滤文本进行分词处理，得到上述待过滤文本的分词结果。
调用现有的分词工具分别将上述规范化处理后的文本第n个句子分割成X个词的词序列，例如：A1、A2、A3、A4。
在一种可能的实施方式中，在上述对上述待过滤文本进行分词处理步骤之前，该方法还包括：对上述待过滤文本进行规范化处理，其中，规范化处理的步骤具体包括：
将上述待过滤文本中的标点符号、特殊字符及空格进行清理，提取规范文本；
基于预设规则对上述规范文本中的变形词进行处理，得到变形处理后的文本；
过滤上述变形处理后的文本中的停用词，得到规范化处理后的文本。
电子设备对待过滤文本进行规范化处理，例如，过滤待过滤文本中的特殊字符、空格或将变形词进行转换等，得到规范化处理后的文本。例如，对上述待过滤文本doc进行规范化处理，得到规范化处理后的文本doc1。
将待过滤文本中的标点符号，特殊字符或空格进行清理，提取规范文本。
文本发布者通常采用在垃圾文本中插入标点符号，特殊字符或空格来躲避现有的垃圾文本过滤机制。标点符号、特殊字符或空格不仅不能提供语法或者语义有效信息，而且大大增加了过滤算法复杂度，降低了垃圾文本过滤效果。本步骤通过将标点符号，特殊字符或空格进行剔除，可以有效的防止用户通过插入标点符号，特殊字符或空格的方式躲避现有的垃圾文本过滤方式，规范文本，达到更好的过滤效果。本申请实施例中可以通过任意相关的文本规范化处理方法进行待过滤文本中的标点符号，特殊字符或空格的清理，例如，可以通过采用预设正则表达式来清理标点符号，特殊字符或空格等。
基于预设规则对上述规范文本中的变形词进行处理，得到变形处理后的文本。
文本发布者为了躲避审查机制，通常也会采用将垃圾文本简体中文字符转换为繁体中文字符、垃圾文本转换为同音词或/和同义词等方式进行变形转换。为了提高分词效果，达到更好的过滤效果，需要将变形词进行处理。可采用建立规范词语与变体词的转换词典，建立拼音到汉字的变换方法，将文本中的繁体替换为简体，拼音转换为汉字以及，同音词或/和同义词之间的替换。
过滤上述变形处理后的文本中的停用词。
建立一个停用词表，将变形处理后的文本中的停用词剔除，清除无意义的词。
在本申请实施例中，对待过滤文本中的标点符号，特殊字符或空格进行清理，能够减少用户通过插入标点符号，特殊字符或空格等方式躲避现有的垃圾文本过滤方式，规范文本，达到更好的过滤效果；将变形词进行处理，能够提高分词效果，达到更好的过滤效果；过滤停用词，能够清除无意义的词，提高过滤效率。总之，通过上述方式对待过滤文本进行规范化处理，可以提高分词效果，达到更好的过滤效果，提高过滤效率。
在一种可能的实施方式中，对上述待过滤文本进行分词处理，得到上述待过滤文本的分词结果，包括：
基于多种预设分词算法将上述待过滤文本进行分词处理，得到各预设分词算法对应的分词结果；
基于各预设分词算法对应的分词结果，确定上述待过滤文本的分词结果。
调用现有Y种现有分词工具分别将上述规范化处理后的文本第n个句子分割成X个词的词序列(例如调用3种分词工具分别将规范化处理后的文本句子分割成4个词的词序列：调用第一分词工具得到的词序列A1、A2、A3、A4；调用第二分词工具得到的词序列B1、B2、B3、B4；调用第三分词工具得到的词序列C1、C2、C3、C4)，保留Y种分词方案，n取1至m。
之所以保留Y种分词结果，是因为无论哪种分词结果，总有一种分词方案可以突出需要过滤的文本词汇，利于捕捉到关键词汇，可以提高垃圾文本过滤的准确度。
通过将垃圾文本规范化处理，保留多种分词方案，将多种分词结果作为输入，实现了垃圾文本的高精度分词，有效的解决了中文歧义现象，
步骤130，对上述分词结果中的分词进行向量化，得到上述分词的词向量。
可以采用word2vec等词向量生成工具将规范化处理后的文本的分词结果进行特征提取。例如，A1、A2、A3、A4，B1、B2、B3、B4及C1、C2、C3、C4其词向量分别表示为a1、a2、a3、a4，b1、b2、b3、b4及c1、c2、c3、c4。
为了操作简单，方便，可以将所有分词结果拼接为一个目标结果文本，对上述目标结果文本进行向量化，得到上述分词的词向量。比如将所有分词结果作为一个文档直接输入word2vec等词向量生成工具，得到上述分词的词向量。
步骤140，将上述分词的词向量输入预先训练的模型中，得到上述待过滤文本的分类结果，其中，上述预先训练的模型为基于预设训练集训练得到的级联模型，上述预设训练集中包括训练文本分词的词向量以及用于标识上述训练文本是否为垃圾文本的标签，上述级联模型为深度学习网络模型与注意力机制模型组成的。
预先训练的深度学习网络模型可以为预先训练的卷积神经网络或者递归神经网络中的任一种。
在一种可能的实施方式中，上述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型；
上述将上述分词的词向量输入预先训练的模型中，得到上述待过滤文本的分类结果的步骤，包括：
将上述分词的词向量输入预先训练的双层双向长短期神经网络BI-LSTM模型中进行特征提取，得到上述分词的特征向量；
基于上述分词的特征向量，通过预先训练的注意力机制模型，确定上述特征向量的权重；
将上述特征向量与该特征向量权重相乘，得到最终特征向量；
根据上述最终特征向量对上述待过滤文本进行分类，得到上述待过滤文本的分类结果。
参考图2，图2为本申请实施例的垃圾文本过滤方法的数据处理过程的一种示意图，上述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型。
采用多种分词方法对上述待过滤文本进行分词，将上述分词的词向量输入预先训练好的双层BI-LSTM(Bi-direction Long Short-Term Memory，双向长短期记忆神经网络)模型中进行处理，识别上述待过滤文本中的垃圾文本，通过上述双层BI-LSTM模型对输入的上述特征向量进行特征提取，得到不同的特征向量。
第一BI-LSTM网络单元用于输入上述待过滤文本doc中第n个句子的每一个词的词向量a1、a2、a3、a4，b1、b2、b3、b4及c1、c2、c3、c4，对每一个词的词向量进行词级编码，输出待过滤文本doc中第n个句子的每一个词的词特征向量Sgi，i取1至X；Sga1、Sga2、Sga3、Sga4，Sgb1、Sgb2、Sgb3、Sgb4，Sgc1、Sgc2、Sgc3、Sgc4。
第二BI-LSTM网络单元用于输入编码信息Sgi，输出待过滤文本doc中第n个句子的每一个词的词特征向量Sgi，对上述词特征向量进行句子级编码，输出对应的特征向量SGi，i取1至X；SGa1、SGa2、SGa3、SGa4，SGb1、SGb2、SGb3、SGb4，SGc1、SGc2、SGc3、SGc4。
通过预先训练的注意力机制模型，即注意力子模块确定上述特征向量的权重αj，j取1至Y，例如，α1、α2、α3。
将上述双层BI-LSTM模型输出的特征向量与特征向量权重进行相乘，计算得到最终特征向量Sy。最后根据最终特征向量对上述待过滤文本进行分类，得到上述待过滤文本的分类结果。
分类可选择多分类函数等方式，比如多分类函数为softmax函数可以得到概率最大的输出，得到上述待过滤文本的垃圾文本识别结果。通过softmax函数作用，将结果映射成为(0，1)的值，而这些值的和为1，概率最大的值，即为垃圾文本。例如将Sy通过二分类函数进行运算，上述待过滤文本过滤结果有两个值0或1，当输出结果为0时，表示为正常文本，当输出结果为1时，表示为垃圾文本。
这样可以获得当前所有分词结果的基于注意力的信息，可以将所有的分词区别对待，重点突出对于垃圾文本最终分类结果影响较大的词汇，提高过滤效果。
通过双层BI-LSTM模型，将正向LSTM输出的隐状态特征与反向LSTM输出的隐态特征进行按位拼接，得到完整的隐状态特征，这样可以充分理解文本上下文语义信息，提取所有分词结果全面特征信息，提高过滤效果。
通过双层BI-LSTM模型运算，可以深层次理解文本上下文语义信息，提取所有分词结果全面特征信息，提高过滤效果。
通过预设注意力机制模型，确定上述特征向量的权重，通过预设注意力机制模型对上述特征向量赋予不同的权重，可以重点突出对于垃圾文本最终分类结果影响较大的词汇，提高模型的预测效果，从而提高过滤效果。
本实施例中，双层BI-LSTM模型及注意力机制模型为预先训练获得的，包括如下步骤：
步骤一，获取训练集文本内容，获取双层BI-LSTM模型与注意力机制模型组成的级联模型。
基于预设时段获取训练集文本内容。例如，获取过去一年的视频网站的文本内容，作为训练集。
构建双层BI-LSTM模型与注意力机制模型组成的级联模型，对训练集文本内容进行处理，获取上述训练集文本内容语义特征向量。
步骤二，对上述训练集文本内容进行规范化处理，得到规范化处理后的训练集文本内容。
在本申请实施例中，对待过滤文本中的标点符号，特殊字符或空格进行清理，将变形词进行处理，并过滤停用词进行规范化处理，可以提高分词效果，达到更好的分词效果，提高模型训练效果，从而提高垃圾文本预测结果。
步骤三，将上述规范化处理后的训练集文本进行分词处理，获取训练集文本分词结果。
调用现有Y种现有分词工具分别将上述规范化处理后的训练集文本第n个句子分割成X个词的词序列，保留Y种分词方案，n取1至m。
之所以保留Y种分词结果，是因为无论哪种分词结果，总有一种分词方案可以突出需要过滤的文本词汇，利于捕捉到关键词汇，可以提高垃圾文本预测结果。
步骤四，对上述训练集文本分词结果进行人工标注，得到垃圾文本标签。
通过对上述训练集文本分词结果进行人工标注，得到垃圾文本标签，使上述模型重点关注垃圾文本分词，从而进行模型训练。
步骤五，将上述训练集文本转换为特征向量。
可以采用word2vec等词向量生成工具将规范化处理后的训练集文本的分词结果进行特征提取。
步骤六，将上述特征向量通过深度学习，得到双向长短期神经网络BI-LSTM模型。
经过深度学习，获得的双向长短期神经网络BI-LSTM模型，深层次理解文本上下文语义信息，提取所有分词结果全面特征信息，提高过滤效果。
步骤150，对上述分类结果为垃圾文本的待过滤文本进行过滤。
过滤上述输出结果为1的垃圾文本。
本实施例通过利用预先训练的深度学习网络模型提取分词结果特征信息，通过注意力机制模型对垃圾文本中不同的组成成分赋予不同的权重，以注意力权重组合特征信息，捕捉到文本局部关键信息，对待过滤文本进行分类，过滤垃圾文本，提高了垃圾文本过滤的准确度。
本申请实施例还提供了一种装置，参见图3，图3为本申请实施例的垃圾文本过滤装置的一种示意图，上述装置包括：
采集模块210，用于获取待过滤文本；
分词模块220，用于对上述待过滤文本进行分词处理，得到上述待过滤文本的分词结果；
向量化模块230，用于对上述分词结果中的分词进行向量化，得到上述分词的词向量；
处理模块240，用于将上述分词的词向量输入预先训练的模型中，得到上述待过滤文本的分类结果，其中，上述预先训练的模型为基于预设训练集训练得到的级联模型，上述预设训练集中包括训练文本分词的词向量以及用于标识上述训练文本是否为垃圾文本的标签，上述级联模型为深度学习网络模型与注意力机制模型组成的；
过滤模块250，用于对上述分类结果为垃圾文本的待过滤文本进行过滤。
在一种可能的实施方式中，上述装置还包括：预处理模块，上述预处理模块用于：
将上述待过滤文本中的标点符号、特殊字符及空格进行清理，提取规范文本；
基于预设规则对上述规范文本中的变形词进行处理，得到变形处理后的文本；
过滤上述变形处理后的文本中的停用词，得到规范化处理后的文本。
在一种可能的实施方式中，上述分词模块具体用于：
基于多种预设分词算法将上述待过滤文本进行分词处理，得到各预设分词算法对应的分词结果；
基于各预设分词算法对应的分词结果，确定上述待过滤文本的分词结果。
在一种可能的实施方式中，上述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型；
上述将上述分词的词向量输入预先训练的模型中，得到上述待过滤文本的分类结果的步骤，包括：
将上述分词的词向量输入预先训练的双层双向长短期神经网络BI-LSTM模型中进行特征提取，得到上述分词的特征向量；
基于上述分词的特征向量，通过预先训练的注意力机制模型，确定上述特征向量的权重；
将上述特征向量与该特征向量权重相乘，得到最终特征向量；
根据上述最终特征向量对上述待过滤文本进行分类，得到上述待过滤文本的分类结果。
本申请实施例还提供了一种电子设备，参见图4，图4为本申请实施例的电子设备的一种示意图，包括：处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，
上述存储器330，用于存放计算机程序；
上述处理器310，用于执行上述存储器330存放的计算机程序时，实现如下步骤：
获取待过滤文本；
对上述待过滤文本进行分词处理，得到上述待过滤文本的分词结果；
对上述分词结果中的分词进行向量化，得到上述分词的词向量；
将上述分词的词向量输入预先训练的模型中，得到上述待过滤文本的分类结果，其中，上述预先训练的模型为基于预设训练集训练得到的级联模型，上述预设训练集中包括训练文本分词的词向量以及用于标识上述训练文本是否为垃圾文本的标签，上述级联模型为深度学习网络模型与注意力机制模型组成的；
对上述分类结果为垃圾文本的待过滤文本进行过滤。
可选的，处理器310，用于执行存储器330上所存放的程序时，还可以实现上述任一垃圾文本过滤方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的垃圾文本过滤方法。
在本申请实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的垃圾文本过滤方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种垃圾文本过滤方法，其特征在于，包括：
获取待过滤文本；
对所述待过滤文本进行分词处理，得到所述待过滤文本的分词结果；
对所述分词结果中的分词进行向量化，得到所述分词的词向量；
将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果，其中，所述预先训练的模型为基于预设训练集训练得到的级联模型，所述预设训练集中包括训练文本分词的词向量以及用于标识所述训练文本是否为垃圾文本的标签，所述级联模型为深度学习网络模型与注意力机制模型组成的；
对所述分类结果为垃圾文本的待过滤文本进行过滤。
2.根据权利要求1所述的方法，其特征在于，在所述对所述待过滤文本进行分词处理步骤之前，该方法还包括：对所述待过滤文本进行规范化处理，其中，规范化处理的步骤具体包括：
将所述待过滤文本中的标点符号、特殊字符及空格进行清理，提取规范文本；
基于预设规则对所述规范文本中的变形词进行处理，得到变形处理后的文本；
过滤所述变形处理后的文本中的停用词，得到规范化处理后的文本。
3.根据权利要求1所述的方法，其特征在于，对所述待过滤文本进行分词处理，得到所述待过滤文本的分词结果，包括：
基于多种预设分词算法将所述待过滤文本进行分词处理，得到各预设分词算法对应的分词结果；
基于各预设分词算法对应的分词结果，确定所述待过滤文本的分词结果。
4.根据权利要求1或3所述的方法，其特征在于，所述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型；
所述将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果的步骤，包括：
将所述分词的词向量输入预先训练的双层双向长短期神经网络BI-LSTM模型中进行特征提取，得到所述分词的特征向量；
基于所述分词的特征向量，通过预先训练的注意力机制模型，确定所述特征向量的权重；
将所述特征向量与该特征向量权重相乘，得到最终特征向量；
根据所述最终特征向量对所述待过滤文本进行分类，得到所述待过滤文本的分类结果。
5.一种垃圾文本过滤装置，其特征在于，包括：
采集模块，用于获取待过滤文本；
分词模块，用于对所述待过滤文本进行分词处理，得到所述待过滤文本的分词结果；
向量化模块，用于对所述分词结果中的分词进行向量化，得到所述分词的词向量；
处理模块，用于将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果，其中，所述预先训练的模型为基于预设训练集训练得到的级联模型，所述预设训练集中包括训练文本分词的词向量以及用于标识所述训练文本是否为垃圾文本的标签，所述级联模型为深度学习网络模型与注意力机制模型组成的；
过滤模块，用于对所述分类结果为垃圾文本的待过滤文本进行过滤。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：预处理模块，所述预处理模块用于：
将所述待过滤文本中的标点符号、特殊字符及空格进行清理，提取规范文本；
基于预设规则对所述规范文本中的变形词进行处理，得到变形处理后的文本；
过滤所述变形处理后的文本中的停用词，得到规范化处理后的文本。
7.根据权利要求5所述的装置，其特征在于，所述分词模块具体用于：
基于多种预设分词算法将所述待过滤文本进行分词处理，得到各预设分词算法对应的分词结果；
基于各预设分词算法对应的分词结果，确定所述待过滤文本的分词结果。
8.根据权利要求5或7所述的装置，其特征在于，所述预先训练的深度学习网络模型为预先训练的双层双向长短期神经网络BI-LSTM模型；
所述将所述分词的词向量输入预先训练的模型中，得到所述待过滤文本的分类结果的步骤，包括：
将所述分词的词向量输入预先训练的双层双向长短期神经网络BI-LSTM模型中进行特征提取，得到所述分词的特征向量；
基于所述分词的特征向量，通过预先训练的注意力机制模型，确定所述特征向量的权重；
将所述特征向量与该特征向量权重相乘，得到最终特征向量；
根据所述最终特征向量对所述待过滤文本进行分类，得到所述待过滤文本的分类结果。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4中任一项所述的垃圾文本过滤方法。
10.一种存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的垃圾文本过滤方法。
CN201910549627.5A 2019-06-24 2019-06-24 垃圾文本过滤方法、装置、电子设备及存储介质 Active CN110298041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910549627.5A CN110298041B (zh) 2019-06-24 2019-06-24 垃圾文本过滤方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910549627.5A CN110298041B (zh) 2019-06-24 2019-06-24 垃圾文本过滤方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110298041A true CN110298041A (zh) 2019-10-01
CN110298041B CN110298041B (zh) 2023-09-05

Family

ID=68028664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910549627.5A Active CN110298041B (zh) 2019-06-24 2019-06-24 垃圾文本过滤方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110298041B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929506A (zh) * 2019-12-04 2020-03-27 杭州安恒信息技术股份有限公司 一种垃圾信息检测方法、装置、设备及可读存储介质
CN112036167A (zh) * 2020-08-25 2020-12-04 腾讯科技（深圳）有限公司 数据处理方法、装置、服务器及存储介质
CN112287684A (zh) * 2020-10-30 2021-01-29 中国科学院自动化研究所 融合变体词识别的短文本审核方法及装置
WO2021143020A1 (zh) * 2020-01-14 2021-07-22 平安科技（深圳）有限公司 不良用语识别方法、装置、电子装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336766A (zh) * 2013-07-04 2013-10-02 微梦创科网络科技（中国）有限公司 短文本垃圾识别以及建模方法和装置
US20160321353A1 (en) * 2014-01-06 2016-11-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing text information
CN108874776A (zh) * 2018-06-11 2018-11-23 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336766A (zh) * 2013-07-04 2013-10-02 微梦创科网络科技（中国）有限公司 短文本垃圾识别以及建模方法和装置
US20160321353A1 (en) * 2014-01-06 2016-11-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing text information
CN108874776A (zh) * 2018-06-11 2018-11-23 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929506A (zh) * 2019-12-04 2020-03-27 杭州安恒信息技术股份有限公司 一种垃圾信息检测方法、装置、设备及可读存储介质
WO2021143020A1 (zh) * 2020-01-14 2021-07-22 平安科技（深圳）有限公司 不良用语识别方法、装置、电子装置及存储介质
CN112036167A (zh) * 2020-08-25 2020-12-04 腾讯科技（深圳）有限公司 数据处理方法、装置、服务器及存储介质
CN112036167B (zh) * 2020-08-25 2023-11-28 腾讯科技（深圳）有限公司 数据处理方法、装置、服务器及存储介质
CN112287684A (zh) * 2020-10-30 2021-01-29 中国科学院自动化研究所 融合变体词识别的短文本审核方法及装置
CN112287684B (zh) * 2020-10-30 2024-06-11 中国科学院自动化研究所 融合变体词识别的短文本审核方法及装置

Also Published As

Publication number Publication date
CN110298041B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110298041A (zh) 垃圾文本过滤方法、装置、电子设备及存储介质
CN110968684B (zh) 一种信息处理方法、装置、设备及存储介质
WO2018028077A1 (zh) 一种基于深度学习的中文语义分析的方法及装置
Haddad et al. Arabic offensive language detection with attention-based deep neural networks
CN107025284A (zh) 网络评论文本情感倾向的识别方法及卷积神经网络模型
CN108874777A (zh) 一种文本反垃圾的方法及装置
CN109033307A (zh) 基于crp聚类的词语多原型向量表示及词义消歧方法
CN110580292A (zh) 一种文本标签生成方法、装置和计算机可读存储介质
CN110502742B (zh) 一种复杂实体抽取方法、装置、介质及系统
CN105956740B (zh) 一种基于文本逻辑特征的语义风险计算方法
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN109766475A (zh) 一种垃圾文本的识别方法及装置
CN109472022A (zh) 基于机器学习的新词识别方法及终端设备
CN110297986A (zh) 一种微博热点话题的情感倾向分析方法
CN113469214A (zh) 虚假新闻检测方法、装置、电子设备和存储介质
CN112100212A (zh) 一种基于机器学习和规则匹配的案件情节抽取方法
CN110705250A (zh) 一种用于识别聊天记录中目标内容的方法与系统
CN109359299A (zh) 一种基于商品数据的物联网设备能力本体自构建方法
CN110610003B (zh) 用于辅助文本标注的方法和系统
CN112328792A (zh) 一种基于dbscan聚类算法识别信用事件的优化方法
CN112989058B (zh) 信息分类方法、试题分类方法、设备、服务器和存储介质
CN112445862B (zh) 物联网设备数据集构建方法、装置、电子设备和存储介质
CN113743079A (zh) 一种基于共现实体交互图的文本相似度计算方法及装置
Wang et al. YNUWB at SemEval-2019 Task 6: K-max pooling CNN with average meta-embedding for identifying offensive language
Devisree et al. A hybrid approach to relationship extraction from stories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant