CN113704472B - 基于主题记忆网络的仇恨和攻击性言论识别方法及系统 - Google Patents

基于主题记忆网络的仇恨和攻击性言论识别方法及系统 Download PDF

Info

Publication number
CN113704472B
CN113704472B CN202111005000.7A CN202111005000A CN113704472B CN 113704472 B CN113704472 B CN 113704472B CN 202111005000 A CN202111005000 A CN 202111005000A CN 113704472 B CN113704472 B CN 113704472B
Authority
CN
China
Prior art keywords
topic
vector
memory
hate
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111005000.7A
Other languages
English (en)
Other versions
CN113704472A (zh
Inventor
马坤
陈静
纪科
陈贞翔
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202111005000.7A priority Critical patent/CN113704472B/zh
Publication of CN113704472A publication Critical patent/CN113704472A/zh
Application granted granted Critical
Publication of CN113704472B publication Critical patent/CN113704472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于自然语言处理领域，提供了基于主题记忆网络的仇恨和攻击性言论识别方法及系统，首先将文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；然后基于词袋向量，主题提取模型提取主题混合分布；基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；最后基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果；达到了丰富短文本特征的目的，解决了短文本存在的特征稀疏问题，提高了仇恨和攻击性言论识别的精度。

Description

基于主题记忆网络的仇恨和攻击性言论识别方法及系统
技术领域
本发明属于自然语言处理领域，尤其涉及基于主题记忆网络的仇恨和攻击性言论识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
网络带给我们便利的同时,也引发了不少网络道德失范行为,其中充满攻击性、侮辱谩骂的网络语言尤为突出。现有的社交软件，如微博、Twitter、Facebook、Instagram等，由于服务的用户来自不同文化背景，导致软件中滋生大量仇恨和攻击性言论，易对他人造成伤害，造成网络环境的污染。由于每日的数据激增，依靠人工处理数据过多，导致工作量过大，迫切的需要能够自动识别仇恨和攻击性言论的机制和方法。由于目前关于仇恨言论并没有一个明确的定义，现有技术将仇恨言论定义为：基于某些特征（例如种族，肤色，种族，性别，性取向，国籍，宗教或其他特征）贬低个人或群体的任何交流。而攻击性言论即不符合礼仪性，明指或暗指的，与受话者的显著特征相适应的，有辱人格的话语。
关于仇恨和攻击性言论的识别任务，从分类类别来讲，现有技术主要可以分为两大类，分别为：二分类和多分类。二分类任务即将文本划分为仇恨言论或者非仇恨言论两类。该分类方法模糊了仇恨和攻击性言论的概念，将仇恨言论和攻击性言论的概念混为一谈。多分类任务则将仇恨言论和攻击性言论区分开，甚至将仇恨言论划分为：种族歧视，肤色歧视，性别歧视等具体类别。
现有技术中，从分类模型角度进行划分，仇恨和攻击性言论识别任务可以分为以下几类：
（1）基于仇恨词典的分类方法，通过检测文本中是否包含仇恨词来判断仇恨言论，但仇恨词典需要不断进行维护，成本过高。
（2）基于关键字的方法。该方法通过检测文本中是否含有某一关键字，完成仇恨言论的分类。该方法不仅有较高的误报率，且现在网民通过拼写错误，字符替换，使用同音字等方法来掩盖关键字，给利用关键字来检测仇恨和攻击性言论带来困难。
（3）基于机器学习和深度学习的方法。现有技术提出HateNet模型，但是，该模型无法实现文本的多分类，仅适用于二分类。现有技术利用CNN，LSTM和FastText等方法进行仇恨和攻击性言论的检测，但大部分机器学习和深度学习方法更加适用于长文本分类，由于大多数社交软件以短文本的形式呈现内容数据，所包含的有效信息非常少，造成样本的特征稀疏，且特征集维数较高，难以从中抽取到准确而关键的样本特征用于分类学习，因此大部分机器学习和深度学习方法在短文本分类任务中效果较差，因此短文本特征稀疏问题是一个需要迫切解决的问题，需要迫切专门针对于短文本提出的模型进行分类。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供基于主题记忆网络的仇恨和攻击性言论识别方法及系统，要旨是基于词在文章中的共现关系，从大量的词汇中找出主题词。首先将文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；然后基于词袋向量，主题提取模型提取主题混合分布；基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；最后基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果；达到了丰富短文本特征的目的，解决了短文本存在的特征稀疏问题，提高了仇恨和攻击性言论识别的精度。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供基于主题记忆网络的仇恨和攻击性言论识别方法，其包括：
获取待识别文本，对待识别文本进行预处理；
将预处理后文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；
基于词袋向量，主题提取模型提取主题混合分布；
基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；
基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果。
进一步的，所述联合学习的具体步骤为：
所述词索引序列向量与第一记忆内存矩阵进行级联运算，并基于主题词权重矩阵计算第一匹配度；
基于第一匹配度和所述特征向量，计算第二匹配度；
混合所述主题混合分布、第一匹配度和第二匹配度，得到集成内存权重；
基于集成内存权重和第二记忆内存矩阵，计算分类特征。
进一步的，所述第一记忆内存矩阵和第二记忆内存矩阵由两个RELU作为激活函数的神经感知器产生。
进一步的，所述提取主题混合分布的具体步骤为：
基于词袋向量，编码器得到均值向量和方差向量；
对均值向量和方差向量进行多次随机采样，获得潜在主题；
基于潜在主题，解码器计算主题混合分布。
进一步的，所述主题混合分布经过线性变换的神经感知器处理后，通过激活函数，得到主题词权重矩阵。
进一步的，所述预处理包括删除停用词、字符串替换和词干提取。
进一步的，所述特征提取包括情绪特征提取、数目特征提取和可读性特征提取。
本发明的第二个方面提供基于主题记忆网络的仇恨和攻击性言论识别系统，其包括：
预处理模块，其被配置为：获取待识别文本，对待识别文本进行预处理；
文本转换和特征提取模块，其被配置为：将预处理后文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；
主题提取模块，其被配置为：基于词袋向量，主题提取模型提取主题混合分布；
分类特征提取模块，其被配置为：基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；
分类模块，其被配置为：基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于主题记忆网络的仇恨和攻击性言论识别方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于主题记忆网络的仇恨和攻击性言论识别方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了基于主题记忆网络的仇恨和攻击性言论识别方法，其通过对文本进行主题词的提取，达到丰富短文本特征的目的，解决短文本存在的特征稀疏问题，不需要借助外部资源语料库来丰富短文本信息，提高了仇恨和攻击性言论识别的精度。
本发明提供了基于主题记忆网络的仇恨和攻击性言论识别方法，其从文本实例中更好的学习问题的结构与问题的本质，使仇恨和攻击性言论的分类效果更加精确。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于主题记忆网络的仇恨和攻击性言论识别方法整体框架图；
图2是本发明实施例的预处理流程图；
图3为本发明实施例的级联运算细节图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1-4所示，本实施例提供了基于主题记忆网络的仇恨和攻击性言论识别方法。首先，获取待识别文本，对待识别文本进行预处理；然后，将预处理后文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；其次，基于词袋向量，主题提取模型提取潜在主题并获得主题混合矩阵；再次，将主题混合矩阵输入到主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；最后，基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果。其具体包括如下步骤：
步骤(1)：获取待识别文本，对待识别文本进行数据预处理。对待识别文本进行清洗，清除与仇恨和攻击性言论检测任务不相关的字符。
作为一种实施方式，待识别文本为推文。
如图2所示的数据预处理流程图，数据预处理包括以下步骤：
步骤(101)：删除停用词：利用NLTK语料库中提供的停用词表，进行停用词的删除。
步骤(102)：清理推文：利用字符串替换技术，删除文本中的不相关表达式。其中不相关表达式包括URL标签和哈希标签和不受ANSI编码支持的文本；
步骤(103)：词干提取：首先将全部推文小写，并且利用Porter Stemmer工具进行词干提取。
如图 2 所示，所使用的数据集中包含大量的与仇恨和攻击性言论不相关的字符，经过删除多余字符、替换@user、替换URL、替换哈希标签、去除常用停用词、单词小写和词干提取后，得到整洁的文本，方便词典的提取。
将预处理后文本转换为词袋向量和词索引序列向量。具体的：使用词袋模型生成词袋词向量；使用seq2seq模型生成词索引序列向量。
步骤(2)：特征提取，用于进行仇恨和攻击性言论的特征的学习，使分类效果更加精确。特征提取主要进行以下处理：
步骤(201)：情绪特征：使用vaderSentiment工具对推文进行情绪评分；
步骤(202)：数目特征：统计预处理中的URL，mention和主题标签的计数；
步骤(203)：可读性特征：计算每条文本的Flesch-Kincaid等级水平和FleschReading Ease分数。同时还统计每个推文中字符，单词和音节数量的功能。经过以上处理，生成关于仇恨和攻击性言论的特征向量。
给定作为N个短文本实例的输入，经过数据预处理和特征提取后，每个实例x被处理为三种表示形式：词袋（Bag of words）词向量/>、词索引序列向量/>，特征向量/>。其中，/>是序列长度，/>是词汇表的大小。
步骤(3)：仇恨主题记忆网络模型TM-HOL，如图1所示为仇恨主题记忆网络模型TM-HOL的整体框架：首先，将输入到主题提取模型NTM-HOL中以诱导潜在主题z，/>，其中P表示主题的数量；然后，此类主题与词索引序列向量、特征向量进一步进行级联运算，以学习TMM-HOL中的分类功能，即使用学习到的主题通过主题记忆机制TMM-HOL 中的两个记忆矩阵 M1 和 M2 匹配主题和文本；最后输入到分类器中，用于预测分类标签。
步骤(301)：NTM-HOL（仇恨和攻击性言论主题提取模型，简称主题提取模型）：该模型用于提取文本中的潜在主题和主题混合分布，丰富短文本特征。词袋向量输入到仇恨主题记忆网络模型TM-HOL中，以诱发潜在主题。
主题提取模型NTM-HOL分为两部分：编码器网络和解码器网络。
编码器以词袋向量作为输入，得到均值向量和方差向量。编码器不输出大小为n的编码矢量，而是输出两个大小为n的矢量：均值向量/>和方差向量/>，它们构成了长度为n的随机变量向量的参数，/>的第i个元素和/>的第i个元素是抽样的第i个随机变量xi的均值和方差。
通过对均值向量和方差向量进行随机采样来获得随机变量z，，然后经过n次采样后，得到p-维潜在主题变量z，即从等式1中采样的潜在主题z。
(1)
(2)
(3)
用所有的均值和方差获得采样编码，形成潜在主题变量z，然后使用这个结果作为编码器的输出，解码器网络接收潜在主题变量z的这些值并尝试重构原始输入。
解码器部分用于计算主题混合分布γ，假设每个文本x具有k维的主题混合分布γ，基于潜在主题，解码器计算主题混合分布，主题混合分布γ的计算过程为：
(4)
步骤(302)：TMM-HOL(仇恨和攻击性言论主题记忆机制，简称主题记忆机制)：将诱导出的潜在主题映射到特征空间，并与提取的特征联合学习。计算主题和主题词的权重矩阵，同时也学习句子的特征。主题记忆机制TMM-HOL可以将NTM-HOL 中学习到的潜在主题映射到分类特征。基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征，具体的：
主题混合分布经过线性变换的神经感知器处理后，通过激活函数，得到主题词权重矩阵，具体如公式（5）所示，主题词权重矩阵为：
(5)
主题记忆机制TMM-HOL在学习主题的同时学习文本特征。其中，TMM-HOL由两个记忆内存矩阵M1和M2组成，而后通过两次级联运算与提取的特征进行联合学习。两个记忆内存矩阵M1和M2由两个RELU作为激活函数的神经感知器产生。
（1）如图1所示，两个记忆内存矩阵都以主题词权重矩阵作为输入。
如图1和图3所示，使用R来代表嵌入的词索引序列向量，词索引序列向量与第一记忆内存矩阵进行级联运算，并基于主题词权重矩阵计算第一匹配度。具体如公式（6）所示，计算第m个主题和第n个词在词索引序列向量/>中的匹配度，即第一匹配度为：
(6)
其中，&表示进行级联运算，[M1&R]代表第一记忆内存矩阵M1和词索引序列向量R进行级联运算，和b是要学习的参数。
（2）经过上述处理后，通过计算特征向量和第一匹配度/>的匹配度，得到第二匹配度，进行仇恨言论和攻击性的语言特征的学习。第二匹配度为：
(7)
其中，d是要学习的参数。
（3）为进一步结合文档主题，混合主题混合分布、第一匹配度P和第二匹配度Q，将集成内存权重定义为：
(8)
其中， τ 是一个超参数。
（4）通过第二记忆矩阵M2和集成内存权重χ，得到主题记忆机制的输出表示，即分类特征D：
(6)
步骤(303)：分类器：将分类特征D输入到分类器进行分类预测，得到文本是否属于仇恨和攻击性言论的结果。以仇恨和攻击性言论主题记忆机制的最终输出D作为分类器输入，以预测文本的分类标签，用于仇恨语言和攻击性言论的检测。
上述的主题提取模型、主题记忆机制、分类器等构成检测模型，检测模型需要使用人工标记的训练集提前训练，将待检测的文本输入检测模型，通过已训练好的检测模型对其进行相应的文本分类预测，并返回预测结果；最后，将模型预测的文本分类结果以可视化的方式展现给用户。
本发明的通过提取文本中的潜在主题，有效的解决短文本特征稀疏问题，提高检测网络环境中的仇恨和攻击性言论的精确度。
实施例二
本实施例提供了基于主题记忆网络的仇恨和攻击性言论识别系统，其具体包括如下模块：
预处理模块，其被配置为：获取待识别文本，对待识别文本进行预处理；
文本转换和特征提取模块，其被配置为：将预处理后文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；
主题提取模块，其被配置为：基于词袋向量，主题提取模型提取主题混合分布；
分类特征提取模块，其被配置为：基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；
分类模块，其被配置为：基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果。
显示模块，其被配置为：将分类结果以可视化的方式展现给用户。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于主题记忆网络的仇恨和攻击性言论识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于主题记忆网络的仇恨和攻击性言论识别方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于主题记忆网络的仇恨和攻击性言论识别方法，其特征在于，包括：
获取待识别文本，对待识别文本进行预处理；
将预处理后文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；
基于词袋向量，主题提取模型提取主题混合分布；
基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；
基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果；
所述联合学习的具体步骤为：
所述词索引序列向量与第一记忆内存矩阵进行级联运算，并基于主题词权重矩阵计算第一匹配度；
基于第一匹配度和所述特征向量，计算第二匹配度；
混合所述主题混合分布、第一匹配度和第二匹配度，得到集成内存权重；
基于集成内存权重和第二记忆内存矩阵，计算分类特征；
所述特征提取包括情绪特征提取、数目特征提取和可读性特征提取；
两个记忆内存矩阵都以主题词权重矩阵作为输入；
使用R来代表嵌入的词索引序列向量，词索引序列向量与第一记忆内存矩阵进行级联运算，并基于主题词权重矩阵计算第一匹配度；计算第m个主题和第n个词在词索引序列向量/>中的匹配度，即第一匹配度为：
其中，&表示进行级联运算，[M1&R]代表第一记忆内存矩阵M1和词索引序列向量R进行级联运算，和b是要学习的参数；
经过上述处理后，通过计算特征向量和第一匹配度/>的匹配度，得到第二匹配度，进行仇恨言论和攻击性的语言特征的学习；第二匹配度为：
其中，d是要学习的参数；
为进一步结合文档主题，混合主题混合分布、第一匹配度/>和第二匹配度/>，将集成内存权重定义为：
其中， τ 是一个超参数；
通过第二记忆矩阵M2和集成内存权重χ，得到主题记忆机制的输出表示，即分类特征D：
。
2.如权利要求1所述的基于主题记忆网络的仇恨和攻击性言论识别方法，其特征在于，所述第一记忆内存矩阵和第二记忆内存矩阵由两个RELU作为激活函数的神经感知器产生。
3.如权利要求1所述的基于主题记忆网络的仇恨和攻击性言论识别方法，其特征在于，所述提取主题混合分布的具体步骤为：
基于词袋向量，编码器得到均值向量和方差向量；
对均值向量和方差向量进行多次随机采样，获得潜在主题；
基于潜在主题，解码器计算主题混合分布。
4.如权利要求1所述的基于主题记忆网络的仇恨和攻击性言论识别方法，其特征在于，所述主题混合分布经过线性变换的神经感知器处理后，通过激活函数，得到主题词权重矩阵。
5.如权利要求1所述的基于主题记忆网络的仇恨和攻击性言论识别方法，其特征在于，所述预处理包括删除停用词、字符串替换和词干提取。
6.基于主题记忆网络的仇恨和攻击性言论识别系统，利用如权利要求1所述的基于主题记忆网络的仇恨和攻击性言论识别方法实现，其特征在于，包括：
预处理模块，其被配置为：获取待识别文本，对待识别文本进行预处理；
文本转换和特征提取模块，其被配置为：将预处理后文本转换为词袋向量和词索引序列向量，并进行特征提取得到特征向量；
主题提取模块，其被配置为：基于词袋向量，主题提取模型提取主题混合分布；
分类特征提取模块，其被配置为：基于主题混合分布，主题记忆机制获得主题词权重矩阵，并通过两次级联运算与词索引序列向量和特征向量进行联合学习，得到分类特征；
分类模块，其被配置为：基于分类特征，分类器得到文本是否属于仇恨和攻击性言论的结果。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于主题记忆网络的仇恨和攻击性言论识别方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于主题记忆网络的仇恨和攻击性言论识别方法中的步骤。
CN202111005000.7A 2021-08-30 2021-08-30 基于主题记忆网络的仇恨和攻击性言论识别方法及系统 Active CN113704472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111005000.7A CN113704472B (zh) 2021-08-30 2021-08-30 基于主题记忆网络的仇恨和攻击性言论识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005000.7A CN113704472B (zh) 2021-08-30 2021-08-30 基于主题记忆网络的仇恨和攻击性言论识别方法及系统

Publications (2)

Publication Number Publication Date
CN113704472A CN113704472A (zh) 2021-11-26
CN113704472B true CN113704472B (zh) 2024-04-09

Family

ID=78656843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005000.7A Active CN113704472B (zh) 2021-08-30 2021-08-30 基于主题记忆网络的仇恨和攻击性言论识别方法及系统

Country Status (1)

Country Link
CN (1) CN113704472B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056522B (zh) * 2023-10-11 2024-03-15 青岛网信信息科技有限公司 一种互联网言论优化处理方法、介质及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189933A (zh) * 2018-09-14 2019-01-11 腾讯科技（深圳）有限公司 一种文本信息分类的方法及服务器
CN110532380A (zh) * 2019-07-12 2019-12-03 杭州电子科技大学 一种基于记忆网络的文本情感分类方法
CN112232058A (zh) * 2020-10-15 2021-01-15 济南大学 基于深度学习三层语义抽取框架的假新闻识别方法及系统
CN113127643A (zh) * 2021-05-11 2021-07-16 江南大学 一种融合微博主题及评论的深度学习谣言检测方法
CN113128199A (zh) * 2021-05-11 2021-07-16 济南大学 基于预训练语言模型与多重词信息嵌入的字向量生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937416B2 (en) * 2019-02-01 2021-03-02 International Business Machines Corporation Cross-domain multi-task learning for text classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189933A (zh) * 2018-09-14 2019-01-11 腾讯科技（深圳）有限公司 一种文本信息分类的方法及服务器
CN110532380A (zh) * 2019-07-12 2019-12-03 杭州电子科技大学 一种基于记忆网络的文本情感分类方法
CN112232058A (zh) * 2020-10-15 2021-01-15 济南大学 基于深度学习三层语义抽取框架的假新闻识别方法及系统
CN113127643A (zh) * 2021-05-11 2021-07-16 江南大学 一种融合微博主题及评论的深度学习谣言检测方法
CN113128199A (zh) * 2021-05-11 2021-07-16 济南大学 基于预训练语言模型与多重词信息嵌入的字向量生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Topic Memory Networks for Short Text Classification;jichuan zeng;《arxiv.org/pdf/1809.03664.pdf》;摘要，正文第1-4节 *
结合注意力与循环神经网络的专家推荐算法;吕晓琦;《计算机科学与探索》;16(009);全文 *

Also Published As

Publication number Publication date
CN113704472A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN111783394B (zh) 事件抽取模型的训练方法、事件抽取方法和系统及设备
Gokulakrishnan et al. Opinion mining and sentiment analysis on a twitter data stream
CN113435203B (zh) 多模态命名实体识别方法、装置以及电子设备
CN102831184B (zh) 根据对社会事件的文字描述来预测社会情感的方法及系统
CN108804612B (zh) 一种基于对偶神经网络模型的文本情感分类方法
CN107491435B (zh) 基于计算机自动识别用户情感的方法及装置
CN108563638B (zh) 一种基于主题识别和集成学习的微博情感分析方法
CN110046356B (zh) 标签嵌入的微博文本情绪多标签分类方法
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
Sheshikala et al. Natural language processing and machine learning classifier used for detecting the author of the sentence
Haque et al. Opinion mining from bangla and phonetic bangla reviews using vectorization methods
JP6626917B2 (ja) 英語の音節計算法に基づいた可読性評価方法及びシステム
CN116245110A (zh) 基于图注意力网络的多维度信息融合用户立场检测方法
CN114756675A (zh) 文本分类方法、相关设备及可读存储介质
CN110569495A (zh) 一种基于用户评论的情感倾向分类方法、装置及存储介质
CN113704472B (zh) 基于主题记忆网络的仇恨和攻击性言论识别方法及系统
Jain et al. Sentiment analysis of tweets and texts using python on stocks and COVID-19
CN114298011B (zh) 神经网络、训练方法、方面级情感分析方法、装置及存储介质
CN117235253A (zh) 一种基于自然语言处理技术的卡车用户隐性需求挖掘方法
CN115292495A (zh) 情绪分析方法、装置、电子设备及存储介质
Vydiswaran et al. Towards text processing pipelines to identify adverse drug events-related tweets: university of michigan@ SMM4H 2019 task 1
CN114896380A (zh) 自然语言问答方法、系统、装置及电子设备
Cherrat et al. Sentiment Analysis from Texts Written in Standard Arabic and Moroccan Dialect based on Deep Learning Approaches.
Faruqe et al. Bangla hate speech detection system using transformer-based nlp and deep learning techniques
Alyamani Determining Feature-Size for Text to Numeric Conversion based on BOW and TF-IDF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant