CN108804612B - 一种基于对偶神经网络模型的文本情感分类方法 - Google Patents

一种基于对偶神经网络模型的文本情感分类方法 Download PDF

Info

Publication number
CN108804612B
CN108804612B CN201810539239.4A CN201810539239A CN108804612B CN 108804612 B CN108804612 B CN 108804612B CN 201810539239 A CN201810539239 A CN 201810539239A CN 108804612 B CN108804612 B CN 108804612B
Authority
CN
China
Prior art keywords
text
emotion
neural network
model
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810539239.4A
Other languages
English (en)
Other versions
CN108804612A (zh
Inventor
夏睿
郑士梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Firehome Putian Information Technology Co ltd
Original Assignee
Wuhan Firehome Putian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Firehome Putian Information Technology Co ltd filed Critical Wuhan Firehome Putian Information Technology Co ltd
Priority to CN201810539239.4A priority Critical patent/CN108804612B/zh
Publication of CN108804612A publication Critical patent/CN108804612A/zh
Application granted granted Critical
Publication of CN108804612B publication Critical patent/CN108804612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于对偶神经网络模型的文本情感分类方法，包括以下步骤：步骤一、对评论文本进行中文分词及停词过滤；步骤二、构造原始训练集，并使用提出的反转规则对原始训练集进行情感反转，得到反转训练集；步骤三、使用步骤二中得到的原始训练集和反转训练集对模型进行训练；步骤四、对测试数据进行与步骤一相同的预处理，构造反义测试文本；步骤五、使用情感分类模型，对反义测试文本进行情感分类；本发明从文本的正面对文本进行表示，同时利用反义词典对文本进行情感反转，能够利用情感词典知识对文本进行更准确的情感表示；通过对偶模型框架，各种文本表示神经网络都可以用来表示原始文本和反转文本，模型十分灵活，提高准确性。

Description

一种基于对偶神经网络模型的文本情感分类方法
技术领域
本发明涉及自然语言处理应用技术领域，具体的说是一种基于对偶神经网络模型的文本情感分类方法。
背景技术
在互联网快速发展的前提下，越来越多的人被纳入到互联网中。人们在网上获取资讯、购买商品、分享生活，产生了大量的文本数据面向评论文本的观点挖掘和情感分析技术，不仅是自然语言处理和情感分析领域的学术前沿问题和热点研究问题，也是应用领域亟待解决的重要问题，具有不可估量的应用价值和社会意义，同时也具有很大的挑战。
传统方法中使用人来对文本进行情感的判断，不仅需要昂贵的人力成本，效率也很低。近几年里，已经有一些机器学习的方法来尝试解决这个问题，比如逻辑回归模型、支持向量机模型、神经网络模型等，然而之前的模型对文本的情感语义表示、情感识别的正确率上还有很大的提升空间。
基于此，针对上述现状中存在的问题，相较于传统的谣言立场检测方法，本发明提出一种能够提高正确率的基于对偶神经网络模型的文本情感分类方法。
发明内容
为了解决上述现有技术的问题，本发明提供一种能够提高正确率的基于对偶神经网络模型的文本情感分类方法。
本发明解决其技术问题所采用的技术方案是：
一种基于对偶神经网络模型的文本情感分类方法，包括以下步骤：
步骤一、获取评论文本，对评论文本进行中文分词及停词过滤；
步骤二、通过情感标注构造形式为<文本，情感>的原始训练集，并使用提出的反转规则对原始训练集进行情感反转，构造形式为<反义文本，反义情感>的反转训练集；
步骤三、构建基于对偶神经网络的情感分类模型，并使用步骤二中得到的原始训练集和反转训练集对模型进行训练；
步骤四、对测试数据进行与步骤一相同的预处理，利用步骤二提出的反转规则对原始测试文本构造反义测试文本；
步骤五、使用步骤三中的情感分类模型，对步骤四得到的反义测试文本进行情感分类。
进一步地，所述步骤一具体为：
a、首先将网页爬虫爬取的评论语料进行HTML解析，筛选出相关评论文本，得到评论文本集；
b、使用NLPIR分词系统对评论文本进行中文分词，然后在已有的停用词表基础上，加入英文字符、数字、标点符号，构造出适合用于中文文本的停用词表，并对中文分词后的词语进行停用词过滤。
更进一步地，已有停用词表包括“哈工大停用词表”、“四川大学机器学习智能实验室停用词表”和“百度停用词表”。
进一步地，所述步骤二中的反转规则具体为：
S1、文本反转：如果存在否定词，需要先检测否定词的有效范围，所有否定词有效范围之外的情感词替换成其反义词；在否定词的有效范围内，否定词被移除，情感词保留下来；
S2、情感反转：对于每一个原始训练样本，情感标签被替换成其反义标签。
进一步地，所述步骤三中，基于对偶神经网络的情感分类模型由四部分组成：输入层、表示层、全连接层和分类层。
更进一步地，所述输入层由原始文本和反转文本两部分组成，文本中的词用词向量进行初始化，词向量使用Word2vec工具对预处理后的文本训练得到；
所述表示层由对应于输入层的两部分组成，分别对原始输入文本和反转输入文本进行编码表示；
所述全连接层拼接在表示层上，使原始文本向量和反转文本向量都与全连接层的神经元相连，全连接层得到输入的低维表示向量r；
所述分类层使用Softmax函数对上一步得到的表示r进行分类得到，所述Softmax函数为p＝softmax(W·r+b)，其中，W和b为权重参数。
更进一步地，所述表示层的编码表示使用卷积神经网络、循环神经网络和层次注意力神经网络模型中的一种或几种对输入文本进行表示。
更进一步地，利用有监督的方式最小化损失函数来对模型进行训练，使用得到的训练集对模型进行训练，学习得到神经网络分类模型的参数，模型的损失函数为：
Figure BDA0001678905710000031
其中，
Figure BDA0001678905710000032
表示第i个样本是否属于第j个类别，当第i个样本属于第j个类别时取值为1否则为0；hj(xi)表示第i个样本属于第j个类别类别的概率。
与现有技术相比，本发明的有益效果是：
本发明不仅从文本的正面对文本进行表示，同时利用反义词典对文本进行情感反转，对文本从反面进行表示，能够利用情感词典知识对文本进行更准确的情感表示；通过对偶模型框架，各种文本表示神经网络都可以用来表示原始文本和反转文本，模型十分灵活，同时这种对偶模型框架提高了预测属性情感类别的准确性。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例及附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种基于对偶神经网络模型的文本情感分类方法，包括以下步骤：
步骤一、获取评论文本，对评论文本进行中文分词及停词过滤；
步骤二、通过情感标注构造形式为<文本，情感>的原始训练集，并使用提出的反转规则对原始训练集进行情感反转，构造形式为<反义文本，反义情感>的反转训练集；
步骤三、构建基于对偶神经网络的情感分类模型，并使用步骤二中得到的原始训练集和反转训练集对模型进行训练；
步骤四、对测试数据进行与步骤一相同的预处理，利用步骤二提出的反转规则对原始测试文本构造反义测试文本；
步骤五、使用步骤三中的情感分类模型，对步骤四得到的反义测试文本进行情感分类。
在上述技术方案中，步骤四中，对测试数据进行与步骤一相同的预处理，所述预处理即为中文分词和停词过滤。
具体实施时，所述步骤一具体为：
a、首先将网页爬虫爬取的评论语料进行HTML解析，筛选出相关评论文本，得到评论文本集；
b、使用NLPIR分词系统对评论文本进行中文分词，然后在已有的停用词表基础上，加入英文字符、数字、标点符号，构造出适合用于中文文本的停用词表，并对中文分词后的词语进行停用词过滤。
具体实施时，已有停用词表包括“哈工大停用词表”、“四川大学机器学习智能实验室停用词表”和“百度停用词表”。
具体实施时，所述步骤二中的反转规则具体为：
S1、文本反转：如果存在否定词，需要先检测否定词的有效范围，所有否定词有效范围之外的情感词替换成其反义词；在否定词的有效范围内，否定词被移除，情感词保留下来；
S2、情感反转：对于每一个原始训练样本，情感标签被替换成其反义标签，比如“贬义”替换成“褒义”，“褒义”替换成“贬义”。
具体实施时，所述步骤三中，基于对偶神经网络的情感分类模型由四部分组成：输入层、表示层、全连接层和分类层。
具体实施时，所述输入层由原始文本和反转文本两部分组成，文本中的词用词向量进行初始化，词向量使用Word2vec工具对预处理后的文本训练得到；
所述表示层由对应于输入层的两部分组成，分别对原始输入文本和反转输入文本进行编码表示；
所述全连接层拼接在表示层上，使原始文本向量和反转文本向量都与全连接层的神经元相连，全连接层得到输入的低维表示向量r；
所述分类层使用Softmax函数对上一步得到的表示r进行分类得到，所述Softmax函数为p＝softmax(W·r+b)，其中，W和b为权重参数。
具体实施时，所述表示层的编码表示使用卷积神经网络、循环神经网络和层次注意力神经网络模型中的一种或几种对输入文本进行表示。
具体实施时，利用有监督的方式最小化损失函数来对模型进行训练，使用得到的训练集对模型进行训练，学习得到神经网络分类模型的参数，模型的损失函数为：
Figure BDA0001678905710000061
其中，
Figure BDA0001678905710000062
表示第i个样本是否属于第j个类别，当第i个样本属于第j个类别时取值为1否则为0；hj(xi)表示第i个样本属于第j个类别类别的概率。
作为本发明的一个实施例：
1、以商品评论文本为例，首先获取商品评论数据，进行HTML解析，筛选出评论文本，分词后去除停用词；
2、标注评论文本的情感标签，并适用反转规则构造反转样本，比如：
原始样本：“我不喜欢这本书。它太无聊了。”，情感类别为消极；
反转样本：“我喜欢这本书。它太有趣了。”，情感类别为积极。
3.在训练阶段，把<文本，情感>原始样本和<反义文本，反义情感>反转样本同时送入模型进行训练，得到情感分类模型，用于测试时评断测试文本的情感类别；在测试阶段，输入原始样本和反转样本，得到原始样本相关的情感类别。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于对偶神经网络模型的文本情感分类方法，其特征在于，包括以下步骤：
步骤一、获取评论文本，对评论文本进行中文分词及停词过滤；
步骤二、通过情感标注构造形式为<文本，情感>的原始训练集，并使用提出的反转规则对原始训练集进行情感反转，构造形式为<反义文本，反义情感>的反转训练集；
步骤三、构建基于对偶神经网络的情感分类模型，并使用步骤二中得到的原始训练集和反转训练集对模型进行训练；利用有监督的方式最小化损失函数来对模型进行训练，使用得到的训练集对模型进行训练，学习得到神经网络分类模型的参数，模型的损失函数为：
Figure FDA0003162480970000011
其中，
Figure FDA0003162480970000012
表示第i个样本是否属于第j个类别，当第i个样本属于第j个类别时取值为1否则为0；hj(xi)表示第i个样本属于第j个类别类别的概率；
步骤四、对测试数据进行与步骤一相同的预处理，利用步骤二提出的反转规则对原始测试文本构造反义测试文本；
步骤五、使用步骤三中的情感分类模型，对步骤四得到的反义测试文本进行情感分类。
2.根据权利要求1所述的一种基于对偶神经网络模型的文本情感分类方法，其特征在于，所述步骤一具体为：
a、首先将网页爬虫爬取的评论语料进行HTML解析，筛选出相关评论文本，得到评论文本集；
b、使用NLPIR分词系统对评论文本进行中文分词，然后在已有的停用词表基础上，加入英文字符、数字、标点符号，构造出适合用于中文文本的停用词表，并对中文分词后的词语进行停用词过滤。
3.根据权利要求2所述的一种基于对偶神经网络模型的文本情感分类方法，其特征在于：已有停用词表包括“哈工大停用词表”、“四川大学机器学习智能实验室停用词表”和“百度停用词表”。
4.根据权利要求1所述的一种基于对偶神经网络模型的文本情感分类方法，其特征在于，所述步骤二中的反转规则具体为：
S1、文本反转：如果存在否定词，需要先检测否定词的有效范围，所有否定词有效范围之外的情感词替换成其反义词；在否定词的有效范围内，否定词被移除，情感词保留下来；
S2、情感反转：对于每一个原始训练样本，情感标签被替换成其反义标签。
5.根据权利要求1所述的一种基于对偶神经网络模型的文本情感分类方法，其特征在于：所述步骤三中，基于对偶神经网络的情感分类模型由四部分组成：输入层、表示层、全连接层和分类层。
6.根据权利要求5所述的一种基于对偶神经网络模型的文本情感分类方法，其特征在于：所述输入层由原始文本和反转文本两部分组成，文本中的词用词向量进行初始化，词向量使用Word2vec工具对预处理后的文本训练得到；
所述表示层由对应于输入层的两部分组成，分别对原始输入文本和反转输入文本进行编码表示；
所述全连接层拼接在表示层上，使原始文本向量和反转文本向量都与全连接层的神经元相连，全连接层得到输入的低维表示向量r；
所述分类层使用Softmax函数对上一步得到的表示r进行分类得到，所述Softmax函数为p＝softmax(W·r+b)，其中，W和b为权重参数。
7.根据权利要求6所述的一种基于对偶神经网络模型的文本情感分类方法，其特征在于：所述表示层的编码表示使用卷积神经网络、循环神经网络和层次注意力神经网络模型中的一种或几种对输入文本进行表示。
CN201810539239.4A 2018-05-30 2018-05-30 一种基于对偶神经网络模型的文本情感分类方法 Active CN108804612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810539239.4A CN108804612B (zh) 2018-05-30 2018-05-30 一种基于对偶神经网络模型的文本情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810539239.4A CN108804612B (zh) 2018-05-30 2018-05-30 一种基于对偶神经网络模型的文本情感分类方法

Publications (2)

Publication Number Publication Date
CN108804612A CN108804612A (zh) 2018-11-13
CN108804612B true CN108804612B (zh) 2021-11-02

Family

ID=64089464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810539239.4A Active CN108804612B (zh) 2018-05-30 2018-05-30 一种基于对偶神经网络模型的文本情感分类方法

Country Status (1)

Country Link
CN (1) CN108804612B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151324B2 (en) 2019-02-03 2021-10-19 International Business Machines Corporation Generating completed responses via primal networks trained with dual networks
CN113366510A (zh) * 2019-02-03 2021-09-07 国际商业机器公司 经由训练的原始网络与双网络来执行多目标任务
US11281867B2 (en) 2019-02-03 2022-03-22 International Business Machines Corporation Performing multi-objective tasks via primal networks trained with dual networks
CN110276081B (zh) * 2019-06-06 2023-04-25 百度在线网络技术（北京）有限公司 文本生成方法、装置及存储介质
CN112213771B (zh) * 2019-07-10 2023-10-27 中国石油天然气股份有限公司 地震波阻抗反演方法及装置
CN110347836B (zh) * 2019-07-15 2021-07-09 昆明理工大学 融入观点句特征的汉越双语新闻情感分类方法
CN110674260B (zh) * 2019-09-27 2022-05-24 北京百度网讯科技有限公司 语义相似模型的训练方法、装置、电子设备和存储介质
CN112214602B (zh) * 2020-10-23 2023-11-10 中国平安人寿保险股份有限公司 基于幽默度的文本分类方法、装置、电子设备及存储介质
CN112580337A (zh) * 2020-12-29 2021-03-30 南京航空航天大学 基于数据增强的情感分类模型及情感分类方法
CN112800233B (zh) * 2021-04-13 2021-06-18 成都数联铭品科技有限公司 一种文本立场检测方法
CN114528851B (zh) * 2022-02-17 2023-07-25 平安科技（深圳）有限公司 回复语句确定方法、装置、电子设备和存储介质
CN115794988A (zh) * 2022-09-13 2023-03-14 广东美云智数科技有限公司 用于提取文本的观点的方法、装置以及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326603B1 (en) * 1994-09-30 2012-12-04 Budzinski Robert L Memory system for storing and retrieving experience and knowledge with natural language queries
WO2017036482A1 (en) * 2015-08-28 2017-03-09 Aalborg Universitet A cpn-based tool for the stratification of illness severity in patients suspected of sepsis
CN106598942A (zh) * 2016-11-17 2017-04-26 天津大学 基于表情分析和深度学习的社交网络情感分析方法
CN107330448A (zh) * 2017-06-09 2017-11-07 南京师范大学 一种基于标记协方差和多标记分类的联合学习方法
CN107862343A (zh) * 2017-11-28 2018-03-30 南京理工大学 基于规则和神经网络的商品评论属性级情感分类方法
CN107862087A (zh) * 2017-12-01 2018-03-30 广州简亦迅信息科技有限公司 基于大数据和深度学习的情感分析方法、装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326603B1 (en) * 1994-09-30 2012-12-04 Budzinski Robert L Memory system for storing and retrieving experience and knowledge with natural language queries
WO2017036482A1 (en) * 2015-08-28 2017-03-09 Aalborg Universitet A cpn-based tool for the stratification of illness severity in patients suspected of sepsis
CN106598942A (zh) * 2016-11-17 2017-04-26 天津大学 基于表情分析和深度学习的社交网络情感分析方法
CN107330448A (zh) * 2017-06-09 2017-11-07 南京师范大学 一种基于标记协方差和多标记分类的联合学习方法
CN107862343A (zh) * 2017-11-28 2018-03-30 南京理工大学 基于规则和神经网络的商品评论属性级情感分类方法
CN107862087A (zh) * 2017-12-01 2018-03-30 广州简亦迅信息科技有限公司 基于大数据和深度学习的情感分析方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"文本情感分类中的极性转移问题研究";汪涛;《中国硕士硕士论文全文数据库 信息科技辑》;20140715;第31页第5.1节到第46页第5.6节 *

Also Published As

Publication number Publication date
CN108804612A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108804612B (zh) 一种基于对偶神经网络模型的文本情感分类方法
CN110019839B (zh) 基于神经网络和远程监督的医学知识图谱构建方法和系统
CN106776581B (zh) 基于深度学习的主观性文本情感分析方法
CN106777275B (zh) 基于多粒度语义块的实体属性和属性值提取方法
Alwehaibi et al. Comparison of pre-trained word vectors for arabic text classification using deep learning approach
CN109492229B (zh) 一种跨领域情感分类方法和相关装置
CN106886580B (zh) 一种基于深度学习的图片情感极性分析方法
CN109325112B (zh) 一种基于emoji的跨语言情感分析方法和装置
CN109359291A (zh) 一种命名实体识别方法
CN106919673A (zh) 基于深度学习的文本情绪分析系统
CN108563638B (zh) 一种基于主题识别和集成学习的微博情感分析方法
CN109492105B (zh) 一种基于多特征集成学习的文本情感分类方法
CN113673254B (zh) 基于相似度保持的知识蒸馏的立场检测方法
CN111144119B (zh) 一种改进知识迁移的实体识别方法
CN110851601A (zh) 基于分层注意力机制的跨领域情感分类系统及方法
Luong et al. Intent extraction from social media texts using sequential segmentation and deep learning models
Wei et al. Sentiment classification of tourism reviews based on visual and textual multifeature fusion
Habib et al. Emotion recognition from microblog managing emoticon with text and classifying using 1d cnn
Patil et al. Hate speech detection using deep learning and text analysis
CN115906824A (zh) 一种文本细粒度情感分析方法、系统、介质和计算设备
CN114943235A (zh) 一种基于多类语言模型的命名实体识别方法
Li et al. SCX-SD: semi-supervised method for contextual sarcasm detection
CN114626367A (zh) 基于新闻文章内容的情感分析方法、系统、设备及介质
Li et al. Attention-based LSTM-CNNs for uncertainty identification on Chinese social media texts
Kumar et al. Deep learning-based emotion classification of Hindi text from social media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant