CN111985216A - 基于强化学习和卷积神经网络的情感倾向性分析方法 - Google Patents

基于强化学习和卷积神经网络的情感倾向性分析方法 Download PDF

Info

Publication number
CN111985216A
CN111985216A CN202010863083.2A CN202010863083A CN111985216A CN 111985216 A CN111985216 A CN 111985216A CN 202010863083 A CN202010863083 A CN 202010863083A CN 111985216 A CN111985216 A CN 111985216A
Authority
CN
China
Prior art keywords
reinforcement learning
emotion
neural network
convolutional neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010863083.2A
Other languages
English (en)
Inventor
金勇�
陈宏明
胡林利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Original Assignee
WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD filed Critical WUHAN YANGTZE COMMUNICATIONS INDUSTRY GROUP CO LTD
Priority to CN202010863083.2A priority Critical patent/CN111985216A/zh
Publication of CN111985216A publication Critical patent/CN111985216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及语义理解分析技术领域，具体为基于强化学习和卷积神经网络的情感倾向性分析方法，包括如下步骤：S1、单词输入：以word2vec得到的词向量作为初始向量；S2、强化学习：利用行业先验知识，构建情感词典用于强化学习的训练学习；S3、注意力机制：基于强化学习算法构建sentencelevel的注意力机制模型进一步得到局部区域的文本向量表达形式；S4、卷积神经网络：接入卷积神经网络模型用于模型的训练和验证。本发明采用强化学习的方法读入文本序列，针对不同情感特征采取相应的行动方式，不仅考虑到了文本序列的因素，也考虑了情感特征及其顺序对于结果的影响。实现从事后到事前，进行社会突发事件预警和研判，以提高突发社会情绪认知的效度。

Description

基于强化学习和卷积神经网络的情感倾向性分析方法
技术领域
本发明涉及语义理解分析技术领域，具体为基于强化学习和卷积神经网络 的情感倾向性分析方法。
背景技术
当今信息技术发展迅猛，互联网海量数据中存在着大量有价值信息，其 中包括大量网民对于某些商品或者事件的情感倾向(如正面倾向或者负面倾 向)，研究这些信息的情感倾向对于商品决策分析、政府情绪引导等方面都 存在积极影响。
虽然当前在情感计算领域已经产生了较多相关技术，但是综合考虑文本 序列特征和情感特征波动的相关研究却较少。近几年深度学习在NLP领域， 尤其是序列分析以及阅读理解方面，以及在文本预训练等任务上都有一定的 突破。强化学习也逐步用于文本序列分析方面的任务，通过与每一个文字符 号(如情感词)进行交互获取的回报指导来进行学习，以获取情感特征词的 信息。
目前情感倾向性分类方法中考虑文本序列因素的相关模型如Bert、GPT、 RNN、CNN等，没有引入情感特征及其顺序对于情感结果的判断。强化学习在 学习情感特征过程中也没有考虑文本局部重点段落对于全局情感的影响。为 此，我们提出基于强化学习和卷积神经网络的情感倾向性分析方法。
发明内容
本发明的目的在于提供基于强化学习和卷积神经网络的情感倾向性分析 方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于强化学习和卷积神经 网络的情感倾向性分析方法，包括如下步骤：
S1、单词输入：以word2vec得到的词向量作为初始向量；
S2、强化学习：利用行业先验知识，构建情感词典用于强化学习的训练 学习；
S3、注意力机制：基于强化学习算法构建sentence level的注意力机制 模型进一步得到局部区域的文本向量表达形式；
S4、卷积神经网络：接入卷积神经网络模型用于模型的训练和验证。
优选的，所述步骤S2中的情感词典包括：
(a)情感标注类别：正面、负面、中立；
(b)情感词库及对应情感得分；
(c)情感否定词库。
优选的，所述步骤S2中强化学习算法通过构建动作选择层和动作评价层 结构，根据情感环境的变化确定不同的行动，利用最终有监督的情感分析结 果作为强化学习的回报进行参数训练。
优选的，所述步骤S4中通过卷积神经网络的卷积层、池化层以及全连接 层，进行全网络模型参数的训练。
与现有技术相比，本发明的有益效果是：采用强化学习的方法读入文本 序列，针对不同情感特征采取相应的行动方式，不仅考虑到了文本序列的因 素，也考虑了情感特征及其顺序对于结果的影响，从word level角度吸纳了 情感特征的影响因素。同时，基于Sentence level的注意力机制也被引入到 模型设计结构中，使得文章局部的重点段落部分在训练中也得到相应的关注。 实验针对12000条以上的数据进行模型训练分析，模型准确率为78.6％，结果 证明有一定效果的提升。
本发明通过对情感倾向性分类方法的研究，实现从事后到事前，进行社 会突发事件预警和研判，以提高突发社会情绪认知的效度。
附图说明
图1为本发明基于情感特征变化的强化学习RL结构图；
图2为本发明总体流程结构图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描 述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：基于强化学习和卷积神经网络的情感倾向性 分析方法，包括如下步骤：
S1、单词输入：以word2vec得到的词向量作为初始向量；
S2、强化学习：利用行业先验知识，构建情感词典用于强化学习的训练 学习；
S3、注意力机制：基于强化学习算法构建sentence level的注意力机制 模型进一步得到局部区域的文本向量表达形式；
S4、卷积神经网络：接入卷积神经网络模型用于模型的训练和验证。
人类理解自然语言文本的方式主要是按照序列逐步读入词语，遇到情感 特征词会产生的一定的情感波动，例如“我讨厌疫情，因为它对我们整个国 家影响太大了”文本中的负面情感词“讨厌”对于读入者会产生一定的情感 向下的波动，反之亦然。
如图1所示，强化学习算法通过构建动作选择层和动作评价层结构,可以 根据情感环境(station)的变化确定不同的行动(action)，利用最终有监 督的情感分析结果作为强化学习的回报进行参数训练。
图1中，St代表t时刻的状态，At代表t时刻对应的对于环境的行为， Xt代表t时刻读入的词语，Tpos代表相应的行为，其中pos(正面)、neu(中 立)、neg(负面)分别代表相应的情感倾向。分类结果中预测值与实际值的 差异将作为回报用来训练强化学习单元。
如图2所示，基于上述RL结构图，由于利用最终有监督的情感结果作为 回报用来训练参数，可以称之为Sentiment-specific RL cell(S-RL)，基于 此单元，然后构建基于注意力机制(Attention)的sentence level向量表 达方式，最后通过卷积神经网络(CNN)的卷积层、池化层以及全连接层，进 行全网络模型参数的训练，最终实现强化学习与有监督学习的结合。
图2中，依次包括四个层次：单词输入层(Word level)、强化学习层(Rl layer)、注意力机制层(Attention layer)、以及卷积神经网络层(CNN： Convolution+Pooling+FullyConnected Layer)，从而实现一套完整的情感 分析处理过程：以word2vec得到的词向量作为初始向量；利用行业先验知识, 构建情感词典用于强化学习的训练学习；构建sentencelevel的注意力机制 模型进一步得到局部区域的文本向量表达形式；最终接入CNN模型用于模型 的训练和验证。
实施例：
第一步，数据采集。基于互联网数据采集平台，对新闻、微博、论坛、 微信、博客等不同数据源站点进行爬取，2019年12月份到2020年3月份所 有4个月的全量数据(以及后续更新的数据)，主要关键词配置如下：肺炎、 疫情、冠状病毒、胸闷、发烧等。采集的源数据需要经过数据清洗之后，进 行相应的数据标注和知识整理得到如下数据：
(a)情感标注类别：正面、负面、中立；
(b)情感词库及对应情感得分；
(c)情感否定词库。
第二步，实验训练。实验过程中的数据集比例为：训练集、验证集、测 试集的比例为7:2:1。情感倾向性分析实验中，Baseline为RL+CNN，在改进 方案中采用强化学习与注意力机制结合的方式(RL+ATT+CNN)来提升情感的 判别结果(如图2)。
第三步，结果总结。针对baseline与改进实验方案的结果比较，得到可 供生产用的模型方案与参数设计。
目前情感倾向性分类方法中考虑文本序列因素的相关模型如Bert、GPT、 RNN、CNN等，没有引入情感特征及其顺序对于情感结果的判断。强化学习在 学习情感特征过程中也没有考虑文本局部重点段落对于全局情感的影响。
本发明采用强化学习的方法读入文本序列，针对不同情感特征采取相应 的行动方式，不仅考虑到了文本序列的因素，也考虑了情感特征及其顺序对 与结果的影响，从word level角度吸纳了情感特征的影响因素。同时，基于 Sentence level的注意力机制也被引入到模型设计结构中，使得文章局部的 重点段落部分(Context representation)在训练中也得到相应的关注。实 验针对12000条以上的数据进行模型训练分析，基于Baseline模型的实验结 果准确率为75.3％，而改进方案的模型结果为78.6％，结果证明有一定效果的 提升。
本发明通过对情感倾向性分类方法的研究，实现从事后到事前，进行社 会突发事件预警和研判，以提高突发社会情绪认知的效度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (4)

1.基于强化学习和卷积神经网络的情感倾向性分析方法，其特征在于：包括如下步骤：
S1、单词输入：以word2vec得到的词向量作为初始向量；
S2、强化学习：利用行业先验知识，构建情感词典用于强化学习的训练学习；
S3、注意力机制：基于强化学习算法构建sentence level的注意力机制模型进一步得到局部区域的文本向量表达形式；
S4、卷积神经网络：接入卷积神经网络模型用于模型的训练和验证。
2.根据权利要求1所述的基于强化学习和卷积神经网络的情感倾向性分析方法，其特征在于：所述步骤S2中的情感词典包括：
(a)情感标注类别：正面、负面、中立；
(b)情感词库及对应情感得分；
(c)情感否定词库。
3.根据权利要求1所述的基于强化学习和卷积神经网络的情感倾向性分析方法，其特征在于：所述步骤S2中强化学习算法通过构建动作选择层和动作评价层结构，根据情感环境的变化确定不同的行动，利用最终有监督的情感分析结果作为强化学习的回报进行参数训练。
4.根据权利要求1所述的基于强化学习和卷积神经网络的情感倾向性分析方法，其特征在于：所述步骤S4中通过卷积神经网络的卷积层、池化层以及全连接层，进行全网络模型参数的训练。
CN202010863083.2A 2020-08-25 2020-08-25 基于强化学习和卷积神经网络的情感倾向性分析方法 Pending CN111985216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863083.2A CN111985216A (zh) 2020-08-25 2020-08-25 基于强化学习和卷积神经网络的情感倾向性分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863083.2A CN111985216A (zh) 2020-08-25 2020-08-25 基于强化学习和卷积神经网络的情感倾向性分析方法

Publications (1)

Publication Number Publication Date
CN111985216A true CN111985216A (zh) 2020-11-24

Family

ID=73443559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863083.2A Pending CN111985216A (zh) 2020-08-25 2020-08-25 基于强化学习和卷积神经网络的情感倾向性分析方法

Country Status (1)

Country Link
CN (1) CN111985216A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140240A1 (en) * 2015-07-27 2017-05-18 Salesforce.Com, Inc. Neural network combined image and text evaluator and classifier
US20180082679A1 (en) * 2016-09-18 2018-03-22 Newvoicemedia, Ltd. Optimal human-machine conversations using emotion-enhanced natural speech using hierarchical neural networks and reinforcement learning
CN108984523A (zh) * 2018-06-29 2018-12-11 重庆邮电大学 一种基于深度学习模型的商品评论情感分析方法
CN109299237A (zh) * 2018-09-26 2019-02-01 苏州大学 基于行动者评论家强化学习算法的循环网络人机对话方法
CN109948158A (zh) * 2019-03-15 2019-06-28 南京邮电大学 基于环境元嵌入和深度学习的情感倾向性分析方法
CN109977201A (zh) * 2019-01-28 2019-07-05 平安科技（深圳）有限公司 带情感的机器聊天方法、装置、计算机设备及存储介质
CN110597965A (zh) * 2019-09-29 2019-12-20 腾讯科技（深圳）有限公司 文章的情感极性分析方法、装置、电子设备及存储介质
KR20200007713A (ko) * 2018-07-12 2020-01-22 삼성전자주식회사 감성 분석에 의한 토픽 결정 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140240A1 (en) * 2015-07-27 2017-05-18 Salesforce.Com, Inc. Neural network combined image and text evaluator and classifier
US20180082679A1 (en) * 2016-09-18 2018-03-22 Newvoicemedia, Ltd. Optimal human-machine conversations using emotion-enhanced natural speech using hierarchical neural networks and reinforcement learning
CN108984523A (zh) * 2018-06-29 2018-12-11 重庆邮电大学 一种基于深度学习模型的商品评论情感分析方法
KR20200007713A (ko) * 2018-07-12 2020-01-22 삼성전자주식회사 감성 분석에 의한 토픽 결정 방법 및 장치
CN109299237A (zh) * 2018-09-26 2019-02-01 苏州大学 基于行动者评论家强化学习算法的循环网络人机对话方法
CN109977201A (zh) * 2019-01-28 2019-07-05 平安科技（深圳）有限公司 带情感的机器聊天方法、装置、计算机设备及存储介质
CN109948158A (zh) * 2019-03-15 2019-06-28 南京邮电大学 基于环境元嵌入和深度学习的情感倾向性分析方法
CN110597965A (zh) * 2019-09-29 2019-12-20 腾讯科技（深圳）有限公司 文章的情感极性分析方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王晶晶: "面向问答文本的情感分析关键技术研究", 《万方数据》, 20 May 2020 (2020-05-20), pages 1 - 111 *
陈锐奇: "基于强化学习的文本情感分析算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2019, no. 08, 15 August 2019 (2019-08-15), pages 138 - 1376 *
陈锐奇: "基于强化学习的文本情感分析算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2019, no. 08, pages 138 - 1376 *

Similar Documents

Publication Publication Date Title
Hu et al. What happens next? Future subevent prediction using contextual hierarchical LSTM
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN110502753A (zh) 一种基于语义增强的深度学习情感分析模型及其分析方法
CN115658890A (zh) 基于主题增强的情感共注意力bert模型的中文评论分类方法
Kandhro et al. Performance analysis of hyperparameters on a sentiment analysis model
Pryzant et al. Automatic Rule Induction for Interpretable Semi-Supervised Learning
Zhang et al. Description-enhanced label embedding contrastive learning for text classification
Shovon et al. The performance of graph neural network in detecting fake news from social media feeds
Li Emotion analysis method of teaching evaluation texts based on deep learning in big data environment
Srinivas et al. BLIP-NLP Model for sentiment analysis
CN111985216A (zh) 基于强化学习和卷积神经网络的情感倾向性分析方法
CN115456176A (zh) 一种基于知识增强的文本匹配方法及系统
Sun et al. Graph neural networks for contextual ASR with the tree-constrained pointer generator
Zhu et al. Attention based BiLSTM-MCNN for sentiment analysis
Ma et al. Aspect-Based Attention LSTM for Aspect-Level Sentiment Analysis
CN114090725A (zh) 情感预测模型的训练方法及装置
Tekgöz et al. Semantic similarity comparison between production line failures for predictive maintenance
Ali et al. Anti-social Behavior Detection using Multi-lingual Model
Ma et al. Semi-supervised sentence classification based on user polarity in the social scenarios
Ganesh Reinforcement Learning on Social Chabot to Improve the Semantic Variation
Li et al. A Text Sentiment Classification Method Enhanced by Bi-GRU and Attention Mechanism
Shi E-Commerce Products Personalized Recommendation Based on Deep Learning
Schwarz A Deep Learning Model for Detecting Sarcasm in Written Product Reviews
Duan et al. An extraction model based on RoBERTa-BiLSTM-CRF for Chinese financial event
Nan et al. Event Feature Pre-training Model Based on Public Opinion Evolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination