CN111931516A - 一种基于强化学习的文本情感分析方法及系统 - Google Patents

一种基于强化学习的文本情感分析方法及系统 Download PDF

Info

Publication number
CN111931516A
CN111931516A CN202010864341.9A CN202010864341A CN111931516A CN 111931516 A CN111931516 A CN 111931516A CN 202010864341 A CN202010864341 A CN 202010864341A CN 111931516 A CN111931516 A CN 111931516A
Authority
CN
China
Prior art keywords
text
emotion
word
words
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010864341.9A
Other languages
English (en)
Inventor
汪金玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010864341.9A priority Critical patent/CN111931516A/zh
Publication of CN111931516A publication Critical patent/CN111931516A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种文本情感分析的技术领域，揭露了一种基于强化学习的文本情感分析方法，包括：获取待情感分析文本，利用双向最大匹配法对待情感分析文本进行分词处理，得到待情感分析文本的分词文本；利用依存关系图来计算分词文本中词语之间的关联强度；根据词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词；利用哈夫曼树将分词文本关键词转化为词向量；利用基于强化学习的情感分类模型对词向量进行情感分类，并在情感分类模型中加入情感因子，以进行模型的优化。本发明还提供了一种基于强化学习的文本情感分析系统。本发明实现了文本的情感分析。

Description

一种基于强化学习的文本情感分析方法及系统
技术领域
本发明涉及文本情感分析的技术领域，尤其涉及一种基于强化学习的文本情感分析方法及系统。
背景技术
互联网技术的发展和人们生活水平的提高，网络进入到千家万户，越来越多的用户喜欢在网上表达自己的观点和看法。如今，电商平台、社交网站、微博、推特等各种互联网平台上存在大量由用户发表的主观性较强、词语精炼的短文本，这些观点和态度在帮助商家掌握市场情况、辅助消费者进行消费决策以及进行企业危机公关，如何完成短文本的情感分析成为当前研究的热门话题。
在现有文本情感分析技术中，主要由基于情感词典的方法和基于机器学习的情感分析方法，其中基于情感词典的方法首先要创建情感词典，然后根据情感词典中的词语或短语的情感倾向和强度信息，实现对文本的情感分类，这种方法的优点在于不需要标注数据集，然而它也存在一些不足之处，比如可扩展性差，不仅依赖于词典的模型和质量，还依赖于规则的优劣，而且情感词典的构建十分复杂，费时费力，匹配过程需要完全精确匹配；而基于机器学习的情感分析方法则存在有效特征选择的困难和有标注训练语料的不足等问题。
鉴于此，如何有效提取文本情感特征，并基于文本情感特征，实现对文本的情感分析，提高文本情感分析的准确率，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于强化学习的文本情感分析方法，通过提出一种基于强化学习和优化算法的文本情感分析模型，利用情感分析结果作为回报，实现模型参数的训练，并加入情感因子，有效帮助模型选择符合先验知识的词语情感，最终实现对文本的情感分析。
为实现上述目的，本发明提供的一种基于强化学习的文本情感分析方法，包括：
获取待情感分析文本，利用双向最大匹配法对待情感分析文本进行分词处理，得到待情感分析文本的分词文本；
利用依存关系图来计算分词文本中词语之间的关联强度；
根据词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词；
利用哈夫曼树将分词文本关键词转化为词向量；
利用基于强化学习的情感分类模型对词向量进行情感分类，并在情感分类模型中加入情感因子，以进行模型的优化。
可选地，所述利用双向最大匹配法对待情感分析文本进行分词处理，包括：
1)将待情感分析文本句子反转生成逆序句；
2)构建逆序词典，词典中包含了所有可能出现的词，并均以反向顺序进行存储；
3)从逆序句的左侧到右侧进行扫描，以贪心的方式进行词语匹配，若逆序句中的某个字串与逆序词典中的某个词匹配，则在当前位置切分出长度最大的词，并将无法匹配的词单独分开，得到待情感分析文本的分词文本。
可选地，所述利用依存关系图来计算分词文本中词语之间的关联强度，包括：
根据句子的依存句法分析结果对分词文本中的词语构造无向图；
利用词语之间的引力值以及依存关联度计算求得边的权重，所述任意两词Wi和Wj的依存关联度为：
Figure BDA0002649231630000021
其中：
len(Wi，Wj)表示词语Wi和Wj之间的依存路径长度；
B为超参数；
所述分词文本中词语Wi和Wj的引力计算公式：
Figure BDA0002649231630000022
其中：
tfidf(W)是词W的TF-IDF值；
d是词Wi和Wj的词向量之间的欧式距离；
分词文本中两个词语Wi和Wj之间的关联度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
其中：
Dep(Wi，Wj)为词语Wi和Wj之间的依存关联度；
fgrav(Wi，Wj)为词语Wi和Wj之间的引力值。
可选地，所述利用TextRank算法迭代算出词语的重要度得分，包括：
利用TextRank算法建立一个无向图G＝(V,E)，其中V是顶点的集合，E是边的集合，根据下列式子算出顶点Wi的得分，并选取得分最高的t个词语作为关键词：
Figure BDA0002649231630000031
其中：
Figure BDA0002649231630000032
是与顶点Wi有关的集合；
η为阻尼系数；
weight(Wi，Wj)为词语Wi和Wj之间的关联度。
可选地，所述利用哈夫曼树将关键词转化为词向量，包括：
取一个5个词大小的窗口当做语境，将所述分词输入到窗口中，并将它们的K维向量加和在一起，形成隐藏层K个节点；
输出层是一个巨大的二叉树，叶节点代表文本关键词中所有的词，语料含有V个独立的词，则二叉树有|V|个叶节点，而这整颗二叉树构建的算法就是哈夫曼树，进一步地，隐层的每一个节点都会跟二叉树的内节点有连边，于是对于二叉树的每一个内节点都会有K条连边，每条边上也会有权值；
因此对于叶节点的每一个字，就会有一个全局唯一的编码，形如“010011”，本发明记左子树为1，右子树为0，从而利用哈夫曼树将分词文本关键词中的所有字利用二进制编码的形式进行表征，得到词向量。
可选地，所述利用基于强化学习的情感分类模型为：
所述基于强化学习的情感分类模型分为强化学习网络部分和情感分类网络部分，其中强化学习网络部分以词序列为输入，并且为每个词语选择一个情感，基于情感的选择，使用相应的通道处理对应的情感，模型使用动作选择和回报的方式进行训练。
可选地，所述利用基于强化学习的情感分类模型对词向量进行情感分类，包括：
1)对于所述词向量，使用状态函数模拟强化学习中智能体的状态变化，上一层的状态会作为一组数据，输入到下一时刻的动作选择和动作评价过程，所述状态函数为：
Figure BDA0002649231630000041
st＝ht
其中：
Ct-1为t-1时刻动作评价层细胞单元的参数，该参数在训练阶段进行训练；
ht为t时刻动作评价层细胞隐藏状态，并由智能体状态st进行保存；
xt为t时刻的输入词向量；
Figure BDA0002649231630000042
为t时刻的LSTM模型结构；
2)使用情感动作选择器，以当前词语的词向量作为输入，执行情感动作选择策略：
h′t-1＝st-1
outt＝f(w′，h′t-1，xt)
其中：
h′t-1为当前动作选择器的状态；
outt为t时刻所输出的动作；
w′为情感动作选择器的参数；
xt为t时刻的输入词向量；
所述情感动作选择器的输出值为一个三维向量，分别代表消极、中性以及积极的情感，本发明选择评分最大的情感作为词向量的情感动作；
通过建立了一个积极词典和一个消极词典，未命中词典的词则默认为中性情感，针对每一个词语，模型以1-ε的概率从己知词典中查找词语并选择对应情感极性，以ε的概率随机选择一个情感：
at＝dict[t]，p＝1-ε
at＝random(neg，neu，pos)
其中：
at代表t时刻的情感动作；
neg，neu，pos分别表示消极、中性以及积极的情感动作；
p表示概率；
dict[t]表示第t个词语在情感因子中的极性；
且ε的值会随着迭代次数的增加进行逐步下降；
3)利用评价层对所选择的情感动作进行评价，针对三种不同的情感动作，本发明设计了三个不同的通道：{Cneg，Cneu，Cpos}，根据情感动作的倾向性，选择相应的通道进行情感动作的评价，选取其中评分最高的情感动作作为文本情感分析结果，所述评分函数为：
Figure BDA0002649231630000051
其中：
V表示neg，neu，pos三种情感动作；
Figure BDA0002649231630000052
表示LSTM结构；
Figure BDA0002649231630000053
表示t-1时刻，V情感动作通道的细胞状态；
ht-1为t-1时刻智能体状态；
4)基于强化学习建立学习策略损失函数，并使用反向传播的方法优化模型中的参数，所述学习策略损失函数为：
L＝π(a|st，xt；θ)
其中：
θ为模型的参数；
st表示t时刻模型的状态；
xt为t时刻模型的输入；
a为基于当前状态的情感动作。
此外，为实现上述目的，本发明还提供一种基于强化学习的文本情感分析系统，所述系统包括：
文本获取装置，用于获取待情感分析的文本；
文本处理器，用于利用双向最大匹配法对待情感分析文本进行分词处理，并利用依存关系图来计算分词文本中词语之间的关联强度，同时利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词；
文本情感分析装置，用于利用哈夫曼树将分词文本关键词转化为词向量，并利用基于强化学习的情感分类模型对词向量进行情感分类。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文本情感分析程序指令，所述文本情感分析程序指令可被一个或者多个处理器执行，以实现如上所述的基于强化学习的文本情感分析的实现方法的步骤。
相对于现有技术，本发明提出一种基于强化学习的文本情感分析方法，该技术具有以下优势：
首先，本发明基于强化学习构建了一个情感分类模型，从而利用该模型进行情感分类，所述基于强化学习的情感分类模型分为强化学习网络部分和情感分类网络部分，其中强化学习网络部分以词序列为输入，并且为每个词语选择一个情感，基于情感的选择，使用相应的通道处理对应的情感，模型使用动作选择和回报的方式进行训练，相比于现有监督学习算法中有监督学习的训练方式，这种方式可以产生更多的不确定性，更好符合人类的认知过程，本发明所述模型的多通道处理方式，能够更好的利用上下文词语的情感信息，解决了现有机器学习模型下词语情感之间互相独立的缺点，且多个通道拥有相同的细胞结构，并且使得智能体状态随着时刻进行更新，且智能体状态在状态层中单独保存，这种方式使得多个通道共享隐藏状态，但是不共享参数；同时本发明所述模型使用三个不同的通道分别评价三种情感动作选择，目的在于加强不同情感选择之间的差异性，有利于模型学会选择不同的情感。
由于强化学习不存在不变的特定目标，而是以最大化目标奖励为目标。因此在选择动作时，选择当前条件下能带来最优回报的动作往往能得到较优的结果，但这会导致非最优动作无法被探索；相反的，如果每次都随机选择动作，部分潜在最优动作会获得较少的选择，不利于获得最优解。为解决强化学习存在的问题，本发明通过引入情感因子ε进行模型的优化，即通过建立了一个积极词典和一个消极词典，未命中词典的词则默认为中性情感，针对每一个词语，模型以1-ε的概率从己知词典中查找词语并选择对应情感极性，以ε的概率随机选择一个情感，使得模型训练阶段可以探索更多的情感动作选择，同时在模型训练过程中，ε的值会随着迭代次数的增加进行逐步下降，使得模型会更加倾向于利用已知信息。
附图说明
图1为本发明一实施例提供的一种基于强化学习的文本情感分析方法的流程示意图；
图2为本发明一实施例提供的一种基于强化学习的文本情感分析系统的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过提出一种基于强化学习和优化算法的文本情感分析模型，利用情感分析结果作为回报，实现模型参数的训练，并加入情感因子，有效帮助模型选择符合先验知识的词语情感，最终实现对文本的情感分析。参照图1所示，为本发明一实施例提供的基于强化学习的文本情感分析方法示意图。
在本实施例中，基于强化学习的文本情感分析方法包括：
S1、获取待情感分析文本，利用双向最大匹配法对待情感分析文本进行分词处理，得到待情感分析文本的分词文本。
首先，本发明获取待情感分析文本，并利用双向最大匹配法对待情感分析文本进行分词处理，所述双向最大匹配法的算法流程为：
1)将待情感分析文本句子反转生成逆序句；
2)构建逆序词典，词典中包含了所有可能出现的词，并均以反向顺序进行存储；
3)从逆序句的左侧到右侧进行扫描，以贪心的方式进行词语匹配，若逆序句中的某个字串与逆序词典中的某个词匹配，则在当前位置切分出长度最大的词，并将无法匹配的词单独分开，得到待情感分析文本的分词文本。
S2、利用依存关系图来计算分词文本中词语之间的关联强度，并利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词。
进一步地，本发明根据句子的依存句法分析结果对分词文本中的词语构造无向图，并利用词语之间的引力值以及依存关联度计算求得边的权重，所述任意两词Wi和Wj的依存关联度为：
Figure BDA0002649231630000071
其中：
len(Wi，Wj)表示词语Wi和Wj之间的依存路径长度；
b是超参数。
进一步地，由于本发明认为2个词之间的语义相似度无法准确衡量词语的重要程度，只有当2个词中至少有一个在文本中出现的频率很高，才能证明2个词很重要。根据万有引力的概念，本发明将词频看作质量，将2个词的词向量间的欧氏距离视为距离，根据万有引力公式来计算2个词之间的引力；由于仅利用词频来衡量文本中某个词的重要程度太过片面，因此本发明引入了IDF值，将词频替换为TF-IDF值，提出了一种新的词语引力值计算方法，考虑到了更全局性的信息，因此分词文本中词语Wi和Wj的引力：
Figure BDA0002649231630000081
其中：
tfidf(W)是词W的TF-IDF值；
d是词Wi和Wj的词向量之间的欧式距离。
因此，分词文本中两个词语Wi和Wj之间的关联度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
其中：
Dep(Wi，Wj)为词语Wi和Wj之间的依存关联度；
fgrav(Wi，Wj)为词语Wi和Wj之间的引力值。
进一步地，本发明利用TextRank算法建立一个无向图G＝(V,E)，其中V是顶点的集合，E是边的集合，根据下列式子算出顶点Wi的得分，并选取得分最高的t个词语作为关键词：
Figure BDA0002649231630000082
其中：
Figure BDA0002649231630000083
是与顶点Wi有关的集合；
η为阻尼系数；
weight(Wi，Wj)为词语Wi和Wj之间的关联度。
S3、利用哈夫曼树将分词文本关键词转化为词向量。
进一步地，本发明取一个5个词大小的窗口当做语境，将所述分词输入到窗口中，并将它们的K维向量加和在一起，形成隐藏层K个节点；
输出层是一个巨大的二叉树，叶节点代表文本关键词中所有的词，语料含有V个独立的词，则二叉树有|V|个叶节点，而这整颗二叉树构建的算法就是哈夫曼树，进一步地，隐层的每一个节点都会跟二叉树的内节点有连边，于是对于二叉树的每一个内节点都会有K条连边，每条边上也会有权值；
因此对于叶节点的每一个字，就会有一个全局唯一的编码，形如“010011”，本发明记左子树为1，右子树为0，从而利用哈夫曼树将分词文本关键词中的所有字利用二进制编码的形式进行表征，得到词向量。
S4、利用基于强化学习的情感分类模型对词向量进行情感分类，并在情感分类模型中加入情感因子，以进行模型的优化。
进一步地，本发明利用基于强化学习的情感分类模型对词向量进行情感分类，所述基于强化学习的情感分类模型分为强化学习网络部分和情感分类网络部分，其中强化学习网络部分以词序列为输入，并且为每个词语选择一个情感，基于情感的选择，使用相应的通道处理对应的情感，模型使用动作选择和回报的方式进行训练，相比于现有监督学习算法中有监督学习的训练方式，这种方式可以产生更多的不确定性，更好符合人类的认知过程，本发明所述模型的多通道处理方式，能够更好的利用上下文词语的情感信息，解决了现有机器学习模型下词语情感之间互相独立的缺点；
详细地，本发明所述基于强化学习的情感分类模型的情感分类步骤为：
1)对于所述词向量，使用状态函数模拟强化学习中智能体的状态变化，上一层的状态会作为一组数据，输入到下一时刻的动作选择和动作评价过程，所述状态函数为：
Figure BDA0002649231630000091
st＝ht
其中：
Ct-1为t-1时刻动作评价层细胞单元的参数，该参数在训练阶段进行训练；
ht为t时刻动作评价层细胞隐藏状态，并由智能体状态st进行保存；
xt为t时刻的输入词向量；
Figure BDA0002649231630000092
为t时刻的LSTM模型结构；
2)使用情感动作选择器，以当前词语的词向量作为输入，执行情感动作选择策略：
h′t-1＝st-1
outt＝f(w′，h′t-1，xt)
其中：
h′t-1为当前动作选择器的状态；
outt为t时刻所输出的动作；
w′为情感动作选择器的参数；
xt为t时刻的输入词向量；
所述情感动作选择器的输出值为一个三维向量，分别代表消极、中性以及积极的情感，本发明选择评分最大的情感作为词向量的情感动作；
进一步地，本发明通过引入情感因子ε进行模型的优化，详细地，本发明通过建立了一个积极词典和一个消极词典，未命中词典的词则默认为中性情感，针对每一个词语，模型以1-ε的概率从己知词典中查找词语并选择对应情感极性，以ε的概率随机选择一个情感：
at＝dict[t]，p＝1-ε
at＝random(neg，neu，pos)
其中：
at代表t时刻的情感动作；
neg，neu，pos分别表示消极、中性以及积极的情感动作；
p表示概率；
dict[t]表示第t个词语在情感因子中的极性；
且ε的值会随着迭代次数的增加进行逐步下降；
3)利用评价层对所选择的情感动作进行评价，针对三种不同的情感动作，本发明设计了三个不同的通道：{Cneg，Cneu，Cpos}，根据情感动作的倾向性，选择相应的通道进行情感动作的评价，选取其中评分最高的情感动作作为文本情感分析结果，所述评分函数为：
Figure BDA0002649231630000101
其中：
V表示neg，neu，pos三种情感动作；
Figure BDA0002649231630000102
表示LSTM结构；
Figure BDA0002649231630000103
表示t-1时刻，V情感动作通道的细胞状态；
ht-1为t-1时刻智能体状态；
三个通道拥有相同的细胞结构，并且使得智能体状态随着时刻进行更新，且智能体状态在状态层中单独保存，这种方式使得三个通道共享隐藏状态，但是不共享参数；同时使用三个不同的通道分别评价三种情感动作选择，目的在于加强不同情感选择之间的差异性，有利于模型学会选择不同的情感；
4)基于强化学习建立学习策略损失函数，并使用反向传播的方法优化模型中的参数，所述学习策略损失函数为：
L＝π(a|st，xt；θ)
其中：
θ为模型的参数；
st表示t时刻模型的状态；
xt为t时刻模型的输入；
a为基于当前状态的情感动作。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境部署在tensorflow深度学习框架中，处理器为Intel(R)Core(TM)i5-8700CPU8核，显卡为GeForce GTX1060，显存8G，开发环境为python3.7，开发工具为Anaconda科学计算库；对比算法模型为BiGRU、BiLSTM、SAC和DCA模型。
在本发明所述算法实验中，数据集为采用流行的中文情感挖掘酒店评论语料ChnSenti Corp，该语料规模为10000篇。为了方便起见，本实验将语料整理为4个子集。选择ChnSenti Corp- Htl- ba- 6000的数据进行实验，该语料为平衡语料，包含正负类各3000篇，并利用对比算法和本发明所提出算法对数据集进行测试，将文本情感情感分析的准确率作为算法的评价指标。
根据实验结果，BiGRU模型的文本情感情感分析准确率为78.99％，BiLSTM模型的文本情感情感分析准确率为85.42％，SAC模型的文本情感情感分析准确率为83.58％，DCA模型的文本情感情感分析准确率为86.42％，本发明所述算法的文本情感情感分析准确率为89.21％，相较于对比算法，本发明所提出的基于强化学习的文本情感分析方法具有更高的情感情感分析准确率。
发明还提供一种基于强化学习的文本情感分析系统。参照图2所示，为本发明一实施例提供的基于强化学习的文本情感分析系统的内部结构示意图。
在本实施例中，所述基于强化学习的文本情感分析系统1至少包括文本获取装置11、文本处理器12、文本情感分析装置13，通信总线14，以及网络接口15。
其中，文本获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
文本处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。文本处理器12在一些实施例中可以是基于强化学习的文本情感分析系统1的内部存储单元，例如该基于强化学习的文本情感分析系统1的硬盘。文本处理器12在另一些实施例中也可以是基于强化学习的文本情感分析系统1的外部存储设备，例如基于强化学习的文本情感分析系统1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，文本处理器12还可以既包括基于强化学习的文本情感分析系统1的内部存储单元也包括外部存储设备。文本处理器12不仅可以用于存储安装于基于强化学习的文本情感分析系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
文本情感分析装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行文本处理器12中存储的程序代码或处理数据，例如文本情感分析程序指令等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。
可选地，该系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于强化学习的文本情感分析系统1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及基于强化学习的文本情感分析系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于强化学习的文本情感分析系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，文本处理器12中存储有基于强化学习的文本情感分析程序指令；文本情感分析装置13执行文本处理器12中存储的文本情感分析程序指令的步骤，与基于强化学习的文本情感分析方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有文本情感分析程序指令，所述文本情感分析程序指令可被一个或多个处理器执行，以实现如下操作：
获取待情感分析文本，利用双向最大匹配法对待情感分析文本进行分词处理，得到待情感分析文本的分词文本；
利用依存关系图来计算分词文本中词语之间的关联强度；
根据词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词；
利用哈夫曼树将分词文本关键词转化为词向量；
利用基于强化学习的情感分类模型对词向量进行情感分类，并在情感分类模型中加入情感因子，以进行模型的优化。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于强化学习的文本情感分析方法，其特征在于，所述方法包括：
获取待情感分析文本，利用双向最大匹配法对待情感分析文本进行分词处理，得到待情感分析文本的分词文本；
利用依存关系图来计算分词文本中词语之间的关联强度；
根据词语之间的关联强度，利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词；
利用哈夫曼树将分词文本关键词转化为词向量；
利用基于强化学习的情感分类模型对词向量进行情感分类，并在情感分类模型中加入情感因子，进行模型的优化。
2.如权利要求1所述的一种基于强化学习的文本情感分析方法，其特征在于，所述利用双向最大匹配法对待情感分析文本进行分词处理，包括：
1)将待情感分析文本句子反转生成逆序句；
2)构建逆序词典，词典中包含了所有可能出现的词，并均以反向顺序进行存储；
3)从逆序句的左侧到右侧进行扫描，以贪心的方式进行词语匹配，若逆序句中的某个字串与逆序词典中的某个词匹配，则在当前位置切分出长度最大的词，并将无法匹配的词单独分开，得到待情感分析文本的分词文本。
3.如权利要求2所述的一种基于强化学习的文本情感分析方法，其特征在于，所述利用依存关系图来计算分词文本中词语之间的关联强度，包括：
根据句子的依存句法分析结果对分词文本中的词语构造无向图；
利用词语之间的引力值以及依存关联度计算求得边的权重，所述任意两词Wi和Wj的依存关联度为：
Figure FDA0002649231620000011
其中：
len(Wi，Wj)表示词语Wi和Wj之间的依存路径长度；
B为超参数；
所述分词文本中词语Wi和Wj的引力计算公式：
Figure FDA0002649231620000012
其中：
tfidf(W)是词W的TF-IDF值；
d是词Wi和Wj的词向量之间的欧式距离；
分词文本中两个词语Wi和Wj之间的关联度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
其中：
Dep(Wi，Wj)为词语Wi和Wj之间的依存关联度；
fgrav(Wi，Wj)为词语Wi和Wj之间的引力值。
4.如权利要求3所述的一种基于强化学习的文本情感分析方法，其特征在于，所述利用TextRank算法迭代算出词语的重要度得分，包括：
利用TextRank算法建立一个无向图G＝(V，E)，其中V是顶点的集合，E是边的集合，根据下列式子算出顶点Wi的得分，并选取得分最高的t个词语作为关键词：
Figure FDA0002649231620000021
其中：
Figure FDA0002649231620000022
是与顶点Wi有关的集合；
η为阻尼系数；
weight(Wi，Wj)为词语Wi和Wj之间的关联度。
5.如权利要求4所述的一种基于强化学习的文本情感分析方法，其特征在于，所述利用哈夫曼树将关键词转化为词向量，包括：
取一个5个词大小的窗口当做语境，将所述分词输入到窗口中，并将它们的K维向量加和在一起，形成隐藏层K个节点；
输出层是一个巨大的二叉树，叶节点代表文本关键词中所有的词，语料含有V个独立的词，则二叉树有|V|个叶节点，而这整颗二叉树构建的算法就是哈夫曼树，进一步地，隐层的每一个节点都会跟二叉树的内节点有连边，二叉树的每一个内节点有K条连边，每条边有权值；
对于叶节点的每一个字，有一个全局唯一的编码，本发明记左子树为1，右子树为0，哈夫曼树将分词文本关键词中的所有字利用二进制编码的形式进行表征，得到词向量。
6.如权利要求1所述的一种基于强化学习的文本情感分析方法，其特征在于，所述利用基于强化学习的情感分类模型对词向量进行情感分类，包括：
1)对于所述词向量，使用状态函数模拟强化学习中智能体的状态变化，上一层的状态会作为一组数据，输入到下一时刻的动作选择和动作评价过程，所述状态函数为：
Figure FDA0002649231620000031
st＝ht
其中：
Ct-1为t-1时刻动作评价层细胞单元的参数，该参数在训练阶段进行训练；
ht为t时刻动作评价层细胞隐藏状态，并由智能体状态st进行保存；
xt为t时刻的输入词向量；
Figure FDA0002649231620000032
为t时刻的LSTM模型结构；
2)使用情感动作选择器，以当前词语的词向量作为输入，执行情感动作选择策略：
h′t-1＝st-1
outt＝f(w，ht-1，xt)
其中：
h′t-1为当前动作选择器的状态；
outt为t时刻所输出的动作；
w′为情感动作选择器的参数；
xt为t时刻的输入词向量；
所述情感动作选择器的输出值为一个三维向量，分别代表消极、中性以及积极的情感，本发明选择评分最大的情感作为词向量的情感动作；
通过建立了一个积极词典和一个消极词典，未命中词典的词则默认为中性情感，针对每一个词语，模型以1-ε的概率从己知词典中查找词语并选择对应情感极性，以ε的概率随机选择一个情感：
at＝dict[t]，p＝1-ε
at＝random(neg，neu，pos)
其中：
at代表t时刻的情感动作；
neg，neu，pos分别表示消极、中性以及积极的情感动作；
p表示概率；
dict[t]表示第t个词语在情感因子中的极性；
且ε的值会随着迭代次数的增加进行逐步下降；
3)利用评价层对所选择的情感动作进行评价，针对三种不同的情感动作，本发明设计了三个不同的通道：{Cneg，Cneu，Cpos}，根据情感动作的倾向性，选择相应的通道进行情感动作的评价，选取其中评分最高的情感动作作为文本情感分析结果，所述评分函数为：
Figure FDA0002649231620000041
其中：
V表示neg，neu，pos三种情感动作；
Figure FDA0002649231620000042
表示LSTM结构；
Figure FDA0002649231620000043
表示t-1时刻，V情感动作通道的细胞状态；
ht-1为t-1时刻智能体状态；
4)基于强化学习建立学习策略损失函数，并使用反向传播的方法优化模型中的参数，所述学习策略损失函数为：
L＝π(a|st，xt；θ)
其中：
θ为模型的参数；
st表示t时刻模型的状态；
xt为t时刻模型的输入；
a为基于当前状态的情感动作。
7.一种基于强化学习的文本情感分析系统，其特征在于，所述系统包括：
文本获取装置，用于获取待情感分析的文本；
文本处理器，用于利用双向最大匹配法对待情感分析文本进行分词处理，并利用依存关系图来计算分词文本中词语之间的关联强度，同时利用TextRank算法迭代算出词语的重要度得分，从而得到分词文本中的关键词；
文本情感分析装置，用于利用哈夫曼树将分词文本关键词转化为词向量，并利用基于强化学习的情感分类模型对词向量进行情感分类。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文本情感分析程序指令，所述文本情感分析程序指令可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的一种基于强化学习的文本情感分析的实现方法的步骤。
CN202010864341.9A 2020-08-25 2020-08-25 一种基于强化学习的文本情感分析方法及系统 Withdrawn CN111931516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864341.9A CN111931516A (zh) 2020-08-25 2020-08-25 一种基于强化学习的文本情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864341.9A CN111931516A (zh) 2020-08-25 2020-08-25 一种基于强化学习的文本情感分析方法及系统

Publications (1)

Publication Number Publication Date
CN111931516A true CN111931516A (zh) 2020-11-13

Family

ID=73306071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864341.9A Withdrawn CN111931516A (zh) 2020-08-25 2020-08-25 一种基于强化学习的文本情感分析方法及系统

Country Status (1)

Country Link
CN (1) CN111931516A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990352A (zh) * 2021-10-22 2022-01-28 平安科技（深圳）有限公司 用户情绪识别与预测方法、装置、设备及存储介质
CN116361472A (zh) * 2023-05-02 2023-06-30 周维 社交网络评论热点事件舆情大数据分析系统
CN116522901A (zh) * 2023-06-29 2023-08-01 金锐同创(北京)科技股份有限公司 It社群的关注信息的分析方法、装置、设备和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990352A (zh) * 2021-10-22 2022-01-28 平安科技（深圳）有限公司 用户情绪识别与预测方法、装置、设备及存储介质
CN116361472A (zh) * 2023-05-02 2023-06-30 周维 社交网络评论热点事件舆情大数据分析系统
CN116361472B (zh) * 2023-05-02 2024-05-03 脉讯在线(北京)信息技术有限公司 社交网络评论热点事件舆情大数据分析方法
CN116522901A (zh) * 2023-06-29 2023-08-01 金锐同创(北京)科技股份有限公司 It社群的关注信息的分析方法、装置、设备和介质
CN116522901B (zh) * 2023-06-29 2023-09-15 金锐同创(北京)科技股份有限公司 It社群的关注信息的分析方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN108647205B (zh) 细粒度情感分析模型构建方法、设备及可读存储介质
CN111259127B (zh) 一种基于迁移学习句向量的长文本答案选择方法
CN108681557B (zh) 基于自扩充表示和相似双向约束的短文本主题发现方法及系统
Wang et al. Community-based weighted graph model for valence-arousal prediction of affective words
CN110737758A (zh) 用于生成模型的方法和装置
CN109933785A (zh) 用于实体关联的方法、装置、设备和介质
CN111931516A (zh) 一种基于强化学习的文本情感分析方法及系统
Gupta et al. Application and techniques of opinion mining
Ling et al. Integrating extra knowledge into word embedding models for biomedical NLP tasks
CN112966091B (zh) 一种融合实体信息与热度的知识图谱推荐系统
CN111539197A (zh) 文本匹配方法和装置以及计算机系统和可读存储介质
CN111522886B (zh) 一种信息推荐方法、终端及存储介质
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN112101040A (zh) 一种基于知识图谱的古代诗词语义检索方法
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN113392179A (zh) 文本标注方法及装置、电子设备、存储介质
CN113297369A (zh) 基于知识图谱子图检索的智能问答系统
CN111368555B (zh) 一种数据识别方法、装置、存储介质和电子设备
Li et al. Joint emoji classification and embedding learning
CN115017303A (zh) 基于新闻文本进行企业风险评估的方法、计算设备和介质
Liu et al. Open intent discovery through unsupervised semantic clustering and dependency parsing
Chandola et al. Online resume parsing system using text analytics
He et al. Deep learning in natural language generation from images
Zhuang et al. Bag-of-discriminative-words (bodw) representation via topic modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201113

WW01 Invention patent application withdrawn after publication