CN111368524A - 一种基于自注意力双向gru和svm的微博观点句识别方法 - Google Patents

一种基于自注意力双向gru和svm的微博观点句识别方法 Download PDF

Info

Publication number
CN111368524A
CN111368524A CN202010149425.4A CN202010149425A CN111368524A CN 111368524 A CN111368524 A CN 111368524A CN 202010149425 A CN202010149425 A CN 202010149425A CN 111368524 A CN111368524 A CN 111368524A
Authority
CN
China
Prior art keywords
sentence
attention
self
microblog
svm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010149425.4A
Other languages
English (en)
Inventor
严馨
谢庆
周枫
张磊
邓忠莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010149425.4A priority Critical patent/CN111368524A/zh
Publication of CN111368524A publication Critical patent/CN111368524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于自注意力双向GRU和SVM的微博观点句识别方法，属于自然语言处理技术领域。本发明首先通过Word2Vec模型训练预处理后的微博观点句语料，再通过将训练好的词向量输入到双向GRU模型中，之后通过权重矩阵与双向GRU的隐含状态加权，得到注意力矩阵，再通过使用随机梯度下降法更新网络参数，训练模型，得到带有自注意力的句嵌入矩阵。最后，将句嵌入输入到SVM中，将SVM作为分类器来识别微博观点句。本发明适用性更强，能结合相应的语料，训练出相应的模型，并提高了微博观点句识别的精确度。

Description

一种基于自注意力双向GRU和SVM的微博观点句识别方法
技术领域
本发明涉及一种基于自注意力双向GRU和SVM的微博观点句识别方法，属于自然语言处理技术领域。
背景技术
随着互联网的飞速发展和人们的生活水平的日益提高，网络使用人数越来越多，网络舆情的影响日益增大。观点句识别是情感分析的基本任务，是网络舆情的一个重要的方向。
观点句识别现在主要有两种类型的方法，一种是传统的机器学习方法，另一种是神经网络的方法，现今流行的深度学习方法，在观点句识别等文本倾向性分类中取得了非常好的分类效果。
目前，基于开源的词向量训练模型，已经能很好的对单词进行表征，而对于句子级别的表征方法，目前也有很多方法。基于注意力的方法，增加对文本中局部特征的关注，这样训练出来的句向量对关键的局部特征有更高的关注度。结合传统的机器学习方法，融合两者的优点，可以更好的对文本进行分类。
发明内容
本发明提供了一种基于自注意力双向GRU和SVM的微博观点句识别方法，以用于提高微博观点句识别的精确度。
本发明首先对文本预处理，得到词向量，再将词向量输入到双向GRU中，再经过注意力机制得到句向量，最后再输入到SVM中作训练，利用训练好的网络实现微博观点句识别；具体的技术方案是：一种基于自注意力双向GRU和SVM的微博观点句识别方法，所述方法的具体步骤如下：
Step1、对文本预处理，微博文本语料包括微博文本和文本相应的标签，使用分词工具对文本分词并处理停用词，使用Word2Vec模型将语料训练表示成词向量；
Step2、使用双向GRU来处理句子，将词向量输入到双向GRU中，处理得到句子的隐含状态，使用自注意力机制将隐含状态作为输入，并输出自注意力权重使用随机梯度下降法训练模型，更新网络参数，最终隐含状态和自注意力权重相乘，得到自注意力句嵌入；
所述步骤Step2的具体步骤如下：
Step2.1、GRU对全局文本具有很好的学习能力，其在于引入了文本的上文信息作为输入，而双向GRU为GRU的一个变体，其可以从文本前后两个方向来学习文本，相当于引入了文本的上下文信息。本发明中，使用双向GRU是基于其具有的良好的性能，可以得到更为完备的文本信息。下面是双向GRU部分的说明。首先对于一个句子，它有n个标记，由一系列词向量序列表示：
S＝(w1,w2,...wn)
其中，wi表示第i个词向量，S为二维列表序列，表示将所有的词向量都连接起来，序列S中每个词向量都是相互独立的，为了在一个句子中获得相邻词之间的依赖关系，使用一个双向GRU来处理这个句子:
Figure BDA0002400552200000021
Figure BDA0002400552200000022
其中，
Figure BDA0002400552200000023
和
Figure BDA0002400552200000024
分别表示句子的前向和后向两个方向的隐含状态；将每个
Figure BDA0002400552200000025
和
Figure BDA0002400552200000026
连接起来合并成一个隐藏状态ht；设所有的隐含状态的集合为H；
H＝(h1,h2,...hn)
Step2.2、注意力机制其核心的思想就是从关注全局到关注局部，从而节约资源，快速获得有效信息。自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或数据的内部相关性。本发明中，使用自注意力机制获得文本的局部关注；注意力机制以整个GRU隐藏状态H为输入，因为一个句子具有多个组成部分，共同组成完整的句子语义，所以经过两层网络，获得自注意力权重A，得到句子中各个部分的自注意力权重表示:
A＝softmax(Ws2tanh(Ws1HT))
其中Ws1和Ws2分别为两层网络中的权重矩阵，之后通过自注意力权重A和隐含状态H加权和，计算得到句嵌入M，M＝AH。
Step3、基于之前训练好的模型，将自注意力句嵌入作为输入，SVM作为分类器，识别微博观点句。相比于其他传统的机器学习算法，SVM一直都占有效果和稳定性的优势；
所述步骤Step3的具体步骤如下：
使用自注意力的双向GRU获得句嵌入矩阵之后将每个句嵌入矩阵拼接成一个句嵌入向量t，将之输入到SVM之中，最后得到最终的分类结果：
Figure BDA0002400552200000031
Y＝Ws3T+B
其中，E表示SVM分类器的训练误差，Ws3和B分别表示最终得到的权重矩阵和偏置值，m表示训练样本的数量，L表示损失函数，这里选择Hinge，α表示惩罚系数，设定为默认值0.0001，P表示惩罚方式，这个选择L2正则化，T表示由句嵌入矩阵拼接形成的句嵌入向量的集合，Y表示为最终的分类结果。
本发明的有益效果是：
本发明基于注意力的方法，增加对文本中局部特征的关注，这样训练出来的句向量对关键的局部特征有更高的关注度；结合传统的机器学习方法，融合两者的优点，可以更好的对文本进行分类，提高了微博观点句识别的精确度。
附图说明
图1为本发明中的流程图。
具体实施方式
实施例1：如图1所示，一种基于自注意力双向GRU和SVM的微博观点句识别方法，所述方法的具体步骤如下：
Step1、对文本预处理，微博文本语料包括微博文本和文本相应的标签，使用分词工具对文本分词并处理停用词，使用Word2Vec模型将语料训练表示成词向量；
Step2、使用双向GRU来处理句子，将词向量输入到双向GRU中，处理得到句子的隐含状态，使用自注意力机制将隐含状态作为输入，并输出自注意力权重使用随机梯度下降法训练模型，更新网络参数，最终隐含状态和自注意力权重相乘，得到自注意力句嵌入；
所述步骤Step2的具体步骤如下：
Step2.1、GRU对全局文本具有很好的学习能力，其在于引入了文本的上文信息作为输入，而双向GRU为GRU的一个变体，其可以从文本前后两个方向来学习文本，相当于引入了文本的上下文信息。本发明中，使用双向GRU是基于其具有的良好的性能，可以得到更为完备的文本信息。下面是双向GRU部分的说明。首先对于一个句子，它有n个标记，由一系列词向量序列表示：
S＝(w1,w2,...wn)
其中，wi表示第i个词向量，S为二维列表序列，表示将所有的词向量都连接起来，序列S中每个词向量都是相互独立的，为了在一个句子中获得相邻词之间的依赖关系，使用一个双向GRU来处理这个句子:
Figure BDA0002400552200000041
Figure BDA0002400552200000042
其中，
Figure BDA0002400552200000043
和
Figure BDA0002400552200000044
分别表示句子的前向和后向两个方向的隐含状态；将每个
Figure BDA0002400552200000045
和
Figure BDA0002400552200000046
连接起来合并成一个隐藏状态ht；设所有的隐含状态的集合为H；
H＝(h1,h2,...hn)
Step2.2、注意力机制其核心的思想就是从关注全局到关注局部，从而节约资源，快速获得有效信息。自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或数据的内部相关性。本发明中，使用自注意力机制获得文本的局部关注；注意力机制以整个GRU隐藏状态H为输入，因为一个句子具有多个组成部分，共同组成完整的句子语义，所以经过两层网络，获得自注意力权重A，得到句子中各个部分的自注意力权重表示:
A＝softmax(Ws2tanh(Ws1HT))
其中Ws1和Ws2分别为两层网络中的权重矩阵，之后通过自注意力权重A和隐含状态H加权和，计算得到句嵌入M，M＝AH。
Step3、基于之前训练好的模型，将自注意力句嵌入作为输入，SVM作为分类器，识别微博观点句。相比于其他传统的机器学习算法，SVM一直都占有效果和稳定性的优势；
所述步骤Step3的具体步骤如下：
使用自注意力的双向GRU获得句嵌入矩阵之后将每个句嵌入矩阵拼接成一个句嵌入向量t，将之输入到SVM之中，最后得到最终的分类结果：
Figure BDA0002400552200000047
Y＝Ws3T+B
其中，E表示SVM分类器的训练误差，Ws3和B分别表示最终得到的权重矩阵和偏置值，m表示训练样本的数量，L表示损失函数，这里选择Hinge，α表示惩罚系数，设定为默认值0.0001，P表示惩罚方式，这个选择L2正则化，T表示由句嵌入矩阵拼接形成的句嵌入向量的集合，Y表示为最终的分类结果。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于自注意力双向GRU和SVM的微博观点句识别方法，其特征在于：所述方法的具体步骤如下：
Step1、对文本预处理，微博文本语料包括微博文本和文本相应的标签，使用分词工具对文本分词并处理停用词，使用Word2Vec模型将语料训练表示成词向量；
Step2、使用双向GRU来处理句子，将词向量输入到双向GRU中，处理得到句子的隐含状态，使用自注意力机制将隐含状态作为输入，并输出自注意力权重使用随机梯度下降法训练模型，更新网络参数，最终隐含状态和自注意力权重相乘，得到自注意力句嵌入；
Step3、基于之前训练好的模型，将自注意力句嵌入作为输入，SVM作为分类器，识别微博观点句。
2.根据权利要求1所述的基于自注意力双向GRU和SVM的微博观点句识别方法，其特征在于：所述步骤Step2的具体步骤如下：
Step2.1、对于一个句子，它有n个标记，由一系列词向量序列表示：
S＝(w1,w2,...wn)
其中，wi表示第i个词向量，S为二维列表序列，表示将所有的词向量都连接起来，序列S中每个词向量都是相互独立的，为了在一个句子中获得相邻词之间的依赖关系，使用一个双向GRU来处理这个句子:
Figure FDA0002400552190000011
Figure FDA0002400552190000012
其中，
Figure FDA0002400552190000013
和
Figure FDA0002400552190000014
分别表示句子的前向和后向两个方向的隐含状态；将每个
Figure FDA0002400552190000015
和
Figure FDA0002400552190000016
连接起来合并成一个隐藏状态ht；设所有的隐含状态的集合为H；
H＝(h1,h2,...hn)
Step2.2、使用自注意力机制获得文本的局部关注；注意力机制以整个GRU隐藏状态H为输入，因为一个句子具有多个组成部分，共同组成完整的句子语义，所以经过两层网络，获得自注意力权重A，得到句子中各个部分的自注意力权重表示:
A＝softmax(Ws2tanh(Ws1HT))
其中Ws1和Ws2分别为两层网络中的权重矩阵，之后通过自注意力权重A和隐含状态H加权和，计算得到句嵌入M，M＝AH。
3.根据权利要求1所述的基于自注意力双向GRU和SVM的微博观点句识别方法，其特征在于：所述步骤Step3的具体步骤如下：
使用自注意力的双向GRU获得句嵌入矩阵之后将每个句嵌入矩阵拼接成一个句嵌入向量t，将之输入到SVM之中，最后得到最终的分类结果：
Figure FDA0002400552190000021
Y＝Ws3T+B
其中，E表示SVM分类器的训练误差，Ws3和B分别表示最终得到的权重矩阵和偏置值，m表示训练样本的数量，L表示损失函数，这里选择Hinge，α表示惩罚系数，设定为默认值0.0001，P表示惩罚方式，这个选择L2正则化，T表示由句嵌入矩阵拼接形成的句嵌入向量的集合，Y表示为最终的分类结果。
CN202010149425.4A 2020-03-05 2020-03-05 一种基于自注意力双向gru和svm的微博观点句识别方法 Pending CN111368524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010149425.4A CN111368524A (zh) 2020-03-05 2020-03-05 一种基于自注意力双向gru和svm的微博观点句识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149425.4A CN111368524A (zh) 2020-03-05 2020-03-05 一种基于自注意力双向gru和svm的微博观点句识别方法

Publications (1)

Publication Number Publication Date
CN111368524A true CN111368524A (zh) 2020-07-03

Family

ID=71208620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149425.4A Pending CN111368524A (zh) 2020-03-05 2020-03-05 一种基于自注意力双向gru和svm的微博观点句识别方法

Country Status (1)

Country Link
CN (1) CN111368524A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232078A (zh) * 2020-10-10 2021-01-15 云南电网有限责任公司昆明供电局 一种基于双向gru与注意力机制的调度操作票审核方法
CN112800776A (zh) * 2021-03-10 2021-05-14 湖北工业大学 双向gru关系抽取数据处理方法、系统、终端、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399158A (zh) * 2018-02-05 2018-08-14 华南理工大学 基于依存树和注意力机制的属性情感分类方法
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108920586A (zh) * 2018-06-26 2018-11-30 北京工业大学 一种基于深度神经映射支持向量机的短文本分类方法
CN110069778A (zh) * 2019-04-18 2019-07-30 东华大学 中文融入嵌入词位置感知的商品情感分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399158A (zh) * 2018-02-05 2018-08-14 华南理工大学 基于依存树和注意力机制的属性情感分类方法
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108920586A (zh) * 2018-06-26 2018-11-30 北京工业大学 一种基于深度神经映射支持向量机的短文本分类方法
CN110069778A (zh) * 2019-04-18 2019-07-30 东华大学 中文融入嵌入词位置感知的商品情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王治权: "基于注意力机制和改进型RNN的Web文本情感分析研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232078A (zh) * 2020-10-10 2021-01-15 云南电网有限责任公司昆明供电局 一种基于双向gru与注意力机制的调度操作票审核方法
CN112800776A (zh) * 2021-03-10 2021-05-14 湖北工业大学 双向gru关系抽取数据处理方法、系统、终端、介质
CN112800776B (zh) * 2021-03-10 2023-04-18 湖北工业大学 双向gru关系抽取数据处理方法、系统、终端、介质

Similar Documents

Publication Publication Date Title
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN109933664B (zh) 一种基于情感词嵌入的细粒度情绪分析改进方法
CN113255755B (zh) 一种基于异质融合网络的多模态情感分类方法
CN107943784B (zh) 基于生成对抗网络的关系抽取方法
CN112749274B (zh) 基于注意力机制和干扰词删除的中文文本分类方法
CN108829662A (zh) 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN110222178A (zh) 文本情感分类方法、装置、电子设备及可读存储介质
CN108830287A (zh) 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN111061843A (zh) 一种知识图谱引导的假新闻检测方法
CN112527966B (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN113326374B (zh) 基于特征增强的短文本情感分类方法及系统
EP4060548A1 (en) Method and device for presenting prompt information and storage medium
CN112861524A (zh) 一种基于深度学习的多层次中文细粒度情感分析方法
CN111899766B (zh) 基于深度特征与声学特征寻优融合的语音情感识别方法
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
CN108170848A (zh) 一种面向中国移动智能客服的对话场景分类方法
CN109933792A (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN112199503B (zh) 一种基于特征增强的非平衡Bi-LSTM的中文文本分类方法
CN116579347A (zh) 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质
CN111368524A (zh) 一种基于自注意力双向gru和svm的微博观点句识别方法
CN113934835B (zh) 结合关键词和语义理解表征的检索式回复对话方法及系统
WO2022085533A1 (ja) 回答特定用テキスト分類器及び背景知識表現ジェネレータ及びその訓練装置、並びにコンピュータプログラム
CN114548117A (zh) 一种基于bert语义增强的因果关系抽取方法
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication