CN111368524A - 一种基于自注意力双向gru和svm的微博观点句识别方法 - Google Patents
一种基于自注意力双向gru和svm的微博观点句识别方法 Download PDFInfo
- Publication number
- CN111368524A CN111368524A CN202010149425.4A CN202010149425A CN111368524A CN 111368524 A CN111368524 A CN 111368524A CN 202010149425 A CN202010149425 A CN 202010149425A CN 111368524 A CN111368524 A CN 111368524A
- Authority
- CN
- China
- Prior art keywords
- sentence
- attention
- self
- microblog
- svm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000011478 gradient descent method Methods 0.000 claims abstract description 4
- 241000288105 Grus Species 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于自注意力双向GRU和SVM的微博观点句识别方法,属于自然语言处理技术领域。本发明首先通过Word2Vec模型训练预处理后的微博观点句语料,再通过将训练好的词向量输入到双向GRU模型中,之后通过权重矩阵与双向GRU的隐含状态加权,得到注意力矩阵,再通过使用随机梯度下降法更新网络参数,训练模型,得到带有自注意力的句嵌入矩阵。最后,将句嵌入输入到SVM中,将SVM作为分类器来识别微博观点句。本发明适用性更强,能结合相应的语料,训练出相应的模型,并提高了微博观点句识别的精确度。
Description
技术领域
本发明涉及一种基于自注意力双向GRU和SVM的微博观点句识别方法,属于自然语言处理技术领域。
背景技术
随着互联网的飞速发展和人们的生活水平的日益提高,网络使用人数越来越多,网络舆情的影响日益增大。观点句识别是情感分析的基本任务,是网络舆情的一个重要的方向。
观点句识别现在主要有两种类型的方法,一种是传统的机器学习方法,另一种是神经网络的方法,现今流行的深度学习方法,在观点句识别等文本倾向性分类中取得了非常好的分类效果。
目前,基于开源的词向量训练模型,已经能很好的对单词进行表征,而对于句子级别的表征方法,目前也有很多方法。基于注意力的方法,增加对文本中局部特征的关注,这样训练出来的句向量对关键的局部特征有更高的关注度。结合传统的机器学习方法,融合两者的优点,可以更好的对文本进行分类。
发明内容
本发明提供了一种基于自注意力双向GRU和SVM的微博观点句识别方法,以用于提高微博观点句识别的精确度。
本发明首先对文本预处理,得到词向量,再将词向量输入到双向GRU中,再经过注意力机制得到句向量,最后再输入到SVM中作训练,利用训练好的网络实现微博观点句识别;具体的技术方案是:一种基于自注意力双向GRU和SVM的微博观点句识别方法,所述方法的具体步骤如下:
Step1、对文本预处理,微博文本语料包括微博文本和文本相应的标签,使用分词工具对文本分词并处理停用词,使用Word2Vec模型将语料训练表示成词向量;
Step2、使用双向GRU来处理句子,将词向量输入到双向GRU中,处理得到句子的隐含状态,使用自注意力机制将隐含状态作为输入,并输出自注意力权重使用随机梯度下降法训练模型,更新网络参数,最终隐含状态和自注意力权重相乘,得到自注意力句嵌入;
所述步骤Step2的具体步骤如下:
Step2.1、GRU对全局文本具有很好的学习能力,其在于引入了文本的上文信息作为输入,而双向GRU为GRU的一个变体,其可以从文本前后两个方向来学习文本,相当于引入了文本的上下文信息。本发明中,使用双向GRU是基于其具有的良好的性能,可以得到更为完备的文本信息。下面是双向GRU部分的说明。首先对于一个句子,它有n个标记,由一系列词向量序列表示:
S=(w1,w2,...wn)
其中,wi表示第i个词向量,S为二维列表序列,表示将所有的词向量都连接起来,序列S中每个词向量都是相互独立的,为了在一个句子中获得相邻词之间的依赖关系,使用一个双向GRU来处理这个句子:
H=(h1,h2,...hn)
Step2.2、注意力机制其核心的思想就是从关注全局到关注局部,从而节约资源,快速获得有效信息。自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或数据的内部相关性。本发明中,使用自注意力机制获得文本的局部关注;注意力机制以整个GRU隐藏状态H为输入,因为一个句子具有多个组成部分,共同组成完整的句子语义,所以经过两层网络,获得自注意力权重A,得到句子中各个部分的自注意力权重表示:
A=softmax(Ws2tanh(Ws1HT))
其中Ws1和Ws2分别为两层网络中的权重矩阵,之后通过自注意力权重A和隐含状态H加权和,计算得到句嵌入M,M=AH。
Step3、基于之前训练好的模型,将自注意力句嵌入作为输入,SVM作为分类器,识别微博观点句。相比于其他传统的机器学习算法,SVM一直都占有效果和稳定性的优势;
所述步骤Step3的具体步骤如下:
使用自注意力的双向GRU获得句嵌入矩阵之后将每个句嵌入矩阵拼接成一个句嵌入向量t,将之输入到SVM之中,最后得到最终的分类结果:
Y=Ws3T+B
其中,E表示SVM分类器的训练误差,Ws3和B分别表示最终得到的权重矩阵和偏置值,m表示训练样本的数量,L表示损失函数,这里选择Hinge,α表示惩罚系数,设定为默认值0.0001,P表示惩罚方式,这个选择L2正则化,T表示由句嵌入矩阵拼接形成的句嵌入向量的集合,Y表示为最终的分类结果。
本发明的有益效果是:
本发明基于注意力的方法,增加对文本中局部特征的关注,这样训练出来的句向量对关键的局部特征有更高的关注度;结合传统的机器学习方法,融合两者的优点,可以更好的对文本进行分类,提高了微博观点句识别的精确度。
附图说明
图1为本发明中的流程图。
具体实施方式
实施例1:如图1所示,一种基于自注意力双向GRU和SVM的微博观点句识别方法,所述方法的具体步骤如下:
Step1、对文本预处理,微博文本语料包括微博文本和文本相应的标签,使用分词工具对文本分词并处理停用词,使用Word2Vec模型将语料训练表示成词向量;
Step2、使用双向GRU来处理句子,将词向量输入到双向GRU中,处理得到句子的隐含状态,使用自注意力机制将隐含状态作为输入,并输出自注意力权重使用随机梯度下降法训练模型,更新网络参数,最终隐含状态和自注意力权重相乘,得到自注意力句嵌入;
所述步骤Step2的具体步骤如下:
Step2.1、GRU对全局文本具有很好的学习能力,其在于引入了文本的上文信息作为输入,而双向GRU为GRU的一个变体,其可以从文本前后两个方向来学习文本,相当于引入了文本的上下文信息。本发明中,使用双向GRU是基于其具有的良好的性能,可以得到更为完备的文本信息。下面是双向GRU部分的说明。首先对于一个句子,它有n个标记,由一系列词向量序列表示:
S=(w1,w2,...wn)
其中,wi表示第i个词向量,S为二维列表序列,表示将所有的词向量都连接起来,序列S中每个词向量都是相互独立的,为了在一个句子中获得相邻词之间的依赖关系,使用一个双向GRU来处理这个句子:
H=(h1,h2,...hn)
Step2.2、注意力机制其核心的思想就是从关注全局到关注局部,从而节约资源,快速获得有效信息。自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或数据的内部相关性。本发明中,使用自注意力机制获得文本的局部关注;注意力机制以整个GRU隐藏状态H为输入,因为一个句子具有多个组成部分,共同组成完整的句子语义,所以经过两层网络,获得自注意力权重A,得到句子中各个部分的自注意力权重表示:
A=softmax(Ws2tanh(Ws1HT))
其中Ws1和Ws2分别为两层网络中的权重矩阵,之后通过自注意力权重A和隐含状态H加权和,计算得到句嵌入M,M=AH。
Step3、基于之前训练好的模型,将自注意力句嵌入作为输入,SVM作为分类器,识别微博观点句。相比于其他传统的机器学习算法,SVM一直都占有效果和稳定性的优势;
所述步骤Step3的具体步骤如下:
使用自注意力的双向GRU获得句嵌入矩阵之后将每个句嵌入矩阵拼接成一个句嵌入向量t,将之输入到SVM之中,最后得到最终的分类结果:
Y=Ws3T+B
其中,E表示SVM分类器的训练误差,Ws3和B分别表示最终得到的权重矩阵和偏置值,m表示训练样本的数量,L表示损失函数,这里选择Hinge,α表示惩罚系数,设定为默认值0.0001,P表示惩罚方式,这个选择L2正则化,T表示由句嵌入矩阵拼接形成的句嵌入向量的集合,Y表示为最终的分类结果。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (3)
1.一种基于自注意力双向GRU和SVM的微博观点句识别方法,其特征在于:所述方法的具体步骤如下:
Step1、对文本预处理,微博文本语料包括微博文本和文本相应的标签,使用分词工具对文本分词并处理停用词,使用Word2Vec模型将语料训练表示成词向量;
Step2、使用双向GRU来处理句子,将词向量输入到双向GRU中,处理得到句子的隐含状态,使用自注意力机制将隐含状态作为输入,并输出自注意力权重使用随机梯度下降法训练模型,更新网络参数,最终隐含状态和自注意力权重相乘,得到自注意力句嵌入;
Step3、基于之前训练好的模型,将自注意力句嵌入作为输入,SVM作为分类器,识别微博观点句。
2.根据权利要求1所述的基于自注意力双向GRU和SVM的微博观点句识别方法,其特征在于:所述步骤Step2的具体步骤如下:
Step2.1、对于一个句子,它有n个标记,由一系列词向量序列表示:
S=(w1,w2,...wn)
其中,wi表示第i个词向量,S为二维列表序列,表示将所有的词向量都连接起来,序列S中每个词向量都是相互独立的,为了在一个句子中获得相邻词之间的依赖关系,使用一个双向GRU来处理这个句子:
H=(h1,h2,...hn)
Step2.2、使用自注意力机制获得文本的局部关注;注意力机制以整个GRU隐藏状态H为输入,因为一个句子具有多个组成部分,共同组成完整的句子语义,所以经过两层网络,获得自注意力权重A,得到句子中各个部分的自注意力权重表示:
A=softmax(Ws2tanh(Ws1HT))
其中Ws1和Ws2分别为两层网络中的权重矩阵,之后通过自注意力权重A和隐含状态H加权和,计算得到句嵌入M,M=AH。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010149425.4A CN111368524A (zh) | 2020-03-05 | 2020-03-05 | 一种基于自注意力双向gru和svm的微博观点句识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010149425.4A CN111368524A (zh) | 2020-03-05 | 2020-03-05 | 一种基于自注意力双向gru和svm的微博观点句识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111368524A true CN111368524A (zh) | 2020-07-03 |
Family
ID=71208620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010149425.4A Pending CN111368524A (zh) | 2020-03-05 | 2020-03-05 | 一种基于自注意力双向gru和svm的微博观点句识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368524A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232078A (zh) * | 2020-10-10 | 2021-01-15 | 云南电网有限责任公司昆明供电局 | 一种基于双向gru与注意力机制的调度操作票审核方法 |
CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399158A (zh) * | 2018-02-05 | 2018-08-14 | 华南理工大学 | 基于依存树和注意力机制的属性情感分类方法 |
CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
CN108920586A (zh) * | 2018-06-26 | 2018-11-30 | 北京工业大学 | 一种基于深度神经映射支持向量机的短文本分类方法 |
CN110069778A (zh) * | 2019-04-18 | 2019-07-30 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
-
2020
- 2020-03-05 CN CN202010149425.4A patent/CN111368524A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399158A (zh) * | 2018-02-05 | 2018-08-14 | 华南理工大学 | 基于依存树和注意力机制的属性情感分类方法 |
CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
CN108920586A (zh) * | 2018-06-26 | 2018-11-30 | 北京工业大学 | 一种基于深度神经映射支持向量机的短文本分类方法 |
CN110069778A (zh) * | 2019-04-18 | 2019-07-30 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
Non-Patent Citations (1)
Title |
---|
王治权: "基于注意力机制和改进型RNN的Web文本情感分析研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232078A (zh) * | 2020-10-10 | 2021-01-15 | 云南电网有限责任公司昆明供电局 | 一种基于双向gru与注意力机制的调度操作票审核方法 |
CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
CN112800776B (zh) * | 2021-03-10 | 2023-04-18 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875807B (zh) | 一种基于多注意力多尺度的图像描述方法 | |
CN109933664B (zh) | 一种基于情感词嵌入的细粒度情绪分析改进方法 | |
CN113255755B (zh) | 一种基于异质融合网络的多模态情感分类方法 | |
CN107943784B (zh) | 基于生成对抗网络的关系抽取方法 | |
CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN108829662A (zh) | 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统 | |
CN110222178A (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
CN108830287A (zh) | 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法 | |
CN111061843A (zh) | 一种知识图谱引导的假新闻检测方法 | |
CN112527966B (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
CN113326374B (zh) | 基于特征增强的短文本情感分类方法及系统 | |
EP4060548A1 (en) | Method and device for presenting prompt information and storage medium | |
CN112861524A (zh) | 一种基于深度学习的多层次中文细粒度情感分析方法 | |
CN111899766B (zh) | 基于深度特征与声学特征寻优融合的语音情感识别方法 | |
CN110569355B (zh) | 一种基于词块的观点目标抽取和目标情感分类联合方法及系统 | |
CN108170848A (zh) | 一种面向中国移动智能客服的对话场景分类方法 | |
CN109933792A (zh) | 基于多层双向lstm和验证模型的观点型问题阅读理解方法 | |
CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN112199503B (zh) | 一种基于特征增强的非平衡Bi-LSTM的中文文本分类方法 | |
CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
CN111368524A (zh) | 一种基于自注意力双向gru和svm的微博观点句识别方法 | |
CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及系统 | |
WO2022085533A1 (ja) | 回答特定用テキスト分類器及び背景知識表現ジェネレータ及びその訓練装置、並びにコンピュータプログラム | |
CN114548117A (zh) | 一种基于bert语义增强的因果关系抽取方法 | |
CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |
|
RJ01 | Rejection of invention patent application after publication |