CN112883166A - 融合笔画和义原的双通道注意力卷积神经网络情感分析模型 - Google Patents
融合笔画和义原的双通道注意力卷积神经网络情感分析模型 Download PDFInfo
- Publication number
- CN112883166A CN112883166A CN202110288888.3A CN202110288888A CN112883166A CN 112883166 A CN112883166 A CN 112883166A CN 202110288888 A CN202110288888 A CN 202110288888A CN 112883166 A CN112883166 A CN 112883166A
- Authority
- CN
- China
- Prior art keywords
- chinese
- neural network
- model
- words
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 9
- 238000004458 analytical method Methods 0.000 title claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 title description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 abstract description 22
- 238000000034 method Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
针对传统深度学习方法使用单一词向量导致表征能力不足，以及现有技术忽略中文词汇本身内部信息等问题，本发明的目的是为了引入更多中文语言的先验知识，进而对中文文本具有更强的表征能力，最终提升中文情感分析任务的准确率。本发明提出了融合笔画和义原特征的双通道卷积神经网络(SS‑DCCNN)模型，更好地融入针对中文词汇的语义信息。用注意力机制来识别句子中每个词对具体任务分类结果的不同影响，使句子中与其他词语关系系数较大的词语得到更多关注。具体来说，使用cw2vec方法引入了汉字的形态学特征，同时使用SAT模型提取了HowNet知识库信息，它们分别以笔画和义原作为特征提取的基础元素。最后将注意力机制和卷积神经网络相结合提取出两个通道的特征。
Description
技术领域
本发明属于自然语言处理领域，应用于中文情感分析任务。
背景技术
一、名词解释：1.CNN(convolutional neural networks)：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。2014年Kim使用预处理词向量对句子进行映射作为输入再使用CNN(Convolutional Neural Network)获取局部敏感信息，得到高层次的句子特征进而完成英文情感分类任务。2.cw2vec模型：cw2vec(a novel method for learning Chineseword embeddings)是Shaosheng Cao等人于AAAI 2018会议中提出的基于笔画级信息的中文词向量方法。3.SAT模型：SAT(sememe attention over target model)模型，是Niu等人在Skip-Gram模型基础上，将中文知识库HowNet的词汇义原(sememe)融入模型。4.注意力机制：注意力机制是神经网络专注于其输入子集的能力，能够从众多输入中找到对当前目标更关键的信息。
二、现有技术：1.基于CNN的文本情绪分类方法：Yoon Kim提出了TextCNN模型，并将其应用到自然语言处理领域中的文本分类任务，取得了良好的分类效果。cw2vec模型：Shaosheng Cao等引入笔画n-gram信息做特征，在Skip-Gram基础上进行改进，把词语的n-gram笔画特征信息代替词语进行训练，从而进一步提升中文词向量的表现效果。SAT模型：Niu等人通过结合注意力机制，取词汇各词义嵌入的加权平均值作为该词汇的向量表示，从而在一定程度上处理多义词的问题，优化词向量。2.一种采用词向量注意力机制的双路卷积神经网络句子分类模型：郭宝震，左万利等提出的模型，该模型将注意力机制和卷积神经网络相结合，以利用word2vec和Glove两种方法得到的词向量同时作为输入，分别进行卷积和池化，并在全连接层进行融合，不仅能够使得具体分类任务下句子中的关键信息更易被提取，还能够有效地利用不同种类的词向量得到更加丰富的句子特征，进而提高分类的准确率。
三、技术问题：对于传统深度学习方法使用单一词向量的问题，每个词对应的词向量会受限于单一词向量训练模型，这种依赖性会导致表征能力不足。另一方面，郭宝震等人的方法对中文语言的针对性不足，忽略了中文词汇本身的内部信息。
发明内容
一、针对上述缺点，本发明的目的是为了引入更多中文语言的先验知识，进而对中文文本具有更强的表征能力，最终提升中文情感分析任务的准确率。具体来说，是使用cw2vec方法引入了汉字的形态学特征，使用SAT模型提取了HowNet知识库信息，它们分别是以笔画和义原作为特征提取的基础元素。
二、本发明的技术创新点：1.达到的技术效果是和郭宝震等人采用词向量注意力机制的双路卷积神经网络的句子分类模型相比能够引入更多中文语言的先验知识。2.达到的技术效果是和使用单一词向量的传统深度学习方法相比模型具有更少的参数。本文模型在谭松波数据集上得到92.17％的准确率，在汽车评论数据集上得到96.47％的准确率，高于郭宝震等人的AT-DouCNN模型0.24％和0.2％。
附图说明
附图1解释发明内容
具体实施方式
见说明书附图1所示，本文融合笔画和义原特征的双通道卷积神经网络(SS-DCCNN)模型主要由以下6部分组成：1.输入层：本文将待分类句子通过不同词向量映射方法所得到的不同词汇表示作为两个通道的输入，从而将待分类句子中的不同特征提取出来。具体而言，本文使用的是cw2vec模型和SAT模型训练出的词向量，其中cw2vec模型可以学习到词汇中的笔画特征信息，可以使得本文的SS-DCCNN模型充分利用汉字独有的形态学特征，而SAT模型通过对HowNet知识库中义原信息的提取和融入，有助于在情感分类任务中解决“一词多义”问题，使得提出的网络模型有较好的实验效果。2.词向量注意力机制：这种词向量注意力机制由zhao等提出，通过计算句子中每个词语与其他词语在分类任务中的关联系数构建该词语的上下文向量，并与该词语对应的词向量连接作为输入,能够使得句子中与其他词语关系系数较大的词语得到更多关注，这些词语往往是分类的重要信息。3.卷积层：本文使用高度分别为3、4、5的卷积核对两个不同通道的输入进行卷积，从而提取出不同通道输入的局部特征，网络最终学习到的卷积核可以视为特征提取模板，如高度为3的卷积核提取由连续三个单词构成的短语的特征。4.池化层：本文对不同的通道经过卷积层提取的局部特征进行最大池化操作，获取每个通道中最重要的特征信息。5.合并层:本文采用一个合并层合并从不同通道获取的局部特征，形成一个特征向量，从而将两个通道的不同特征融合到一起。6.输出层：在输出层使用softmax分类器输出待分类文本的分类结果，最后利用真实标签，计算损失函数值，进而使用随机梯度下降算法进行参数优化。
Claims (2)
1.提出了融合笔画和义原的双通道卷积神经网络模型用在情感分析任务中，更好地融入针对中文词汇的语义信息。
2.根据权利要求1中的模型用注意力机制来识别句子中的每个词对具体任务分类结果的不同影响，使得句子中与其他词语关系系数较大的词语得到更多关注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288888.3A CN112883166A (zh) | 2021-03-18 | 2021-03-18 | 融合笔画和义原的双通道注意力卷积神经网络情感分析模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288888.3A CN112883166A (zh) | 2021-03-18 | 2021-03-18 | 融合笔画和义原的双通道注意力卷积神经网络情感分析模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883166A true CN112883166A (zh) | 2021-06-01 |
Family
ID=76040862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110288888.3A Pending CN112883166A (zh) | 2021-03-18 | 2021-03-18 | 融合笔画和义原的双通道注意力卷积神经网络情感分析模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883166A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020147393A1 (zh) * | 2019-01-17 | 2020-07-23 | 平安科技（深圳）有限公司 | 基于卷积神经网络的文本分类方法及相关设备 |
| CN111522956A (zh) * | 2020-05-08 | 2020-08-11 | 河南理工大学 | 基于双通道和层次化注意力网络的文本情感分类方法 |
| CN111881291A (zh) * | 2020-06-19 | 2020-11-03 | 山东师范大学 | 一种文本情感分类方法及系统 |
-
2021
- 2021-03-18 CN CN202110288888.3A patent/CN112883166A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020147393A1 (zh) * | 2019-01-17 | 2020-07-23 | 平安科技（深圳）有限公司 | 基于卷积神经网络的文本分类方法及相关设备 |
| CN111522956A (zh) * | 2020-05-08 | 2020-08-11 | 河南理工大学 | 基于双通道和层次化注意力网络的文本情感分类方法 |
| CN111881291A (zh) * | 2020-06-19 | 2020-11-03 | 山东师范大学 | 一种文本情感分类方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 刘纯嘉: "面向高校舆情的中文文本情感倾向性分析", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 22 - 32 * |
| 郭宝震 等: "采用词向量注意力机制的双路卷积神经网络句子分类模型", 《浙江大学学报(工学版)》 * |
| 陈珂;梁斌;柯文德;许波;曾国超;: "基于多通道卷积神经网络的中文微博情感分析", 计算机研究与发展, no. 05 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119786B (zh) | 文本话题分类方法及装置 | |
| CN109241255B (zh) | 一种基于深度学习的意图识别方法 | |
| CN112115238B (zh) | 一种基于bert和知识库的问答方法和系统 | |
| CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
| CN112101028B (zh) | 一种多特征双向门控领域专家实体抽取方法及系统 | |
| CN110188781B (zh) | 一种基于深度学习的古诗文自动识别方法 | |
| CN110362819B (zh) | 基于卷积神经网络的文本情感分析方法 | |
| CN112231472B (zh) | 融入领域术语词典的司法舆情敏感信息识别方法 | |
| CN108763510A (zh) | 意图识别方法、装置、设备及存储介质 | |
| CN103984943A (zh) | 一种基于贝叶斯概率框架的场景文本识别方法 | |
| CN111858935A (zh) | 一种航班点评的细粒度情感分类系统 | |
| CN110427458B (zh) | 基于双门lstm的社交网络双语的五分类情感分析方法 | |
| CN113220890A (zh) | 一种基于预训练的结合新闻标题和新闻长文本内容的深度学习方法 | |
| CN111078833A (zh) | 一种基于神经网络的文本分类方法 | |
| CN112800184B (zh) | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 | |
| CN112052319B (zh) | 一种基于多特征融合的智能客服方法及系统 | |
| CN114153971A (zh) | 一种含错中文文本纠错识别分类设备 | |
| CN110297986A (zh) | 一种微博热点话题的情感倾向分析方法 | |
| CN114386417A (zh) | 一种融入词边界信息的中文嵌套命名实体识别方法 | |
| CN111435375A (zh) | 一种基于FastText的威胁情报自动化标注方法 | |
| CN115935959A (zh) | 一种低资源黏着语序列标注的方法 | |
| CN107797986A (zh) | 一种基于lstm‑cnn的混合语料分词方法 | |
| CN117236338B (zh) | 一种稠密实体文本的命名实体识别模型及其训练方法 | |
| CN113255360A (zh) | 基于层次化自注意力网络的文档评级方法和装置 | |
| CN108763487B (zh) | 一种基于Mean Shift的融合词性和句子信息的词表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210601 |