CN117633239A - 一种结合组合范畴语法的端到端方面情感识别方法 - Google Patents

一种结合组合范畴语法的端到端方面情感识别方法 Download PDF

Info

Publication number
CN117633239A
CN117633239A CN202410090128.5A CN202410090128A CN117633239A CN 117633239 A CN117633239 A CN 117633239A CN 202410090128 A CN202410090128 A CN 202410090128A CN 117633239 A CN117633239 A CN 117633239A
Authority
CN
China
Prior art keywords
vector
text
emotion recognition
representing
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410090128.5A
Other languages
English (en)
Other versions
CN117633239B (zh
Inventor
宋彦
田元贺
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202410090128.5A priority Critical patent/CN117633239B/zh
Publication of CN117633239A publication Critical patent/CN117633239A/zh
Application granted granted Critical
Publication of CN117633239B publication Critical patent/CN117633239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及情感识别技术领域，公开了一种结合组合范畴语法的端到端方面情感识别方法，通过完成训练的情感识别模型识别出给定的文本的情感标签；情感识别模型的训练过程包括：通过编码器提取文本的文本特征；通过词汇范畴标签解码模块对文本特征进行处理，预测得到词汇范畴标签；应用注意力模块对文本特征进行处理得到加权和向量，进而得到平衡后的文本隐藏向量；将平衡后的文本隐藏向量输入到标签预测模块，生成情感标签；基于总体损失和反向传播算法更新情感识别模型的参数。本发明利用组合范畴语法包含的句法和语义信息，明确区分并相应地利用重要的上下文信息；通过门控模块，情感识别模型可以提高对语义信息的处理能力。

Description

一种结合组合范畴语法的端到端方面情感识别方法
技术领域
本发明涉及情感识别技术领域，具体涉及一种结合组合范畴语法的端到端方面情感识别方法。
背景技术
各种文本内容中蕴含着内容发出者的态度和情感，识别内容发出者对特定主题或实体的态度和情感，在一些领域（如推荐系统、提升产品）意义重大，是一个重要而具有挑战性的任务。
现有的技术主要使用文本编码器提取上下文信息，并使用句法信息来提高模型性能，却没有提供文本语义信息的专门设计，不足以对文本进行细粒度分析并准确理解其中的对于特定主题的看法和情感。
发明内容
为解决上述技术问题，本发明提供一种结合组合范畴语法的端到端方面情感识别方法。本发明利用组合范畴语法信息，包括句法和语义信息，来提高情感识别模型对运行文本中方面术语的理解，并采用门控模块平衡对各种上下文信息的关注，使情感识别模型在识别情感方面更为准确和精细。
为解决上述技术问题，本发明采用如下技术方案：
一种结合组合范畴语法的端到端方面情感识别方法，通过完成训练的情感识别模型识别出给定的文本的情感标签/>；情感识别模型的训练过程具体包括以下步骤：
步骤一，通过编码器提取文本的文本特征/>：
；
其中，表示编码器；
步骤二，通过词汇范畴标签解码模块对文本特征进行处理，预测得到词汇范畴标签/>：
；
；
其中，表示词汇范畴解码中间向量，/>和/>分别代表可训练矩阵和偏置向量，表示基于/>函数的分类器；在训练中，通过比较词汇范畴标签/>和真实标签/>，计算词汇范畴标签损失/>，使编码器能够学习组合范畴语法信息，使得编码器输出的文本特征/>携带组合范畴语法信息；词汇范畴标签损失/>为：
；
其中CE表示交叉熵损失，表示批处理；
步骤三：应用注意力模块对文本特征进行处理得到加权和向量/>，将加权和向量、文本特征/>输入到门控模块，得到平衡后的文本隐藏向量/>；
步骤四：将平衡后的文本隐藏向量输入到标签预测模块，生成情感标签/>，并计算方面情感损失/>：
；
；
其中，和/>分别代表情感预测可训练矩阵和偏置向量，/>表示真实标签；
步骤五：基于词汇范畴标签损失和方面情感损失/>计算总体损失/>：
；
基于总体损失和反向传播算法更新情感识别模型的参数，直至情感识别模型收敛或者达到设定的停止条件。
进一步地，步骤三具体包括以下步骤：
S31，注意力模块具有两个可学习的注意力向量，表示注意力语义空间，分别为键向量和值向量；其中键向量记为，/>为第/>个键向量，值向量记为/>，为第/>个值向量，N为键向量和值向量的个数；
计算注意力权重分数：
；
表示第/>个键向量/>的注意力权重分数；
S32：将应用到相应的值向量/>，计算加权和向量/>：
；
S33：通过门控模块的复位门来控制信息流：
；
其中，表示门控向量，/>表示ReLU激活函数，/>和/>为可训练的参数矩阵，/>为偏置向量；
进而得到平衡后的文本隐藏向量：
；
其中，表示串联操作，/>表示元素方向的乘法运算，/>是一个所有元素都等于1的向量。
与现有技术相比，本发明的有益技术效果是：
本发明利用组合范畴语法包含的句法和语义信息，明确区分并相应地利用重要的上下文信息；通过门控模块，情感识别模型可以提高对语义信息的处理能力，门控模块加权上下文信息，将这些信息聚合到情感识别模型中，平衡来自各个模块的信息流，进一步提升模型性能。
附图说明
图1为本发明所采用的情感识别模型的示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本发明中所采用的情感识别模型结构如图1所示，其任务是在给定文本的条件下，识别出情感标签/>。对于该任务，本发明利用编码器得到文本特征，并通过词汇范畴标签解码过程来学习和利用组合范畴语法信息，然后利用这些信息来指导情感识别模型通过注意机制控制所有输入词的权重，同时通过门控模块平衡各个模块获取的上下文信息的贡献，提升情感识别模型性能。
下面分步骤对本发明所采用的技术方案进行详细介绍。
步骤一，通过编码器提取文本的文本特征/>：
；
其中，表示编码器；本发明中，编码器采用Bert模型。
步骤二，通过词汇范畴标签解码模块对文本特征进行处理，预测得到词汇范畴标签/>：
；
；
其中，和/>分别代表可训练矩阵和偏置向量，/>表示基于/>函数的分类器；在训练中，通过比较解码得到的词汇范畴标签/>和真实标签/>，计算词汇范畴标签损失/>，使编码器能够学习组合范畴语法信息，使得编码器输出的文本特征/>携带组合范畴语法信息；词汇范畴标签损失/>为：
；
其中CE表示交叉熵损失，表示批处理。
本实施例中，词汇范畴标签解码模块采用结合了注意力图卷积网络的组合类别语法的超级标记网络NeST-CCG。
步骤三，应用注意力模块对文本特征进行处理得到加权和向量/>，将加权和向量、文本特征/>输入到门控模块，得到平衡后的文本隐藏向量/>。
步骤三具体包括以下步骤：
S31，注意力模块具有两个可学习的注意力向量，表示注意力语义空间，分别为键向量和值向量；其中键向量记为，/>为第/>个键向量，值向量记为/>，为第/>个值向量，N为键向量和值向量的个数；
计算注意力权重分数：
；
表示第/>个键向量/>的注意力权重分数。
S32：将应用到相应的值向量/>，计算加权和向量/>：
。
S33：通过门控模块的复位门来控制信息流：
；
其中，表示门控向量，/>表示ReLU激活函数，/>和/>为可训练的参数矩阵，/>为偏置向量。
进而得到平衡后的文本隐藏向量：
；
其中表示串联操作，/>表示元素方向的乘法运算，/>是一个所有元素都等于1的向量。
步骤四，将平衡后的文本隐藏向量输入到标签预测模块，生成情感标签/>，并计算方面情感损失/>：
；
；
其中，和/>分别代表情感预测可训练矩阵和偏置向量，CE表示交叉熵损失，表示批处理，/>表示真实标签。
本发明中，标签预测模块采用softmax分类器。
步骤五：基于词汇范畴标签损失和方面情感损失/>计算总体损失/>：
；
基于总体损失和反向传播算法更新情感识别模型的参数，直至情感识别模型收敛或者达到设定的停止条件。
最后，通过完成训练的情感识别模型识别出给定的文本的情感标签/>。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种结合组合范畴语法的端到端方面情感识别方法，通过完成训练的情感识别模型识别出给定的文本的情感标签/>；情感识别模型的训练过程具体包括以下步骤：
步骤一，通过编码器提取文本的文本特征/>：
；
其中，表示编码器；
步骤二，通过词汇范畴标签解码模块对文本特征进行处理，预测得到词汇范畴标签/>：
；
；
其中，表示词汇范畴解码中间向量，/>和/>分别代表可训练矩阵和偏置向量，表示基于/>函数的分类器；在训练中，通过比较词汇范畴标签/>和真实标签/>，计算词汇范畴标签损失/>，使编码器能够学习组合范畴语法信息，使得编码器输出的文本特征/>携带组合范畴语法信息；词汇范畴标签损失/>为：
；
其中CE表示交叉熵损失，表示批处理；
步骤三：应用注意力模块对文本特征进行处理得到加权和向量/>，将加权和向量/>、文本特征/>输入到门控模块，得到平衡后的文本隐藏向量/>；
步骤四：将平衡后的文本隐藏向量输入到标签预测模块，生成情感标签/>，并计算方面情感损失/>：
；
；
其中，和/>分别代表情感预测可训练矩阵和偏置向量，/>表示真实标签；
步骤五：基于词汇范畴标签损失和方面情感损失/>计算总体损失/>：
；
基于总体损失和反向传播算法更新情感识别模型的参数，直至情感识别模型收敛或者达到设定的停止条件。
2.根据权利要求1所述的结合组合范畴语法的端到端方面情感识别方法，其特征在于，步骤三具体包括以下步骤：
S31，注意力模块具有两个可学习的注意力向量，表示注意力语义空间，分别为键向量和值向量；其中键向量记为，/>为第/>个键向量，值向量记为/>，/>为第/>个值向量，N为键向量和值向量的个数；
计算注意力权重分数：
；
表示第/>个键向量/>的注意力权重分数；
S32：将应用到相应的值向量/>，计算加权和向量/>：
；
S33：通过门控模块的复位门来控制信息流：
；
其中，表示门控向量，/>表示ReLU激活函数，/>和/>为可训练的参数矩阵，/>为偏置向量；
进而得到平衡后的文本隐藏向量：
；
其中，表示串联操作，/>表示元素方向的乘法运算，/>是一个所有元素都等于1的向量。
CN202410090128.5A 2024-01-23 2024-01-23 一种结合组合范畴语法的端到端方面情感识别方法 Active CN117633239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410090128.5A CN117633239B (zh) 2024-01-23 2024-01-23 一种结合组合范畴语法的端到端方面情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410090128.5A CN117633239B (zh) 2024-01-23 2024-01-23 一种结合组合范畴语法的端到端方面情感识别方法

Publications (2)

Publication Number Publication Date
CN117633239A true CN117633239A (zh) 2024-03-01
CN117633239B CN117633239B (zh) 2024-05-17

Family

ID=90020270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410090128.5A Active CN117633239B (zh) 2024-01-23 2024-01-23 一种结合组合范畴语法的端到端方面情感识别方法

Country Status (1)

Country Link
CN (1) CN117633239B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992615A (zh) * 2024-04-03 2024-05-07 中国科学技术大学 一种基于组合范畴语法与大模型记忆插件的情绪识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608956A (zh) * 2017-09-05 2018-01-19 广东石油化工学院 一种基于cnn‑grnn的读者情绪分布预测算法
CN110929030A (zh) * 2019-11-07 2020-03-27 电子科技大学 一种文本摘要和情感分类联合训练方法
CN113065331A (zh) * 2021-04-15 2021-07-02 上海金融期货信息技术有限公司 基于实体上下文判别的实体情感识别方法和系统
KR20210094324A (ko) * 2020-01-21 2021-07-29 경북대학교 산학협력단 속성 맵을 이용한 속성 기반 감정 분석 방법 및 전자 장치
US20220092267A1 (en) * 2020-09-23 2022-03-24 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN114722835A (zh) * 2022-04-26 2022-07-08 河海大学 基于lda和bert融合改进模型的文本情感识别方法
CN115017912A (zh) * 2022-01-18 2022-09-06 桂林旅游学院 一种多任务学习的双目标实体情感分析方法
CN115544260A (zh) * 2022-12-05 2022-12-30 湖南工商大学 用于文本情感分析的对比优化编解码模型及方法
US20230089324A1 (en) * 2021-09-17 2023-03-23 Rakuten Mobile, Inc. Sentiment analysis
CN116244435A (zh) * 2023-01-18 2023-06-09 华东理工大学 文本情感分析模型训练方法、情感分析方法、设备和介质
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法
CN117149944A (zh) * 2023-08-07 2023-12-01 北京理工大学珠海学院 一种基于宽时间范畴的多模态情境情感识别方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608956A (zh) * 2017-09-05 2018-01-19 广东石油化工学院 一种基于cnn‑grnn的读者情绪分布预测算法
CN110929030A (zh) * 2019-11-07 2020-03-27 电子科技大学 一种文本摘要和情感分类联合训练方法
KR20210094324A (ko) * 2020-01-21 2021-07-29 경북대학교 산학협력단 속성 맵을 이용한 속성 기반 감정 분석 방법 및 전자 장치
US20220092267A1 (en) * 2020-09-23 2022-03-24 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN113065331A (zh) * 2021-04-15 2021-07-02 上海金融期货信息技术有限公司 基于实体上下文判别的实体情感识别方法和系统
US20230089324A1 (en) * 2021-09-17 2023-03-23 Rakuten Mobile, Inc. Sentiment analysis
CN115017912A (zh) * 2022-01-18 2022-09-06 桂林旅游学院 一种多任务学习的双目标实体情感分析方法
CN114722835A (zh) * 2022-04-26 2022-07-08 河海大学 基于lda和bert融合改进模型的文本情感识别方法
CN115544260A (zh) * 2022-12-05 2022-12-30 湖南工商大学 用于文本情感分析的对比优化编解码模型及方法
CN116244435A (zh) * 2023-01-18 2023-06-09 华东理工大学 文本情感分析模型训练方法、情感分析方法、设备和介质
CN116595975A (zh) * 2023-07-17 2023-08-15 四川大学 一种基于句信息进行词信息增强的方面级情感分析方法
CN117149944A (zh) * 2023-08-07 2023-12-01 北京理工大学珠海学院 一种基于宽时间范畴的多模态情境情感识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张琦;彭志平;: "融合注意力机制和CNN-GRNN模型的读者情绪预测", 计算机工程与应用, no. 13, 1 July 2018 (2018-07-01) *
杨玉亭;冯林;代磊超;苏菡;: "面向上下文注意力联合学习网络的方面级情感分类模型", 模式识别与人工智能, no. 08, 15 August 2020 (2020-08-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992615A (zh) * 2024-04-03 2024-05-07 中国科学技术大学 一种基于组合范畴语法与大模型记忆插件的情绪识别方法

Also Published As

Publication number Publication date
CN117633239B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN111738003B (zh) 命名实体识别模型训练方法、命名实体识别方法和介质
CN109284506A (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
US20220343139A1 (en) Methods and systems for training a neural network model for mixed domain and multi-domain tasks
CN117633239B (zh) 一种结合组合范畴语法的端到端方面情感识别方法
CN111506732B (zh) 一种文本多层次标签分类方法
CN108363695A (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN112256876A (zh) 基于多记忆注意力网络的方面级情感分类模型
Zhang et al. A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews
CN114037945A (zh) 一种基于多粒度特征交互的跨模态检索方法
CN112256866A (zh) 一种基于深度学习的文本细粒度情感分析方法
CN111368542A (zh) 一种基于递归神经网络的文本语言关联抽取方法和系统
CN115658890A (zh) 基于主题增强的情感共注意力bert模型的中文评论分类方法
CN113094502A (zh) 一种多粒度外卖用户评论情感分析方法
CN112818698A (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
Yan et al. Smarter Response with Proactive Suggestion: A New Generative Neural Conversation Paradigm.
CN113723083A (zh) 基于bert模型的带权消极监督文本情感分析方法
CN117610562B (zh) 一种结合组合范畴语法和多任务学习的关系抽取方法
Yu et al. Cross-Domain Slot Filling as Machine Reading Comprehension.
CN110765758A (zh) 一种同义句生成模型的生成方法、装置及介质
Wan et al. Improved dynamic memory network for dialogue act classification with adversarial training
Won et al. BREAK: Breaking the Dialogue State Tracking Barrier with Beam Search and Re-ranking
CN116049349B (zh) 基于多层次注意力和层次类别特征的小样本意图识别方法
CN111368524A (zh) 一种基于自注意力双向gru和svm的微博观点句识别方法
CN116384373A (zh) 一种基于知识蒸馏框架的方面级情感分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant