CN115496076B - 一种价值需求特征驱动的文本情感识别、训练方法及装置 - Google Patents

一种价值需求特征驱动的文本情感识别、训练方法及装置 Download PDF

Info

Publication number
CN115496076B
CN115496076B CN202211355285.1A CN202211355285A CN115496076B CN 115496076 B CN115496076 B CN 115496076B CN 202211355285 A CN202211355285 A CN 202211355285A CN 115496076 B CN115496076 B CN 115496076B
Authority
CN
China
Prior art keywords
value
text
demand
language model
corpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211355285.1A
Other languages
English (en)
Other versions
CN115496076A (zh
Inventor
阮玉平
李太豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211355285.1A priority Critical patent/CN115496076B/zh
Publication of CN115496076A publication Critical patent/CN115496076A/zh
Application granted granted Critical
Publication of CN115496076B publication Critical patent/CN115496076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种价值需求特征驱动的文本情感识别、训练方法及装置，包括价值需求标注语料采集模块、价值需求回归模型构建模块、输入文本特征提取模块和文本情感预测模块，通过采集原始短文本，并对每条短文本，基于不同的维度的价值需求，进行价值需求标注，得到价值需求标注语料集；于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型；基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征；基于输入文本的价值需求特征和语义特征，进行最终的情感识别。本发明可有效提升文本情感识别的精度。

Description

一种价值需求特征驱动的文本情感识别、训练方法及装置
技术领域
本发明涉及人工智能领域，尤其是涉及一种价值需求特征驱动的文本情感识别、训练方法及装置。
背景技术
情感识别作为人工智能领域的重要研究方向，识别输入文本中的情感信息有着广泛的应用场景，例如智慧客服、聊天机器人、医疗陪护等。文本情感识别一般形式化为离散类别分类任务，在领域内已有较多的研究工作。传统的文本情感识别方法多基于情感词汇、特定短语的分析等规则方法，现阶段主流的文本情感识别方法大多是以神经网络为代表的深度学习方法，这类方法依赖于大量的情感标注信息，通过神经网络编码器提取文本中的语义信息，并学习语义信息与情感标签之间的映射关系来实现文本的情感预测。
然而，情感作为人类对客观外部环境的主观感受，其内在因素十分复杂，当前主流深度学习方法仅仅依赖情感标签的监督信息难以实现对诱发情感的深层次原因理解建模，因而在实际情感预测场景中仍面临较大困难。而情感作为人类价值需求的一种外在反应，其提供了深层次理解建模人类情感的一种有效途径。
发明内容
为解决现有技术的不足，利用价值需求信息，实现提升文本情感预测准确率的目的，本发明采用如下的技术方案：
一种价值需求特征驱动的文本情感识别训练方法，包括如下步骤：
步骤S1：价值需求标注语料采集；采集原始短文本，并对每条短文本，基于不同的维度的价值需求，进行价值需求标注，得到价值需求标注语料集；
步骤S2：价值需求回归模型构建；基于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型，包括如下步骤：
步骤S21：针对价值需求标注语料集中的短文本
Figure 100002_DEST_PATH_IMAGE002
，将其对应的字符序列/>
Figure 100002_DEST_PATH_IMAGE004
与预定义的价值维度特殊字符进行拼接，得到字符序列/>
Figure 100002_DEST_PATH_IMAGE006
，其中i表示短文本的索引；
步骤S22：将字符序列
Figure 32007DEST_PATH_IMAGE006
输入到预训练的语言模型BERT中，并取价值维度特殊字符在语言模型最后一层编码层输出的编码向量，作为短文本/>
Figure 35735DEST_PATH_IMAGE002
在不同维度的价值特征编码；
步骤S23：将短文本
Figure 680343DEST_PATH_IMAGE002
的不同维度的价值特征编码向量分别输入到不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值；
步骤S24：计算语言模型预测价值与标注价值
Figure 100002_DEST_PATH_IMAGE008
之间的误差，并将其作为微调训练语言模型的损失函数，得到训练好的价值需求回归模型/>
Figure 100002_DEST_PATH_IMAGE010
。
进一步地，所述步骤S1中，基于马斯洛夫需求层次理论的生理需求、安全需求、归属与爱、尊重需求和自我实现5个角度，分别进行多维度的价值需求标注；
所述步骤S21中，字符序列
Figure 100002_DEST_PATH_IMAGE012
；
所述步骤S22中，取价值维度特殊字符
Figure 100002_DEST_PATH_IMAGE014
至/>
Figure 100002_DEST_PATH_IMAGE016
在语言模型最后一层编码层输出的编码向量/>
Figure 100002_DEST_PATH_IMAGE018
，作为短文本/>
Figure 356306DEST_PATH_IMAGE002
在生理需求、安全需求、归属与爱、尊重需求和自我实现5个维度的价值特征编码；
步骤S23中，将短文本
Figure 878817DEST_PATH_IMAGE002
的5个维度的价值特征编码向量/>
Figure 471472DEST_PATH_IMAGE018
分别输入到5个不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值
Figure 100002_DEST_PATH_IMAGE020
。
进一步地，所述步骤S1包括如下步骤：
步骤S11：获取大量短文本语句，形成原始短文本语料集；
步骤S12：利用正则表达式对原始短文本语料集中的每条文本语句进行清洗，去除干扰信息，干扰信息包括日期、邮箱、网址、数字等；
步骤S13：过滤字数范围阈值以外的短语句，得到最终清洗干净的短文本语料集：
Figure 100002_DEST_PATH_IMAGE022
其中
Figure 146036DEST_PATH_IMAGE002
表示第i条单条短文本语句，/>
Figure 100002_DEST_PATH_IMAGE024
表示该语料集的大小；
步骤S14：对干净的短文本语料集
Figure 100002_DEST_PATH_IMAGE026
中的每条语句从马斯洛夫需求层次理论的生理需求、安全需求、归属与爱、尊重需求和自我实现5个角度分别进行标注，得到价值需求标注语料集：
Figure 100002_DEST_PATH_IMAGE028
其中
Figure 574874DEST_PATH_IMAGE008
表示5维价值标注向量/>
Figure 100002_DEST_PATH_IMAGE030
，每个维度的价值标注向量通过不同取值区分为文本/>
Figure 100002_DEST_PATH_IMAGE032
与该价值维度是正相关、文本/>
Figure 905668DEST_PATH_IMAGE032
与该价值维度无关、文本/>
Figure 618410DEST_PATH_IMAGE032
与该价值维度负相关；
步骤S15：重复多次步骤S14中的标注过程并取均值，作为最终短文本语句
Figure 339241DEST_PATH_IMAGE002
的价值需求标签。
进一步地，所述步骤S23中，标量预测值的计算公式如下：
Figure 100002_DEST_PATH_IMAGE034
其中，
Figure 100002_DEST_PATH_IMAGE036
表示一维的标量值，j表示不同价值维度的索引，/>
Figure 100002_DEST_PATH_IMAGE038
和/>
Figure 100002_DEST_PATH_IMAGE040
表示语言模型的权重和偏置，tanh表示非线性激活函数。
进一步地，所述步骤S24中，损失函数计算如下：
Figure 100002_DEST_PATH_IMAGE042
其中
Figure 520955DEST_PATH_IMAGE036
表示第i条短文本的第j个价值维度的标量预测值，/>
Figure 100002_DEST_PATH_IMAGE044
表示第i条短文本的第j个价值维度的价值标注向量。
一种价值需求特征驱动的文本情感识别方法，基于训练方法，还包括如下步骤：
步骤S3：输入文本特征提取；基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征；
步骤S4：文本情感预测；基于输入文本的价值需求特征和语义特征，进行最终的情感识别。
进一步地，所述步骤S3，包括如下步骤：
步骤S31：针对输入文本
Figure 100002_DEST_PATH_IMAGE046
，将其对应的字符序列/>
Figure 100002_DEST_PATH_IMAGE048
与预定义的价值维度特殊字符进行拼接，得到字符序列：
Figure 100002_DEST_PATH_IMAGE050
；
步骤S32：将字符序列
Figure 100002_DEST_PATH_IMAGE052
输入到训练好的价值需求回归模型/>
Figure 306639DEST_PATH_IMAGE010
中，得到输入文本/>
Figure 139466DEST_PATH_IMAGE046
对应的5维价值需求特征向量/>
Figure 100002_DEST_PATH_IMAGE054
；
步骤S33：将输入文本
Figure 827936DEST_PATH_IMAGE046
对应的字符序列/>
Figure 746214DEST_PATH_IMAGE048
与特殊字符[CLS]拼接起来，得到字符序列：
Figure 100002_DEST_PATH_IMAGE056
；
步骤S34：将字符序列
Figure 100002_DEST_PATH_IMAGE058
输入到预训练的语言模型BERT中，取特殊字符[CLS]在语言模型BERT最后一层编码层输入的编码向量，作为输入文本/>
Figure 476535DEST_PATH_IMAGE046
的语义特征向量/>
Figure 100002_DEST_PATH_IMAGE060
。
进一步地，所述步骤S4包括如下步骤：
步骤S41：将价值需求特征向量
Figure 100002_DEST_PATH_IMAGE062
和语义特征向量/>
Figure 226185DEST_PATH_IMAGE060
进行拼接，并输入到单层的全连接网络，得到输入文本/>
Figure 554398DEST_PATH_IMAGE046
的k维预测向量/>
Figure 100002_DEST_PATH_IMAGE064
，其中k表示情感类别数；
步骤S42：将预测向量
Figure DEST_PATH_IMAGE066
作为Softmax激活函数算子的自变量，计算Softmax激活函数的输出值，并将输出至作为输入文本/>
Figure 523753DEST_PATH_IMAGE046
属于每个情感类别的概率值，最后取类别概率值最大的作为最终情感类别，其中Softmax激活函数的计算公式如下：
Figure DEST_PATH_IMAGE068
其中，
Figure DEST_PATH_IMAGE070
表示第m个维度的概率值，/>
Figure DEST_PATH_IMAGE072
为常量，m、u属于维度k。
一种价值需求特征驱动的文本情感识别训练装置，包括价值需求标注语料采集模块和价值需求回归模型构建模块；
所述价值需求标注语料采集模块，采集原始短文本，并对每条短文本，基于不同的维度的价值需求，进行价值需求标注，得到价值需求标注语料集；
所述价值需求回归模型构建模块，基于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型，执行过程如下：
针对价值需求标注语料集中的短文本
Figure 120082DEST_PATH_IMAGE002
，将其对应的字符序列/>
Figure 661922DEST_PATH_IMAGE004
与预定义的价值维度特殊字符进行拼接，得到字符序列/>
Figure 426615DEST_PATH_IMAGE006
，其中i表示短文本的索引；
将字符序列
Figure 53906DEST_PATH_IMAGE006
输入到预训练的语言模型BERT中，并取价值维度特殊字符在语言模型最后一层编码层输出的编码向量，作为短文本/>
Figure 562248DEST_PATH_IMAGE002
在不同维度的价值特征编码；
将短文本
Figure 958594DEST_PATH_IMAGE002
的不同维度的价值特征编码向量分别输入到不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值；
计算语言模型预测价值与标注价值
Figure 628610DEST_PATH_IMAGE008
之间的误差，并将其作为微调训练语言模型的损失函数，得到训练好的价值需求回归模型/>
Figure 244661DEST_PATH_IMAGE010
。
一种价值需求特征驱动的文本情感识别装置，基于训练装置，还包括输入文本特征提取模块和文本情感预测模块；
所述输入文本特征提取模块，基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征；
所述文本情感预测模块，基于输入文本的价值需求特征和语义特征，进行最终的情感识别。
本发明的优势和有益效果在于：
1、本发明基于马斯洛夫需求层次理论，从5个价值维度来构建价值需求标注语料，具有较强的理论依据，且可实现性强。
2、本发明基于大规模预训练语言模型构建价值回归模型，能实现较好的文本价值需求特征预测效果。
3、本发明同时利用文本价值需求特征及语义特征来进行文本情感识别，可有效提升文本情感识别的准确率。
附图说明
图1是本发明的一种价值需求特征驱动的文本情感识别训练方法的流程图。
图2是本发明的一种价值需求特征驱动的文本情感识别方法的流程图。
图3是本发明实施例中一种价值需求特征驱动的文本情感识别方法的架构图。
图4是本发明的一种价值需求特征驱动的文本情感识别训练装置的结构示意图。
图5是本发明的一种价值需求特征驱动的文本情感识别装置的结构示意图。
图6是本发明实施例中一种价值需求特征驱动的文本情感识别设备的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1、图3所示，一种价值需求特征驱动的文本情感识别训练方法，包括以下步骤：
步骤S1：价值需求标注语料采集；采集原始短文本，并对每条短文本，基于不同的维度的价值需求，进行价值需求标注，得到价值需求标注语料集。本发明实施例中，通过网络爬虫技术从公众社交平台采集大量原始短文本，进行清洗过滤，并对每条干净的短文本进行多维度的价值需求标注，得到价值需求标注语料集。具体包括如下步骤：
步骤S11：获取大量短文本语句，形成原始短文本语料集；
本发明实施例中，利用python爬虫技术从新浪微博等公众社交平台自动收集大量短文本语句，形成原始短文本语料集。
步骤S12：利用正则表达式对原始短文本语料集中的每条文本语句进行清洗，去除干扰信息；
本发明实施例中，无关的干扰信息包括去除其中的日期、邮箱、网址、数字等。
步骤S13：过滤字数范围阈值以外的短语句，得到最终清洗干净的短文本语料集：
Figure DEST_PATH_IMAGE022A
其中
Figure 87852DEST_PATH_IMAGE002
表示第i条单条短文本语句，/>
Figure 869863DEST_PATH_IMAGE024
表示该语料集的大小；
本发明实施例中，字数范围阈值以外的短语句是指字数大于35的过长语句及字数小于5的过短语句。
步骤S14：对干净的短文本语料集
Figure 710780DEST_PATH_IMAGE026
中的每条语句从马斯洛夫需求层次理论的生理需求、安全需求、归属与爱、尊重需求和自我实现5个角度分别进行标注，得到价值需求标注语料集：
Figure DEST_PATH_IMAGE028A
其中
Figure 407603DEST_PATH_IMAGE008
表示5维价值标注向量/>
Figure 992168DEST_PATH_IMAGE030
，每个维度的价值标注向量通过不同取值区分为文本/>
Figure 363107DEST_PATH_IMAGE032
与该价值维度是正相关、文本/>
Figure 374925DEST_PATH_IMAGE032
与该价值维度无关、文本/>
Figure 198525DEST_PATH_IMAGE032
与该价值维度负相关；
本发明实施例中，每个维度
Figure 852360DEST_PATH_IMAGE044
取值为+1、0或-1,其中各维度不同取值表示含义如下：
Figure DEST_PATH_IMAGE074
。
步骤S15：重复多次步骤S14中的标注过程并取均值，作为最终短文本语句
Figure 122147DEST_PATH_IMAGE002
的价值需求标签；
本发明实施例中，对步骤S14中的标注过程重复进行3次，并取3次标注向量的平均作为最终短文本语句
Figure 570446DEST_PATH_IMAGE002
的价值需求标签。
步骤S2：价值需求回归模型构建；基于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型。本发明实施例中，价值需求回归模型构建，基于预训练语言模型，在价值需求标注语料上进行微调学习，得到价值需求回归模型，包括如下步骤：
步骤S21：针对价值需求标注语料集中的短文本
Figure 146921DEST_PATH_IMAGE002
，将其对应的字符序列/>
Figure 73288DEST_PATH_IMAGE004
与预定义的价值维度特殊字符进行拼接，得到字符序列/>
Figure 418819DEST_PATH_IMAGE006
，其中i表示短文本的索引；
本发明实施例中，字符序列
Figure 38019DEST_PATH_IMAGE012
。
步骤S22：将字符序列
Figure 337676DEST_PATH_IMAGE006
输入到预训练的语言模型BERT中，并取价值维度特殊字符在语言模型最后一层编码层输出的编码向量，作为短文本/>
Figure 67734DEST_PATH_IMAGE002
在不同维度的价值特征编码；
本发明实施例中，取价值维度特殊字符
Figure 267771DEST_PATH_IMAGE014
～/>
Figure 57873DEST_PATH_IMAGE016
在BERT模型最后一层编码层输出的编码向量/>
Figure 343361DEST_PATH_IMAGE018
，作为短文本/>
Figure 611531DEST_PATH_IMAGE002
在生理需求、安全需求、归属与爱、尊重需求和自我实现5个维度的价值特征编码。
步骤S23：将短文本
Figure 666075DEST_PATH_IMAGE002
的不同维度的价值特征编码向量分别输入到不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值；
标量预测值的计算公式如下：
Figure DEST_PATH_IMAGE034A
其中，
Figure 456438DEST_PATH_IMAGE036
表示一维的标量值，j表示不同价值维度的索引，/>
Figure 963643DEST_PATH_IMAGE038
和/>
Figure 35504DEST_PATH_IMAGE040
表示语言模型的权重和偏置，tanh表示非线性激活函数。
本发明实施例中，将短文本
Figure 475713DEST_PATH_IMAGE002
的5个价值特征维度编码向量/>
Figure 607617DEST_PATH_IMAGE018
分别输入到5个不同的单层全连接网络中，并采用tanh作为非线性激活函数，得到对应不同价值维度的标量预测值/>
Figure 369162DEST_PATH_IMAGE020
。
步骤S24：计算语言模型预测价值与标注价值
Figure 979135DEST_PATH_IMAGE008
之间的误差，并将其作为微调训练语言模型的损失函数，得到训练好的价值需求回归模型/>
Figure 8271DEST_PATH_IMAGE010
；
损失函数计算如下：
Figure DEST_PATH_IMAGE042A
其中
Figure 373393DEST_PATH_IMAGE036
表示第i条短文本的第j个价值维度的标量预测值，/>
Figure 120769DEST_PATH_IMAGE044
表示第i条短文本的第j个价值维度的价值标注向量；
本发明实施例中，采用均方误差函数MSE计算模型预测价值与标注价值
Figure 35898DEST_PATH_IMAGE008
之间的误差。
如图2、图3所示，一种价值需求特征驱动的文本情感识别方法，基于上述训练方法，还包括以下步骤：
步骤S3：输入文本特征提取；基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征，包括如下步骤：
步骤S31：针对输入文本
Figure 185119DEST_PATH_IMAGE046
，将其对应的字符序列/>
Figure 658826DEST_PATH_IMAGE048
与预定义的价值维度特殊字符拼接起来，得到如下字符序列/>
Figure 627919DEST_PATH_IMAGE052
；
本发明实施例中，
Figure 845274DEST_PATH_IMAGE050
。
步骤S32：将字符序列
Figure 849002DEST_PATH_IMAGE052
输入到训练好的价值需求回归模型/>
Figure 493610DEST_PATH_IMAGE010
中，得到输入文本/>
Figure 451464DEST_PATH_IMAGE046
对应的5维价值需求特征向量/>
Figure 472509DEST_PATH_IMAGE054
。
步骤S33：将输入文本
Figure 596323DEST_PATH_IMAGE046
对应的字符序列/>
Figure 411832DEST_PATH_IMAGE048
与特殊字符[CLS]拼接起来，得到字符序列/>
Figure 355518DEST_PATH_IMAGE058
；
本发明实施例中，
Figure 914675DEST_PATH_IMAGE056
。
步骤S34：将字符序列
Figure 128881DEST_PATH_IMAGE058
输入到预训练的语言模型BERT中，取特殊字符[CLS]在语言模型BERT最后一层编码层输入的编码向量，作为输入文本/>
Figure 115291DEST_PATH_IMAGE046
的语义特征向量/>
Figure 546273DEST_PATH_IMAGE060
。
步骤S4：文本情感预测；基于输入文本的价值需求特征和语义特征，进行最终的情感识别，包括如下步骤：
步骤S41：将价值需求特征向量
Figure 909121DEST_PATH_IMAGE062
和语义特征向量/>
Figure 476369DEST_PATH_IMAGE060
进行拼接，并输入到单层的全连接网络，得到输入文本/>
Figure 633680DEST_PATH_IMAGE046
的k维预测向量/>
Figure 551958DEST_PATH_IMAGE064
，其中k表示情感类别数。
步骤S42：将预测向量
Figure 187339DEST_PATH_IMAGE066
作为Softmax激活函数算子的自变量，计算Softmax激活函数的输出值，并将输出至作为输入文本/>
Figure 641716DEST_PATH_IMAGE046
属于每个情感类别的概率值，最后取类别概率值最大的作为最终情感类别，其中Softmax激活函数的计算公式如下：
Figure DEST_PATH_IMAGE068A
其中，
Figure 32246DEST_PATH_IMAGE070
表示第m个维度的概率值，/>
Figure 437820DEST_PATH_IMAGE072
为常量，m、u属于维度k。
综上所述，本实施例提供的方法通过建立价值需求标注语料集，构建价值需求回归模型，并进一步利用价值需求回归模型预测任意输入文本的价值需求特征，通过综合利用输入文本的语义特征及价值需求特征，能够提高最终文本情感识别的精度。
如图4所示，一种价值需求特征驱动的文本情感识别训练装置，包括价值需求标注语料采集模块和价值需求回归模型构建模块；
所述价值需求标注语料采集模块，采集原始短文本，并对每条短文本，基于不同的维度的价值需求，进行价值需求标注，得到价值需求标注语料集；
本发明实施例中，价值需求标注语料采集模块，用于通过网络爬虫技术从公众社交平台采集大量原始短文本，进行清洗过滤，并对每条干净的短文本进行多维度的价值需求标注，得到价值需求标注语料集。价值需求标注语料采集模块从马斯洛夫需求层次理论对收集到的短文本进行5维度的价值需求标注。
所述价值需求回归模型构建模块，基于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型，执行过程如下：
针对价值需求标注语料集中的短文本
Figure 142470DEST_PATH_IMAGE002
，将其对应的字符序列/>
Figure 684310DEST_PATH_IMAGE004
与预定义的价值维度特殊字符进行拼接，得到字符序列/>
Figure 938750DEST_PATH_IMAGE006
，其中i表示短文本的索引；
将字符序列
Figure 566040DEST_PATH_IMAGE006
输入到预训练的语言模型BERT中，并取价值维度特殊字符在语言模型最后一层编码层输出的编码向量，作为短文本/>
Figure 543224DEST_PATH_IMAGE002
在不同维度的价值特征编码；
将短文本
Figure 205149DEST_PATH_IMAGE002
的不同维度的价值特征编码向量分别输入到不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值；
计算语言模型预测价值与标注价值
Figure 875165DEST_PATH_IMAGE008
之间的误差，并将其作为微调训练语言模型的损失函数，得到训练好的价值需求回归模型/>
Figure 255331DEST_PATH_IMAGE010
。
本发明实施例中，价值需求回归模型构建模块，基于预训练语言模型，在价值需求标注语料上进行微调学习，得到价值需求回归模型；价值需求回归模型构建模块通过微调预训练语言模型，构建能预测文本价值需求特征的价值需求回归模型。
如图5所示，一种价值需求特征驱动的文本情感识别装置，基于训练装置，还包括输入文本特征提取模块和文本情感预测模块；
所述输入文本特征提取模块，基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征；
本发明实施例中，输入文本特征提取模块，基于价值回归模型提取输入文本的价值需求特征，并基于预训练语言模型提取输入文本的语义特征。
所述文本情感预测模块，基于输入文本的价值需求特征和语义特征，进行最终的情感识别；
本发明实施例中，文本情感预测模块，基于提取的文本语义特征及价值需求特征进行最终的情感识别。文本情感预测模块通过综合利用输入文本的价值需求特征及语义特征，来进行情感类别预测。
与前述一种价值需求特征驱动的文本情感识别方法的实施例相对应，本发明还提供了一种价值需求特征驱动的文本情感识别设备的实施例。
参见图6，本发明实施例提供的一种价值需求特征驱动的文本情感识别设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种价值需求特征驱动的文本情感识别方法。
本发明一种价值需求特征驱动的文本情感识别设备的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明一种价值需求特征驱动的文本情感识别设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种价值需求特征驱动的文本情感识别方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种价值需求特征驱动的文本情感识别训练方法，其特征在于包括如下步骤：
步骤S1：价值需求标注语料采集；采集原始短文本，并对每条短文本，基于马斯洛夫需求层次理论的生理需求、安全需求、归属与爱、尊重需求和自我实现5个不同维度的价值需求，进行价值需求标注，得到价值需求标注语料集；
步骤S2：价值需求回归模型构建；基于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型，包括如下步骤：
步骤S21：针对价值需求标注语料集中的短文本
Figure DEST_PATH_IMAGE002
，将其对应的字符序列
Figure DEST_PATH_IMAGE004
与预定义的价值维度特殊字符进行拼接，得到字符序列
Figure DEST_PATH_IMAGE006
，其中i表示短文本的索引；
步骤S22：将字符序列
Figure 843014DEST_PATH_IMAGE006
输入到预训练的语言模型中，并取价值维度特殊字符在语言模型最后一层编码层输出的编码向量，作为短文本
Figure 963417DEST_PATH_IMAGE002
在不同维度的价值特征编码；
步骤S23：将短文本
Figure 211995DEST_PATH_IMAGE002
的不同维度的价值特征编码向量分别输入到不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值；
步骤S24：计算语言模型预测价值与标注价值之间的误差，并将其作为微调训练语言模型的损失函数，得到训练好的价值需求回归模型。
2.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法，其特征在于：
所述步骤S21中，字符序列
Figure DEST_PATH_IMAGE008
；
所述步骤S22中，取价值维度特殊字符
Figure DEST_PATH_IMAGE010
至
Figure DEST_PATH_IMAGE012
在语言模型最后一层编码层输出的编码向量
Figure DEST_PATH_IMAGE014
，作为短文本
Figure 479641DEST_PATH_IMAGE002
在生理需求、安全需求、归属与爱、尊重需求和自我实现5个维度的价值特征编码；
步骤S23中，将短文本
Figure 28434DEST_PATH_IMAGE002
的5个维度的价值特征编码向量
Figure 319738DEST_PATH_IMAGE014
分别输入到5个不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值
Figure DEST_PATH_IMAGE016
。
3.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法，其特征在于，所述步骤S1包括如下步骤：
步骤S11：获取大量短文本语句，形成原始短文本语料集；
步骤S12：利用正则表达式对原始短文本语料集中的每条文本语句进行清洗，去除干扰信息；
步骤S13：过滤字数范围阈值以外的短语句，得到最终清洗干净的短文本语料集：
Figure DEST_PATH_IMAGE018
其中
Figure 196559DEST_PATH_IMAGE002
表示第i条单条短文本语句，
Figure DEST_PATH_IMAGE020
表示该语料集的大小；
步骤S14：对干净的短文本语料集
Figure DEST_PATH_IMAGE022
中的每条语句从马斯洛夫需求层次理论的生理需求、安全需求、归属与爱、尊重需求和自我实现5个角度分别进行标注，得到价值需求标注语料集：
Figure DEST_PATH_IMAGE024
其中
Figure DEST_PATH_IMAGE026
表示5维价值标注向量
Figure DEST_PATH_IMAGE028
，每个维度的价值标注向量通过不同取值区分为文本
Figure DEST_PATH_IMAGE030
与该价值维度是正相关、文本
Figure 680279DEST_PATH_IMAGE030
与该价值维度无关、文本
Figure 818000DEST_PATH_IMAGE030
与该价值维度负相关；
步骤S15：重复多次步骤S14中的标注过程并取均值，作为最终短文本语句
Figure 76943DEST_PATH_IMAGE002
的价值需求标签。
4.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法，其特征在于，所述步骤S23中，标量预测值的计算公式如下：
Figure DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE034
表示一维的标量值，j表示不同价值维度的索引，
Figure DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE038
表示语言模型的权重和偏置，tanh表示非线性激活函数。
5.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法，其特征在于，所述步骤S24中，损失函数计算如下：
Figure DEST_PATH_IMAGE040
其中
Figure 847584DEST_PATH_IMAGE034
表示第i条短文本的第j个价值维度的标量预测值，
Figure DEST_PATH_IMAGE042
表示第i条短文本的第j个价值维度的价值标注向量。
6.一种基于权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法的文本情感识别方法，其特征在于还包括如下步骤：
步骤S3：输入文本特征提取；基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征；
步骤S4：文本情感预测；基于输入文本的价值需求特征和语义特征，进行最终的情感识别。
7.根据权利要求6所述的基于一种价值需求特征驱动的文本情感识别训练方法的文本情感识别方法，其特征在于，所述步骤S3，包括如下步骤：
步骤S31：针对输入文本
Figure DEST_PATH_IMAGE044
，将其对应的字符序列
Figure DEST_PATH_IMAGE046
与预定义的价值维度特殊字符进行拼接，得到字符序列
Figure DEST_PATH_IMAGE048
；
步骤S32：将字符序列
Figure 459962DEST_PATH_IMAGE048
输入到训练好的价值需求回归模型中，得到输入文本
Figure 452188DEST_PATH_IMAGE044
对应的价值需求特征向量
Figure DEST_PATH_IMAGE050
；
步骤S33：将输入文本
Figure 616454DEST_PATH_IMAGE044
对应的字符序列
Figure 326921DEST_PATH_IMAGE046
与特殊字符[CLS]拼接起来，得到字符序列
Figure DEST_PATH_IMAGE052
；
步骤S34：将字符序列
Figure 271218DEST_PATH_IMAGE052
输入到预训练的语言模型中，取特殊字符[CLS]在语言模型最后一层编码层输入的编码向量，作为输入文本
Figure 383531DEST_PATH_IMAGE044
的语义特征向量
Figure DEST_PATH_IMAGE054
。
8.根据权利要求6所述的基于一种价值需求特征驱动的文本情感识别训练方法的文本情感识别方法，其特征在于，所述步骤S4包括如下步骤：
步骤S41：将价值需求特征向量
Figure 453118DEST_PATH_IMAGE050
和语义特征向量
Figure 650881DEST_PATH_IMAGE054
进行拼接，并输入到单层的全连接网络，得到输入文本
Figure 401799DEST_PATH_IMAGE044
的k维预测向量
Figure DEST_PATH_IMAGE056
，其中k表示情感类别数；
步骤S42：将预测向量
Figure DEST_PATH_IMAGE058
作为Softmax激活函数算子的自变量，计算Softmax激活函数的输出值，并将输出至作为输入文本
Figure 103039DEST_PATH_IMAGE044
属于每个情感类别的概率值，最后取类别概率值最大的作为最终情感类别，其中Softmax激活函数的计算公式如下：
Figure DEST_PATH_IMAGE060
其中，
Figure DEST_PATH_IMAGE062
表示第m个维度的概率值，
Figure DEST_PATH_IMAGE064
为常量，m、u属于维度k。
9.一种价值需求特征驱动的文本情感识别训练装置，包括价值需求标注语料采集模块和价值需求回归模型构建模块，其特征在于：
所述价值需求标注语料采集模块，采集原始短文本，并对每条短文本，基于马斯洛夫需求层次理论的生理需求、安全需求、归属与爱、尊重需求和自我实现5个不同维度的价值需求，进行价值需求标注，得到价值需求标注语料集；
所述价值需求回归模型构建模块，基于预训练语言模型，在价值需求标注语料上进行微调学习，得到训练好的价值需求回归模型，执行过程如下：
针对价值需求标注语料集中的短文本
Figure 953315DEST_PATH_IMAGE002
，将其对应的字符序列
Figure 169532DEST_PATH_IMAGE004
与预定义的价值维度特殊字符进行拼接，得到字符序列
Figure 724142DEST_PATH_IMAGE006
，其中i表示短文本的索引；
将字符序列
Figure 536678DEST_PATH_IMAGE006
输入到预训练的语言模型中，并取价值维度特殊字符在语言模型最后一层编码层输出的编码向量，作为短文本
Figure 744805DEST_PATH_IMAGE002
在不同维度的价值特征编码；
将短文本
Figure 651582DEST_PATH_IMAGE002
的不同维度的价值特征编码向量分别输入到不同的单层全连接网络中，并采用激活函数，得到对应不同价值维度的标量预测值；
计算语言模型预测价值与标注价值之间的误差，并将其作为微调训练语言模型的损失函数，得到训练好的价值需求回归模型。
10.一种基于权利要求9所述的一种价值需求特征驱动的文本情感识别训练装置的文本情感识别装置，还包括输入文本特征提取模块和文本情感预测模块，其特征在于：
所述输入文本特征提取模块，基于价值回归模型提取输入文本的价值需求特征，基于预训练语言模型提取输入文本的语义特征；
所述文本情感预测模块，基于输入文本的价值需求特征和语义特征，进行最终的情感识别。
CN202211355285.1A 2022-11-01 2022-11-01 一种价值需求特征驱动的文本情感识别、训练方法及装置 Active CN115496076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211355285.1A CN115496076B (zh) 2022-11-01 2022-11-01 一种价值需求特征驱动的文本情感识别、训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211355285.1A CN115496076B (zh) 2022-11-01 2022-11-01 一种价值需求特征驱动的文本情感识别、训练方法及装置

Publications (2)

Publication Number Publication Date
CN115496076A CN115496076A (zh) 2022-12-20
CN115496076B true CN115496076B (zh) 2023-03-24

Family

ID=85115685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211355285.1A Active CN115496076B (zh) 2022-11-01 2022-11-01 一种价值需求特征驱动的文本情感识别、训练方法及装置

Country Status (1)

Country Link
CN (1) CN115496076B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697232A (zh) * 2018-12-28 2019-04-30 四川新网银行股份有限公司 一种基于深度学习的中文文本情感分析方法
CN114742047A (zh) * 2022-04-26 2022-07-12 河海大学 基于最大概率填充和多头注意力机制的文本情感识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US10489509B2 (en) * 2016-03-14 2019-11-26 International Business Machines Corporation Personality based sentiment analysis of textual information written in natural language
KR20180001889A (ko) * 2016-06-28 2018-01-05 삼성전자주식회사 언어 처리 방법 및 장치
CN109344855B (zh) * 2018-08-10 2021-09-24 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
US11373120B2 (en) * 2019-11-25 2022-06-28 Sap Se Attention mechanism for natural language processing
CN111444721B (zh) * 2020-05-27 2022-09-23 南京大学 一种基于预训练语言模型的中文文本关键信息抽取方法
CN115146607B (zh) * 2022-09-05 2022-11-04 北京智源人工智能研究院 评论信息情感偏好识别模型训练方法、识别方法及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697232A (zh) * 2018-12-28 2019-04-30 四川新网银行股份有限公司 一种基于深度学习的中文文本情感分析方法
CN114742047A (zh) * 2022-04-26 2022-07-12 河海大学 基于最大概率填充和多头注意力机制的文本情感识别方法

Also Published As

Publication number Publication date
CN115496076A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN109697285B (zh) 增强语义表示的层次BiLSTM中文电子病历疾病编码标注方法
CN111783474B (zh) 一种评论文本观点信息处理方法、装置及存储介质
CN114169330B (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
CN111738003B (zh) 命名实体识别模型训练方法、命名实体识别方法和介质
CN112131383B (zh) 特定目标的情感极性分类方法
CN111159407B (zh) 训练实体识别和关系分类模型的方法、装置、设备及介质
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN110188195B (zh) 一种基于深度学习的文本意图识别方法、装置及设备
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN112580328A (zh) 事件信息的抽取方法及装置、存储介质、电子设备
CN112667818A (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN113836992B (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN113204611A (zh) 建立阅读理解模型的方法、阅读理解方法及对应装置
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN112667782A (zh) 一种文本分类方法、装置、设备及存储介质
CN112784532A (zh) 用于短文本情感分类的多头注意力记忆网络
CN113742733A (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN116775872A (zh) 一种文本处理方法、装置、电子设备及存储介质
CN114818718A (zh) 合同文本识别方法及装置
CN114428860A (zh) 院前急救病例文本的识别方法、装置、终端及存储介质
CN111666375B (zh) 文本相似度的匹配方法、电子设备和计算机可读介质
CN113127607A (zh) 文本数据标注方法、装置、电子设备及可读存储介质
CN115496076B (zh) 一种价值需求特征驱动的文本情感识别、训练方法及装置
CN110782221A (zh) 一种面试智能评测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant