CN114911922A - 一种情感分析方法、装置和存储介质 - Google Patents

一种情感分析方法、装置和存储介质 Download PDF

Info

Publication number
CN114911922A
CN114911922A CN202110124451.6A CN202110124451A CN114911922A CN 114911922 A CN114911922 A CN 114911922A CN 202110124451 A CN202110124451 A CN 202110124451A CN 114911922 A CN114911922 A CN 114911922A
Authority
CN
China
Prior art keywords
data
training
model
emotion
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110124451.6A
Other languages
English (en)
Inventor
郭倩影
朱琳
花小磊
刘若怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110124451.6A priority Critical patent/CN114911922A/zh
Publication of CN114911922A publication Critical patent/CN114911922A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

本发明公开了一种情感分析方法、装置和存储介质，所述方法包括：获取待检测数据；运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。

Description

一种情感分析方法、装置和存储介质
技术领域
本发明涉及自然语言处理领域，尤其涉及一种情感分析方法、装置和存储介质。
背景技术
运营商场景下需要保证负责上门提供安装、维护(如维修家庭宽带)的装维人员服务质量，提高用户体验，因此，通过对用户与装维对话数据进行情感分析，将分析结果作为后续质检、满意度评估的重要参考材料。
但是在实际场景中，由于中性情感数据较多，负面情绪数据较少，存在情感数据样本不均衡现象，导致基于情感数据样本进行情感分析并不准确。
发明内容
有鉴于此，本发明的主要目的在于提供一种情感分析方法、装置和存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种情感分析方法，所述方法包括：
获取待检测数据；
运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
上述方案中，所述方法还包括：
根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
上述方案中，所述方法还包括：生成所述情绪分析模型；所述生成情绪分析模型，包括：
获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
上述方案中，所述获取第一训练样本集，包括：
获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
所述获取第二训练样本集，包括：
运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；
根据所述至少一个异常投诉录音数据，生成第二训练样本集；
其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
上述方案中，相应训练样本集包括：至少一个样本数据；每个所述样本数据包括：句子对、以及所述句子对中被隐藏的词、被替换的词和/或保持不变的词；所述句子对存在句子间的上下文关系；
所述基于所述文本关键词、所述第一训练样本集和第二训练样本集预训练目标模型，得到所述预训练模型，包括：
根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
上述方案中，所述根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，包括：
利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
上述方案中，相应训练样本集包括：至少一个样本数据和每个所述样本数据对应的标签；
所述根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型，包括：
将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行微调，得到所述情绪分析模型。
本发明实施例提供了一种情感分析装置，所述装置包括：
获取模块，用于获取待检测数据；
处理模块，用于运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
上述方案中，所述处理模块，还用于根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
上述方案中，所述装置还包括：生成模块，用于生成所述情绪分析模型；所述生成情绪分析模型，包括：
获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
上述方案中，所述生成模块，用于获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
所述生成模块，用于运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；根据所述至少一个异常投诉录音数据，生成第二训练样本集；其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
上述方案中，相应训练样本集包括：至少一个样本数据；每个所述样本数据包括：句子对、以及所述句子对中被隐藏的词、被替换的词和/或保持不变的词；所述句子对存在句子间的上下文关系；
所述生成模块，用于根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
上述方案中，所述生成模块，用于利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
上述方案中，相应训练样本集包括：至少一个样本数据和每个所述样本数据对应的标签；
所述生成模块，用于将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行模型微调，得到所述情绪分析模型。
本发明实施例提供一种情感分析装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上任一项所述情感分析方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项所述情感分析方法的步骤。
本发明实施例所提供的一种情感分析方法、装置和存储介质，所述方法包括：获取待检测数据；运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到；如此，使情绪分析模型更加关注文本中的重点词汇，提升了情绪分析模型学习的能力及通用性。
附图说明
图1为本发明实施例提供的一种情感分析方法的流程示意图；
图2为本发明实施例提供的另一种情感分析方法的流程示意图；
图3为本发明实施例提供的一种情感分析装置的结构示意图；
图4为本发明实施例提供的另一种情感分析装置的结构示意图。
具体实施方式
在结合实施例对本发明再作进一步详细的说明，先对相关技术进行说明。
为解决上述情感分析不准确的问题，相关技术中，从数据和模型角度分别提出两种方案。
从数据角度提出的方案包括：
第一种，通过重采样增加负面样本数据的数量，减少样本数据不均衡现象。该方案简单易实现，通过复制负面样本数据实现，但是没有增加新的负面样本数据，所以对提高模型准确率作用较小；
第二种，通过数据增强的方式以增加小类样本数量，例如，通过同义词替换、生成、改写或者翻译回译等，主要是根据原有样本数据生成更多具有相似表达的文本数据，该方案能够生成新的样本，使模型学习到更多信息，但是生成的句子会存在语句不通顺或语句本身无意义的情况；
从模型的角度提出的方案包括：
第一种，将情感分析的分类问题转换成异常检测问题，将中性或积极数据当做正常样本，将负面样本作为异常样本，通过异常检测算法，例如一类支持向量机(one-classsvm)训练模型，检测出比较关注的负面样本。该方法简单易实现，并且一定程度上缓解了样本不均衡问题，但是由于应用场景的复杂性，相同的句子在不同的对话场景中可能会出现情感极性不同的现象，例如，装维人员忘记上次上门维修时间是什么时候的句子属于中性情感，但是装维人员忘记去给用户上门维修，属于爽约情况，这种描述忘记的句子属于服务中的负面样例。但是异常检测难以发现其中语义的区别。
第二种，给正负样本设置不同训练权重，增加负面样本的权重，当模型没有正确学习到负面样本时，加大对模型的惩罚；该方案在一定程度上能够缓解样本不均衡问题，但是由于本任务的数据集较小，所以简单增加权重容易产生过拟合现象，对模型准确率提升作用较小。
综上所述，上述方案存在以下问题：
1、在样本不均衡且样本量较少的情况下，一般只从数据或模型中的一种维度解决该问题，对模型准确率的贡献较小；
2、目前的文本分类采用的模型主要是关注字层面的含义，但是中文文本中，词语才能表达完整的含义；
3、模型在训练时，通常将文本中的所有词对情感分析的贡献程度是相同的，但是实际文本中只有其中一些词比较重要，是文本分类的关键词，目前的模型在训练时没有重点关注关键词；
4、对情绪的分类粒度不够细，只分为积极、中性、负面三类，很难对较关注的负面情绪进行细粒度的分类。
基于此，本发明实施例提供的方法，获取待检测数据；运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；其中，所述情绪分析模型通过对预训练模型进行微调(fine-tune)得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
下面结合实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的一种情感分析方法的流程示意图；如图1所示，所述方法应用于智能设备；所述智能设备可以为服务器、计算机等，所述方法包括：
步骤101、获取待检测数据；
步骤102、运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
实际应用中，考虑到情绪分析模型识别得到的用户情绪分类不够精细，提出结合专家经验，将情绪分析模型得到的情绪进行分级，以实现更细粒度分类，有效提升复核效率。
在一实施例中，所述方法还包括：
根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
具体地，可以由开发人员结合专家经验提供预设的文本；所述预设的文本，包括：至少一种情绪和每种情绪对应的文本；
每种情绪对应的文本具体包括：至少一种情绪等级和每种所述情绪等级对应的文本内容。
这里，情绪包括：积极、中性、负面(即不满意)等；
以负面情绪为例，对应有多种情绪等级，包括：一般不满意、不满意、特别不满意等，每种情绪等级可以对应多种文本内容；
当确定待检测数据对应的用户情绪为负面情绪时，将待检测数据与所述负面情绪对应的各种情绪等级所对应的文本内容进行文本相似度计算，得到每种情绪等级所对应的相似度结果；将相似度最高的情绪等级，作为目标用户情绪。
所述文本内容可以包括：基于专家经验确定的针对负面情绪的各种服务禁语；例如，针对负面情绪，服务禁语包括：不好(情绪等级为：负面一级)、太差(情绪等级为：负面二级)等。
相应的，在确定待检测数据中匹配有“不好”时，认为情绪等级为负面一级；
在确定待检测数据中匹配有“太差”时，认为情绪等级为负面二级。
实际应用中，为了实现情绪分析，提供一种情绪分析模型的训练方法，训练得到的情绪分析模型用于识别待检测数据以确定相应的用户情绪。
在一实施例中，所述方法还包括：生成所述情绪分析模型；所述生成情绪分析模型，包括：
获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
这里，预训练目标模型时，可以仅利用第二训练样本集，也可以利用第一训练样本集和第二训练样本集。
具体地，所述获取第一训练样本集，包括：
获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
所述获取第二训练样本集，包括：
运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；
根据所述至少一个异常投诉录音数据，生成第二训练样本集；
其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
上述第一训练样本集，至少基于历史的用户和装维人员的对话数据生成；
上述第二训练样本集，至少基于对投诉录音数据进行检测确定的异常投诉录音数据生成；该异常投诉录音数据反映的用户对于服务的情绪可以是负面的。
这里，通过第一训练样本集和第二训练样本集一同进行模型训练是考虑到负面样本低，样本量不均衡等问题，在用户与装维对话样本量非常少的情况下，提出使用异常检测模型在不同业务(例如装维针对的是家庭宽带)的投诉录音数据中提取与投诉装维相关的负面数据、作为所述异常投诉录音数据以扩充样本(即上述根据第一训练样本集和第二训练样本集，进行模型预训练和模型微调)，有效支撑深度学习模型的训练。
所述异常检测模型可以是预先对神经网络进行训练得到的模型，通过该异常检测模型识别投诉录音数据，确定可以用于训练的异常投诉录音数据作为异常投诉录音数据。
所述异常检测模型可以是通过异常检测训练样本集训练一个预设的神经网络得到；所述异常检测训练样本集，包括：至少一个异常检测训练样本和每个异常检测训练样本对应的标签，所述标签标示是否为负面样本，也即是否可以作为用于训练的投诉录音数据，即是否可以作为第二训练样本集中的样本。
所述异常检测模型可以是对录音数据对应的文本进行检测，因此，可以预先对投诉录音数据集中的投诉录音数据进行文本识别，得到投诉录音数据对应的文本，再运用异常检测模型对投诉录音数据对应的文本进行识别。
实际应用时，为了实现关键词隐藏，需预先确定文本关键词，使模型更加关注关键词，以提升模型准确率。
在一实施例中，所述根据所述第一训练样本集确定文本关键词，包括：
根据所述第一训练样本集，运用词频-逆词频(TF-IDF)方法，提取文本关键词。
这里，考虑到在情感分析中，对分类结果贡献比较高的往往是文本中的某些关键词，所以使用TF-IDF方法找到文本关键词，在Bert模型预训练时掩藏(mask)这部分文本关键词，用文本上下文预测该关键词，使模型更加关注关键词，有助于提升模型准确率。
应用时，从待检测数据中确定与所述文本关键词匹配的词，作为待检测数据中的关键词。
所述匹配表征文本关键词与确定的关键词一致，或者相似度高于一定阈值(如90％等)。
通过提取与情感相关的关键词，使深度学习模型更加关注文本中的重点词汇(即关键词)并屏蔽关键词，根据上下文预测关键词，提升了模型学习向量的能力及通用性。
在一实施例中，相应训练样本集(指第一训练样本集、第二训练样本集)包括：至少一个样本数据；每个所述样本数据包括：句子对、以及所述句子对中被隐藏的词、被替换的词和/或保持不变的词；所述句子对存在句子间的上下文关系；所述句子对存在句子间的上下文关系。
所述基于所述文本关键词、所述第一训练样本集和第二训练样本集预训练目标模型，得到所述预训练模型，包括：
根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
举例来说，句子对中包括一个句子：你的服务态度太差了；
希望输出的句子为：你的商务态度[mask][mask]了；
其对应的被掩藏的词为：太差，被替换的词为“服”，保持不变的词为“的”；
学习目标包括：被掩藏的词“太差”，被替换的词“服”，保持不变的词“的”。
具体来说，所述目标模型的预训练任务包括：第一任务、第二任务；
所述第一任务为隐藏语言模型(MLM，Masked Language Model)；所述第二任务为下句预测(NSP，Next Sentence Prediction)；所述第一任务采用全词掩藏(Whole WordMasking)。
即对第一序列中的关键词进行全词掩藏操作，将第一序列中句子的关键词用[mask]代替，除关键词外的其余部分沿用MLM的方式，在选择的一定比例(如15％)的词中，第一比例的可能(如80％的情况下)掩藏(mask)掉该词，第二比例的可能(如10％的情况下)采用任意一个词替换该词，相当于文本纠错任务，为Bert模型赋予了一定的纠错能力，剩余第三比例的可能(如10％的情况下)保持原词汇不变，是为了缓解fine-tune时与预训练输入不匹配的问题。
所述汇总标记用[CLS]表示；间隔标志用[SEP]表示；第一序列的格式可以为：[CLS]第一句子[SEP]第二个句子[SEP]。
所述根据所述第二序列，生成第一向量，可以采用word2vec方式实现。这里，所述word2vec是一种用来产生词向量的相关模型。
具体地，所述利用所述第一向量输入到目标模型中进行预训练，得到所述预训练模型，包括：
利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
具体来说，目标模型为Bert模型；所述预设注意力机制为多头自注意力机制(Multi Head Self Attention)。
Bert模型的核心就是Transformer的编码器(encoder)，而Transformer的encoder的核心又是注意力(Attention)模块，Attention用于区分不同输入对输出的影响，进一步利用不同的Self-Attention模块，即采用Multi Head Self Attention机制；
利用Multi Head Self Attention机制，获得第一向量中每个字在不同语义空间下的增强语义向量，并将每个字的多个增强语义向量进行线性组合，从而获得一个最终的与原始字向量长度相同的增强语义向量。
本发明实施例中，采用12层的encoder以达到较好的效果，经过一层层堆叠Transformer，最上层的Transformer输出的嵌入(embedding)、也即预训练模型输出的向量，就是对预训练模型进行微调(fine-tune)阶段所使用的embedding。
在一实施例中，相应训练样本集包括：至少一个样本数据和每个所述样本数据对应的标签；
所根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型，包括：
将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行微调，得到微调后的预训练模型，作为所述情绪分析模型。
其中，所述标签表征情绪类型。
具体来说，预训练好模型之后，将所述预训练模型与一全连接神经网络和分类网络(softmax)相连，利用用户与装维对话数据、即第二训练样本集对预训练模型和全连接神经网络进行微调(fine-tune)，将微调后的预训练模型、全连接神经网络和softmax作为情绪分析模型；
应用时，基于经过softmax输出在三个不同类别上的概率，输出概率最大的作为当前预测句子(即待检测数据)的情感极性(积极、中性或负面)。
在一实施例中，所述获取待检测数据，包括：
获取待检测的语音对话数据；所述语音对话数据为用户与装维人员的对话数据；
对所述语音对话数据进行文本识别，得到所述语音对话数据对应的识别文本，作为所述待检测数据。
或者，所述获取待检测数据，包括：获取对待检测的语音对话数据转译后的文本对话数据，作为所述待检测数据。
本发明实施例提供的情感分析方法可以应用于任意需要的场景，适用于情感识别，得到的结果作为用户满意度评估的参考依据，有助于帮助应用方了解装维人员是否帮用户有效解决了如家庭宽带等业务问题，是否存在服务态度差等问题。同时，对负面样本进行分级，根据对话语义将负面情绪进一步分为强负面和弱负面，极大减少人工核查的工作量，提高对装维人员监督的效率。
以下提供一种具体地应用实施例，图2为本发明实施例提供的另一种情感分析方法的流程示意图；如图2所示，所述方法包括：
步骤201、运用异常检测模型，检测投诉录音数据集中的录音数据，得到至少一个异常投诉录音数据；根据所述至少一个异常投诉录音数据生成第二训练样本集；
其中，所述投诉录音数据集，包括：至少一个异常投诉录音数据；
所述第二训练样本集，至少包括：至少一个负面样本数据；负面样本数据可以包括从投诉录音数据集中检测得到的异常投诉录音数据；
这里，通过从投诉录音数据集获取异常投诉录音数据，以实现训练样本的数据扩充。
具体来说，以装维服务业务为例，由于用户与装维人员的对话数据较少，所以考虑从投诉录音数据中确定异常投诉录音数据以扩充负面样本数据集，即使用其他相关业务场景的数据扩充负面样本数据集，以丰富训练样本，减少样本不均衡，提高预测准确率。
通过训练用户与装维人员的对话数据，将积极数据与中性数据作为正面样本、负面数据作为异常样本，进行异常检测模型的训练，得到的异常检测模型用于对投诉录音数据进行预测。具体关于异常检测模型的训练已在图1所示方法中说明，这里不再赘述。
需要说明的是，由于情绪分析模型通过少量数据进行微调，所以开始时情绪分析模型准确率不高，通过对预测出的负面样本进行人工筛选，将这部分数据扩充到原有的训练样本集，通过这种方式不断迭代，扩充训练样本集，减少样本不均衡，提高预测准确率。
步骤202、根据第一训练样本集，提取文本关键词；
所述第一训练样本集，至少包括：历史的用户和装维人员的对话数据；
具体地，所述步骤202中，运用TF-IDF方法，根据第一训练样本集，提取文本关键词。
这里，考虑到在情感分析中，对分类结果贡献比较高的往往是文本中的某些关键词，所以使用TF-IDF方法找到文本关键词，在Bert模型预训练时mask这部分文本关键词，用文本上下文预测该文本关键词，使模型更加关注关键词，有助于提升模型准确率。
步骤203、预训练Bert模型，得到预训练模型；
所述Bert模型为图1所示方法中的目标模型的一种。
所述Bert模型的预训练任务，包括：隐藏语言模型(MLM，Masked LanguageModel)、下句预测(NSP，Next Sentence Prediction)。
这里，针对语种为中文的Bert模型的预训练任务，将MLM任务中的掩藏机制由基于token的掩藏改成全词遮罩(Whole Word Masking)。
MLM的思想是随机屏蔽掉部分输入的token，然后根据上下文预测这些被屏蔽掉的token，MLM是为了实现深度的双向表示，使得双向的作用让每个单词能够在多层上下文中间接的看到自己。
预训练模型是为了使模型有更好的参数，改成全词遮罩是为了适应中文，中文一般整个词表示一个意思，词语一般是由2-3个字组成，英文是一个单词表示一个意思，因此，在语种为英语的情况下使用MLM，而在语种为中文的情况下使用全词遮罩效果更好。
所述步骤203，具体包括：
步骤A、对于样本数据进行预处理；
所述样本数据可以是：用户与装维人员的对话数据和/或异常投诉录音数据。
所述对于样本数据进行预处理，包括：
首先，将样本数据中的句子按照以下形式处理：[CLS]第一个句子[SEP]第二个句子[SEP]；即，将两个句子对打包成一个序列，记做第一序列。其中，每个第一序列的第一个token标记为特定的符号分类标记(CLS)，该token的最终隐藏状态是用作分类任务的表征。符号[SEP]是用于区分序列中不同句子的分隔符，序列的结尾也是[SEP]符号。
然后，对第一序列中的关键词进行全词掩藏(Whole Word Masking)操作，即将第一序列中句子的关键词用[mask]代替，除关键词外的其余部分沿用MLM的方式，在选择的15％的词中，80％的情况下mask掉该词，10％的情况下采用任意一个词替换该词，相当于文本纠错任务，为Bert模型赋予了一定的纠错能力，剩余10％的情况保持原词汇不变，是为了缓解fine-tune时与预训练输入不匹配的问题。
步骤B、生成嵌入(Embedding)特征。
这里，将步骤A中处理好的第一序列通过word2vec生成初始向量表示，包括标记嵌入(token embedding)、断句嵌入(segment embedding)和位置嵌入(positionembedding)；
其中，token embedding是每个标记(token)的向量表示，所述标记用于表示各文字；
segment embedding是用于区分不同句子，表明每个字属于句子对中的哪个句子；例如，第一个句子的segment embedding为[0,0,0…0]，第二个句子的segment embedding为[1,1,1…1]；
position embedding是用于学习句子中每个token的位置信息，代表的是每个字的位置信息。
以上三个embedding经过相加，进入transformer的12层encoder进行预训练。
步骤C、经过12层encoder处理。
具体来说，Bert模型的核心就是Transformer的encoder，而Transformer encoder的核心又是注意力Attention，Attention用于区分不同输入对输出的影响，进一步利用不同的Self-Attention模块，即Multi Head Self Attention(Multi-head Self-Attention机制)。
步骤C中，通过12层encoder获得文本中每个字在不同语义空间下的增强语义向量，并将每个字的多个增强语义向量进行线性组合，从而获得一个最终的与原始字向量长度相同的增强语义向量。
这里，经过实验发现，12层的encoder能够达到较好的效果，经过一层层堆叠模型，最上层的模型输出的embedding就是微调(fine-tune)阶段使用的embedding。
步骤D、输出。
预训练阶段的任务是输出被掩藏的词、被替换为任意词的词/或保持不变的词。
举例来说，原句子为：你的服务态度太差了。
输出的句子为：你的商务态度[mask][mask]了。
其中，输入的句子中被掩藏的词为“太差”，被替换的词为“服”，保持不变的词为“的”；
12层encoder学习的目标就是上述几个词，通过计算输出的词与学习目标之间的损失(loss)优化模型参数，得到优化后的预训练模型。
步骤204、对所述预训练模型进行微调，得到情绪分析模型；
具体来说，预训练好模型之后，将所述预训练模型与一全连接神经网络和分类网络(softmax)相连，利用用户与装维人员的对话数据、即第一训练样本集(还可以进一步结合第二训练样本集)对预训练模型和全连接神经网络进行微调(fine-tune)，将微调后的预训练模型、全连接神经网络和softmax作为情绪分析模型；
应用时，基于经过softmax输出在三个不同类别上的概率，输出概率最大的作为当前预测句子(即待检测数据)的情感极性(积极、中性或负面)。
通过步骤201-204训练得到情绪分析模型；
所述方法还包括：
步骤205、运用所述情绪分析模型识别待检测数据，确定所述待检测数据对应的用户情绪。
所述方法还可以包括：
步骤206、基于专家经验对用户情绪进行分级；
这里，可以基于专家总结的服务禁语对用户情绪进行分级。
本发明实施例提供的方法，使用深度学习技术，分析用户与装维对话数据的情感极性，提出了使用其他相关数据扩充数据集、提取文本中表征情感的关键词并将关键词进行Whole Word Masking，对模型进行预训练等方法，保证了模型的通用性。并且，利用专家经验对负面情绪进行分级，人工复核时可以只关注强负面样本，有效提升复核效率。
图3为本发明实施例提供的一种情感分析装置的结构示意图；如图3所示，所述装置包括：
获取模块，用于获取待检测数据；
处理模块，用于运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
在一些实施例中，所述处理模块，还用于根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
在一些实施例中，所述装置还包括：生成模块，用于生成所述情绪分析模型；所述生成情绪分析模型，包括：
获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
在一些实施例中，所述生成模块，用于获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
所述生成模块，用于运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；
根据所述至少一个异常投诉录音数据，生成第二训练样本集；
其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
在一些实施例中，相应训练样本集包括：至少一个样本数据；每个所述样本数据包括：句子对、以及所述句子对中被隐藏的词、被替换的词和/或保持不变的词；所述句子对存在句子间的上下文关系；
所述生成模块，用于根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
在一些实施例中，所述生成模块，用于利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
在一些实施例中，相应训练样本集包括：至少一个样本数据和每个所述样本数据对应的标签；
所述生成模块，用于将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行模型微调，得到所述情绪分析模型。
需要说明的是：上述实施例提供的情感分析装置在实现相应情感分析方法时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将服务器的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与相应方法的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图4为本发明实施例提供的另一种情感分析装置的结构示意图，如图4所示，所述装置40包括：处理器401和用于存储能够在所述处理器上运行的计算机程序的存储器402；所述处理器401用于运行所述计算机程序时，执行：获取待检测数据；运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
在一实施例中，所述处理器401还用于运行所述计算机程序时，执行：根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
在一实施例中，所述处理器401还用于运行所述计算机程序时，执行：获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
在一实施例中，所述处理器401还用于运行所述计算机程序时，执行：获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
以及，运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；根据所述至少一个异常投诉录音数据，生成第二训练样本集；其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
在一实施例中，所述处理器401还用于运行所述计算机程序时，执行：根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
在一实施例中，所述处理器401还用于运行所述计算机程序时，执行：利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
在一实施例中，所述处理器401还用于运行所述计算机程序时，执行：将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行模型训练，得到所述情绪分析模型。
实际应用时，所述装置40还可以包括：至少一个网络接口403。所述装置40中的各个组件通过总线系统404耦合在一起。可理解，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统404。其中，所述处理器401的个数可以为至少一个。网络接口403用于装置40与其他设备之间有线或无线方式的通信。
本发明实施例中的存储器402用于存储各种类型的数据以支持装置40的操作。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DSP，DiGital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器401可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，装置40可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器运行时，执行：获取待检测数据；运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
在一实施例中，所述计算机程序被处理器运行时，执行：根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
在一实施例中，所述计算机程序被处理器运行时，执行：获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
在一实施例中，所述计算机程序被处理器运行时，执行：获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
以及，运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；根据所述至少一个异常投诉录音数据，生成第二训练样本集；其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
在一实施例中，所述计算机程序被处理器运行时，执行：根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
在一实施例中，所述计算机程序被处理器运行时，执行：利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
在一实施例中，所述计算机程序被处理器运行时，执行：将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行模型训练，得到所述情绪分析模型。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种情感分析方法，其特征在于，所述方法包括：
获取待检测数据；
运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述待检测数据反映的用户情绪获取目标文本；所述目标文本包括至少一种情绪等级和每种所述情绪等级对应的文本内容；
将所述待检测数据与所述目标文本进行相似度计算，得到相似度结果；所述相似度结果包括所述待检测数据与每种所述情绪等级对应的文本内容的相似度；
根据所述相似度结果对所述待检测数据对应的用户情绪进行分级，得到目标用户情绪。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：生成所述情绪分析模型；所述生成情绪分析模型，包括：
获取第一训练样本集，根据所述第一训练样本集确定文本关键词；
获取第二训练样本集，基于所述文本关键词、所述第一训练样本集和所述第二训练样本集预训练目标模型，得到所述预训练模型；
根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型。
4.根据权利要求3所述的方法，其特征在于，所述获取第一训练样本集，包括：
获取至少一个历史的用户和装维人员的对话数据，作为所述第一训练样本集；
所述获取第二训练样本集，包括：
运用异常检测模型，从投诉录音数据集中获取至少一个异常投诉录音数据；
根据所述至少一个异常投诉录音数据，生成第二训练样本集；
其中，所述投诉录音数据集，包括：至少一个投诉录音数据。
5.根据权利要求3所述的方法，其特征在于，相应训练样本集包括：至少一个样本数据；每个所述样本数据包括：句子对、以及所述句子对中被隐藏的词、被替换的词和/或保持不变的词；所述句子对存在句子间的上下文关系；
所述基于所述文本关键词、所述第一训练样本集和第二训练样本集预训练目标模型，得到所述预训练模型，包括：
根据每个所述样本数据，生成目标格式的第一序列；所述目标格式的第一序列包括：汇总标记、第一句子、间隔标记、第二句子；
对所述第一序列中的关键词进行整词隐藏，并对所述第一序列中除所述关键词外的其他词进行随机隐藏，得到隐藏后序列，作为第二序列；所述关键词基于所述文本关键词确定；
根据所述第二序列，生成第一向量；
按照目标任务，根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，得到所述预训练模型；
其中，所述目标任务包括对被掩藏、被替换为任意词和/或保持不变的词进行预测；
所述预测结果，包括：预测的被隐藏的词、被替换的词和/或保持不变的词；
所述学习目标，包括：所述句子对中被隐藏的词、被替换的词和/或保持不变的词。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，包括：
利用预设注意力机制，获得所述第一向量中每个字在不同语义空间下的增强语义向量，并将所述第一向量中每个字对应的多个增强语义向量进行线性组合，获与所述第一向量长度相同的第二向量；所述第二向量为对所述第一向量增强语义后的向量；
按照目标任务，利用所述第二向量输出的预测结果和所述样本数据对应的学习目标之间的损失优化所述目标模型，以获取所述预训练模型。
7.根据权利要求3所述的方法，其特征在于，相应训练样本集包括：至少一个样本数据和每个所述样本数据对应的标签；
所述根据所述第一训练样本集和/或所述第二训练样本集对所述预训练模型进行微调，得到所述情绪分析模型，包括：
将至少一个样本数据和每个所述样本数据对应的标签输入所述预训练模型进行微调，得到所述情绪分析模型。
8.一种情感分析装置，其特征在于，所述装置包括：
获取模块，用于获取待检测数据；
处理模块，用于运用预设的情绪分析模型识别所述待检测数据，得到识别结果；所述识别结果表征所述待检测数据反映的用户情绪；
其中，所述情绪分析模型通过对预训练模型进行微调得到；所述预训练模型根据关键词隐藏任务进行预训练得到。
9.一种情感分析装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202110124451.6A 2021-01-29 2021-01-29 一种情感分析方法、装置和存储介质 Pending CN114911922A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110124451.6A CN114911922A (zh) 2021-01-29 2021-01-29 一种情感分析方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124451.6A CN114911922A (zh) 2021-01-29 2021-01-29 一种情感分析方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN114911922A true CN114911922A (zh) 2022-08-16

Family

ID=82760771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124451.6A Pending CN114911922A (zh) 2021-01-29 2021-01-29 一种情感分析方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114911922A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392259A (zh) * 2022-10-27 2022-11-25 暨南大学 一种基于对抗训练融合bert的微博文本情感分析方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392259A (zh) * 2022-10-27 2022-11-25 暨南大学 一种基于对抗训练融合bert的微博文本情感分析方法及系统

Similar Documents

Publication Publication Date Title
CN112084337B (zh) 文本分类模型的训练方法、文本分类方法及设备
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN110580292B (zh) 一种文本标签生成方法、装置和计算机可读存储介质
CN107315737B (zh) 一种语义逻辑处理方法及系统
CN106328147B (zh) 语音识别方法和装置
CN112270196B (zh) 实体关系的识别方法、装置及电子设备
CN110414004B (zh) 一种核心信息提取的方法和系统
Lin et al. A post-processing method for detecting unknown intent of dialogue system via pre-trained deep neural network classifier
Chen et al. GOLD: Improving out-of-scope detection in dialogues using data augmentation
CN111462752B (zh) 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法
CN112632226A (zh) 基于法律知识图谱的语义搜索方法、装置和电子设备
Liu et al. Open intent discovery through unsupervised semantic clustering and dependency parsing
Yordanova et al. Automatic detection of everyday social behaviours and environments from verbatim transcripts of daily conversations
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN114676346A (zh) 新闻事件处理方法、装置、计算机设备和存储介质
CN114547303A (zh) 基于Bert-LSTM的文本多特征分类方法及装置
CN113515593A (zh) 基于聚类模型的话题检测方法、装置和计算机设备
Hu et al. Emotion prediction oriented method with multiple supervisions for emotion-cause pair extraction
CN114911922A (zh) 一种情感分析方法、装置和存储介质
KR102113773B1 (ko) 대화 인지를 위한 규칙 생성 방법, 규칙 기반의 추론 방법 및 그 방법이 적용된 장치
CN115640375A (zh) 专利文献中的技术问题抽取方法及相关设备
CN115512692A (zh) 语音识别方法、装置、设备及存储介质
CN115203206A (zh) 数据内容搜索方法、装置、计算机设备及可读存储介质
CN114610882A (zh) 一种基于电力短文本分类的异常设备编码检测方法和系统
KR102106250B1 (ko) 대화 인지를 위한 규칙기반의 사용자 의도 추론 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination