CN114492421A - 一种情绪识别方法、存储介质、装置及终端设备 - Google Patents

一种情绪识别方法、存储介质、装置及终端设备 Download PDF

Info

Publication number
CN114492421A
CN114492421A CN202011263431.9A CN202011263431A CN114492421A CN 114492421 A CN114492421 A CN 114492421A CN 202011263431 A CN202011263431 A CN 202011263431A CN 114492421 A CN114492421 A CN 114492421A
Authority
CN
China
Prior art keywords
vertex
text
dialog
emotion
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011263431.9A
Other languages
English (en)
Other versions
CN114492421B (zh
Inventor
曹源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202011263431.9A priority Critical patent/CN114492421B/zh
Publication of CN114492421A publication Critical patent/CN114492421A/zh
Application granted granted Critical
Publication of CN114492421B publication Critical patent/CN114492421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种情绪识别方法、存储介质、装置及终端设备，方法包括：获取待识别的对话集，其中，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签；针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征；根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。本发明在进行对话的情绪识别时，对话人每句话的心理特征，以及对话人之间的相互影响，构建对话图，因此能够更准确地分析每句对话的情绪。

Description

一种情绪识别方法、存储介质、装置及终端设备
技术领域
本发明涉及人工智能，特别涉及一种情绪识别方法、存储介质及终端设备。
背景技术
随着深度学习的不断发展，基于深度学习实现的人机对话在多个领域实现了普遍应用，例如现在很多手机语音助手、医疗助理，他们能够实现初步的语言交互或问答，并取得了较好的效果，为用户提供更加快捷和贴心的服务。目前主流的人机交互是采用通常采用卷积神经网络(Convolutional Neural Networks，CN)、循环神经网络(RecurrentNeural Network,RNN)以及它们的变体，长短期记忆(Long Short-Term Memory,LSTM)、门控循环单元(Gated Recurrent Unit,GRU)等，传统端到端深度神经网络模型识别语句，然后对其进行情绪和意图的识别，并作出相应的应答。
然而，目前的人机对话仍然处于识别非常粗糙的阶段，虽然能够进行简单的意图识别和情感识别。如某句话为“我实在太喜欢这首歌了”，模型根据关键词“喜欢”即可判断这句话的情感是喜欢。但是对于复杂的，甚至需要结合上下对话才可判断的情感，目前的模型仍然无法很好地识别。而对话中的情绪识别之所以困难，主要原因是大多数情况下，对话是动态的，是基于对话者之间的语言的来往实现的。因此，对话者由于其自身的性格、思维逻辑以及对话者之间的相互关系的影响，有时会采用特别的话术，如讽刺、欲扬先抑、正话反说。此外，在对话过程中，语言会对对话者的内心产生一定的情绪波动，从而导致每句话带有的情绪不同，这种不同可能是说话者的心理状态造成的，也可能是对话内容造成的。也正是由于每个人自身的多变性，导致目前的人机对话中的算法很难对语句中的情绪进行准确的识别。目前这些算法普遍存在以下问题：1、对话者的情绪识别准确率不高；2、不能准确判断对话者情绪的转变；3、不能准确识别对话者采用的反语、讽刺等话术；4、在复杂的多人多轮对话场景中语义理解和情绪识别能力不佳，使得现有对话机器人回答问题时普遍比较生硬，不够自然，不富有情感。
发明内容
本发明要解决的技术问题在于，针对现有技术中情绪识别的准确性低的技术问题，提供一种情绪识别方法。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种情绪识别方法，所述方法包括：
所述情绪识别方法，其中，获取待识别的对话集，其中，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签；
针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征；
根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。
所述情绪识别方法，其中，所述针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征，具体包括：
针对每一个所述文本子集中的对话文本，对该对话文本进行向量化，得到该文本子集对应的文本向量子集；
针对每一个文本向量子集，将该文本向量子集输入已训练的心理特征提取模型中，得到该文本向量子集对应的心理特征。
所述情绪识别方法，其中，所述针对每一个所述文本子集中的对话文本，对该对话文本进行向量化，得到该文本子集对应的文本向量子集，具体包括：
针对每一个所述文本子集中的对话文本，将该对话文本分词，生成包含多个字符串的分词序列；
对所述分词序列中的各个字符串进行向量化，生成字符串向量；
根据所述字符串向量在所述分词序列中对应的顺序，对所述字符串向量进行排序，生成该对话文本对应的文本向量；
根据各个所述对话文本对应的对话人标签，对所述文本向量进行分组，生成与各个所述文本子集对应的文本向量子集。
所述情绪识别方法，其中，所述心理特征提取模型的训练过程具体包括：
获取训练文本向量集，其中，所述训练文本向量集包含多个训练文本向量子集，所述训练文本向量子集包含对应同一人物标签的多个训练文本向量；
针对每一个训练文本向量子集，将该训练文本向量子集输入预设的自编码模型，得到该训练文本向量子集对应的第一预测结果；
根据所述训练文本向量子集对应的心理标注信息以及所述第一预测结果，确定所述训练文本向量集对应的第一损失值；
基于所述第一损失值，对所述自编码模型进行训练，以得到所述心理特征提取模型。
所述情绪识别方法，其中，所述心理特征提取模型包括逻辑特征提取模型和性格特征提取模型；所述心理特征包括逻辑特征和性格特征；所述针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征，具体包括：
针对每一个文本向量子集，将该文本向量子集输入已训练的逻辑特征提取模型中，得到该文本向量子集对应的逻辑特征；以及，
将该文本向量子集输入已训练的性格特征提取模型中，得到该文本向量子集对应的性格特征。
所述情绪识别方法，其中，所述根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征，具体包括：
根据各个所述对话文本之间的情绪影响关系，对所述对话集中各个对话文本对应的文本向量和心理特征进行图数据化，生成与所述对话集对应的处理对话图；
将所述处理对话图输入已训练的对话图卷积模型中，得到所述对话图卷积模型输出的各个文本向量对应的情绪特征；
根据所述文本向量与所述对话文本的对应关系，确定各个所述对话文本对应的情绪特征。
所述情绪识别方法，其中，所述处理对话图的结构包括顶点和边；所述根据各个所述对话文本之间的情绪影响关系，对所述对话集中各个对话文本对应的文本向量和心理特征进行图数据化，生成与所述对话集对应的处理对话图，具体包括：
将所述文本向量子集中，与各个对话文本对应的文本向量作为各个顶点的初始顶点特征，遍历各个顶点，并根据预设的情绪影响规则，判断当前遍历的顶点与该顶点以外的顶点之间是否存在情绪影响关系；
针对每一个当前遍历的顶点，若该顶点与该顶点以外的顶点之间存在情绪影响关系，则将该顶点进行自连，并将该顶点与存在情绪影响关系的顶点进行连接，生成该顶点对应的边，直至遍历结束，生成初始对话图；
将所述顶点对应的心理特征作为对应的边特征，并将所述顶点之间的连接作为对应的边，对所述初始对话图中所述顶点的各个边进行加权，生成处理对话图。
所述情绪识别方法，其中，所述情绪影响关系包括自影响关系和旁影响关系；
所述情绪影响规则包括：当两个顶点对应的文本向量对应同一对话人标签时，确定两个顶点之间存在自影响关系；当两个顶点对应的文本向量对应的对话文本之间存在语序先后关系时，确定两个顶点之间存在旁影响关系。
所述情绪识别方法，其中，所述边为有向边，从所述边的出发顶点指向结束顶点，并且所述边的边特征由所述结束顶点对应的心理特征确定。
所述情绪识别方法，其中，所述边特征为根据所述顶点对应的心理特征确定的出发顶点和结束顶点之间连接关系强弱的权重值；所述对话图卷积模型的训练过程具体包括：
获取训练对话图集，其中，所述训练对话图集包括多个训练对话图，所述训练对话图包括训练顶点和训练边；
针对每一个训练对话图，将该训练对话图输入预设的图卷积模型，得到该训练对话图对应的第二预测结果；
根据所述训练对话图对应的情绪标注信息以及所述第二预测结果，确定所述训练对话图集对应的第二损失值；
基于所述第二损失值，对所述图卷积模型进行训练，得到所述对话图卷积模型。
所述情绪识别方法，其中，所述对话图卷积模型包括图卷积层；所述将所述处理对话图输入已训练的对话图卷积模型中，得到所述对话图卷积模型输出的各个文本向量对应的情绪特征，具体包括：
将所述处理对话图输入所述图卷积层，得到所述图卷积层输出的结果对话图；
基于所述结果对话图，确定各个顶点对应的情绪特征；
根据所述顶点与所述文本向量的对应关系，以及所述顶点对应的情绪特征，确定所述文本向量对应的情绪特征。
所述情绪识别方法，其中，所述图卷积层包括聚合层和拼接层；所述将所述处理对话图输入所述图卷积层，得到所述图卷积层输出的结果对话图，具体包括：
将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图；
将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一拼接对话图；
将所述拼接层输出的拼接对话图作为处理对话图，重复执行输入所述聚合层和所述拼接层，并得到所述拼接层输出对应的拼接对话图，直至执行次数与预设的卷积次数相等，得到所述拼接层输出的第N拼接对话图，其中，所述N为与所述卷积次数相等的正数；
将所述拼接层输出的所有拼接对话图作为结果对话图并输出。
所述情绪识别方法，其中，所述将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图，具体包括：
将所述处理对话图输入所述聚合层，所述聚合层对所述处理对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，其中，所述第一领域信息包括该顶点的顶点特征，与该顶点对应的第一邻居顶点之间的边的边特征，以及所述第一邻居顶点的顶点特征，所述第一邻居顶点为与该顶点之间存在一条边连接的顶点；
当遍历结束时，所述聚合层根据所述聚合顶点特征，对所述处理对话图中对应的各个顶点的顶点特征进行更新，生成第一聚合对话图并输出。
所述情绪识别方法，其中，所述对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，具体包括：
将该顶点对应的边、与该边对应的第一邻居顶点的顶点特征以及该顶点的顶点特征作为待运算向量，并对所述待运算向量进行点积运算，生成每一个顶点的聚合顶点特征。
所述情绪识别方法，其中，所述将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一拼接对话图，具体包括：
将所述第一聚合对话图输入所述拼接层，所述拼接层对所述第一对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，其中，所述第二领域信息包括该顶点对应第二邻居顶点的顶点特征；
当遍历结束时，所述拼接层根据所述拼接顶点特征，对所述聚合对话图的各个顶点的顶点特征进行更新，生成结果对话图并输出。
所述情绪识别方法，其中，所述对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，具体包括：
计算该顶点对应的第二邻居顶点的顶点特征的均值，并将所述均值作为该顶点的拼接顶点特征。
所述情绪识别方法，其中，所述情绪识别方法还包括：
针对每一个当前遍历的顶点，根据该顶点对应的心理特征，确定该顶点对应的状态类型，其中，所述状态类型包括稳定状态和易变状态。
所述情绪识别方法，其中，当该顶点对应的状态类型为稳定状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接的顶点；当该顶点对应的状态类型为易变状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接且不为该顶点本身的顶点。
所述情绪识别方法，其中，所述性格特征包括稳定性格和易变性格，所述逻辑特征包括逻辑强和逻辑弱；所述根据该顶点对应的心理特征，确定该顶点对应的状态类型，具体包括：
若该顶点对应的性格特征为稳定性格，则确定该顶点对应的状态类型为稳定状态；
若该顶点对应的性格特征为易变性格，则判断该顶点对应的逻辑特征是否为逻辑强；
若该顶点对应的逻辑特征为逻辑强，则确定该顶点对应的状态类型为稳定状态；
若该顶点对应的逻辑特征为逻辑弱，则确定该顶点对应的状态类型为易变状态。
所述情绪识别方法，其中，所述对话图卷积模型还包括全连接层和分类器，所述基于所述结果对话图，确定各个顶点对应的情绪特征，具体包括：
所述全连接层对各个结果对话图中的同一顶点进行特征融合，生成各个顶点的目标顶点特征；
针对每一个所述顶点，所述分类器基于该顶点对应的目标顶点特征，确定该顶点对应的情绪特征。
所述情绪识别方法，其中，所述针对每一个所述顶点，所述分类器基于该顶点对应的目标顶点特征，确定该顶点对应的情绪特征，具体包括：
针对每一个所述顶点，所述分类器根据该顶点对应的目标顶点特征，计算该顶点为各个预设的情绪类别对应的情绪概率值，并将对应所述情绪概率值中最大值的情绪类别作为该顶点对应的情绪特征。
所述情绪识别方法，其中，所述方法还包括：
当所述性格特征为易变性格时，判断所述对话文本中是否与预设的特殊话术特征词存在匹配；
若是，则将与所述特殊话术特征词存在匹配的对话文本标记为特殊话术文本。
一种情绪识别装置，所述装置包括：
获取模块，用于获取待识别的对话集，其中，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签；
心理特征模块，用于针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征；
情绪特征模块，用于根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的情绪识别方法中的步骤。
一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的情绪识别方法中的步骤。
本发明提供了一种情绪识别方法。首先获取待进行情绪识别的对话集，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签，也就是同一个文本子集中的对话文本都是同一个对话人说出的话语。由于心理特征是每一个对话人稳定的特征，因此，根据同一对话人标签对应的对话文本，也就是文本子集，可提取每一个对话人的心理特征。而心理特征具备指导对话人行为和对话的功能。因此根据每一个对话文本对应的心理特征，对每一个对话文本进行情绪识别。心理学上认为情绪的转移、突变等，通常与对话人的心理特征有关，因此在确定对话人的心理特征的基础上进行情绪识别，能够有效提高对对话人每句对话的情绪识别的准确性。
附图说明
图1为传统的情绪识别模型。
图2为本发明提供的情绪识别方法的流程图。
图3为本发明提供的情绪识别方法的情绪识别模型训练过程的框架示意图。
图4为本发明提供的情绪识别方法中情绪识别模型的框架图。
图5为本发明提供的情绪识别方法中的对话图的示意图。
图6为本发明提供的情绪识别方法中卷积算法的示意图。
图7为本发明提供的情绪识别方法中的推理流程。
图8为本发明提供的情绪识别方法的情绪识别的对话集及输出的情绪特征。
图9为本发明提供的情绪识别装置的功能模块示意图；
图10为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种情绪识别方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，如图1所示，已知技术方案在对话建模过程中，普遍采用顺序方法对每一句对话建模。但是这种语句顺序建模难以应对复杂的多人对话场景，例如：在一连串对话语句序列中，第三个对话人的某一句话可能是对第一个对话人早前一句话的应答，而在此期间，插入了了若干句其他对话参与者的对话语句。另外，传统顺序建模方法难以提取对话中更丰富的语义信息，不能识别对话者的情绪突变或转移，不能识别特殊话术，如反语和讽刺。因此对于对话的情绪识别还有待提高。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
如图2所示，本实施提供了一种情绪识别方法，所述方法可以包括以下步骤：
S10、获取待识别的对话集。
具体地，情绪识别程序先获取待进行情绪识别的对话集。所述对话集可预先存在本地，也可以是通过无线或有线通讯接收到的。所述对话集来源可包括通过爬虫在网络上收集到的对话数据，也可以对话人之间传输对话内容时保存的，还可以是对话人直接通过语音对话时，将音频转换为文本得到的等等，在此不一一列举。其中，一个对话集都是来源于同一对话场景的对话文本，本实施例以根据对话人的语音对话进行对话集的采集为例进行简单说明。
所述情绪识别程序安装于智能手机为代表的终端设备上。当对话人开启了所述情绪识别程序时，智能手机的麦克风开启，对环境进行音频采集，并将音频文件保存。由于每一句对话之间都存在一定的时间间隔，因此，根据所述音频文件中人声之间的时间间隔，将所述音频文件分割，得到对话数据，并按照时间的先后顺序，在所述对话数据上贴上对话顺序的标签，如第一句对话标记U1，第二句对话标记为U2。由于每一个人的声纹特征存在差异，因此，根据对话人之间的声纹特征，将所述对话数据进行区分，并贴上不同的对话人标签，以进行说话人的区分。在对话集中，将对应同一对话人标签，即同一个对话人说的话，放在同一个文本子集中。因此，所述对话集包括若干文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签。在本实施例中，对话人有两个，分别以P1和P2表示，若第一句话为P1所说，则将第一个对话数据标记为P1-U1。最后将每一个对话数据的音频转换为文本形式，得到多个对话文本。
在本实施例中，以下述一个对话集进行实施的描述：
P1：你看上心情不太好。(U1)
P2：我觉得我不适合这份工作。(U2)
P1：我猜你是没有努力尝试。(U3)
P2：三年来，我尝试了很多次。(U4)
P1：或许你不够聪明。(U5)
P1：继续努力吧。(U6)
P2：我很聪明，我可以做。我只是不知道如何在别人面前表现出来。(U7)
其对应的对话人标签有两个，P1和P2，因此可将所述对话集中的对话文本分成两组，得到文本子集。其中，一个文本子集中包含U1、U3、U5和U6，另一个文本子集包含U2、U4和U7。最后生成由多个文本子集组成的对话集。值得注意的是，除常规意义上的人之外，对话人还可包括机器，例如现在大多数手机终端上都安装有语音助手，用户和语音助手之间的交流产生的对话文本也可集合为一个对话集。
S20、针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征。
具体地，所述心理特征是指根据心理学理论，在对话过程中对对话人产生心理作用的特征，例如内向或外向、情绪稳定或易变、逻辑性强和逻辑性弱。
在人和人对话过程中，常常采用一定的话术进行。话术一般指人的对话技巧，针对对方的话，采用合适的语句回答。而特殊话术是指对话人采用讥笑、讽刺等带有负面情绪的语句进行对话。例如某对话集第一个对话文本为“我今天很开心”，第二个对话文本为“有什么可开心的？”，第二个对话文本若按照一般话术来理解，只是询问第一个对话人开心的原因，但是按照特殊话术理解，则可能是在讥讽。从心理学角度，情绪的转移、突变以及讽刺等特殊话术的表达，通常与说话者的性格特征和思维逻辑有关系。例如对话人P1是一个情绪稳定的人，那么来源于他的对话文本中的情绪是稳定的，他的第一句话和最后一句话之间在逻辑上不仅仅联系紧密，而且所蕴含的情绪是较为稳定的，第一句话情绪为中立，最后一句话的情绪很大概率也是中立。而情绪易变的对话人在对话过程中更容易出现情绪转变、情绪突变、大起大落等现象。因此本实施例中，先根据所述文本向量子集进行心理特征的提取，以在后续对文本向量进行情绪识别的时候，能够给予不同的对话人或不同对话文本所带有的心理特征，进行更深度的解析，从而能够准确识别对话人的情绪。
针对每一个文本子集，由于该文本子集中的对话文本都来源于同一个对话人，因此可得到稳定的心理特征的。因此，可根据同一文本子集中所有的对话文本，确定该文本子集所对应的心理特征。如果预设了多个心理特征，可采用基于监督学习的分类方法，将同一文本子集中所有的对话文本作为输入值，再基于预设的多个心理特征，确定该文本子集所对应的心理特征。
由于同一文本向量子集中各个文本向量来源于同一的文本子集，因此，可以根据一个文本向量子集中各个文本向量确定该文本向量子集对应的文本子集的心理特征。这样便可根据所述文本子集中的各个对话文本所对应的心理特征。例如文本向量子集对应的性格特征为A型、逻辑特征为强，则该文本向量子集对应的文本子集中的各个对话文本对应的心理特征为性格特征为A型、逻辑特征为强。进一步地，步骤S20包括：
A10、针对每一个所述文本子集中的对话文本，对该对话文本进行向量化，得到该文本子集对应的文本向量子集。
具体地，由于所述文本子集中的对话文本是以文本的形式进行保存，而程序需要对其进行处理，需要将其转换为计算机可识别的语言，因此需要将对话文本转换为向量的形式。首先将对话文本进行分词，生成由多个字符串组成的分词序列，用于表示该对话文本，如将对话文本“你看上心情不太好”分词，生成的分词序列为“你、看上去、心情、不太好”。然后将分词序列中的每一个字符串通过一定的算法，转换为向量形式，从而生成字符串向量。由于对话文本是由一个个字符串组成的，因此将所有的字符串向量按照在对话文本中出现的先后顺序排列成矩阵，从而可生成对话文本的文本向量。然后根据所述文本向量与所述对话人标签之间的对应关系，从而将文本向量进行归类，从而生成与所述文本子集对应的文本向量子集。
进一步地，步骤A10包括：
A11、针对每一个所述文本子集中的对话文本，将该对话文本分词，生成包含多个字符串的分词序列。
具体地，首先，分词是指将对话文本分割成最小的语音表达单位。中文和英文在语言结构上存在很大的区别，英文中的每一个单词都具有其特定含义，例如“apple”就是指苹果，但是中文往往需要以两个字、三个字，甚至四个字，才能体现其含义，“苹”和“果”只有以词的形式存在才能知道其指代的含义。因此在分词时，若语句是英文，可以以单词作为分词结构，但是中文需要通过一定的算法才可实现。
常见的中文分词方法有基于词典的分词方法和基于统计的分词方法。基于词典的分词方法是先通过爬虫等方式，建立一个广大的词库，然后根据一定的策略扫描语句中的句子。若语句中的某个字符串与词库中的某个词匹配，则根据匹配到的词对该语句进行分词。扫描策略一般有正向最大匹配、逆向最大匹配、双向最大匹配和最少词数分词等方法。基于统计的分词方法是从大量已经分好的词的文本中，利用统计学习方法来学习词的切分规律，从而实现对未知文本的切分。常见的基于统计的分词方法有隐马尔科夫模型(HiddenMarkov Model，HMM)、条件随机场(Conditional Random Fields，CRF)和基于深度学习的分词方法。
本实施例以CRF模型为例，对中文形式的对话文本分词进行简单的描述。CRF实质上是对序列进行标注，将对语句的分词问题转换为了对字的分类问题。一般设置有四个词位，也就是字的类别，词首(Beginning，B)、词中(Middle，M)、词尾(Ending，E)和单字成词(Single，S)。预先通过大量已经标注了词位的语料对CRF模型进行训练，得到分词模型，然后将所述对话文本输入所述分词模型，然后对每一个字分得不同词位后整个句子标注正确的概率值，当该概率值大于预设的概率阈值时，将每个字及其对应的词位输出。如上述对话文本“我觉得我不适合这份工作”，分词后可得到“我【S】”“觉【B】”“得【E】”“不【S】”“适【B】”“合【E】”“这【B】”“份【E】”“工【B】”“作【E】”。根据每个字对应的词位，可将待识别语句分为“我”、“觉得”、“我”、“不”、“适合”、“这份”和“工作”这些字符串，将这些字符串按照在所述对话文本中的对应顺序排列，生成所述分词序列。
A12、对所述分词序列中的各个字符串进行向量化，生成字符串向量。
具体地，机器是无法识别文字的，所有对文字的识别和计算都是将其转换为计算机语言实现的，最底层就是二进制的数据，而直接将待识别语句分词后的得到的目标词转换为二进制数据，也就是0和1，这也就是早期的独热(one-hot)算法的原理。但是实际生活中运用到词非常多，转换后的二进制数据会非常稀疏且长，也无法体现每个词之间的关系，故本实施例采用词嵌入的方式。
词嵌入(word embedding)是指将词转换为一种分布式表示，又称为词向量，常用的算法有共现矩阵、奇异值分解、Word2vec、双向变换模型的编码器(BidirectionalEncoder Representation from Transformer，Bert)等。他们的基本原理都是通过训练，将每个词，在本实施例中即指上文的字符串，映射到一个较短的向量上，因此一句话可以用多个词的向量构成的向量空间表示，并进一步根据这个向量空间来计算各个词之间，也就是向量之间，的关系。例如预先设置算法中的词向量的维度有两个，分别是“地点”和“时间”，输入的数据为“英国”、“下午”和“法国”对应的二进制数据，输出的词向量分别为【0.9，0.2】、【0.3，0.9】和【0.89，0.2】，因此在同一纬度下，数值0.9与0.89接近，因此“英国”和“法国”关系紧密，而0.2与0.9距离较远，因此“英国”“法国”都与“下午”关系较远。
本实施例以连续词袋模型(Continuous bag of words，CBOW)模型为例进行实施描述。CBOW模型是将某句话中特定词遮挡住，然后根据其他词来推测这个词的词向量。其中，采用哈夫曼(Huffman)树构建分类器。Huffman树由节点和路径构成，每一个节点之间通过路径连接，在节点中还被赋予一个非负的值，即权重，多个节点所共同连接的节点被称为根节点，从根节点到某一节点的带权路径长度即从根节点到该节点的路径长度与该节点权的乘积。如根节点与目标节点之间隔着一个节点，目标节点的权重为1，则从根节点到目标节点的带权路径长度为1x2＝2。而Huffman树的定义为给定n权值作为n个叶子节点构建一棵二叉树，若这棵二叉树的带权路径长度达到最小，则称这样的二叉树为最优二叉树，又称为Huffman树。
首先根据独热算法，将所述字符串转换为二进制数据的二进制向量。然后将某一二进制词向量遮挡，如上述语句中的“觉得”对应的二进制词向量被遮挡，然后将其他目标词的二进制向量输入CBOW模型的输入层中。由COBW模型的中间层对所有输入的二进制向量进行累加得到中间向量，再将中间向量输入哈夫曼树的根节点，根节点将其分到左子树或右子树，每个非叶节点都会对中间向量进行分类，直到达到某个叶节点。由于Huffman树是带权路径长度最小的二叉树，因此可将其作为对应的词作为该语句中最可能出现的词，该叶节点所对应的向量即对输入的字符串的预测向量。通过CBOW模型，将所有的字符串都进行预测，从而得到每个字符串的对应的字符串向量。
A13、根据所述字符串向量在所述分词序列中对应的顺序，对所述字符串向量进行排序，生成该对话文本对应的文本向量。
具体地，由于所述对话文本中的每个字符串都转换为字符串向量的形式，因此将来源于同一对话文本的字符串向量进行排序，可生成用以表示所述对话文本的文本向量。预先设置一个空白矩阵，矩阵大小可根据用户需求设定，例如2x2。所述对话文本为“我觉得”，“我”的字符串向量为【0.8，0.3】，“觉得”的字符串向量为【0.5,0.7】，这两个词的字符串向量按照在所述对话文本的先后顺序，依次写入所述空白矩阵中，从而得到一个向量矩阵，也就是所述对话文本对应的文本向量。空白矩阵的大小一般与预设的维度的数量和字符串向量的数量有关，一般输入模型前或输入模型后，对根据所述维度的数量，将所述矩阵中不足的部分用0补齐。
A14、根据各个所述对话文本对应的对话人标签，对所述文本向量进行分组，生成与各个所述文本子集对应的文本向量子集。
具体地，由于所述文本向量来源于所述文本子集，来源于同一文本子集的对话文本对应同一对话人标签，因此，可根据该对话人标签对所述文本向量进行分组。例如，将对应同一对话人标签的文本向量写入同一预设的空白数据集中，从而生成与所述文本子集对应的文本向量子集。
A20、针对每一个文本向量子集，将该文本向量子集输入已训练的心理特征提取模型中，得到该文本向量子集对应的心理特征。
具体地，所述心理特征提取模型的基础模型可以是文本分类的模型，例如Transformer(变换器)模型、长短期记忆模型。本实施例中，所述心理特征提取模型是基于Seq2Seq模型实现。Seq2seq属于编码器-解码器(encoder-decoder)结构的一种，一般是利用两个递归神经网络(Recurrent Neural Network，RNN)模型，一个RNN模型作为encoder(编码器)，一个RNN作为decoder(解码器)，encoder负责将输入序列压缩为指定长度的向量，这个向量可视为输入的序列的语义，因此也被称为语义向量。而decoder负责将语义向量，生成指定的序列。针对文本的特征提取，一般采用Seq2Seq模型中的自编码(AutoEncoder，AE)模型进行。AE模型的框架包含两个模块，编码过程和解码过程，整个结构可分为输入层、encoder层、特征提取层、decoder层和输出层。通过encoder层将输入样本x映射到特征空间z，从而实现编码，再通过decoder层将映射后得到的特征重新解码，得到重构样本x’。
进一步地，参阅图3，所述心理特征提取模型的训练过程具体包括：
A21、获取训练文本向量集，其中，所述训练文本向量集包含多个训练文本向量子集，所述训练文本向量子集包含对应同一人物标签的多个训练文本向量。
具体地，先获取大量的训练文本向量集，其中，所述训练文本向量集含多个训练文本向量子集。所述训练文本向量子集为代表同一对话人对应的多个训练文本向量，因此，所述训练文本向量子集包括多个训练文本向量且所述训练文本向量对应同一人物标签。获取所述训练文本向量集的方式可与上述获取对话集的方式相同，在此不再一一陈述，但由于所述人物文本子集的目的是为模型训练，因此不需要向所述对话集一样来源于同一对话场景，可包含多个对话场景。
A22、针对每一个训练文本向量子集，将该训练文本向量子集输入预设的自编码模型，得到该训练文本向量子集对应的第一预测结果。
具体地，一个人物标签代表一个人，因此，可采用人工确定所述人物标签所代表的人的心理特征，然后以此心理特征作为所述人物文本子集对应的标注内容，对所述人物文本自己进行标注，生成心理标注信息。
针对文本的特征提取，一般采用Seq2Seq模型中的自编码(AutoEncoder，AE)模型进行。AE模型的框架包含两个模块，编码过程和解码过程，整个结构可分为输入层、encoder层、特征提取层、decoder层和输出层。通过encoder层将输入样本x映射到特征空间z，从而实现编码，再通过decoder层将映射后得到的特征重新解码，得到重构样本x’。自动编码模型训练过程中是根据x与x’之间的损失值，学习特征空间z的过程。
RNN模型通过将长度补丁的输入分割为等长度的小块，然后再依次输入网络中，从而实现神经网络对变长输入的处理。但是同一句话不同的语法解析可能存在歧义，例如“所有男生和女生”可以被解析为“所有(男生和女生)”，也可被解析为“(所有男生)和女生”。因此为了让模型能够区分不同的意思，必须要按照一定的排列结构去处理信息，而非单纯的先后顺序。在本实施例中，由于输入的并非单个文本，而是将所述人物文本子集作为一个整体输入，每一个训练文本向量都是上文所述的“小块”，本实施例中为避免出现上述问题，采用AE模型中的递归自动编码器(Recursive AutoEncoder，RAE)作为上述心理特征提取模型的基础。类似于Huffman树的构造规程，它按照一定的合并规则逐渐合并两个节点，从而将所述人物文本子集构建为一定形状的递归树结构。
RAE包括有监督的RAE和无监督的RAE，本实施例中采用无监督的RAE进行实施描述，采用的合并规则为是选择误差最小的一对相邻节点来合并。如第一个节点对应的训练文本向量代表的语句为“今天天气很好”，第二个节点对应的训练文本向量代表的语句为“要及时收衣服”，第三个节点对应的训练文本向量代表的语句为“没有中奖”，将“今天天气很好”和“要及时收衣服”合并为第一父节点，并计算合并过程产生的重建误差e1，将“要及时收衣服”和“没有中奖”合并为第二个父节点，并计算合并过程中的重建误差e2，依次类推，直至所有的节点都被合并过。若重建误差e1小于e2，则将所述第一父节点作为RAE重建树的父节点，逐一合并，直至所有句子都被编码为一个向量，即encoder编码后的语义向量。
通过encoder将所述人物文本子集解码为一个语义向量后，可根据该语义向量进行情感分类。情感分类的算法包括支持向量机(Support Vector Machine，SVM)、逻辑回归、softmax分类器、高斯判别法等等。本实施例softmax进行实施描述，在RAE模型上进行扩展，encoder输出的语义向量还会输入至softmax中，假设预先设置分类的情感有K个类别，则softmax会输出该句子在归为每一个类型的概率值，并作为人物文本子集对应第一预测结果。
A23、根据所述训练文本向量子集对应的心理标注信息以及所述第一预测结果，确定所述训练文本向量集对应的第一损失值。
具体地，预先设置一个函数作为这个自编码模型的第一损失函数，根据预测结果的类型，可选用交叉熵损失函数、分类交叉熵函数作为第一损失函数。第一损失函数用于计算心理标注信息和第一预测结果之间的差距。将所述心理标注信息与所述第一预测结果代入所述第一损失函数中，可计算两者之间的第一损失值，并用所述第一损失值描述情感分类误差和重建误差。
A24、基于所述第一损失值，对所述自编码模型进行训练，以得到所述心理特征提取模型。
具体地，由于所述情感分类误差是递归树中的各个节点的误差和组成，而每一个非叶子节点的误差是由重建误差和情感分类的交叉熵误差加权求和构成。将所述第一损失值反向传播回所述自编码模型中，帮助RAE模型进行学习。
重复执行上述输入输出步骤，直至所述自编码模型收敛，常规模型收敛有两种，一种是设定第一训练次数阈值，一种是设定第一损失值阈值。前者是当所述自编码模型训练次数与预设的第一训练次数阈值相等时，停止训练，并将此时的自编码模型作为所述心理特征提取模型。后者是当所述自编码模型输出的第一预测结果与所述第一标注信息之间的第一损失值小于所述第一损失值阈值，则停止训练，并将此时的自编码模型作为所述心理特征提取模型。
进一步地，所述心理特征提取模型包括逻辑特征提取模型和性格特征提取模型；所述心理特征包括逻辑特征和性格特征。如图4所示，步骤A20包括：
针对每一个文本向量子集，将该文本向量子集输入已训练的逻辑特征提取模型中，得到该文本向量子集对应的逻辑特征；以及，将该文本向量子集输入已训练的性格特征提取模型中，得到该文本向量子集对应的性格特征。
具体地，在所述自编码模型的训练过程中，根据对所述人物文本子集标注的心理特征不同，可将训练生成的心理特征提取模型分为逻辑特征提取模型和性格特征提取模型。例如在对所述自编码模型的训练过程中，所述人物文本子集标注内容为逻辑强或逻辑弱。将所述人物文本子集输入所述自编码模型，所述自编码模型提取所述人物文本子集的语义特征，然后将所述语义特征输入分类器中，所述分类器根据所述语义特征，计算所述语义特征为逻辑强或逻辑弱的概率值，然后根据所述训练文本所对应标注的逻辑特征，对所述自编码模型中的特征空间进行学习，直至模型收敛，生成所述逻辑特征提取模型。如将上述文本向量子集作为人物文本子集，其第一标注信息可为：
<sentence id＝"1">你看上心情不太好。</sentence>
<sentence id＝"3">我猜你是没有努力尝试。</sentence>
<Person＝"P1"logic-1-type＝"逻辑强">
从心理学角度，情绪的转移或者突变，以及讽刺等特殊话术的表达，通常与说话者的性格特征和思维逻辑有关系，因此本实施例中性格特征提取模型所输出的性格特征是基于心理学中根据人际关系划分的多个类别。可粗放地分为稳定性格和易变性格，也可细致地划分为A、B、C、D、E五种，其中，A型性格情绪稳定,社会适应性及向性均衡，但智力表现一般,主观能动性一般,交际能力较弱；B型性格具有外向性的特点,情绪不稳定，社会适应性较差，遇事急躁,人际关系不融洽；C型性格具有内向性特点，情绪稳定，社会适应性良好，但在一般情况下表现被动；D型性格具有外向性特点,社会适应性良好或一般，人际关系较好,有组织能力；E型性格具有内向性特点，情绪易变，社会适应性较差或一般，不善交际，但往往善于独立思考，有钻研性。而逻辑特征提取模型中的逻辑特征分为逻辑强和逻辑弱两种。下表1和表2为心理学中情绪与说话人的性格特征、逻辑特征与说话人情绪易变型的关系表：
表1
Figure BDA0002775360320000201
表2
Figure BDA0002775360320000202
Figure BDA0002775360320000211
在本实施例中，所述逻辑特征提取模型和所述性格特征提取模型都是基于RAE模型训练得到的，但是除RAE模型外，AE模型还包括栈式自编码器(Stacked Autoencoders，SAE)等等，可根据需求和训练结果的好坏进行模型的调整，并不局限于RAE模型。此外，还可根据某些字符串所带有的较为明显的性格或逻辑特征，增加相关的注意力机制等。
S30、根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。
具体地，对对话文本进行情绪识别的方式有很多种，包括对话记忆网络、基于时序卷积网络的情感识别算法等等。确定各个对话文本对应的心理特征后，根据预先设置好的算法或模型，将所述对话集中各个文本子集和其对应的心理特征作为一个整体，输入已训练的算法或模型中，对其进行情绪识别，从而得到各个对话文本对应的情绪特征。
而常规的算法和模型都对单个对话文本和心理特征有较好的识别，但是对于基于交互而生成的对话文本，对话文本之间的关系以常规的数据形式较难体现出来，因此也难以识别。因此，本实施例中，对对话文本进行情绪识别采用基于说话者级别的对话图实现。
进一步地，步骤S40包括：
步骤B10、根据各个所述对话文本之间的情绪影响关系，对所述对话集中各个对话文本对应的文本向量和心理特征进行图数据化，生成与所述对话集对应的处理对话图。
具体地，对话文本所带有的情绪会对话的进行发生改变，如果基于整个对话集进行情绪识别，需要明确对话文本之间的关系，因此，本实施例采用基于对话图之间的情绪影响关系，将整个对话集作为对象，对其中的各个对话文本对应的文本向量和心理特征进行图数据化。在图论中，图的定义为G＝(V，E)，其中，V是指顶点(Vertex)，E是指边(Edge)，若所述对话图中顶点数量为N，边数量为M，则一条连接顶点vi和vj的边记为(vi,vj)或eij。一般将数据进行图数据化的常见方式有邻接矩阵(Adjacency Matrix)和关联矩阵(Incidencematrix)这两种。以邻接矩阵为例进行本实施例的实施描述。邻接矩阵用两个数组来表示图，一个一维的数组存储图中顶点的顶点特征，一个二维数组存储图中的边的边特征。而二维数组中，每一数值就是上述的eij，当两点顶点存在边时，eij＝1；当两个顶点不存在边时，eij＝0。二维数组除能表示顶点之间存在关联，还可通过数值的大小，对连接关系的强弱进行可视化，由于本实施例采用的连接关系是情绪影响关系，因此这里连接关系的数值可根据情绪影响关系的强弱以及是否存在进行调整。根据所述文本向量之间是否存在情绪影响，从而连边，并根据所述心理特征是否为容易受外界影响的心理特征，确定所述边的边特征，也就是eij的数值的大小，从而生成与所述对话集对应的处理对话图。在建立处理对话图的过程中，可先根据所述文本向量子集和所述文本向量子集中各个文本向量对对应的心理特征，构建多个对话子图(Sub-Graph)，然后再将不同的对话子图中的顶点进行连接，从而构建所述对话集对应的处理对话图。
进一步地，参阅图5，步骤B10包括：
步骤B11、将所述文本向量子集中，与各个对话文本对应的文本向量作为各个顶点的初始顶点特征，遍历各个顶点，并根据预设的情绪影响规则，判断当前遍历的顶点与该顶点以外的顶点之间是否存在情绪影响关系。
具体地，将每一个文本向量作为一个顶点的初始顶点特征，列为一个一维数组，作为对应顶点的初始顶点特征。然后按照一定顺序遍历各个顶点。遍历可按照对话的先后顺序进行。然后在遍历过程中，判断每一个遍历的顶点与该顶点以外的顶点，也就是其他顶点之间是否存在情绪影响关系。情绪影响关系的判断基于情绪影响规则实现，即判断其他顶点对应的对话文本是否对该顶点对应的对话文本产生情绪影响。
进一步地，为精确描述顶点和顶点之间的情绪影响关系，本实施例中，所述情绪影响关系包括自影响关系和旁影响关系。基于上述情绪影响关系，所述情绪影响规则包括：当两个顶点对应的文本向量对应同一对话人标签时，确定两个顶点之间存在自影响关系；当两个顶点对应的文本向量对应的对话文本之间存在语序先后关系时，确定两个顶点之间存在旁影响关系。
因此，所述情绪影响规则包括两种，一种是自影响关系规则，一种是旁影响关系规则。所述自影响关系规则主要是根据所述文本向量是否来源于同一对话人标签判断，若所述文本向量对应的对话人标签相同，则所述文本向量之间存在自影响关系。所述旁影响关系主要是根据所述文本向量对应的对话文本出现的先后顺序判断，若两个文本向量之间存在先后顺序，则所述文本向量之间存在旁影响关系，如本实施例中U1和U2。
步骤B12、针对每一个当前遍历的顶点，若该顶点与该顶点以外的顶点之间存在情绪影响关系，则将该顶点进行自连，并将该顶点与存在情绪影响关系的顶点进行连接，生成该顶点对应的边，直至遍历结束，生成初始对话图。
具体地，针对每一个当前遍历的顶点，若该顶点与该顶点以外的顶点之间存在情绪影响关系，则在预先设置的空白矩阵中，与所述文本向量对应的顶点之间的边特征的位置写入1，此外，若不存在，则在该位置写入0，或者在所有的1写完后，用0将空白区域填满，从而生成邻接矩阵中的二维数组。由于对话人本身说出的话，对其自身也会有影响，因此所述二维数组中，eii的值非零，从而将每一个顶点进行自连。完成对所述文本向量对应的顶点进行连接的工作，得到初始对话图。
步骤B13、将所述顶点对应的心理特征作为对应的边特征，对所述初始对话图中所述顶点的各个边进行加权，生成处理对话图。
具体地，所述对话人标签对应的心理特征的不同，所述对话文本之间的情绪特征的影响也有大有小，因此，将所述顶点对应的心理特征作为该顶点对应的边特征，对所述二维矩阵中，各个边所对应的数值进行更新，从而实现所述初始对话图中所述顶点的各个边进行加权，生成处理对话图。例如，所述顶点对应的对话人标签为P1，对应的心理特征为逻辑强，则所述顶点对应的边的边特征为逻辑强，其对应的加权值为0.8，则将其对应的边，都对应地赋值0.8。
进一步地，所述边为有向边，从所述边的出发顶点指向结束顶点，并且所述边的边特征由所述结束顶点对应的心理特征确定。
具体地，为更好地描述顶点对应的心理特征对所述顶点对应的情绪特征的影响，上述各种对话图中采用的边为有向边，从出发顶点指向结束顶点。而所述有向边的边特征是由所述结束顶点对应的心理特征确定，例如该边从顶点A指向顶点B，顶点A对应的对话文本在顶点B对应的对话文本产生前，因此所述边代表顶点A对顶点B的影响，这种影响主要是由于顶点B对应的心理特征决定，因此，该边的边特征由所述结束顶点对应的心理特征，也就是所述顶点B的心理特征决定。
步骤B20、将所述处理对话图输入已训练的对话图卷积模型中，得到所述对话图卷积模型输出的各个文本向量对应的情绪特征。
具体地，本实施例采用的对话图卷积模型是基于数据图的图神经网络(GraphNeural Networks，GNN)得到的。GNN模型中的图是顶点和边的合集。目前大多数深度学习对数据都处理都要求是欧几里得结构，但是很多数据并非是欧几里得结构，例如蛋白质的三维结构，因此他们在处理这些数据力有不逮,而GNN模型就是专门处理这种图的模型。为方便描述，本实施例以GNN模型中的图卷积网络(Graph Convolutiona Networks，GCN)模型为例，进行此过程的描述，GCN模型是在GNN模型的基础上引入了卷积运算，从而对空间特征进行提取。
将所述处理对话图输入到预先训练，且应用于情绪识别的对话图卷积模型中，在对话图卷积模型中考虑所述心理特征的影响，输出每一句对话文本对应的特征向量。最后通过分类器获得各个文本向量对应的情绪类型，并作为其情绪特征。所述对话图卷积模型是基于对话人层面进行建模，因此可以提取对话者级别的语义信息和情绪特征，从而提高情绪识别准确率。
进一步地，本实施例中，为提高边特征的准确性，所采用的边特征为根据所述出发顶点和所述结束顶点之间连接关系强弱的权重值。参阅图3，基于该边特征的定义，本实施例中所述对话图卷积模型的训练过程包括：
步骤C10、获取训练对话图集，其中，所述训练对话图集包括多个训练对话图，所述训练对话图包括训练顶点和训练边。
具体地，获取训练对话图集，所述训练对话图集包括多个训练对话图，每个训练对话图包括训练顶点和训练边，此时所述训练边的边特征为初始值。
步骤C20、针对每一个训练对话图，将该训练对话图输入预设的图卷积模型，得到该训练对话图对应的第二预测结果。
具体地，然后将所述训练图输入预先设置的图卷积模型中，通过所述图卷积模型，对所述训练图进行卷积、融合及分类，从而输出各个训练文本向量对应的预设的情绪类型的概率，从此生成第二预测结果。
GCN模型的训练目标是训练出一个稳定的内嵌向量hV，一般表达式为hV＝f(xV，xco[V]，hne[V]，xne[V])，其中V表示各个顶点，该函数包含了每个顶点的领域信息，hV也可以视为各个顶点特征，用于预测当前顶点的输出值o(V)；f(x)是被所有顶点共有的函数，它根据各个顶点的初始顶点数据、边特征以及邻居顶点，对各个顶点进行拼接；xV是顶点V的初始顶点数据，xco[V]是顶点V的各个边特征，hne[V]是顶点V的状态，xne[V]是顶点V的邻居顶点的初始顶点数据。通过该共有函数f(x)，可得到每一个顶点对应的内嵌向量hV。最后计算根据该内嵌向量hV，计算得到对应各个情绪特征的概率，用公式可表示为oV＝g(hV，xV)，其中g(x)被称为本地输出函数(local output function)，用于生产各个顶点的为各个情绪特征的概率oV。
步骤C30、根据所述训练对话图对应的情绪标注信息以及所述第二预测结果，确定所述训练对话图集对应的第二损失值。
具体地，根据所述训练顶点的训练文本向量，对所述训练顶点进行情绪特征标注，从而生成情绪标注信息。与上文类似，预设一个第二损失函数，然后根据所述第二损失函数，计算所述情绪标注信息与所述第二预测结果之间的第二损失值。第二损失函数为：
Figure BDA0002775360320000251
其中ti为第i个顶点对应的情绪标注信息；p为所述训练对话图中顶点的数量；oi为第i个顶点对应的第二预测结果。
步骤C40、基于所述第二损失值，对所述图卷积模型进行训练，得到所述对话图卷积模型。
具体地，将所述第二损失值反向传输回所述图卷积模型中，并根据所述第二损失值，对所述图卷积模型中的参数进行调整。其中，在对所述图卷积模型进行训练的过程中，所述训练边的边特征也属于调整的参数之一，而非主观确定的，因此后续提取情绪特征的结果更为稳定和可靠，后续能够有效地确定情绪特征。重复执行上述步骤，直至所述图卷积模型收敛，得到所述对话图卷积模型。此步骤与上述心理特征提取模型类似，在此不再一一陈述。
值得注意的是，GCN模型包括很多变体，例如图神经网络模型(Neural Networkfor Graph，NN4G)、融合卷积神经网络(Diffusion-Convolution Neural Network，DCNN)，他们的卷积层和全连阶层都存在一定的差异，例如NN4G模型的全连接层是将初始输入值和每一层卷积运算后的值与一定的权重进行相乘并求和；而DCNN模型是将初始输入值和每一层卷积运算后的值求后与权重值进行乘积。选择何种GCN模型并不影响本实施例的实施。
进一步地，所述对话图卷积模型包括图卷积层；步骤B20包括：
B21、将所述处理对话图输入所述图卷积层，得到所述图卷积层输出的结果对话图。
具体地，所述对话图卷积层包括图卷积层，由于在GCN模型中，每一个顶点是通过本身的顶点特征和相关顶点的顶点特征来定义的，因此基于信息传播机制，每一个顶点都会通过相互之间的信息交换来拼接自身状态，直至达到某一稳定值，将稳定后的图作为结果对话图。这一信息交互和特征拼接就是对所述顶点数据的卷积，该卷积步骤可由所述图卷积层进行。常规的卷积方式有两种，一种是通过聚合和拼接邻居顶点，另一种是对邻接矩阵进行分解得到该图对应的顶点特征，然后根据顶点特征进行图卷积。值得注意的是，图论中的图的邻居顶点是指通过一条边与目标顶点相连的顶点，若通过相邻的多条边进行连接不属于邻居顶点。
进一步地，参阅图6，本实施例中，图卷积层包括聚合层和拼接层；卷积过程包括：
B211，将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图。
具体地，先将所述处理对话图输入至所述图卷积模型中的聚合层，聚合层对该处理对话图进行聚合处理，即前文所述的信息交互，从而得到第一聚合对话图并输出。常规的信息交互方式包括长距离交互和短距离交互，例如跨越多个顶点进行的交互的长距离交互。由于顶点之间间隔多个边时，影响已经较弱，因此本实施例中该过程包括：
将所述处理对话图输入所述聚合层，所述聚合层对所述处理对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，其中，所述第一领域信息包括该顶点的顶点特征，与该顶点对应的第一邻居顶点之间的边的边特征，以及所述第一邻居顶点的顶点特征，所述第一邻居顶点为与该顶点之间存在一条边连接的顶点；
当遍历结束时，所述聚合层根据所述聚合顶点特征，对所述处理对话图中对应的各个顶点的顶点特征进行更新，生成第一聚合对话图并输出。
具体地，图的遍历是指从图中的某一顶点出发，按照某种搜索算法沿着图中的边对图中的所有顶点有且仅有一次访问。图的遍历一般有两种，一种是深度优先搜索(DepthFirst Search，DFS)，另一种是广度优先搜索(Breadth First Search，BFS)。DFS的算法思想是从图中某一顶点Vi开始，由Vi出发，访问它的任意一个邻居顶点V1；再从V1出发，访问V1的所有邻居顶点中未被访问的顶点V2；然后从V2出发，依次访问，直至出现某个顶点不再被访问过，然后退回一步，回到上一级被访问的顶点，看是否还有其他未被访问过的邻居顶点，如果有，则访问该邻居顶点，若无，则退回一步执行类似访问。重复上述步骤，直至所有顶点被访问。BFS是一个分层搜索，其中心思想是从图中某一顶点Vi开始，由Vi出发，依次访问Vi的所有未被访问过的邻居顶点V1，V2，……，Vm，其中m为顶点Vi的邻居顶点的数量，如此一层层执行下去，直至图中所有顶点被访问。
先对输入的处理对话图进行遍历，在遍历的过程中，针对当前遍历的顶点，根据该顶点对应的边，以及该边对应的第一邻居顶点的顶点特征，生成每一个所述顶点的聚合顶点特征。生成方式可包括多种算法，本实施例提供一种有效的生成聚合顶点特征的公式：将该顶点对应的边、与该边对应的第一邻居顶点的顶点特征以及该顶点的顶点特征作为待运算向量，并对所述待运算向量进行点积运算，生成每一个顶点的聚合顶点特征。
假设在所述对话图中，当前遍历的顶点为Vt，先确定其邻居顶点为Vm，其中，m等于顶点Vt的邻居顶点的数量。计算当前遍历的顶点的初始顶点特征与各个边特征、第一邻居顶点的顶点特征的点积，计算公式为：
Figure BDA0002775360320000281
wm·xm,其中，xt表示顶点Vt的初始顶点数据，wm表示顶点Vt第一邻居顶点Vm与Vt对应边的边特征，xm表示第一邻居顶点Vm的初始顶点特征,
Figure BDA0002775360320000282
表示顶点Vt的聚合顶点特征。若当前遍历的顶点有三个邻居顶点，则该顶点的聚合顶点数据包括
Figure BDA0002775360320000283
和
Figure BDA0002775360320000284
当遍历结束时，所述聚合层将该顶点对应的聚合顶点特征替换其原先的顶点特征，生成第一聚合对话图并输出。
B212，将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一拼接对话图。
具体地，将所述第一聚合对话图输入所述拼接层，所述拼接层执行上述拼接处理，从而得到第一拼接对话图并输出。与上述信息交互类似，本实施例中该过程包括：
将所述第一聚合对话图输入所述拼接层，所述拼接层对所述第一对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，其中，所述第二领域信息包括该顶点对应第二邻居顶点的顶点特征；
当遍历结束时，所述拼接层根据所述拼接顶点特征，对所述聚合对话图的各个顶点的顶点特征进行更新，生成结果对话图并输出。
具体地，将所述第一聚合对话图输入所述拼接层，对所述第一对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第二领域信息进行特征拼接，生成拼接顶点特征。其中，所述第二领域信息包括该顶点对应第二邻居顶点的顶点特征，第二邻居顶点与前文所述的第一邻居顶点可相同。具体的拼接处理可采用乘法、加法。本实施例所采用的方式为：计算该顶点对应的第二邻居顶点的顶点特征的均值，并将所述均值作为该顶点的拼接顶点特征。
由于对话人的心理特征是否稳定，对话文本的情绪波动会有很大差异。如果对话人的心理特征稳定，也就是对话人此时的性格稳定和逻辑强，可将该顶点自身纳入拼接的范畴；若顶点处于易变状态，仍然将该顶点纳入拼接的范畴，则会对整个模型带来强烈的情绪传染，从而后续无法准确识别对话中的情绪，因此需要剔除该顶点自身对模型的影响，使模型能够更加准确的识别对话中的情绪。因此本实施例还会根据所述顶点对应的心理特征，确定所述顶点对应的状态类型，其中，所述状态类型包括稳定状态和易变状态。当当前遍历的顶点对应的状态类型为稳定状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接的顶点；当该顶点对应的状态类型为易变状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接且不为该顶点本身的顶点。
进一步地，判断所述顶点对应的状态类型的方法包括：若该顶点对应的性格特征为稳定性格，则确定该顶点对应的状态类型为稳定状态；若该顶点对应的性格特征为易变性格，则判断该顶点对应的逻辑特征是否为逻辑强；若该顶点对应的逻辑特征为逻辑强，则确定该顶点对应的状态类型为稳定状态；若该顶点对应的逻辑特征为逻辑弱，则确定该顶点对应的状态类型为易变状态。
本实施例以上述描述的五种性格特征进行描述。所述稳定性格包含上述性格特征中的A型、C型和D型；所述易变性格包括上述性格特征中的B型和E型。
具体地，先根据该顶点对应的文本向量所对应的性格特征是否是A型、C型或D型。若是，则认为顶点对应的对话人的状态类型是稳定状态，稳定状态即指其在对话过程中情绪较为稳定；若否，也就是说所述对话人标签对应的性格特征为B型或E型，这两种性格特征对应的对话人标签所对应的对话人的情绪都较不稳定，但是若所述逻辑特征为逻辑强，则在对话中也能维持较为稳定的状态。因此进一步判断对话人标签的逻辑特征是否为逻辑强，若是，则确定该对应的顶点对应的状态类型为稳定状态；若否，则确定该顶点对应的状态类型为易变状态，也就是说在对话过程中情绪较易变，容易产生较大波动。稳定状态和易变状态在对话过程中可体现为对话人的情绪波动幅度，在对话图中各个顶点进行信息传递过程中，可视为对邻居顶点影响的难易程度。若该顶点为稳定状态，则在信息传递过程中，较难被邻居顶点影响；若该顶点对应的对话人为易变状态，则在信息传递过程中，更易被邻居顶点影响。因此当所述顶点的状态类型为稳定状态时，所述第二邻居顶点为与所述顶点之间存在一条边连接的顶点；当所述顶点的状态类型为易变状态时，所述第二邻居顶点为与所述顶点之间存在一条边连接且不为所述顶点本身的顶点。因此根据所述第二邻居顶点的不同，所述顶点对应的拼接顶点特征的计算公式可表示为：
Figure BDA0002775360320000301
其中，New-Vt代表当前遍历的顶点Vt的拼接顶点特征，m为顶点Vt的邻居顶点的数量。
进一步地，所述D321具体包括：将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图；将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一结果对话图；将所述第一结果对话图输入所述聚合层，重复执行上述步骤，直至执行次数与预设的卷积次数相等，得到所述拼接层输出的第N结果对话图，其中，所述N为与所述卷积次数相等的自然数；将所述拼接层输出的所有结果对话图作为结果对话图并输出。
B213，将所述拼接层输出的拼接对话图作为处理对话图，重复执行输入所述聚合层和所述拼接层，并得到所述拼接层输出对应的拼接对话图，直至执行次数与预设的卷积次数相等，得到所述拼接层输出的第N拼接对话图，其中，所述N为与所述卷积次数相等的正数。
具体地，预设一个卷积次数，重复执行上述的输入聚合层输出，再输入拼接层输出的操作，直至执行次数与所述卷积次数相等。在具体执行过程中，可以直接将一个聚合层和一个拼接层作为一个卷积子层，然后设置多个卷积子层，依次将所述处理对话图经过这些卷积子层进行处理，从而生成第N聚合对话图和第N拼接对话图，其中，所述N为与所述卷积次数相等的正数。最后将所述拼接层输出的拼接对话图作为结果对话图并输出。由于卷积层的主要目的是为了提取隐含的特征，而每一个顶点的隐含特征是由其邻域信息所确定的，因此整个卷积层的处理过程可视为顶点之间进行特征传递的过程。随着卷积层处理的进展，各个顶点所对应的顶点特征逐渐趋于稳定。一般经过两次上述操作，各个顶点的顶点特征会稳定下来。
B214，将所述拼接层输出的所有拼接对话图作为结果对话图并输出。
B22、基于所述结果对话图，确定各个顶点对应的情绪特征。
具体地，得到结果对话图后，在一种实现方式中，若将第N拼接对话图作为结果对话图，则直接根据该结果对话图中各个顶点所对应的拼接顶点特征进行情绪分类，从而确定各个顶点对应的情绪特征。在第二种实现方式中，为减少在拼接和聚合过程中信息的损失，确定情绪特征的过程包括：
B221、所述全连接层对各个结果对话图中的同一顶点进行特征融合，生成各个顶点的目标顶点特征。
具体地，所述全连接层用于对各个结果对话图中的同一顶点进行特征融合，生成各个顶点的目标顶点特征。由于不同的结果对话图都是从一个处理对话图得到的，在卷积和拼接过程中，改变的是顶点对应的顶点特征，而顶点本身是不会发生改变的，因此不同的结果对话图中，同一个顶点的不同的顶点特征。正如前文描述的NN4G、DCNN，基于不同的图卷积模型得到的对话图卷积模型的全连接层存在差异，但其目的都是为了实现特征融合。
B222、针对每一个所述顶点，所述分类器基于该顶点对应的目标顶点特征，确定该顶点对应的情绪特征。
具体地，确定每一个顶点的目标顶点特征后，图卷积模型中的分类器根据该顶点对应的目标顶点特征，对其进行分类，从而确定对应的情绪特征。在本实施例中，采用的分类方式为：计算该顶点为各个预设的情绪类别对应的情绪概率值，并将对应所述情绪概率值中最大值的情绪类别作为该顶点对应的情绪特征。本实施所采用的分类器为归一化分类器，得到所述目标顶点特征后，将hV，xV代入上述已训练的函数g(x)，从而得到每一个顶点对应预设的情绪类型的情绪概率值。然后将各个情绪概率值中最大值所对应的情绪类别作为该顶点对应的情绪特征。在本实施例中，所述情绪类型可包括生气、厌恶、开心等等。若某一顶点的顶点情绪类型为生气、中立和开心的概率分别为10％、20％和70％，则将数值最大的，70％，对应的情绪类型开心，作为该顶点的顶点情绪类型。
B23、根据所述顶点与所述文本向量的对应关系，以及所述顶点对应的情绪特征，确定所述文本向量对应的情绪特征。
具体地，由于所述顶点的初始顶点特征就是所述文本向量，因此，得到所述顶点对应的情绪特征后，可根据所述顶点与所述文本向量的对应关系，确定所述文本向量对应的情绪特征。因此可根据顶点和文本向量之间的对应关系，以及文本向量和文本之间对应关系，确定所述文本向量对应的情绪特征为“开心”。
步骤B30、根据所述文本向量与所述对话文本的对应关系，确定各个所述对话文本对应的情绪特征。
此后，确定所述文本向量的情绪特征后，因此可根据所述文本向量与所述对话文本之间的对应关系，从而确定各个所述对话文本对应的情绪特征。
以本实施例所提供的对话集为例，先根据对话人标签P1对应的对话文本以及对话人标签P2对应的对话文本，确定对话人标签P1所对应的心理特征为稳定性格和逻辑强，而对话人标签P2所对应的心理特征为易变性格且逻辑弱。根据各个文本向量对应的心理特征构建处理对话图后，基于处理对话图，确定每一个文本向量的情绪特征。由于对话人标签P1对应的状态类型为稳定状态，因此对应对话人标签P1的文本向量所对应的情绪特征大概率为中性的；对话人标签P2对应的状态类型为易变状态，因此随着聊天的进行，对应对话人标签P2的文本向量大概率会发生情绪波动，例如从“沮丧”跳跃到“高兴”、“生气”等情绪。在确定每一个文本向量对应的情绪特征后，由于文本向量是由对话文本向量化后得到的，因此，可根据文本向量和对话文本之间的对应关系，例如情绪特征为“中性”的文本向量对应标记U1的对话文本，则对话文本U1所对应的情绪特征即为“中性”。参阅图7，通过此方式，确定每一个对话文本对应的情绪特征，从对话文本U1到对话文本U7分别为“中性”、“沮丧”、“中性”、“沮丧”、“中性”、“中性”和“生气”。进一步地，参阅图8，本实施例在生成各个对话文本的心理特征后，还可执行以下步骤：
当所述性格特征为易变性格时，判断所述对话文本中是否与预设的特殊话术特征词存在匹配；
若是，则将所述对话文本标记为特殊话术文本。
具体地，人机交互不仅仅指机器根据人的指令执行操作，还包括机器通过与人的交流，确定对话人发出对话文本的目的。这一点尤其体现在人机交互中的情绪识别中。机器没有情绪，因此针对对话人的话语，一般是预先设置大量的话术模板。例如通过情绪识别判断对话人由于某件事处于高兴这一情绪，则将话术模板中“恭喜”之类的语句作为应对的文本。而语言由于不同的情绪而具有不同的意思，尤其是在讽刺、反讽等方面。例如“这本书写得真搞笑”，可能这本书是搞笑书，对话人是在赞扬，但也可能是专业书，对话人在讽刺这本书写得差劲。因此如果缺乏对对话人的心理特征了解，对对话文本进行讽刺等特殊话术标记是非常困难的。一般情形下对话中很少出现反讽等现象，但是对于易变性格的人，也就是五种性格类型中的B型和E型，反讽等现象出现频率较高。如表3所示，性格特征为B型的人，更容易在对话中采用具有讽刺意味的特殊话术特征词，特殊话术更容易出现。
表3
Figure BDA0002775360320000331
Figure BDA0002775360320000341
因此，在本实施例中，对于易变性格的人所说的对话文本，还会进行进一步的判断，若该对话文本可能是讽刺、反讽等语句，则应该在预先设置的针对这一类语句设计的话术模板中选择回复的文本。
预先通过爬虫、词典等方式获取大量的特殊话术特征词，例如“人模狗样”、“可笑”、“装模作样”，并对所述特征话术特征词进行特殊话术标记，例如“人模狗样”标记为“讽刺”。其中，特殊话术特征词是指可能包含反讽、讥笑等负面情绪特征的词。
在生成各个对话文本的心理特征后，判断其中的性格特征是否为易变性格。若是，则将该对话文本中与特殊话术特征词进行匹配。
匹配方式多种多样，本实施例以两种匹配方式进行简单描述。第一种是直接根据一定的顺序，将所述特殊话术特征词，逐字与所述对话文本进行比对，若两者的相同，则确认存在匹配。另外一种是采用相似性匹配。先将所述对话文本的字符串和所述特殊话术特征词转换为向量的形式，然后通过相似度算法，如余弦算法，计算两者之间的相似度，多相似度大于阈值，例如90％，则确认这两个词存在匹配。若存在匹配，则将该对话文本标记为特殊话术文本，将标记传递个下游的任务进行特殊话术处理。以上述“这本书写得真搞笑”这一句文本为例，所述情绪识别程序后连接有推送程序。若所述情绪识别程序并未对该文本进行特殊话术标记，则所述推送程序按照常规的话术处理，根据当前用户阅读的书籍的信息，推送相关的书籍给用户；若所述情绪识别程序对该文本进行特殊话术标记，则所述推送程序将当前用户阅读的书籍的信息在推送算法作为排除项，推送其他类型的书籍给用户。除推送程序外，所述情绪识别程序后还可接对话程序，所述对话程序根据是否存在特殊话术标记，进行不同的应答，以对话更为自然。
基于上述情绪识别方法，本实施例提供了一种情绪识别装置100，如图9所示，所述装置包括：
获取模块110，用于获取待识别的对话集，其中，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签；
心理特征模块120，用于针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征；
情绪特征模块130，用于根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。
其中，所述心理特征模块120包括：
向量化子模块，用于针对每一个所述文本子集中的对话文本，对该对话文本进行向量化，得到该文本子集对应的文本向量子集；
心理特征子模块，用于针对每一个文本向量子集，将该文本向量子集输入已训练的心理特征提取模型中，得到该文本向量子集对应的心理特征。
其中，所述向量化子模块包括：
分词单元，用于针对每一个所述文本子集中的对话文本，将该对话文本分词，生成包含多个字符串的分词序列；
向量化单元，用于对所述分词序列中的各个字符串进行向量化，生成字符串向量；
排序单元，用于根据所述字符串向量在所述分词序列中对应的顺序，对所述字符串向量进行排序，生成该对话文本对应的文本向量；
分组单元，用于根据各个所述对话文本对应的对话人标签，对所述文本向量进行分组，生成与各个所述文本子集对应的文本向量子集。
其中，所述情绪识别装置100还包括用于训练心理特征提取模型的第一训练模块，所述第一训练模块包括：
第一获取子模块，用于获取训练文本向量集，其中，所述训练文本向量集包含多个训练文本向量子集，所述训练文本向量子集包含对应同一人物标签的多个训练文本向量；
第一预测子模块，用于针对每一个训练文本向量子集，将该训练文本向量子集输入预设的自编码模型，得到该训练文本向量子集对应的第一预测结果；
第一损失子模块，用于根据所述训练文本向量子集对应的心理标注信息以及所述第一预测结果，确定所述训练文本向量集对应的第一损失值；
第一训练子模块，用于基于所述第一损失值，对所述自编码模型进行训练，以得到所述心理特征提取模型。
其中，所述心理特征子模块具体用于：
针对每一个文本向量子集，将该文本向量子集输入已训练的逻辑特征提取模型中，得到该文本向量子集对应的逻辑特征；以及，
将该文本向量子集输入已训练的性格特征提取模型中，得到该文本向量子集对应的性格特征。
其中，所述情绪特征模块130包括：
对话图子模块，用于根据各个所述对话文本之间的情绪影响关系，对所述对话集中各个对话文本对应的文本向量和心理特征进行图数据化，生成与所述对话集对应的处理对话图；
情绪识别子模块，用于将所述处理对话图输入已训练的对话图卷积模型中，得到所述对话图卷积模型输出的各个文本向量对应的情绪特征；
情绪匹配子模块，用于根据所述文本向量与所述对话文本的对应关系，确定各个所述对话文本对应的情绪特征。
其中，所述对话图子模块包括：
判断单元，用于将所述文本向量子集中，与各个对话文本对应的文本向量作为各个顶点的初始顶点特征，遍历各个顶点，并根据预设的情绪影响规则，判断当前遍历的顶点与该顶点以外的顶点之间是否存在情绪影响关系；
连接单元，用于针对每一个当前遍历的顶点，若该顶点与该顶点以外的顶点之间存在情绪影响关系，则将该顶点进行自连，并将该顶点与存在情绪影响关系的顶点进行连接，生成该顶点对应的边，直至遍历结束，生成初始对话图；
加权单元，用于将所述顶点对应的心理特征作为对应的边特征，对所述初始对话图中所述顶点的各个边进行加权，生成处理对话图。
其中，所述情绪影响关系包括自影响关系和旁影响关系；
所述情绪影响规则包括：当两个顶点对应的文本向量对应同一对话人标签时，确定两个顶点之间存在自影响关系；当两个顶点对应的文本向量对应的对话文本之间存在语序先后关系时，确定两个顶点之间存在旁影响关系。
其中，所述边为有向边，从所述边的出发顶点指向结束顶点，并且所述边的边特征由所述结束顶点对应的心理特征确定。
其中，所述边特征为根据所述顶点对应的心理特征确定的出发顶点和结束顶点之间连接关系强弱的权重值；所述情绪识别装置100还包括第二训练模块，所述第二训练模块包括：
第二获取子模块，用于获取训练对话图集，其中，所述训练对话图集包括多个训练对话图，所述训练对话图包括训练顶点和训练边；
第二预测子模块，用于针对每一个训练对话图，将该训练对话图输入预设的图卷积模型，得到该训练对话图对应的第二预测结果；
第二损失子模块，用于根据所述训练对话图对应的情绪标注信息以及所述第二预测结果，确定所述训练对话图集对应的第二损失值；
第二训练子模块，用于基于所述第二损失值，对所述图卷积模型进行训练，得到所述对话图卷积模型。
其中，所述对话图卷积模型包括图卷积层；所述情绪识别子模块包括：
输入单元，用于将所述处理对话图输入所述图卷积层，得到所述图卷积层输出的结果对话图；
情绪识别单元，用于基于所述结果对话图，确定各个顶点对应的情绪特征；
文本单元，用于根据所述顶点与所述文本向量的对应关系，以及所述顶点对应的情绪特征，确定所述文本向量对应的情绪特征。
其中，所述图卷积层包括聚合层和拼接层；所述输入单元，具体用于：
聚合子单元，用于将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图；
拼接子单元，用于将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一拼接对话图；
重复子单元，用于将所述拼接层输出的拼接对话图作为处理对话图，重复执行输入所述聚合层和所述拼接层，并得到所述拼接层输出对应的拼接对话图，直至执行次数与预设的卷积次数相等，得到所述拼接层输出的第N拼接对话图，其中，所述N为与所述卷积次数相等的正数；
输出子单元，用于将所述拼接层输出的所有拼接对话图作为结果对话图并输出。
其中，所述聚合子单元具体用于：
将所述处理对话图输入所述聚合层，所述聚合层对所述处理对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，其中，所述第一领域信息包括该顶点的顶点特征，与该顶点对应的第一邻居顶点之间的边的边特征，以及所述第一邻居顶点的顶点特征，所述第一邻居顶点为与该顶点之间存在一条边连接的顶点；
当遍历结束时，所述聚合层根据所述聚合顶点特征，对所述处理对话图中对应的各个顶点的顶点特征进行更新，生成第一聚合对话图并输出。
其中，所述对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，具体包括：
将该顶点对应的边、与该边对应的第一邻居顶点的顶点特征以及该顶点的顶点特征作为待运算向量，并对所述待运算向量进行点积运算，生成每一个顶点的聚合顶点特征。
其中，所述拼接子单元具体用于：
将所述第一聚合对话图输入所述拼接层，所述拼接层对所述第一对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，其中，所述第二领域信息包括该顶点对应第二邻居顶点的顶点特征；
当遍历结束时，所述拼接层根据所述拼接顶点特征，对所述聚合对话图的各个顶点的顶点特征进行更新，生成结果对话图并输出。
其中，所述对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，具体包括：
计算该顶点对应的第二邻居顶点的顶点特征的均值，并将所述均值作为该顶点的拼接顶点特征。
其中，所述情绪识别装置100还包括状态类型模块，所述状态类型模块用于：
针对每一个当前遍历的顶点，根据该顶点对应的心理特征，确定该顶点对应的状态类型，其中，所述状态类型包括稳定状态和易变状态。
其中，当该顶点对应的状态类型为稳定状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接的顶点；当该顶点对应的状态类型为易变状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接且不为该顶点本身的顶点。
其中，所述性格特征包括稳定性格和易变性格，所述逻辑特征包括逻辑强和逻辑弱；所述状态类型模块包括：
第一确定子模块，用于若该顶点对应的性格特征为稳定性格，则确定该顶点对应的状态类型为稳定状态；
判断子模块，用于若该顶点对应的性格特征为易变性格，则判断该顶点对应的逻辑特征是否为逻辑强；
第二确定子模块，用于若该顶点对应的逻辑特征为逻辑强，则确定该顶点对应的状态类型为稳定状态；
第三确定子模块，用于若该顶点对应的逻辑特征为逻辑弱，则确定该顶点对应的状态类型为易变状态。
其中，所述情绪识别单元包括：
全连接层，用于对各个结果对话图中的同一顶点进行特征融合，生成各个顶点的目标顶点特征；
分类器，用于针对每一个所述顶点，基于该顶点对应的目标顶点特征，确定该顶点对应的情绪特征。
所述分类器具体用于：针对每一个所述顶点，所述分类器根据该顶点对应的目标顶点特征，计算该顶点为各个预设的情绪类别对应的情绪概率值，并将对应所述情绪概率值中最大值的情绪类别作为该顶点对应的情绪特征。
其中，所述情绪识别装置100还包括特殊话术模块，所述特殊话术模块包括：
话术判断子模块，用于当所述性格特征为易变性格时，判断所述对话文本中是否与预设的特殊话术特征词存在匹配；
标记子模块，用于若是，则将所述对话文本标记为特殊话术文本。
基于上述情绪识别方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的情绪识别方法中的步骤。
基于上述情绪识别方法，本发明还提供了一种终端设备，如图10所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (25)

1.一种情绪识别方法，其特征在于，所述情绪识别方法包括：
获取待识别的对话集，其中，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签；
针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征；
根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。
2.根据权利要求1所述的情绪识别方法，其特征在于，所述针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征，具体包括：
针对每一个所述文本子集中的对话文本，对该对话文本进行向量化，得到该文本子集对应的文本向量子集；
针对每一个文本向量子集，将该文本向量子集输入已训练的心理特征提取模型中，得到该文本向量子集对应的心理特征。
3.根据权利要求2所述的情绪识别方法，其特征在于，所述针对每一个所述文本子集中的对话文本，对该对话文本进行向量化，得到该文本子集对应的文本向量子集，具体包括：
针对每一个所述文本子集中的对话文本，将该对话文本分词，生成包含多个字符串的分词序列；
对所述分词序列中的各个字符串进行向量化，生成字符串向量；
根据所述字符串向量在所述分词序列中对应的顺序，对所述字符串向量进行排序，生成该对话文本对应的文本向量；
根据各个所述对话文本对应的对话人标签，对所述文本向量进行分组，生成与各个所述文本子集对应的文本向量子集。
4.根据权利要求2所述的情绪识别方法，其特征在于，所述心理特征提取模型的训练过程具体包括：
获取训练文本向量集，其中，所述训练文本向量集包含多个训练文本向量子集，所述训练文本向量子集包含对应同一人物标签的多个训练文本向量；
针对每一个训练文本向量子集，将该训练文本向量子集输入预设的自编码模型，得到该训练文本向量子集对应的第一预测结果；
根据所述训练文本向量子集对应的心理标注信息以及所述第一预测结果，确定所述训练文本向量集对应的第一损失值；
基于所述第一损失值，对所述自编码模型进行训练，以得到所述心理特征提取模型。
5.根据权利要求2所述的情绪识别方法，其特征在于，所述心理特征提取模型包括逻辑特征提取模型和性格特征提取模型；所述心理特征包括逻辑特征和性格特征；所述针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征，具体包括：
针对每一个文本向量子集，将该文本向量子集输入已训练的逻辑特征提取模型中，得到该文本向量子集对应的逻辑特征；以及，
将该文本向量子集输入已训练的性格特征提取模型中，得到该文本向量子集对应的性格特征。
6.根据权利要求5所述的情绪识别方法，其特征在于，所述根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征，具体包括：
根据各个所述对话文本之间的情绪影响关系，对所述对话集中各个对话文本对应的文本向量和心理特征进行图数据化，生成与所述对话集对应的处理对话图；
将所述处理对话图输入已训练的对话图卷积模型中，得到所述对话图卷积模型输出的各个文本向量对应的情绪特征；
根据所述文本向量与所述对话文本的对应关系，确定各个所述对话文本对应的情绪特征。
7.根据权利要求6所述的情绪识别方法，其特征在于，所述处理对话图的结构包括顶点和边；所述根据各个所述对话文本之间的情绪影响关系，对所述对话集中各个对话文本对应的文本向量和心理特征进行图数据化，生成与所述对话集对应的处理对话图，具体包括：
将所述文本向量子集中，与各个对话文本对应的文本向量作为各个顶点的初始顶点特征，遍历各个顶点，并根据预设的情绪影响规则，判断当前遍历的顶点与该顶点以外的顶点之间是否存在情绪影响关系；
针对每一个当前遍历的顶点，若该顶点与该顶点以外的顶点之间存在情绪影响关系，则将该顶点进行自连，并将该顶点与存在情绪影响关系的顶点进行连接，生成该顶点对应的边，直至遍历结束，生成初始对话图；
将所述顶点对应的心理特征作为对应的边特征，对所述初始对话图中所述顶点的各个边进行加权，生成处理对话图。
8.根据权利要求7所述的情绪识别方法，其特征在于，所述情绪影响关系包括自影响关系和旁影响关系；
所述情绪影响规则包括：当两个顶点对应的文本向量对应同一对话人标签时，确定两个顶点之间存在自影响关系；当两个顶点对应的文本向量对应的对话文本之间存在语序先后关系时，确定两个顶点之间存在旁影响关系。
9.根据权利要求8所述的情绪识别方法，其特征在于，所述边为有向边，从所述边的出发顶点指向结束顶点，并且所述边的边特征由所述结束顶点对应的心理特征确定。
10.根据权利要求7所述的情绪识别方法，其特征在于，所述边特征为根据所述顶点对应的心理特征确定的出发顶点和结束顶点之间连接关系强弱的权重值；所述对话图卷积模型的训练过程具体包括：
获取训练对话图集，其中，所述训练对话图集包括多个训练对话图，所述训练对话图包括训练顶点和训练边；
针对每一个训练对话图，将该训练对话图输入预设的图卷积模型，得到该训练对话图对应的第二预测结果；
根据所述训练对话图对应的情绪标注信息以及所述第二预测结果，确定所述训练对话图集对应的第二损失值；
基于所述第二损失值，对所述图卷积模型进行训练，得到所述对话图卷积模型。
11.根据权利要求7所述的情绪识别方法，其特征在于，所述对话图卷积模型包括图卷积层；所述将所述处理对话图输入已训练的对话图卷积模型中，得到所述对话图卷积模型输出的各个文本向量对应的情绪特征，具体包括：
将所述处理对话图输入所述图卷积层，得到所述图卷积层输出的结果对话图；
基于所述结果对话图，确定各个顶点对应的情绪特征；
根据所述顶点与所述文本向量的对应关系，以及所述顶点对应的情绪特征，确定所述文本向量对应的情绪特征。
12.根据权利要求11所述的情绪识别方法，其特征在于，所述图卷积层包括聚合层和拼接层；所述将所述处理对话图输入所述图卷积层，得到所述图卷积层输出的结果对话图，具体包括：
将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图；
将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一拼接对话图；
将所述拼接层输出的拼接对话图作为处理对话图，重复执行输入所述聚合层和所述拼接层，并得到所述拼接层输出对应的拼接对话图，直至执行次数与预设的卷积次数相等，得到所述拼接层输出的第N拼接对话图，其中，所述N为与所述卷积次数相等的正数；
将所述拼接层输出的所有拼接对话图作为结果对话图并输出。
13.根据权利要求12所述的情绪识别方法，其特征在于，所述将所述处理对话图输入所述聚合层，得到所述聚合层输出的第一聚合对话图，具体包括：
将所述处理对话图输入所述聚合层，所述聚合层对所述处理对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，其中，所述第一领域信息包括该顶点的顶点特征，与该顶点对应的第一邻居顶点之间的边的边特征，以及所述第一邻居顶点的顶点特征，所述第一邻居顶点为与该顶点之间存在一条边连接的顶点；
当遍历结束时，所述聚合层根据所述聚合顶点特征，对所述处理对话图中对应的各个顶点的顶点特征进行更新，生成第一聚合对话图并输出。
14.根据权利要求13所述的情绪识别方法，其特征在于，所述对该顶点的第一领域信息进行聚合处理，生成聚合顶点特征，具体包括：
将该顶点对应的边、与该边对应的第一邻居顶点的顶点特征以及该顶点的顶点特征作为待运算向量，并对所述待运算向量进行点积运算，生成每一个顶点的聚合顶点特征。
15.根据权利要求12所述的情绪识别方法，其特征在于，所述将所述第一聚合对话图输入所述拼接层，得到所述拼接层输出的第一拼接对话图，具体包括：
将所述第一聚合对话图输入所述拼接层，所述拼接层对所述第一对话图中的每一个顶点进行遍历，并针对每一个当前遍历的顶点，对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，其中，所述第二领域信息包括该顶点对应第二邻居顶点的顶点特征；
当遍历结束时，所述拼接层根据所述拼接顶点特征，对所述聚合对话图的各个顶点的顶点特征进行更新，生成结果对话图并输出。
16.根据权利要求15所述的情绪识别方法，其特征在于，所述对该顶点的第二领域信息进行拼接处理，生成拼接顶点特征，具体包括：
计算该顶点对应的第二邻居顶点的顶点特征的均值，并将所述均值作为该顶点的拼接顶点特征。
17.根据权利要求15所述的情绪识别方法，其特征在于，所述情绪识别方法还包括：
针对每一个当前遍历的顶点，根据该顶点对应的心理特征，确定该顶点对应的状态类型，其中，所述状态类型包括稳定状态和易变状态。
18.根据权利要求17所述的情绪识别方法，其特征在于，当该顶点对应的状态类型为稳定状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接的顶点；当该顶点对应的状态类型为易变状态时，该顶点对应的第二邻居顶点为与该顶点之间存在一条边连接且不为该顶点本身的顶点。
19.根据权利要求17所述的情绪识别方法，其特征在于，所述性格特征包括稳定性格和易变性格，所述逻辑特征包括逻辑强和逻辑弱；所述根据该顶点对应的心理特征，确定该顶点对应的状态类型，具体包括：
若该顶点对应的性格特征为稳定性格，则确定该顶点对应的状态类型为稳定状态；
若该顶点对应的性格特征为易变性格，则判断该顶点对应的逻辑特征是否为逻辑强；
若该顶点对应的逻辑特征为逻辑强，则确定该顶点对应的状态类型为稳定状态；
若该顶点对应的逻辑特征为逻辑弱，则确定该顶点对应的状态类型为易变状态。
20.根据权利要求12-18中任意一项所述的情绪识别方法，其特征在于，所述对话图卷积模型还包括全连接层和分类器，所述基于所述结果对话图，确定各个顶点对应的情绪特征，具体包括：
所述全连接层对各个结果对话图中的同一顶点进行特征融合，生成各个顶点的目标顶点特征；
针对每一个所述顶点，所述分类器基于该顶点对应的目标顶点特征，确定该顶点对应的情绪特征。
21.根据权利要求20所述的情绪识别方法，其特征在于，所述针对每一个所述顶点，所述分类器基于该顶点对应的目标顶点特征，确定该顶点对应的情绪特征，具体包括：
针对每一个所述顶点，所述分类器根据该顶点对应的目标顶点特征，计算该顶点为各个预设的情绪类别对应的情绪概率值，并将对应所述情绪概率值中最大值的情绪类别作为该顶点对应的情绪特征。
22.根据权利要求19所述的情绪识别方法，其特征在于，所述方法还包括：
当所述性格特征为易变性格时，判断所述对话文本中是否与预设的特殊话术特征词存在匹配；
若是，则将与所述特殊话术特征词存在匹配的对话文本标记为特殊话术文本。
23.一种情绪识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别的对话集，其中，所述对话集包括若干个文本子集，每一个文本子集包含若干个对话文本，且同一个文本子集下的若干个对话文本对应同一对话人标签；
心理特征模块，用于针对每一个所述文本子集，根据该文本子集中的各个对话文本，确定该文本子集对应的心理特征；
情绪特征模块，用于根据所述对话集中各个文本子集对应的心理特征，对所述对话集中的各个对话文本进行情绪识别，得到各个所述对话文本对应的情绪特征。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-22中任意一项所述的情绪识别方法中的步骤。
25.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-22中任意一项所述的情绪识别方法中的步骤。
CN202011263431.9A 2020-11-12 2020-11-12 一种情绪识别方法、存储介质、装置及终端设备 Active CN114492421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011263431.9A CN114492421B (zh) 2020-11-12 2020-11-12 一种情绪识别方法、存储介质、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011263431.9A CN114492421B (zh) 2020-11-12 2020-11-12 一种情绪识别方法、存储介质、装置及终端设备

Publications (2)

Publication Number Publication Date
CN114492421A true CN114492421A (zh) 2022-05-13
CN114492421B CN114492421B (zh) 2023-05-12

Family

ID=81491288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011263431.9A Active CN114492421B (zh) 2020-11-12 2020-11-12 一种情绪识别方法、存储介质、装置及终端设备

Country Status (1)

Country Link
CN (1) CN114492421B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365208A1 (en) * 2013-06-05 2014-12-11 Microsoft Corporation Classification of affective states in social media
CN110580947A (zh) * 2019-07-29 2019-12-17 话媒(广州)科技有限公司 一种基于交互的心理分析方法及装置
CN110826637A (zh) * 2019-11-11 2020-02-21 广州国音智能科技有限公司 情绪识别方法、系统及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365208A1 (en) * 2013-06-05 2014-12-11 Microsoft Corporation Classification of affective states in social media
CN110580947A (zh) * 2019-07-29 2019-12-17 话媒(广州)科技有限公司 一种基于交互的心理分析方法及装置
CN110826637A (zh) * 2019-11-11 2020-02-21 广州国音智能科技有限公司 情绪识别方法、系统及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUANCHAO LI ET AL.: "Emotion Recognition by Combining Prosody and Sentiment Analysis for Expressing Reactive Emotion by Humanoid Robot", 《2017 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC)》 *
李亚彤: "意象对话技术对贫困大学生情绪调节自我效能感的干预研究", 《黑龙江教育学院学报》 *

Also Published As

Publication number Publication date
CN114492421B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111931506B (zh) 一种基于图信息增强的实体关系抽取方法
CN110516253B (zh) 中文口语语义理解方法及系统
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN110297887B (zh) 基于云平台的服务机器人个性化对话系统及方法
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN112633364A (zh) 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法
CN108228576B (zh) 文本翻译方法及装置
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
KR20200119410A (ko) 전역 및 지역 문맥 기반 한국어 대화문 감정 인식 시스템 및 방법
WO2021135457A1 (zh) 基于循环神经网络的情绪识别方法、装置及存储介质
CN113987147A (zh) 样本处理方法及装置
CN114020906A (zh) 基于孪生神经网络的中文医疗文本信息匹配方法及系统
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN114708474A (zh) 一种融合局部和全局特征的图像语义理解算法
CN115599894A (zh) 情绪识别的方法、装置、电子设备及存储介质
CN115269836A (zh) 意图识别方法及装置
CN115064154A (zh) 混合语言语音识别模型的生成方法及装置
CN110969005A (zh) 一种确定实体语料之间的相似性的方法及装置
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN112307179A (zh) 文本匹配方法、装置、设备及存储介质
CN116775873A (zh) 一种多模态对话情感识别方法
WO2023226239A1 (zh) 对象情绪的分析方法、装置和电子设备
CN116910190A (zh) 多任务感知模型获取方法、装置、设备及可读存储介质
CN114492421B (zh) 一种情绪识别方法、存储介质、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant