CN114913590B - 一种数据的情感识别方法、装置、设备及可读存储介质 - Google Patents

一种数据的情感识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114913590B
CN114913590B CN202210828996.XA CN202210828996A CN114913590B CN 114913590 B CN114913590 B CN 114913590B CN 202210828996 A CN202210828996 A CN 202210828996A CN 114913590 B CN114913590 B CN 114913590B
Authority
CN
China
Prior art keywords
emotion recognition
feature
feature extraction
recognition model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210828996.XA
Other languages
English (en)
Other versions
CN114913590A (zh
Inventor
赵雅倩
王斌强
董刚
李仁刚
刘璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mass Institute Of Information Technology
Original Assignee
Shandong Mass Institute Of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Mass Institute Of Information Technology filed Critical Shandong Mass Institute Of Information Technology
Priority to CN202210828996.XA priority Critical patent/CN114913590B/zh
Publication of CN114913590A publication Critical patent/CN114913590A/zh
Priority to PCT/CN2022/134799 priority patent/WO2024011818A1/zh
Application granted granted Critical
Publication of CN114913590B publication Critical patent/CN114913590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，公开了一种数据的情感识别方法、装置、设备及可读存储介质，包括：对接收到的情感识别任务进行解析，得到待识别的目标数据；利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征；利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征；利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征；利用目标情感识别模型的分类层对第二特征进行分类，得到情感识别结果。应用本发明所提供的数据的情感识别方法，增强了神经网络模型的可解释性，提高了情感识别的准确度。

Description

一种数据的情感识别方法、装置、设备及可读存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种数据的情感识别方法、装置、设备及计算机可读存储介质。
背景技术
人机交互已经是现在较为流行的机器交互方式，无论是语音控制还是姿态控制都已经成为现在智能设备上重要的操控方式之一。为了让机器更好的服务人类，情感识别在其中扮演着重要的角色。
为了完成人机交互中的情感识别，基于深度学习的技术已经被广泛应用到情感识别领域。但深度学习方法缺乏可解释性，现在也有将深度学习方法和传统学习的方法结合在一起的方法。比如在提取特征的过程中，也有使用频域特征的方法。但是深度学习的特征提取和傅里叶变换没有并行关系，对两种不同的特征是分别处理的，这种割裂处理的方式损害了模型的统一性，神经网络训练并不会包含傅里叶变换等操作，训练深度学习的特征的时候已经限制了傅里叶系数特征，导致情感识别模型的可解释性较差，情感识别的准确度低。
综上所述，如何有效地解决现有的数据情感识别方法采用的情感识别模型的可解释性较差，情感识别的准确度低等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种数据的情感识别方法，该方法增强了神经网络模型的可解释性，提高了情感识别的准确度；本发明的另一目的是提供一种数据的情感识别装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种数据的情感识别方法，包括：
对接收到的情感识别任务进行解析，得到待识别的目标数据；
利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取，得到第一特征；
利用预部署于所述目标情感识别模型的傅里叶变换模块对所述第一特征进行傅里叶变换，得到频域特征；
利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，得到第二特征；
利用所述目标情感识别模型的分类层对所述第二特征进行分类，得到情感识别结果。
在本发明的一种具体实施方式中，还包括所述情感识别模型的训练过程，所述情感识别模型的训练过程包括：
获取情感识别数据集；其中，所述情感识别数据集中包含原始数据和真实标签；
将所述原始数据输入至原始情感识别模型，以使所述原始数据依次通过所述原始情感识别模型的第一特征提取层、傅里叶变换模块、第二特征提取层以及分类层进行前向传输，得到分类向量；
获取所述真实标签对应的标签向量；
通过损失函数对所述分类向量和所述标签向量进行损失度量，得到分类损失；
判断所述分类损失是否小于预设值；
若否，则通过反向传播算法将所述标签向量依次通过所述原始情感识别模型的分类层、第二特征提取层、傅里叶变换模块以及第一特征提取层进行反向传输，以对所述原始情感识别模型进行参数更新，并重复执行所述将原始数据输入至所述原始情感识别模型的步骤；
若是，则将所述原始情感识别模型确定为所述目标情感识别模型。
在本发明的一种具体实施方式中，在得到分类向量之后，通过损失函数对所述分类向量和所述标签向量进行损失度量之前，还包括：
对所述分类向量进行归一化，得到归一化分类概率向量；
通过损失函数对所述分类向量和所述标签向量进行损失度量，包括：
通过损失函数对所述归一化分类概率向量和所述标签向量进行损失度量。
在本发明的一种具体实施方式中，在将所述原始数据输入至所述原始情感识别模型之前，还包括：
对原始情感识别模型进行权重初始化。
在本发明的一种具体实施方式中，将所述原始情感识别模型确定为所述目标情感识别模型，包括：
判断是否为连续预设训练周期次数所述分类损失均小于所述预设值；
若是，则将所述原始情感识别模型确定为所述目标情感识别模型。
在本发明的一种具体实施方式中，还包括：
将前向传输中所述傅里叶变换模块的输出结果进行可视化展示。
在本发明的一种具体实施方式中，当所述情感识别任务为多模态的情感识别任务时，对接收到的情感识别任务进行解析，得到待识别的目标数据，包括：
对接收到的情感识别任务进行解析，得到各模态分别对应的待识别的目标数据；
利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取，包括：
针对每个模态的待识别的目标数据，利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取；
利用所述目标情感识别模型的分类对将所述第二特征进行分类，包括：
对各所述模态分别对应的第二特征进行特征融合，得到第一融合特征；
利用所述目标情感识别模型的分类层对所述第一融合特征进行分类。
在本发明的一种具体实施方式中，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，包括：
当所述目标数据为非时序数据时，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取。
在本发明的一种具体实施方式中，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，包括：
当所述目标数据为时序数据时，对所述第一特征和所述频域特征进行特征融合，得到第二融合特征；
利用所述目标情感识别模型的第二特征提取层对所述第二融合特征进行特征提取。
在本发明的一种具体实施方式中，利用预部署于所述目标情感识别模型的傅里叶变换模块对所述第一特征进行傅里叶变换，包括：
利用预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对所述第一特征进行傅里叶变换。
在本发明的一种具体实施方式中，利用所述目标情感识别模型的分类层对所述第二特征进行分类，包括：
利用所述目标情感识别模型的分类层将所述第二特征由特征表达维度映射到情感空间维度。
在本发明的一种具体实施方式中，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，包括：
获取所述情感识别任务所属场景的场景复杂度；
根据所述场景复杂度确定对所述频域特征的处理模式；其中，所述处理模式为对所述频域特征中的实部和虚部进行一起处理或对所述频域特征中的实部和虚部进行分开处理中的一种；
利用所述目标情感识别模型的第二特征提取层按照所述处理模式对所述频域特征进行特征提取。
一种数据的情感识别装置，包括：
任务解析单元，用于对接收到的情感识别任务进行解析，得到待识别的目标数据；
第一特征提取单元，用于利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取，得到第一特征；
傅里叶变换单元，用于利用预部署于所述目标情感识别模型的傅里叶变换模块对所述第一特征进行傅里叶变换，得到频域特征；
第二特征提取单元，用于利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，得到第二特征；
情感识别单元，用于利用所述目标情感识别模型的分类层对所述第二特征进行分类，得到情感识别结果。
一种数据的情感识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述数据的情感识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据的情感识别方法的步骤。
本发明所提供的数据的情感识别方法，对接收到的情感识别任务进行解析，得到待识别的目标数据；利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征；利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征；利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征；利用目标情感识别模型的分类层对第二特征进行分类，得到情感识别结果。
由上述技术方案可知，通过将傅里叶变换融入的深度学习的网络当中，和现有的基于傅里叶变换提取特征，然后将特征输入到神经网络相比，能够融合更深，联合优化网络参数。傅里叶变换能够将特征数据转化到频谱空间，增强了神经网络模型的可解释性，提高了情感识别的准确度。
相应的，本发明还提供了与上述数据的情感识别方法相对应的数据的情感识别装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种情感识别系统的框架图；
图2为本发明实施例中一种数据的情感识别方法的实施流程图；
图3为本发明实施例中另一种数据的情感识别方法的实施流程图；
图4为本发明实施例中一种情感识别系统的框架图；
图5为本发明实施例中另一种情感识别系统的框架图；
图6为现有技术中情感识别框架的一种损失曲线图；
图7为本发明实施例中情感识别框架的一种损失曲线图；
图8为本发明实施例中一种数据的情感识别装置的结构框图；
图9为本发明实施例中一种数据的情感识别设备的结构框图；
图10为本实施例提供的一种数据的情感识别设备的具体结构示意图。
具体实施方式
参见图1，图1为现有技术中一种情感识别系统的框架图。现有一般框架的训练过程用箭头表示，主要包括以下几步，首先是原始的数据经过傅里叶变换得到变换后的特征，然后利用深度学习作为特征提取模块，随后得到情感识别的结果概率，然后和真实的数据标签做误差度量，随后按照虚箭头反向传播更新情感识别概率和深度学习特征提取部分的参数，训练结束之后，深度学习特征提取模块和情感识别结果概率模块的参数就固定下来用于测试。测试过程相对简单，只需要沿着实线将数据输入，首先进行傅里叶变换，随后提取深度学习特征，最后获得识别结果的概率，选择概率最大的情感识别类别作为最终输出的类别。需要注意的是，可以看到这里的反向传播过程到深度学习特征提取就停止了，对于傅里叶变换部分不在深度学习的优化范围之内，导致情感识别模型的可解释性较差，情感识别的准确度低。
为此，本申请中提供的数据的情感识别方法中，增强了神经网络模型的可解释性，提高了情感识别的准确度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图2，图2为本发明实施例中一种数据的情感识别方法的实施流程图，该方法可以包括以下步骤：
S201：对接收到的情感识别任务进行解析，得到待识别的目标数据。
当生成情感识别任务时，向情感识别控制中心发送情感识别任务，情感识别任务中包含待识别的目标数据。情感识别控制中心接收情感识别任务，并对接收到的情感识别任务进行解析，得到待识别的目标数据。
目标数据可以为图像数据、文本数据、音频数据等多种模态数据中的任意一种或任意几种的组合。
S202：利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征。
预先训练包含第一特征提取层、傅里叶变换模块以及第二特征提取层的目标情感识别模型。在解析得到待识别的目标数据之后，利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征。从而通过目标情感识别模型的第一特征提取层提取得到时域形式的第一特征。
S203：利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征。
在对目标数据进行特征提取，得到第一特征之后，利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征。即，通过对时域形式的第一特征进行傅里叶变换，得到频域特征。
S204：利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征。
在通过目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征之后，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征。通过对目标数据的频域特征进行进一步的特征提取，提升了提取到的特征信息的准确性。
S205：利用目标情感识别模型的分类层对第二特征进行分类，得到情感识别结果。
在利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到最终的第二特征之后，利用目标情感识别模型的分类层对第二特征进行分类，如选择概率最大的类别作为识别出的情感类别，得到情感识别结果。如情感识别结果可以包含高兴的（happy），悲伤的（sad），中立的（neutral），愤怒的（angry），兴奋的（excited），沮丧的（frustrated）。通过将傅里叶变换融入到深度学习的网络当中，傅里叶变换可以将特征数据转化到频谱空间，一定程度上增强了神经网络模型的可解释性，使得情感相关的有效信息得到了充分挖掘。
由上述技术方案可知，通过将傅里叶变换融入到深度学习的网络当中，和现有的基于傅里叶变换提取特征，然后将特征输入到神经网络相比，能够融合更深，联合优化网络参数。傅里叶变换能够将特征数据转化到频谱空间，增强了神经网络模型的可解释性，提高了情感识别的准确度。
需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
参见图3，图3为本发明实施例中另一种数据的情感识别方法的实施流程图，该方法可以包括以下步骤：
S301：获取情感识别数据集。
其中，情感识别数据集中包含原始数据和真实标签。
在进行情感识别模型训练的过程中，获取情感识别数据集，情感识别数据集中包含原始数据和真实标签。假设原始的情感识别数据集用
Figure 712429DEST_PATH_IMAGE001
表示，其中，
Figure 98411DEST_PATH_IMAGE002
表示原始数据，
Figure 208974DEST_PATH_IMAGE003
表示真实标签，
Figure 73025DEST_PATH_IMAGE004
表示样本数量。
S302：将原始数据输入至原始情感识别模型，以使原始数据依次通过原始情感识别模型的第一特征提取层、傅里叶变换模块、第二特征提取层以及分类层进行前向传输，得到分类向量。
在获取到情感识别数据集之后，将原始数据输入至原始情感识别模型，从而原始数据依次通过原始情感识别模型的第一特征提取层、傅里叶变换模块、第二特征提取层以及分类层进行前向传输，得到分类概率向量。
原始数据在前向传输的过程中，首先，需要对原始数据进行特征提取，这里的提取方法主要指对应领域的主干网络（即原始情感识别模型的第一特征提取层），用来从原始的数据中提取具有一定语义表达能力的特征向量。具体地：
Figure 480873DEST_PATH_IMAGE005
；
其中，
Figure 37756DEST_PATH_IMAGE006
代表原始数据对应领域的特征提取主干网络（即原始情感识别模型的第一特征提取层），
Figure 39210DEST_PATH_IMAGE007
代表提取的中间特征向量（即第一特征）。
然后，对得到的中间特征向量进行傅里叶变换，具体地：
Figure 831585DEST_PATH_IMAGE008
；
其中，
Figure 234885DEST_PATH_IMAGE009
代表特征的快速傅里叶变换操作，需要说明的是，这一步不包含可训练的参数，也就是说，增加傅里叶变换并不会增加神经网络的参数量。
Figure 821724DEST_PATH_IMAGE010
代表傅里叶变换之后的输出（即频域特征），一般地，
Figure 310474DEST_PATH_IMAGE011
是一个复数，包含实数和虚数两部分内容，后续对于这两部分地处理比较灵活，可以分开分别处理，也可以当作特征矩阵一起传入之后的网络模块。
其次，继续构建深度学习的特征抽取层，这一部分的输入可以是
Figure 516328DEST_PATH_IMAGE011
，也可以是
Figure 633188DEST_PATH_IMAGE010
和
Figure 797453DEST_PATH_IMAGE007
拼接融合的特征（下述公式展示中采用这个方案），这个要根据具体的业务场景来进行尝试调节。具体地：
Figure 632554DEST_PATH_IMAGE012
；
其中，
Figure 642098DEST_PATH_IMAGE013
代表傅里叶变换之后的深度特征提取部分，这部分的构建可以采用现有的各种有效的神经模块的排列组合，最终获得数据的表达特征
Figure 754411DEST_PATH_IMAGE014
（即第二特征）。
在本发明的一种具体实施方式中，在将原始数据输入至原始情感识别模型之前，该方法还可以包括以下步骤：
对原始情感识别模型进行权重初始化。
在将原始数据输入至原始情感识别模型之前，对预先构建的原始情感识别模型进行权重初始化。通过对原始情感识别模型进行权重初始化，避免了对模型训练过程中对模型收敛性的影响。
在本发明的一种具体实施方式中，该方法还可以包括以下步骤：
将前向传输中傅里叶变换模块的输出结果进行可视化展示。
在对原始情感识别模型的训练过程中，将前向传输中傅里叶变换模块的输出结果进行可视化展示，进而用户可以通过可视化展示结果来分析网络的可解释性。
参见图4，图4为本发明实施例中一种情感识别系统的框架图。本发明实施例不直接在原始数据的基础上进行傅里叶变换，相反，而是先对原始数据进行特征提取获得特征向量，然后对特征向量进行傅里叶变换，随后再进行进一步的特征提取。
S303：获取真实标签对应的标签向量。
预先设置用于做误差度量的真实标签，获取真实标签对应的标签向量
Figure 948632DEST_PATH_IMAGE015
。
S304：通过损失函数对分类向量和标签向量进行损失度量，得到分类损失。
在得到分类向量和标签向量之后，通过损失函数对分类向量和标签向量进行损失度量，得到分类损失。
在本发明的一种具体实施方式中，在步骤S302之后，步骤S304之前，该方法还可以包括以下步骤：
对分类向量进行归一化，得到归一化分类概率向量；
相应地，步骤S304可以包括以下步骤：
通过损失函数对归一化分类概率向量和标签向量进行损失度量。
在得到分类向量之后，对分类向量进行归一化，得到归一化分类概率向量，通过损失函数对归一化分类概率向量和标签向量进行损失度量。
然后，使用情感识别的分类层将表达特征
Figure 146395DEST_PATH_IMAGE014
映射到分类的维度，构建损失，具体地：
Figure 959630DEST_PATH_IMAGE016
；
其中，
Figure 316662DEST_PATH_IMAGE017
代表情感分类的头部网络，能够将表达特征的维度映射的情感空间的维度，
Figure 557151DEST_PATH_IMAGE018
为分类概率向量。
可以通过以下公式进行损失度量：
Figure 242210DEST_PATH_IMAGE019
；
该损失是一般情感识别方法的常用损失函数。
S305：判断分类损失是否小于预设值，若否，则执行步骤S306，若是，则执行步骤S307。
在通过损失函数对分类向量和标签向量进行损失度量，得到分类损失之后，判断分类损失是否小于预设值，若否，则说明模型参数还未达到设定条件，需要继续进行模型训练，执行步骤S306，若是，则说明模型参数已达到设定条件，模型训练完成，执行步骤S307。
S306：通过反向传播算法将标签向量依次通过原始情感识别模型的分类层、第二特征提取层、傅里叶变换模块以及第一特征提取层进行反向传输，以对原始情感识别模型进行参数更新，并返回执行步骤S302。
当确定分类损失仍大于等于预设值时，说明模型参数还未达到设定条件，需要继续进行模型训练，通过反向传播算法将标签向量依次通过原始情感识别模型的分类层、第二特征提取层、傅里叶变换模块以及第一特征提取层进行反向传输，以对原始情感识别模型进行参数更新，并返回执行步骤S302。
如图4所示，对比于现有的一般框架可以看出，本发明设计的框架可以直接让标注数据的信息反向传递到原始的数据，而不是到傅里叶变换就停止。这样一方面可以应用数据驱动的深度学习特性学习更好的特征表达，另一方面，本发明设计的框架中傅里叶变换模块实现了从特征的频域视角进行特征的潜在分析和有效信息抽取。
S307：将原始情感识别模型确定为目标情感识别模型。
当确定分类损失小于预设值时，说明模型参数已达到设定条件，模型训练完成，将原始情感识别模型确定为目标情感识别模型。参数停止更新后就固定了一套参数，这个参数按照模型的方式前向推理就可以完成情感识别任务。本发明实施例傅里叶变换不再只是用于初始阶段的特征提取，而是神经网络中的一个环节，该环节可以通过简单的设置达到即插即用的形式，随后可以达到联合优化傅里叶变换前后的神经网络参数的目的。因为在训练过程中无参数的显式特征映射的存在，使得模型能够从不同的角度对原始的数据进行特征抽取，并且傅里叶变换本身具有一定的可解释性，将其插入网络中的某层可以为神经网络地可视化和可解释性提供帮助。
在本发明的一种具体实施方式中，步骤S307可以包括以下步骤：
步骤一：判断是否为连续预设训练周期次数分类损失均小于预设值，若是，则执行步骤二，若否，则返回执行步骤S302。
步骤二：将原始情感识别模型确定为目标情感识别模型。
为方便描述，可以将上述两个步骤结合起来进行说明。
当确定分类损失小于预设值时，判断是否为连续预设训练周期次数分类损失均小于预设值，若是，则说明模型参数已达到设定条件，且模型性能相对稳定，模型训练完成，将原始情感识别模型确定为目标情感识别模型，若否，则说明当前还不能确定模型性能的稳定性，再次执行将原始数据输入至原始情感识别模型的一系列训练步骤。
需要说明的是，预设训练周期次数可以根据实际情况进行设定和调整，本发明实施例对此不做限定，如可以设置为5。
S308：对接收到的情感识别任务进行解析，得到待识别的目标数据。
S309：利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征。
S310：利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征。
在本发明的一种具体实施方式中，利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，可以包括以下步骤：
利用预部署于目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对第一特征进行傅里叶变换。
预先选择对长短时记忆网络(Long-Short Term Memory，LSTM)的输出隐含状态向量进行傅里叶变换。在利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征之后，利用预部署于目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对第一特征进行傅里叶变换。
例如，为了将傅里叶变换插入其中，选择对长短时记忆网络的输出隐含状态向量进行傅里叶变换，假定原始的隐含状态向量的维度是512，经过傅里叶变换之后，输出的维度是257*2，这里2这个维度代表了实部和虚部两部分，为了和原始的网络维度对应，这里通过全连接层，使得维度映射回原来的512，具体地，将输出通过变形操作变成维度为514，然后通过514*512的矩阵映射回原来的512。通过简单的参数变换设置实现即插即用，使得现有的情感识别神经网络都可以通过简单的变换融入本发明实施例提出的数据的情感识别方法。
傅里叶变换本身是信息的一种变换方式，不会带来任何参数量的增加，这里将情感识别神经网络输出的特征都看作实数，实数的傅里叶变换会改变特征的维度，所以这里需要借助一定的变换来使得神经网络下游的接口保持一致。通过设计权重矩阵映射的方式来实现即插即用，减小了对网络结构大刀阔斧的修改。
S311：利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征。
在本发明的一种具体实施方式中，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，可以包括以下步骤：
当目标数据为非时序数据时，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取。
在提取到频域特征之后，当目标数据为非时序数据时，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取。例如，如果数据本身是静态的图像，这个时候只需要直接输入变换后的频域特征即可表征原始数据包含的信息，从而提升特征提取效率。
在本发明的一种具体实施方式中，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，可以包括以下步骤：
步骤一：获取情感识别任务所属场景的场景复杂度；
步骤二：根据场景复杂度确定对频域特征的处理模式；其中，处理模式为对频域特征中的实部和虚部进行一起处理或对频域特征中的实部和虚部进行分开处理中的一种；
步骤三：利用目标情感识别模型的第二特征提取层按照处理模式对频域特征进行特征提取。
为方便描述，可以将上述三个步骤结合起来进行说明。
预先设置场景复杂度与对频域特征的处理模式之间的对应关系。处理模式包含对频域特征中的实部和虚部进行一起处理，还包括对频域特征中的实部和虚部进行分开处理。在提取到频域特征之后，获取情感识别任务所属场景的场景复杂度，根据场景复杂度确定对频域特征的处理模式。例如，如果场景包含的内容比较复杂，比如是复杂的现实场景，可以采用对频域特征中的实部和虚部分开处理的模式更充分的挖掘数据信息。如果场景内容比较单一，比如是大自然广阔的单一场景，可以对频域特征中的实部和虚部一起处理，从而减弱模型复杂度。
在本发明的一种具体实施方式中，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，可以包括以下步骤：
步骤一：当目标数据为时序数据时，对第一特征和频域特征进行特征融合，得到第二融合特征；
步骤二：利用目标情感识别模型的第二特征提取层对第二融合特征进行特征提取。
为方便描述，可以将上述两个步骤结合起来进行说明。
当目标数据为时序数据时，对第一特征和频域特征进行特征融合，得到第二融合特征，利用目标情感识别模型的第二特征提取层对第二融合特征进行特征提取。比如当目标数据为一段视频序列时，时序信息比较重要，可以采用拼接融合的方式获得更多的时序信息。
S312：利用目标情感识别模型的分类层对第二特征进行分类，得到情感识别结果。
在本发明的一种具体实施方式中，利用目标情感识别模型的分类层对第二特征进行分类，可以包括以下步骤：
利用目标情感识别模型的分类层将第二特征由特征表达维度映射到情感空间维度。
在利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征之后，利用目标情感识别模型的分类层将第二特征由特征表达维度映射到情感空间维度。通过将表达特征的维度映射的情感空间的维度，实现了对第二特征的分类。
在本发明的一种具体实施方式中，当情感识别任务为多模态的情感识别任务时，步骤S308可以包括以下步骤：
对接收到的情感识别任务进行解析，得到各模态分别对应的待识别的目标数据；
相应地，利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，可以包括以下步骤：
针对每个模态的待识别的目标数据，利用目标情感识别模型的第一特征提取层对目标数据进行特征提取；
相应地，利用目标情感识别模型的分类对将第二特征进行分类，可以包括以下步骤：
步骤一：对各模态分别对应的第二特征进行特征融合，得到第一融合特征；
步骤二：利用目标情感识别模型的分类层对第一融合特征进行分类。
当情感识别任务为多模态的情感识别任务时，对接收到的情感识别任务进行解析，得到各模态分别对应的待识别的目标数据，针对每个模态的待识别的目标数据，利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征，再利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征，然后利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征。对各模态分别对应的第二特征进行特征融合，得到第一融合特征，利用目标情感识别模型的分类层对第一融合特征进行分类。
参见图5，图5为本发明实施例中另一种情感识别系统的框架图。图5展示的是一个多模态的情感识别任务。对于不同模态的数据输入，都有各自对应的从原始数据当中提取特征的深度模型，在获得不同模态对应的特征之后，加入一个傅里叶变换，这个傅里叶变换相当于将数据从原始的数据谱映射到频谱，从不同的角度看待特征数据。后接深度模型来继续从频谱出发进行特征提取得到融合特征，最后实现情感分类。需要说明的是，这里给出的是一个普适的架构，傅里叶变换前后的深度模型可以是任何对应子领域内的特征提取网络（图像对应图像处理，文本对应自然语言处理，音频对应声音信号处理）。
参见图6和图7，图6为现有技术中情感识别框架的一种损失曲线图，图7为本发明实施例中情感识别框架的一种损失曲线图。为了从模型训练损失的角度说明本发明方法的有效性，构建了两种模型，一种包含傅里叶变换过程，一种不包含，为了对比公平，这里两个模型的参数基本相同，横坐标代表训练的次数，纵坐标代表损失值，图6代表的是原始不包含傅里叶变换的网络训练对应的损失曲线，图7代表的是包含傅里叶变换的神经网络训练对应的损失曲线，可以看出，随着训练次数的增加，本发明实施例提出的增加傅里叶变换的方法要比不带傅里叶变换的模型收敛速度更快，同时，最终收敛到一个更小的损失。
相应于上面的方法实施例，本发明还提供了一种数据的情感识别装置，下文描述的数据的情感识别装置与上文描述的数据的情感识别方法可相互对应参照。
参见图8，图8为本发明实施例中一种数据的情感识别装置的结构框图，该装置可以包括：
任务解析单元81，用于对接收到的情感识别任务进行解析，得到待识别的目标数据；
第一特征提取单元82，用于利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征；
傅里叶变换单元83，用于利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征；
第二特征提取单元84，用于利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征；
情感识别单元85，用于利用目标情感识别模型的分类层对第二特征进行分类，得到情感识别结果。
由上述技术方案可知，通过将傅里叶变换融入的深度学习的网络当中，和现有的基于傅里叶变换提取特征，然后将特征输入到神经网络相比，能够融合更深，联合优化网络参数。傅里叶变换能够将特征数据转化到频谱空间，增强了神经网络模型的可解释性，提高了情感识别的准确度。
在本发明的一种具体实施方式中，该装置还可以包括模型训练单元，模型训练单元包括：
数据集获取子单元，用于获取情感识别数据集；其中，情感识别数据集中包含原始数据和真实标签；
分类概率向量获得子单元，用于将原始数据输入至原始情感识别模型，以使原始数据依次通过原始情感识别模型的第一特征提取层、傅里叶变换模块、第二特征提取层以及分类层进行前向传输，得到分类向量；
标签向量获取子单元，用于获取真实标签对应的标签向量；
分类损失获得子单元，用于通过损失函数对分类向量和标签向量进行损失度量，得到分类损失；
判断子单元，用于判断分类损失是否小于预设值；
重复执行子单元，用于当确定分类损失大于等于预设值时，通过反向传播算法将标签向量依次通过原始情感识别模型的分类层、第二特征提取层、傅里叶变换模块以及第一特征提取层进行反向传输，以对原始情感识别模型进行参数更新，并重复执行将原始数据输入至原始情感识别模型的步骤；
目标情感识别模型确定子单元，用于当确定分类损失小于预设值时，将原始情感识别模型确定为目标情感识别模型。
在本发明的一种具体实施方式中，模型训练单元还包括：
归一化子单元，用于在得到分类向量之后，通过损失函数对分类向量和标签向量进行损失度量之前，对分类向量进行归一化，得到归一化分类概率向量；
分类损失获得子单元具体为通过损失函数对归一化分类概率向量和标签向量进行损失度量的单元。
在本发明的一种具体实施方式中，模型训练单元还包括：
权重初始化子单元，用于在将原始数据输入至原始情感识别模型之前，对原始情感识别模型进行权重初始化。
在本发明的一种具体实施方式中，目标情感识别模型确定子单元具体为判断是否为连续预设训练周期次数分类损失均小于预设值；若是，则将原始情感识别模型确定为目标情感识别模型的单元。
在本发明的一种具体实施方式中，模型训练单元还包括：
可视化子单元，用于将前向传输中傅里叶变换模块的输出结果进行可视化展示。
在本发明的一种具体实施方式中，任务解析单元81具体为对接收到的情感识别任务进行解析，得到各模态分别对应的待识别的目标数据的单元；
第一特征提取单元82具体为针对每个模态的待识别的目标数据，利用目标情感识别模型的第一特征提取层对目标数据进行特征提取的单元；
情感识别单元包括：
第一特征融合子单元，用于对各模态分别对应的第二特征进行特征融合，得到第一融合特征；
特征分类子单元，用于利用目标情感识别模型的分类层对第一融合特征进行分类。
在本发明的一种具体实施方式中，第二特征提取单元84具体为当目标数据为时序数据时，利用目标情感识别模型的第二特征提取层对频域特征进行特征提取的单元。
在本发明的一种具体实施方式中，第二特征提取单元84包括：
第二特征融合子单元，用于当目标数据为非时序数据时，对第一特征和频域特征进行特征融合，得到第二融合特征；
第二特征提取子单元，用于利用目标情感识别模型的第二特征提取层对第二融合特征进行特征提取。
在本发明的一种具体实施方式中，傅里叶变换单元83具体为利用预部署于目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对第一特征进行傅里叶变换的单元。
在本发明的一种具体实施方式中，情感识别单元85具体为利用目标情感识别模型的分类层将第二特征由特征表达维度映射到情感空间维度的单元。
在本发明的一种具体实施方式中，第二特征提取单元84包括：
场景复杂度获取子单元，用于获取情感识别任务所属场景的场景复杂度；
处理模式确定子单元，用于根据场景复杂度确定对频域特征的处理模式；其中，处理模式为对频域特征中的实部和虚部进行一起处理或对频域特征中的实部和虚部进行分开处理中的一种；
第二特征提取子单元，用于利用目标情感识别模型的第二特征提取层按照处理模式对频域特征进行特征提取。
相应于上面的方法实施例，参见图9，图9为本发明所提供的数据的情感识别设备的示意图，该设备可以包括：
存储器332，用于存储计算机程序；
处理器322，用于执行计算机程序时实现上述方法实施例的数据的情感识别方法的步骤。
具体的，请参考图10，图10为本实施例提供的一种数据的情感识别设备的具体结构示意图，该数据的情感识别设备可因配置或性能不同而产生比较大的差异，可以包括处理器（central processing units，CPU）322（例如，一个或一个以上处理器）和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在数据的情感识别设备301上执行存储器332中的一系列指令操作。
数据的情感识别设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的数据的情感识别方法中的步骤可以由数据的情感识别设备的结构实现。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
对接收到的情感识别任务进行解析，得到待识别的目标数据；利用目标情感识别模型的第一特征提取层对目标数据进行特征提取，得到第一特征；利用预部署于目标情感识别模型的傅里叶变换模块对第一特征进行傅里叶变换，得到频域特征；利用目标情感识别模型的第二特征提取层对频域特征进行特征提取，得到第二特征；利用目标情感识别模型的分类层对第二特征进行分类，得到情感识别结果。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (14)

1.一种数据的情感识别方法，其特征在于，包括：
对接收到的情感识别任务进行解析，得到待识别的目标数据；
利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取，得到第一特征；其中，所述第一特征提取层为所述目标数据对应领域的特征提取主干网络，所述第一特征为从所述目标数据中提取的具有语义表达能力的中间特征向量；所述第一特征的提取公式为：
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE004
为所述第一特征提取层，
Figure DEST_PATH_IMAGE006
为所述第一特征；
利用预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对所述第一特征进行傅里叶变换，得到频域特征；其中，所述利用预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对所述第一特征进行傅里叶变换的过程包括：将所述第一特征输入至预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块，所述傅里叶变换模块对所述长短时记忆网络的输出隐含状态向量进行傅里叶变换；
利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，得到第二特征；其中，所述第二特征提取层为深度学习的特征抽取层，所述第二特征为对所述频域特征进行深度特征提取得到的所述目标数据的表达特征；所述第二特征的提取公式为：
Figure DEST_PATH_IMAGE008
，其中，
Figure DEST_PATH_IMAGE010
为所述频域特征，
Figure 403680DEST_PATH_IMAGE006
为所述第一特征，
Figure DEST_PATH_IMAGE012
为所述第二特征提取层，所述
Figure DEST_PATH_IMAGE014
为所述第二特征；
利用所述目标情感识别模型的分类层对所述第二特征进行分类，得到情感识别结果。
2.根据权利要求1所述的数据的情感识别方法，其特征在于，还包括所述情感识别模型的训练过程，所述情感识别模型的训练过程包括：
获取情感识别数据集；其中，所述情感识别数据集中包含原始数据和真实标签；
将所述原始数据输入至原始情感识别模型，以使所述原始数据依次通过所述原始情感识别模型的第一特征提取层、傅里叶变换模块、第二特征提取层以及分类层进行前向传输，得到分类向量；
获取所述真实标签对应的标签向量；
通过损失函数对所述分类向量和所述标签向量进行损失度量，得到分类损失；
判断所述分类损失是否小于预设值；
若否，则通过反向传播算法将所述标签向量依次通过所述原始情感识别模型的分类层、第二特征提取层、傅里叶变换模块以及第一特征提取层进行反向传输，以对所述原始情感识别模型进行参数更新，并重复执行所述将所述原始数据输入至原始情感识别模型的步骤；
若是，则将所述原始情感识别模型确定为所述目标情感识别模型。
3.根据权利要求2所述的数据的情感识别方法，其特征在于，在得到分类向量之后，通过损失函数对所述分类向量和所述标签向量进行损失度量之前，还包括：
对所述分类向量进行归一化，得到归一化分类概率向量；
通过损失函数对所述分类向量和所述标签向量进行损失度量，包括：
通过损失函数对所述归一化分类概率向量和所述标签向量进行损失度量。
4.根据权利要求2所述的数据的情感识别方法，其特征在于，在将所述原始数据输入至所述原始情感识别模型之前，还包括：
对原始情感识别模型进行权重初始化。
5.根据权利要求2所述的数据的情感识别方法，其特征在于，将所述原始情感识别模型确定为所述目标情感识别模型，包括：
判断是否为连续预设训练周期次数所述分类损失均小于所述预设值；
若是，则将所述原始情感识别模型确定为所述目标情感识别模型。
6.根据权利要求2所述的数据的情感识别方法，其特征在于，还包括：
将前向传输中所述傅里叶变换模块的输出结果进行可视化展示。
7.根据权利要求1至6任一项所述的数据的情感识别方法，其特征在于，当所述情感识别任务为多模态的情感识别任务时，对接收到的情感识别任务进行解析，得到待识别的目标数据，包括：
对接收到的情感识别任务进行解析，得到各模态分别对应的待识别的目标数据；
利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取，包括：
针对每个模态的待识别的目标数据，利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取；
利用所述目标情感识别模型的分类对将所述第二特征进行分类，包括：
对各所述模态分别对应的第二特征进行特征融合，得到第一融合特征；
利用所述目标情感识别模型的分类层对所述第一融合特征进行分类。
8.根据权利要求1所述的数据的情感识别方法，其特征在于，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，包括：
当所述目标数据为非时序数据时，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取。
9.根据权利要求1所述的数据的情感识别方法，其特征在于，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，包括：
当所述目标数据为时序数据时，对所述第一特征和所述频域特征进行特征融合，得到第二融合特征；
利用所述目标情感识别模型的第二特征提取层对所述第二融合特征进行特征提取。
10.根据权利要求1所述的数据的情感识别方法，其特征在于，利用所述目标情感识别模型的分类层对所述第二特征进行分类，包括：
利用所述目标情感识别模型的分类层将所述第二特征由特征表达维度映射到情感空间维度。
11.根据权利要求1所述的数据的情感识别方法，其特征在于，利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，包括：
获取所述情感识别任务所属场景的场景复杂度；
根据所述场景复杂度确定对所述频域特征的处理模式；其中，所述处理模式为对所述频域特征中的实部和虚部进行一起处理或对所述频域特征中的实部和虚部进行分开处理中的一种；
利用所述目标情感识别模型的第二特征提取层按照所述处理模式对所述频域特征进行特征提取。
12.一种数据的情感识别装置，其特征在于，包括：
任务解析单元，用于对接收到的情感识别任务进行解析，得到待识别的目标数据；
第一特征提取单元，用于利用目标情感识别模型的第一特征提取层对所述目标数据进行特征提取，得到第一特征；其中，所述第一特征提取层为所述目标数据对应领域的特征提取主干网络，所述第一特征为从所述目标数据中提取的具有语义表达能力的中间特征向量；所述第一特征的提取公式为：
Figure 175370DEST_PATH_IMAGE002
，
Figure 861566DEST_PATH_IMAGE004
为所述第一特征提取层，
Figure 865294DEST_PATH_IMAGE006
为所述第一特征；
傅里叶变换单元，用于利用预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对所述第一特征进行傅里叶变换，得到频域特征；其中，所述利用预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对所述第一特征进行傅里叶变换的过程包括：将所述第一特征输入至预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块，所述傅里叶变换模块对所述长短时记忆网络的输出隐含状态向量进行傅里叶变换；
第二特征提取单元，用于利用所述目标情感识别模型的第二特征提取层对所述频域特征进行特征提取，得到第二特征；其中，所述第二特征提取层为深度学习的特征抽取层，所述第二特征为对所述频域特征进行深度特征提取得到的所述目标数据的表达特征；所述第二特征的提取公式为：
Figure 368957DEST_PATH_IMAGE008
，其中，
Figure 28608DEST_PATH_IMAGE010
为所述频域特征，
Figure 908709DEST_PATH_IMAGE006
为所述第一特征，
Figure 235785DEST_PATH_IMAGE012
为所述第二特征提取层，所述
Figure 926660DEST_PATH_IMAGE014
为所述第二特征；
情感识别单元，用于利用所述目标情感识别模型的分类层对所述第二特征进行分类，得到情感识别结果。
13.一种数据的情感识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至11任一项所述数据的情感识别方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述数据的情感识别方法的步骤。
CN202210828996.XA 2022-07-15 2022-07-15 一种数据的情感识别方法、装置、设备及可读存储介质 Active CN114913590B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210828996.XA CN114913590B (zh) 2022-07-15 2022-07-15 一种数据的情感识别方法、装置、设备及可读存储介质
PCT/CN2022/134799 WO2024011818A1 (zh) 2022-07-15 2022-11-28 一种数据的情感识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210828996.XA CN114913590B (zh) 2022-07-15 2022-07-15 一种数据的情感识别方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114913590A CN114913590A (zh) 2022-08-16
CN114913590B true CN114913590B (zh) 2022-12-27

Family

ID=82772472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210828996.XA Active CN114913590B (zh) 2022-07-15 2022-07-15 一种数据的情感识别方法、装置、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN114913590B (zh)
WO (1) WO2024011818A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913590B (zh) * 2022-07-15 2022-12-27 山东海量信息技术研究院 一种数据的情感识别方法、装置、设备及可读存储介质
CN115620706B (zh) * 2022-11-07 2023-03-10 之江实验室 一种模型训练方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134277A1 (zh) * 2019-12-30 2021-07-08 深圳市优必选科技股份有限公司 情感识别方法、智能装置和计算机可读存储介质
JP7420211B2 (ja) * 2020-02-28 2024-01-23 日本電信電話株式会社 感情認識装置、感情認識モデル学習装置、それらの方法、およびプログラム
CN111564164A (zh) * 2020-04-01 2020-08-21 中国电力科学研究院有限公司 一种多模态情感识别方法及装置
CN112151071B (zh) * 2020-09-23 2022-10-28 哈尔滨工程大学 一种基于混合小波包特征深度学习的语音情感识别方法
CN111968679B (zh) * 2020-10-22 2021-01-29 深圳追一科技有限公司 情感识别方法、装置、电子设备及存储介质
CN113807249B (zh) * 2021-09-17 2024-01-12 广州大学 基于多模态特征融合的情感识别方法、系统、装置及介质
CN114021524B (zh) * 2021-09-29 2024-02-27 苏州浪潮智能科技有限公司 一种情感识别方法、装置、设备及可读存储介质
CN114020897A (zh) * 2021-12-31 2022-02-08 苏州浪潮智能科技有限公司 一种对话情感识别方法及相关装置
CN114424940A (zh) * 2022-01-27 2022-05-03 山东师范大学 基于多模态时空特征融合的情绪识别方法及系统
CN114155478B (zh) * 2022-02-09 2022-05-10 苏州浪潮智能科技有限公司 一种情感识别方法、装置、系统及计算机可读存储介质
CN114639155A (zh) * 2022-04-07 2022-06-17 中国工商银行股份有限公司 情感识别方法、装置、存储介质、及处理器
CN114913590B (zh) * 2022-07-15 2022-12-27 山东海量信息技术研究院 一种数据的情感识别方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
WO2024011818A1 (zh) 2024-01-18
CN114913590A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
JP7432556B2 (ja) マンマシンインタラクションのための方法、装置、機器および媒体
CN114913590B (zh) 一种数据的情感识别方法、装置、设备及可读存储介质
CN110838289A (zh) 基于人工智能的唤醒词检测方法、装置、设备及介质
CN113421547B (zh) 一种语音处理方法及相关设备
CA3166784A1 (en) Human-machine interactive speech recognizing method and system for intelligent devices
CN110275939B (zh) 对话生成模型的确定方法及装置、存储介质、电子设备
CN117521675A (zh) 基于大语言模型的信息处理方法、装置、设备及存储介质
CN111666416B (zh) 用于生成语义匹配模型的方法和装置
CN112214591B (zh) 一种对话预测的方法及装置
CN111597779B (zh) 文本生成方法、装置、设备以及存储介质
CN115129848A (zh) 一种视觉问答任务的处理方法、装置、设备和介质
CN111428010A (zh) 人机智能问答的方法和装置
CN110114765B (zh) 通过共享话语的上下文执行翻译的电子设备及其操作方法
CN111859940B (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN113705315B (zh) 视频处理方法、装置、设备及存储介质
KR20210136706A (ko) 전자 장치 및 이의 제어 방법
CN113435182B (zh) 自然语言处理中分类标注的冲突检测方法、装置和设备
CN117992800A (zh) 图文数据匹配检测方法、装置、设备及介质
CN116402914B (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN115248846B (zh) 文本识别方法、设备、介质
US20230005466A1 (en) Speech synthesis method, and electronic device
JP2024537258A (ja) 音声ウェイクアップ方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN115798456A (zh) 跨语言情感语音合成方法、装置及计算机设备
CN113688938B (zh) 确定对象情感的方法、训练情感分类模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant