CN116304585B - 情感识别及模型训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开的情感识别及模型训练方法、装置、电子设备及存储介质，属于计算机数据处理技术领域。该方法包括：将多个样本情感数据依次输入待训练的情感识别模型；对每个样本情感数据进行特征提取得到多个初级胶囊特征；对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果；以及根据训练识别结果确定训练损失函数的函数值，并根据训练损失函数的函数值对情感识别模型进行参数优化。本发明能够提高进行情感识别时的识别准确率。

Description

情感识别及模型训练方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机数据处理技术领域，尤其涉及一种情感识别及模型训练方法、装置、电子设备及存储介质。

背景技术

随着人机交互领域的快速兴起和对智能感知人类意图和情感的发展需要，有效的情感识别方法已成为该领域的研究热点。情感识别可被归为一种模式识别问题，越来越多研究人员致力于设计深度学习网络框架来解决情感识别问题。胶囊网络因表达能力更强和学习参数更少的优点，近年来受到了广泛的关注和应用。

但是现有技术在利用传统胶囊网络进行情感识别时，往往存在所提取的特征的情感代表性不足，因而导致对情感识别的准确率不高的问题。

发明内容

本发明实施例提供一种情感识别及模型训练方法、装置、电子设备及存储介质，能够训练得到在用于进行情感识别时能够提取得到高情感代表性特征的到情感识别模型，进而提高在利用所得到的情感识别网络模型进行情感识别时的识别准确率。

第一方面，本发明实施例提供一种情感识别模型训练方法，包括：将多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征；利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化。

第二方面，本发明实施例提供一种情感识别方法，包括：将待识别情感数据输入训练好的情感识别模型；所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征；利用所述分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征；以及利用所述分类层根据每个校准待识别初级胶囊特征输出所述待识别情感数据的情感类型。

第三方面，本发明实施例提供一种情感识别模型训练装置，包括：样本输入模块，用于将多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；样本特征提取模块，用于利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征；样本特征校准模块，用于利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；训练识别结果获取模块，用于利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及模型参数优化模块，用于根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化。

第四方面，本发明实施例提供一种情感识别装置，包括：输入模块，用于将待识别情感数据输入训练好的情感识别模型；所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；特征提取模块，用于利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征；特征校准模块，用于利用所述分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征；以及识别模块，用于利用所述分类层根据每个校准待识别初级胶囊特征输出所述待识别情感数据的情感类型。

第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的情感识别模型训练方法或者情感识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的情感识别模型训练方法或者情感识别方法。

本发明实施例中所提供的一种情感识别及模型训练方法、装置、电子设备及存储介质，通过增加设计分支胶囊注意力增强层对胶囊网络进行改进和调整，从而训练得到能够在用于进行情感识别时，能够提取得到高情感代表性特征的到情感识别模型，进而提高在利用所得到的情感识别网络模型进行情感识别时的识别准确率。

附图说明

图1是本发明实施例提供的情感识别模型训练方法的一个流程示意图；

图2是本发明实施例提供的情感识别模型训练方法的另一个流程示意图；

图3是本发明实施例提供的情感识别模型训练方法中的情感类别示意图；

图4是本发明实施例提供的情感识别模型训练方法的另一个流程示意图；

图5是本发明实施例提供的情感识别方法的一个流程示意图；

图6是本发明实施例提供的情感识别模型训练装置的一个结构示意图；

图7是本发明实施例提供的情感识别装置的一个结构示意图；

图8是本发明实施例提供的电子设备的一个结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的情感识别模型训练方法的一个流程示意图，该方法可以由本发明实施例提供的情感识别模型训练装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、服务器等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图1，该方法具体可以包括如下步骤：

步骤101，将多个样本情感数据依次输入待训练的情感识别模型，情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层。能够利于利用上述样本情感数据对待训练的情感识别模型进行训练。

具体的，上述样本情感数据可以是对利用不同类型情感的刺激场景对受试者进行情感刺激试验时采集的生物电信号进行处理得到的生物电数据。

具体的，上述样本情感数据可以是一个矩阵，例如大小为36×36的矩阵，36为上述生物电信号的采集通道数目。

具体的，上述待训练的情感识别模型可以是胶囊网络。

具体的，上述待训练的情感识别模型还可以是包括胶囊网络部分的神经网络。

步骤102，利用特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征，能够利于后续对上述初级胶囊特征进行注意力校准，并进一步利于校准后的初级胶囊特征利用分类层得到训练识别结果。

可选的，上述特征提取层包括：局部特征提取层以及初级胶囊生成层。

在本发明的可选具体实施例中，上述利用特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征的过程包括：通过局部特征提取层基于激活函数运算得到每个样本情感数据的局部特征。

优选的，上述激活函数为serf激活函数。

具体的，上述激活函数还可以是Leaky ReLU、swish、SiLU等激活函数。

具体的，传统胶囊网络中利用ReLU激活函数进行卷积运算，能够保证卷积运算的速度，但是可能会导致神经元坏死；本发明将ReLU激活函数替换为梯度更为平滑的serf激活函数，能够有效避免利用ReLU激活函数时可能出现的神经坏死现象，增强非线性表达能力，使得模型能够更好地进行情感识别分类。

具体的，serf激活函数可以用σ(∙)表示，则上述局部特征可以通过下列公式进行计算：

其中，表示根据样本输入情感数据矩阵提取的局部特征矩阵，/>表示该层进行卷积运算时的可训练权重矩阵，/>表示可训练偏置。

在本发明的可选具体实例中，上述基于激活函数运算得到每个样本情感数据的局部特征的过程包括：基于serf激活函数，利用大小为9×9的卷积核，将输出通道设置为128，步长设置为2，对大小为36×36的样本输入情感数据矩阵进行卷积运算，得到大小为128×14×14的局部特征矩阵。

在本发明的可选具体实施例中，上述利用特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征的过程包括：通过初级胶囊生成层基于激活函数对每个样本情感数据的局部特征进行多级卷积运算得到多个初级胶囊特征。

优选的，上述激活函数为serf激活函数。

具体的，上述激活函数还可以是Leaky ReLU、swish、SiLU等激活函数。

具体的，上述进行多级卷积运算可以采用16级卷积模块。

具体的，serf激活函数可以用σ(∙)表示，则上述局部特征可以通过下列公式进行计算：

其中表示每个样本情感数据的局部特征，/>表示对上述局部特征进行多级卷积生成的初级胶囊特征。其大小为L×C×H×W，其中L表示卷积级数，C为通道数。/>表示该层进行卷积运算时的可训练权重矩阵，/>表示可训练偏置。

在本发明的可选具体实例中，上述基于激活函数对每个样本情感数据的局部特征进行多级卷积运算得到多个初级胶囊特征的过程包括：基于serf激活函数，利用大小为5×5的卷积核对大小为128×14×14的样本输入情感数据矩阵进行16级卷积运算，将输入通道设置为128，输出通道设置为16，步长设置为2，得到大小为16×16×5×5的初级胶囊特征矩阵。

步骤103，利用分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征，该步骤能够利于根据校准初级胶囊特征利用分类层得到训练识别结果。

可选的，上述多分支卷积运算的分支数目与上述多分支卷积运算的分支数目相同。

可选的，上述不同卷积核的数目与上述多分支卷积运算的分支数目和上述多分支卷积运算的分支数目不同。

优选的，上述不同卷积核的数目与上述多分支卷积运算的分支数目和上述多分支卷积运算的分支数目相同。

具体的，上述多个胶囊分支特征的数目可以是2-10个，例如2个、3个、4个，优选2个。

具体的，上述不同卷积核可以包括不同大小的卷积核。

具体的，可以使用下列公式计算得到上述每个初级胶囊特征的两个胶囊分支特征K1和K2：

其中和代表分支卷积的可学习矩阵，/>表示前文中步骤得到的初级胶囊特征。

在本发明的可选具体实例中，如图2所示，分别使用大小为1×1和3×3的两个卷积核，并将输出通道均设置为16，步长均设置为1，填充设置为1，对上述每个初级胶囊特征进行2分支卷积运算，对应得到两个大小均为16×16×5×5胶囊分支特征K1以及K2。

在本发明的可选具体实施例中，上述对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：利用激活函数根据每个初级胶囊特征的多个胶囊分支特征运算得到每个初级胶囊特征的总特征。

优选的，上述激活函数为serf激活函数。

具体的，上述激活函数还可以是Leaky ReLU、swish、SiLU等激活函数。

可选的，上述利用激活函数根据每个初级胶囊特征的多个胶囊分支特征运算得到每个初级胶囊特征的总特征的过程包括：将上述每个初级胶囊特征的多个胶囊分支特征相加并使用serf激活函数后得到上述每个初级胶囊特征的总特征。

具体的，可以使用下列公式进行计算：

其中K的大小为L×C×H×W。

可选的，如图2所示，将上述每个初级胶囊特征的两个胶囊分支特征K1和K2相加并使用serf激活函数后得到大小为16×16×5×5的总特征K。

具体的，也可以将上述每个初级胶囊特征的多个胶囊分支特征进行相加之外的其他运算，例如相减后使用serf激活函数后得到上述每个初级胶囊特征的总特征。

在本发明的可选具体实施例中，上述对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：对每个初级胶囊特征的总特征进行全局平均池化运算得到每个初级胶囊特征的通道关键向量。

具体的，还可以对上述每个初级胶囊特征的总特征进行最大池化运算得到上述每个初级胶囊特征的通道关键向量。

具体的，可以利用以下公式计算得到上述每个初级胶囊特征的通道关键向量υ，其大小为L×C×1×1：

可选的，如图2所示，对上述每个初级胶囊特征的总特征K进行全局平均池化运算得到上述每个初级胶囊特征的通道关键向量υ，其大小为16×16×1×1。

在本发明的可选具体实施例中，上述对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：对每个初级胶囊特征的通道关键向量进行线性变换得到每个初级胶囊特征的线性通道关键向量。

具体的，可以利用以下公式计算得到上述每个初级胶囊特征的线性通道关键向量u：

其中u大小为L×d×1×1，，r为缩小比率，可以设定为2，L为16。

可选的，如图2所示，将上述每个初级胶囊特征的通道关键向量υ进行线性变换得到中间向量，即上述线性通道关键向量u，其大小为16×d×1×1。

在本发明的可选具体实施例中，上述对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：利用与每个胶囊分支特征对应的变换矩阵，将对应初级胶囊特征的线性通道关键向量转换为与每个胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得每个初级胶囊特征的每个胶囊分支特征相同位置的通道注意力权重值的和为1。

具体的，可以利用下列公式计算得到每个胶囊分支特征对应的分支通道注意力向量：

其中，表示分支通道注意力向量，Ac和Bc示变换矩阵，大小均为C×d，C表示通道数，d表示中间变换维度。

可选的，如图2所示，利用分别与胶囊分支特征K1和胶囊分支特征K2对应的变换矩阵Ac和Bc将上述每个初级胶囊特征的线性通道关键向量对应转换为分支通道注意力向量和/>。可选的，上述变换矩阵Ac和Bc的大小均为16×16，则分支通道注意力向量 />和的大小均为16×16×1×1。

可选的，上述调整每个分支通道注意力向量中的通道注意力值，使得每个初级胶囊特征的每个胶囊分支特征相同位置的通道注意力权重值的和为1的过程包括：采用softmax函数计算每一个通道注意力值。

在本发明的可选具体实施例中，上述对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：对每个胶囊分支特征根据对应的分支通道注意力向量进行校准得到校准胶囊分支特征；以及将每个初级胶囊特征对应的校准胶囊分支特征进行逐元素相加得到多个校准初级胶囊特征。

具体的，可以利用以下公式计算得到上述每个初级胶囊特征的校准初级胶囊特征：

可选的，如图2所示，将上述每个初级胶囊特征分支通道注意力向量 和/>分别重新校准到对每个初级胶囊特征应两个胶囊分支特征K1和K2，之后将校准得到的校准胶囊分支特征进行逐元素相加，得到对应每个初级胶囊特征的校准初级胶囊特征/>，其大小为16×16×5×5，进而得到上述多个校准初级胶囊特征。

步骤104，利用分类层根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果，能够利于根据训练识别结果进行情感识别模型参数的优化。

可选的，上述分类层包括：情感胶囊生成层以及情感分类层。

在发明的可选具体实施例中，上述利用分类层根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果的过程包括：通过情感胶囊生成层根据每个校准初级胶囊特征基于动态路由操作得到多个情感胶囊特征。

可选的，上述通过情感胶囊生成层根据每个校准初级胶囊特征基于动态路由操作得到多个情感胶囊特征的过程包括，将每个上述校准初级胶囊特征铺平得到铺平胶囊特征，作为上述情感胶囊生成层的输入。

可选的，将上述每个初级胶囊特征的校准初级胶囊特征，铺平后得到大小为16×400的情感胶囊生成层输入特征P。

具体的，可以对上述每个校准初级胶囊特征进行多次动态路由，路由次数Tr可以设置为3。

在本发明的可选具体实例中，每次动态路由的过程可以包括：将每个上述情感胶囊生成层输入特征P通过仿射变换得到，然后对/>进行加权相加，得到/>(c表示情感分类标签，c=0，1，2，3)，其中加权权重是需要学习更新的。之后通过非线性挤压函数（squash函数）将/>进一步变换为高级胶囊/>，直至完成Tr次动态路由过程，得到情感胶囊特征/>。

具体的，上述可以是/> (c=0，1，2，3)。

在发明的可选具体实施例中，上述利用分类层根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果的过程包括：通过情感分类层根据每个情感胶囊特征的模长分类得到训练识别结果。

可选的，上述通过情感分类层根据每个情感胶囊特征的模长分类得到训练识别结果的过程包括：计算上述每个情感胶囊特征的模长，得到其分类为第c种情感类别的分类概率 ，c=0，1，2，3。

步骤105，根据训练识别结果以及对应样本情感数据的情感类别确定训练损失函数的函数值，并根据训练损失函数的函数值对情感识别模型进行参数优化，能够得到训练好的情感识别模型，进而利于利用训练好的情感识别模型，提高对用户进行情感识别时的识别准确率。

可选的，上述情感类别包括四大分类，具体如图3所示，包括第一类：高效价高唤醒（HVHA）：兴奋、高兴、快乐；第二类：低效价高唤醒（LVHA)：紧张、生气、沮丧；第三类：低效价低唤醒（LVLA)：压抑、无聊、疲惫；以及第四类：高效价低唤醒（HVLA)：冷静、放松、满意。

具体的，上述训练损失函数可以是边际损失函数。

具体的，在训练中模型所依据的损失函数为各个情感类别的损失只和。

可选的，上述对情感识别模型进行参数优化的过程包括，使用RMSProp梯度优化策略，以反向传播的方式对情感识别模型中的权重以及参数进行不断更新，以使情感识别模型能够适应适应每一种情感类别的分类，直至模型对每一种情感类别都能获得最优的识别精度。

在本发明的可选具体实例中，本发明情感识别模型训练方法所采用的的策略如下面表1所示：

表1

在本发明的可选具体实施例中，利用测试情感数据对经由上述训练步骤得到的训练好的情感识别模型进行测试。具体的，在测试阶段，改进胶囊网络中卷积过程的网络参数已冻结，动态路由中的耦合系数可以根据测试集数据自适应地做出调整，以提高测试集的情感分类准确率。测试集的分类标签分别使用0，1，2，3表示。

下面进一步介绍情感识别模型训练方法，如图4所示，即本发明的情感识别模型训练方法可以包括如下步骤：

步骤401，对受试者面对多个情感刺激场景时的生物电信号进行采集，并对生物电信号进行处理得到多个样本情感数据。

可选的，上述多个情感刺激场景可以对应多种不同的情感类别，上述生物电信号可以包括脑电信号EEG、眼电信号EOG以及肌电信号EMG。

具体的，采集上述生物电信号的频率可以设置为128Hz。

具体的，上述眼电信号EOG可以是水平及垂直眼电信号，上述肌电信号EMG可是颧骨及斜方肌肌电信号。

可选的，上述对受试者面对多个情感刺激场景时的生物电信号进行采集的过程包括：令受试者佩戴脑电帽、水平及垂直眼电采集电极、颧骨肌及斜方肌肌电采集电极，在安静、温度适宜、无明显干扰的实验环境下，以相对舒适的坐姿观看情感视频刺激素材。在此过程中，实时记录此过程中受试者的生理信号。

可选的，电极放置位置的细节可以为：脑电信号包括32导联的采集电极，其放置位置可以依据10-20国际标准导联系统；水平眼电信号包括2导联采集电极，其放置位置可以为两眼外眦外侧；垂直眼电包括2导联采集电极，其放置位置可以为右眼眶上下方；颧骨肌肌电信号包括2导联采集电极，其放置位置可以为嘴角右上方1厘米，且两电极相隔1厘米；斜方肌肌电信号包括2导联采集电极，其放置位置可以为斜方肌处，两电极相隔1厘米。最后的眼电信号及肌电信号均由两个采集电极之差决定，因此得到，脑电信号、水平眼电信号、垂直眼电信号、颧骨肌肌电信号、斜方肌肌电信号的信号通道分别为32，1，1，1，1。

在本发明的可选具体实施例中，上述对生物电信号进行处理得到多个样本情感数据的过程包括：

分别利用滤波器对脑电信号、眼电信号以及肌电信号进行伪迹及干扰去除，对应得到滤波脑电信号、滤波眼电信号以及滤波肌电信号。

具体的，可以利用巴特沃兹带通滤波器去除各电极的伪迹干扰，其中脑电信号、眼电信号、肌电信号的带通频带分别为0.3-50Hz、0-20Hz、10-500Hz，同时可以采用50Hz的陷波滤波去除工频干扰。

分别对滤波脑电信号、滤波眼电信号以及滤波肌电信号以预设时间窗进行切割，对应得到脑电信号序列、眼电信号序列以及肌电信号序列。

具体的，上述时间窗窗长可以是1s，得到长度为128个采样点的多个脑电信号序列、眼电信号序列/>以及肌电信号序列/>，其中分别代表脑电信号、眼电信号和肌电信号的采集通道数目，具体可以分别是：32，2，2。/>分别代表相应信号的序列点数，在三种信号的采样率相同的均为128Hz的情况下，上述每个序列的点数均可以是128。

对每个情感刺激场景对应的脑电信号序列、眼电信号序列以及肌电信号序列两两求相关系数，得到每个情感刺激场景对应的相关系数。

具体的，可以根据信号序列计算增广异质相关矩阵/>，将脑电信号序列/>、眼电信号序列/>和肌电信号序列/>两两求相关系数矩阵，得到，相关系数矩阵的计算式为：

其中，x和y分别表示脑电信号序列、眼电信号序列或肌电序列的通道，为相关系数矩阵A中坐标为(x, y)的相关系数，X与Y分别表示第x和y通道的信号序列，N表示序列长度。

将对每个情感刺激场景对应的相关系数进行整合得到的增广异质相关矩阵，并将增广异质相关矩阵作为每个情感刺激场景对应的样本情感数据。

具体的，整合得到增广异质相关矩阵的方式可以为：

其中，的维度为/>。

步骤402，将多个样本情感数据依次输入待训练的情感识别模型，情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层。

步骤403，利用特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征。

步骤404，利用分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征。

步骤405，利用分类层根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果。以及

步骤406，根据训练识别结果以及对应样本情感数据的情感类别确定训练损失函数的函数值，并根据训练损失函数的函数值对情感识别模型进行参数优化。

本发明实施例通过计算脑电信号序列，眼电信号序列以及肌电信号序列的相关系数矩阵，将脑电信号，眼电信号以及肌电信号进行充分有效融合，并基于融合信号进行模型训练，能够使得利用训练得到的情感识别模型，可以根据用户的脑电信号，眼电信号，以及肌电信号，对用户的情感进行准确的识别，进一步提高情感识别的准确率以及效率。

图5是本发明实施例提供的情感识别方法的一个流程示意图，该方法可以由本发明实施例提供的情感识别装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、服务器等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图5，该方法具体可以包括如下步骤：

步骤501，将待识别情感数据输入训练好的情感识别模型。

可选的，情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；

步骤502，利用特征提取层对待识别情感数据进行特征提取得到多个待识别初级胶囊特征。

步骤503，利用分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对每个待识别初级胶囊特征的多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征。

步骤504，利用分类层根据每个校准待识别初级胶囊特征输出待识别情感数据的情感类型。

在本发明的可选具体实施例中，本发明的情感识别方法还包括：在将待识别情感数据输入训练好的情感识别模型之前，对用户的生物电信号进行采集，并对生物电信号进行处理得到待识别情感数据；

可选的，生物电信号包括脑电信号、眼电信号以及肌电信号。

本发明实施例利用通过增加设计分支胶囊注意力增强层对胶囊网络进行改进和调整得到的到情感识别模型，能够提取得到高情感代表性特征，进而能够提高对用户进行情感识别时的识别准确率。

图6是本发明实施例提供的情感识别模型训练装置的一个结构图，该装置适用于执行本发明实施例提供的情感识别模型训练方法。如图6所示，该装置具体可以包括：

样本输入模块601，用于将多个样本情感数据依次输入待训练的情感识别模型，情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；能够利于利用上述样本情感数据对待训练的情感识别模型进行训练。

样本特征提取模块602，用于利用特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征，能够利于后续对上述初级胶囊特征进行注意力校准，并进一步利于校准后的初级胶囊特征利用分类层得到训练识别结果。能够利于根据校准初级胶囊特征利用分类层得到训练识别结果。

可选的，上述特征提取层包括：局部特征提取层以及初级胶囊生成层。

在本发明的可选具体实施例中，上述样本特征提取模块602能够具体用于：通过局部特征提取层基于激活函数运算得到每个样本情感数据的局部特征；以及，通过初级胶囊生成层基于激活函数对每个样本情感数据的局部特征进行多级卷积运算得到多个初级胶囊特征。

样本特征校准模块603，用于利用分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对每个初级胶囊特征的多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征。能够利于根据所获得的校准初级胶囊特征利用分类层得到训练识别结果。

在本发明的可选具体实施例中，上述样本特征校准模块603能够具体用于利用激活函数根据每个初级胶囊特征的多个胶囊分支特征运算得到每个初级胶囊特征的总特征；对每个初级胶囊特征的总特征进行全局平均池化运算得到每个初级胶囊特征的通道关键向量；对每个初级胶囊特征的通道关键向量进行线性变换得到每个初级胶囊特征的线性通道关键向量；利用与每个胶囊分支特征对应的变换矩阵，将对应初级胶囊特征的线性通道关键向量转换为与每个胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得每个初级胶囊特征的每个胶囊分支特征相同位置的通道注意力权重值的和为1；对每个胶囊分支特征根据对应的分支通道注意力向量进行校准得到校准胶囊分支特征；将每个初级胶囊特征对应的校准胶囊分支特征进行逐元素相加得到多个校准初级胶囊特征。

训练识别结果获取模块604，用于利用分类层根据每个校准初级胶囊特征输出对应样本情感数据的训练识别结果，能够利于根据训练识别结果进行情感识别模型参数的优化。

可选的，上述分类层包括：情感胶囊生成层以及情感分类层。

在本发明的可选具体实施例中，上述训练识别结果获取模块604能够具体用于通过情感胶囊生成层根据每个校准初级胶囊特征基于动态路由操作得到多个情感胶囊特征；以及通过情感分类层根据每个情感胶囊特征的模长分类得到训练识别结果。

模型参数优化模块605，用于根据训练识别结果以及对应样本情感数据的情感类别确定训练损失函数的函数值，并根据训练损失函数的函数值对情感识别模型进行参数优化。能够得到训练好的情感识别模型，进而利于利用训练好的情感识别模型，提高对用户进行情感识别时的识别准确率。

在本发明的可选实施例中，本发明的情感识别模型训练装置还包括：样本信号采集及处理模块，用于对受试者面对多个情感刺激场景时的生物电信号进行采集，并对生物电信号进行处理得到多个样本情感数据。

可选的，多个情感刺激场景对应多种不同的情感类别。

可选的，生物电信号包括脑电信号、眼电信号以及肌电信号。

在本发明的可选具体实施例中，上述样本信号采集及处理模块能够具体用于分别利用滤波器对脑电信号、眼电信号以及肌电信号进行伪迹及干扰去除，对应得到滤波脑电信号、滤波眼电信号以及滤波肌电信号；

分别对滤波脑电信号、滤波眼电信号以及滤波肌电信号以预设时间窗进行切割，对应得到脑电信号序列、眼电信号序列以及肌电信号序列；

对每个情感刺激场景对应的脑电信号序列、眼电信号序列以及肌电信号序列两两求相关系数，得到每个情感刺激场景对应的相关系数；

将对每个情感刺激场景对应的相关系数进行整合得到的增广异质相关矩阵，并将增广异质相关矩阵作为每个情感刺激场景对应的样本情感数据。

图7是本发明实施例提供的情感识别装置的一个结构图，该装置适用于执行本发明实施例提供的情感识别方法。如图7所示，该装置具体可以包括：

输入模块701，用于将待识别情感数据输入训练好的情感识别模型；情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层。

特征提取模块702，用于利用特征提取层对待识别情感数据进行特征提取得到多个待识别初级胶囊特征。

特征校准模块703，用于利用分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对每个待识别初级胶囊特征的多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征。

识别模块704，用于利用分类层根据每个校准待识别初级胶囊特征输出待识别情感数据的情感类型。

在本发明的可选具体实施例中，本发明的情感识别装置还包括：信号采集及处理模块，用于在将待识别情感数据输入训练好的情感识别模型之前，对用户的生物电信号进行采集，并对生物电信号进行处理得到待识别情感数据；

可选的，生物电信号包括脑电信号、眼电信号以及肌电信号。

本发明实施例可以利用通过增加设计分支胶囊注意力增强层对胶囊网络进行改进和调整得到的到情感识别模型，能够提取得到高情感代表性特征，进而能够提高对用户进行情感识别时的识别准确率。

本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例提供的情感识别模型训练方法，或者情感识别方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的情感识别模型训练方法，或者情感识别方法。

下面参考图8，其示出了适于用来实现本发明实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括样本输入模块、样本特征提取模块、样本特征校准模块、训练识别结果获取模块和模型参数优化模块；或者，可以描述为：一种处理器包括输入模块、特征提取模块、特征校准模块和识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种情感识别模型训练方法，其特征在于，包括：

对受试者面对多个情感刺激场景时的生物电信号进行采集，并对所述生物电信号进行处理得到多个样本情感数据；所述多个情感刺激场景对应多种不同的情感类别；

将所述多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；

利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征；

利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；

利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及

根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化；

所述特征提取层包括初级胶囊生成层；所述利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征的过程包括：利用所述初级胶囊生成层生成所述初级胶囊特征；

所述对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征的过程包括：

利用激活函数根据所述每个初级胶囊特征的所述多个胶囊分支特征运算得到所述每个初级胶囊特征的总特征；

对所述每个初级胶囊特征的总特征进行全局平均池化运算得到所述每个初级胶囊特征的通道关键向量；

对所述每个初级胶囊特征的通道关键向量进行线性变换得到所述每个初级胶囊特征的线性通道关键向量；

利用与每个胶囊分支特征对应的变换矩阵，将对应所述初级胶囊特征的线性通道关键向量转换为与所述每个胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得所述每个初级胶囊特征的所述每个胶囊分支特征相同位置的通道注意力权重值的和为1；

对所述每个胶囊分支特征根据对应的所述分支通道注意力向量进行校准得到校准胶囊分支特征；以及

将所述每个初级胶囊特征对应的所述校准胶囊分支特征进行逐元素相加得到所述多个校准初级胶囊特征。

2.根据权利要求1所述的情感识别模型训练方法，其特征在于，

所述特征提取层包括局部特征提取层；

所述利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征的过程包括：

通过所述局部特征提取层基于激活函数运算得到所述每个样本情感数据的局部特征；

所述利用所述初级胶囊生成层生成所述初级胶囊特征的过程包括：

通过所述初级胶囊生成层基于激活函数对每个样本情感数据的局部特征进行多级卷积运算得到所述多个初级胶囊特征。

3.根据权利要求2所述的情感识别模型训练方法，其特征在于，

所述激活函数为serf激活函数。

4.根据权利要求1所述的情感识别模型训练方法，其特征在于，

所述分类层包括：情感胶囊生成层以及情感分类层；

所述利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果的过程包括：

通过所述情感胶囊生成层根据所述每个校准初级胶囊特征基于动态路由操作得到多个情感胶囊特征；以及

通过所述情感分类层根据每个情感胶囊特征的模长分类得到所述训练识别结果。

5.根据权利要求1所述的情感识别模型训练方法，其特征在于，

所述生物电信号包括脑电信号、眼电信号以及肌电信号。

6.根据权利要求5所述的情感识别模型训练方法，其特征在于，所述对所述生物电信号进行处理得到多个样本情感数据的过程包括：

分别利用滤波器对所述脑电信号、所述眼电信号以及所述肌电信号进行伪迹及干扰去除，对应得到滤波脑电信号、滤波眼电信号以及滤波肌电信号；

分别对所述滤波脑电信号、所述滤波眼电信号以及所述滤波肌电信号以预设时间窗进行切割，对应得到脑电信号序列、眼电信号序列以及肌电信号序列；

对每个情感刺激场景对应的所述脑电信号序列、所述眼电信号序列以及所述肌电信号序列两两求相关系数，得到所述每个情感刺激场景对应的相关系数；

将对所述每个情感刺激场景对应的相关系数进行整合得到的增广异质相关矩阵，并将所述增广异质相关矩阵作为所述每个情感刺激场景对应的样本情感数据。

7.一种情感识别方法，其特征在于，包括：

对用户的生物电信号进行采集，并对所述生物电信号进行处理得到待识别情感数据；

将所述待识别情感数据输入训练好的情感识别模型；所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；

利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征；

利用所述分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征；以及

利用所述分类层根据每个校准待识别初级胶囊特征输出所述待识别情感数据的情感类型；

所述特征提取层包括初级胶囊生成层；所述利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征的过程包括：利用所述初级胶囊生成层生成所述待识别初级胶囊特征；

所述对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征的过程包括：

利用激活函数根据所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征运算得到所述每个待识别初级胶囊特征的总特征；

对所述每个待识别初级胶囊特征的总特征进行全局平均池化运算得到所述每个待识别初级胶囊特征的通道关键向量；

对所述每个待识别初级胶囊特征的通道关键向量进行线性变换得到所述每个待识别初级胶囊特征的线性通道关键向量；

利用与每个待识别胶囊分支特征对应的变换矩阵，将对应所述待识别初级胶囊特征的线性通道关键向量转换为与所述每个待识别胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得所述每个待识别初级胶囊特征的所述每个待识别胶囊分支特征相同位置的通道注意力权重值的和为1；

对所述每个待识别胶囊分支特征根据对应的所述分支通道注意力向量进行校准得到校准待识别胶囊分支特征；以及

将所述每个待识别初级胶囊特征对应的所述校准待识别胶囊分支特征进行逐元素相加得到所述多个校准待识别初级胶囊特征。

8.根据权利要求7所述的情感识别方法，其特征在于，

所述生物电信号包括脑电信号、眼电信号以及肌电信号。

9.一种情感识别模型训练装置，其特征在于，包括：

样本信号采集及处理模块，用于对受试者面对多个情感刺激场景时的生物电信号进行采集，并对所述生物电信号进行处理得到多个样本情感数据；所述多个情感刺激场景对应多种不同的情感类别；

样本输入模块，用于将所述多个样本情感数据依次输入待训练的情感识别模型，所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；

样本特征提取模块，用于利用所述特征提取层对每个样本情感数据进行特征提取得到多个初级胶囊特征；

样本特征校准模块，用于利用所述分支胶囊注意力增强层对每个初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个胶囊分支特征，并对所述每个初级胶囊特征的所述多个胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准初级胶囊特征；

训练识别结果获取模块，用于利用所述分类层根据每个校准初级胶囊特征输出对应所述样本情感数据的训练识别结果；以及

模型参数优化模块，用于根据所述训练识别结果以及对应所述样本情感数据的情感类别确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述情感识别模型进行参数优化；

所述特征提取层包括初级胶囊生成层，所述样本特征提取模块具体用于利用所述初级胶囊生成层生成所述初级胶囊特征；

所述样本特征校准模块具体用于利用激活函数根据所述每个初级胶囊特征的所述多个胶囊分支特征运算得到所述每个初级胶囊特征的总特征；对所述每个初级胶囊特征的总特征进行全局平均池化运算得到所述每个初级胶囊特征的通道关键向量；对所述每个初级胶囊特征的通道关键向量进行线性变换得到所述每个初级胶囊特征的线性通道关键向量；利用与每个胶囊分支特征对应的变换矩阵，将对应所述初级胶囊特征的线性通道关键向量转换为与所述每个胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得所述每个初级胶囊特征的所述每个胶囊分支特征相同位置的通道注意力权重值的和为1；对所述每个胶囊分支特征根据对应的所述分支通道注意力向量进行校准得到校准胶囊分支特征；以及，将所述每个初级胶囊特征对应的所述校准胶囊分支特征进行逐元素相加得到所述多个校准初级胶囊特征。

10.一种情感识别装置，其特征在于，包括：

信号采集及处理模块，用于对用户的生物电信号进行采集，并对所述生物电信号进行处理得到待识别情感数据；

输入模块，用于将所述待识别情感数据输入训练好的情感识别模型；所述情感识别模型包括：特征提取层、分支胶囊注意力增强层以及分类层；

特征提取模块，用于利用所述特征提取层对所述待识别情感数据进行特征提取得到多个待识别初级胶囊特征；

特征校准模块，用于利用所述分支胶囊注意力增强层对每个待识别初级胶囊特征基于不同卷积核进行多分支卷积运算得到多个待识别胶囊分支特征，并对所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征进行注意力校准后进行逐元素相加，得到多个校准待识别初级胶囊特征；以及

识别模块，用于利用所述分类层根据每个校准待识别初级胶囊特征输出所述待识别情感数据的情感类型；

所述特征提取层包括初级胶囊生成层，所述特征提取模块具体用于利用所述初级胶囊生成层生成所述待识别初级胶囊特征；

所述特征校准模块具体用于利用激活函数根据所述每个待识别初级胶囊特征的所述多个待识别胶囊分支特征运算得到所述每个待识别初级胶囊特征的总特征；对所述每个待识别初级胶囊特征的总特征进行全局平均池化运算得到所述每个待识别初级胶囊特征的通道关键向量；对所述每个待识别初级胶囊特征的通道关键向量进行线性变换得到所述每个待识别初级胶囊特征的线性通道关键向量；利用与每个待识别胶囊分支特征对应的变换矩阵，将对应所述待识别初级胶囊特征的线性通道关键向量转换为与所述每个待识别胶囊分支特征对应的分支通道注意力向量，并调整每个分支通道注意力向量中的通道注意力值，使得所述每个待识别初级胶囊特征的所述每个待识别胶囊分支特征相同位置的通道注意力权重值的和为1；对所述每个待识别胶囊分支特征根据对应的所述分支通道注意力向量进行校准得到校准待识别胶囊分支特征；以及将所述每个待识别初级胶囊特征对应的所述校准待识别胶囊分支特征进行逐元素相加得到所述多个校准待识别初级胶囊特征。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一所述的情感识别模型训练方法，或者所述处理器执行所述程序时实现如权利要求7或8所述的情感识别方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一所述的情感识别模型训练方法，或者该程序被处理器执行时实现如权利要求7或8所述的情感识别方法。