CN110755092A - 具有跨媒体信息融合功能的非接触式情绪监测方法 - Google Patents

Abstract

本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法，其中，本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据，分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵，之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取，从而得到共享模态矩阵和私有模态矩阵，最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型，将多种类型的监测数据进行跨媒体融合，并且能够充分利用有效数据分析情绪状态，在有效提高情绪状态监测准确度的同时增进分析效率。

Description

具有跨媒体信息融合功能的非接触式情绪监测方法

技术领域

本申请涉及心理和数据处理领域，具体涉及一种具有跨媒体信息融合功能的非接触式情绪监测方法。

背景技术

情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等，也有一些细腻微妙的情绪，例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用，也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪，都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考，但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。

目前，分析个体的情绪特征的技术方案中，使用的数据类型单一，不同类型的数据无法有效结合，并且一些无效的数据可能会被多次利用，导致确定的个体的情绪特征不够准确，效率低下。

发明内容

(一)解决的技术问题

针对现有技术的不足，本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法，解决了现有技术中用来分析情绪特征的数据类型单一、无法有效结合不同类型的数据来分析目标个体的情绪的缺陷，提高了确定的情绪特征的准确度，提高了确定情绪特征的效率。

(二)技术方案

为实现以上目的，本申请通过以下技术方案予以实现：

本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法，包括：

获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息；

获取面部可见光图相中多个预定特征点的图像特征信息，和多个预定面部区域的图像特征信息，并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息，确定目标个体的第一情绪特征向量矩阵；

对所述音频信息依次进行预加重处理、分帧处理、加窗处理，并将处理后的音频信息输入LSTM中，利用LSTM提取输入的音频信息的的MFCC特征和LPCC特征，并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵；

基于所述面部红外图像，确定目标个体的额头部位的平均温度信息，基于所述平均温度信息，确定血液灌注值；利用python中的opencv模块对血液灌注值进行处理，得到血液灌注伪彩色图，并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征，得到目标个体的第三情绪特征向量矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第二情绪特征向量矩阵进行处理，得到第二情绪特征向量矩阵对应的第二私有模态矩阵、第二情绪特征向量矩阵对应的第二共享模态矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第三情绪特征向量矩阵进行处理，得到第三情绪特征向量矩阵对应的第三私有模态矩阵、第三情绪特征向量矩阵对应的第三共享模态矩阵；

基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵；

基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵；

利用神经网络的sorfmax层对多模态特征矩阵进行处理，得到目标个体针对每种预设情绪的概率特征信息；

将所述概率特征信息发送给客户端和显示端进行显示。

在一种可能的实施方式中，所述基于所述平均温度信息，确定血液灌注值，包括：

利用SHT传热模型，对平均温度信息进行处理，得到血液灌注值。

在一种可能的实施方式中，所述利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵，包括：

利用如下公式计算所述第一私有模态矩阵、第一共享模态矩阵：

式中，A表示第一情绪特征向量矩阵，M_A表示第一私有模态矩阵，V_A表示第一共享模态矩阵。

在一种可能的实施方式中，所述基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵，包括：

利用如下公式计算所述目标共享模态矩阵：

V_x＝V_A+V_B+V_C

式中，Vx表示目标共享模态矩阵，V_A表示第一共享模态矩阵，V_B表示第二共享模态矩阵，V_C表示第三共享模态矩阵。

在一种可能的实施方式中，所述基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵，包括：

利用如下公式确定所述多模态特征矩阵：

式中，

表示多模态特征矩阵，M_A表示第一私有模态矩阵，M_B表示第二私有模态矩阵，M_C表示第三私有模态矩阵，V_x表示目标共享模态矩阵，α，β，γ，η为预设权重系数。

在一种可能的实施方式中，所述预设权重系数满足如下关系：

α+β+γ+η＝1。

(三)有益效果

本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法，具备以下有益效果：

本申请利用非接触式数据面部可见光图像、目标个体的面部红外图像、目标个体的音频信息，分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵，之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行处理，得到共享模态矩阵和私有模态矩阵，最后基于得到的模态矩阵确定目标个体针对每种预设情绪的概率特征信息。上述方案不仅增加了用于分析情绪特征的数据的类型，将多种类型的数据进行合理的融合，并且能够充分利用有效数据分析情绪特征，有效提高了确定的情绪特征的准确度，并且提高了确定情绪特征的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了本申请一实施例的具有跨媒体信息融合功能的非接触式情绪监测方法的流程图；

图2示意性的示出了本申请另一实施例的具有跨媒体信息融合功能的非接触式情绪监测方法中跨模态特征融合机制示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，在分析目标个体的情绪特征的时候，使用的数据类型单一、无法有效结合不同类型的数据来分析目标个体的情绪，并且使用了大量的无效数据来确定标个体的情绪，造成了确定的情绪特征的准确度低，确定情绪特征的效率低下的缺陷。针对该技术确定，本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法，该方法首先利用非接触式数据面部可见光图像、目标个体的面部红外图像、目标个体的音频信息，分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵，之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行处理，得到共享模态矩阵和私有模态矩阵，最后基于得到的模态矩阵确定目标个体针对每种预设情绪的概率特征信息。该方法不仅增加了用于分析情绪特征的数据的类型，将多种类型的数据进行合理的融合，并且能够充分利用有效数据分析情绪特征，有效提高了确定的情绪特征的准确度，并且提高了确定情绪特征的效率。

具体的，如图1所示，上述具有跨媒体信息融合功能的非接触式情绪监测方法包括如下步骤：

S110、获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息。

这里，可以利用可见光摄像头获取目标个体的面部可见光图像，利用红外热像仪获取目标个体的面部红外图像，利用麦克风等拾音器获取目标个体的音频信息。

本步骤获取的数据为非接触式数据，相较于获取接触式数据，本步骤具有非干扰性、采集速度快、操作方便等特点。

另外，接触式设备在采集接触式数据的时候，可能影响目标个体的情绪，因此本步骤采集的是非接触式数据，在影响目标个体最小化的情况下，利用采集到的数据去分理情绪特征会更为准确。

S120、获取面部可见光图相中多个预定特征点的图像特征信息，和多个预定面部区域的图像特征信息，并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息，确定目标个体的第一情绪特征向量矩阵。

本步骤可以采用dlib预定义68个面部特征点及其相关位置关系构造目标个体对应各个预定情绪类型的概率分布，再使用卷积神经网络生成第一情绪特征向量矩阵。

S130、对所述音频信息依次进行预加重处理、分帧处理、加窗处理，并将处理后的音频信息输入LSTM中，利用LSTM提取输入的音频信息的的MFCC特征和LPCC特征，并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵。

本步骤首先对音频信息进行预加重、分帧、加窗等预处理操作，以消除因为人类发声器官本身和由于采集语音信号的设备所带来的混叠、高次谐波失真、高频等因素，对音频信息质量的影响，保证后续音频处理得到的信号更均匀、平滑，为信号参数提取提供优质的参数，提高音频处理质量。

S140、基于所述面部红外图像，确定目标个体的额头部位的平均温度信息，基于所述平均温度信息，确定血液灌注值；利用python中的opencv模块对血液灌注值进行处理，得到血液灌注伪彩色图，并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征，得到目标个体的第三情绪特征向量矩阵。

本步骤中，基于所述平均温度信息，确定血液灌注值，包括：

利用SHT传热模型，对平均温度信息进行处理，得到血液灌注值。

S150、利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵。

本步骤中，利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵，包括：

如图2所示，利用如下公式计算所述第一私有模态矩阵、第一共享模态矩阵：

式中，A表示第一情绪特征向量矩阵，M_A表示第一私有模态矩阵，V_A表示第一共享模态矩阵。

S160、利用结构化稀疏投影矩阵U₁和U₂对第二情绪特征向量矩阵进行处理，得到第二情绪特征向量矩阵对应的第二私有模态矩阵、第二情绪特征向量矩阵对应的第二共享模态矩阵。

利用如下公式计算所述第二私有模态矩阵、第二共享模态矩阵：

式中，B表示第二情绪特征向量矩阵，M_B表示第二私有模态矩阵，V_B表示第二共享模态矩阵。

S170、利用结构化稀疏投影矩阵U₁和U₂对第三情绪特征向量矩阵进行处理，得到第三情绪特征向量矩阵对应的第三私有模态矩阵、第三情绪特征向量矩阵对应的第三共享模态矩阵。

利用如下公式计算所述第三私有模态矩阵、第三共享模态矩阵：

式中，C表示第三情绪特征向量矩阵，M_C表示第三私有模态矩阵，V_C表示第三共享模态矩阵。

S180、基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵；基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵；利用神经网络的sorfmax层对多模态特征矩阵进行处理，得到目标个体针对每种预设情绪的概率特征信息。

本步骤中，基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵，包括：

利用如下公式计算所述目标共享模态矩阵：

V_x＝V_A+V_B+V_C

式中，Vx表示目标共享模态矩阵，V_A表示第一共享模态矩阵，V_B表示第二共享模态矩阵，V_c表示第三共享模态矩阵。

上述V_x＝V_A+V_B+V_C表示3种模态具有高度相似性的共享特征，例如，在各自模态下表示愉快的特征，将这3种模态联合起来；模态私有特征表示各自模态独有的特征，例如，可见光数据可能是苦笑表情，语音信息数据是坚定的口气，面部红外图像的某一时刻温度变化范围超出愉快情绪阈值，这些各模态特有特征构成M_A，M_B，M_C。

本步骤中，基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵，包括：

利用如下公式确定所述多模态特征矩阵：

式中，表示多模态特征矩阵，M_A表示第一私有模态矩阵，M_B表示第二私有模态矩阵，M_C表示第三私有模态矩阵，V_x表示目标共享模态矩阵，α，β，γ，η为预设权重系数。

所述预设权重系数满足如下关系：

α+β+γ+η＝1

本步骤中，在多模态特征矩阵时，基于数据的有效性对不同模态矩阵赋予不同权重。

对于η，它是目标共享模态矩阵的权重，是3种模态的共有特性，具有通用性和普适性，对分析结果具有重要作用，可以将其设置为η＝0.4。对于α，β，γ，它们表示3种私有模态矩阵的权重，3个权重是自适应可变化的。根据数据的有效性自动调整，例如，如果采集到一个目标个体的3种模态数据，其中可见光面部表情数据符合阈值，设置α＝0.2；音频信息在采集过程中只有很短一段，且在目标共享模态矩阵中已经提取绝大部分信息，则设置β＝0.1；面部红外图像在采集过程中出现面部温度波动范围超出阈值，表明目标个体出现较大情绪波动，在可见光和音频信息中没有很好反应，但在面部红外图像中有明显反应，故设置γ＝0.3。

S190、将所述概率特征信息发送给客户端和显示端进行显示。

本步骤可将概率特征信息输出到计算机屏幕中，进行可视化展示。

上述实例中的具有跨媒体信息融合功能的非接触式情绪监测方法，实现了跨模态数据全面分析情绪特征，非接触式采集和分析，具有非干扰性，效果更好。

上述具有跨媒体信息融合功能的非接触式情绪监测方法，基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据，分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵，之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取，从而得到共享模态矩阵和私有模态矩阵，最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型，将多种类型的监测数据进行跨媒体融合，并且能够充分利用有效数据分析情绪状态，在有效提高情绪状态监测准确度的同时增进分析效率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种具有跨媒体信息融合功能的非接触式情绪监测方法，其特征在于，包括：

获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息；

获取面部可见光图相中多个预定特征点的图像特征信息，和多个预定面部区域的图像特征信息，并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息，确定目标个体的第一情绪特征向量矩阵；

对所述音频信息依次进行预加重处理、分帧处理、加窗处理，并将处理后的音频信息输入LSTM中，利用LSTM提取输入的音频信息的的MFCC特征和LPCC特征，并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵；

基于所述面部红外图像，确定目标个体的额头部位的平均温度信息，基于所述平均温度信息，确定血液灌注值；利用python中的opencv模块对血液灌注值进行处理，得到血液灌注伪彩色图，并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征，得到目标个体的第三情绪特征向量矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第二情绪特征向量矩阵进行处理，得到第二情绪特征向量矩阵对应的第二私有模态矩阵、第二情绪特征向量矩阵对应的第二共享模态矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第三情绪特征向量矩阵进行处理，得到第三情绪特征向量矩阵对应的第三私有模态矩阵、第三情绪特征向量矩阵对应的第三共享模态矩阵；

基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵；

基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵；

利用神经网络的sorfmax层对多模态特征矩阵进行处理，得到目标个体针对每种预设情绪的概率特征信息；

将所述概率特征信息发送给客户端和显示端进行显示。

2.根据权利要求1所述的方法，其特征在于，所述基于所述平均温度信息，确定血液灌注值，包括：

利用SHT传热模型，对平均温度信息进行处理，得到血液灌注值。

3.根据权利要求1所述的方法，其特征在于，所述利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵，包括：

利用如下公式计算所述第一私有模态矩阵、第一共享模态矩阵：

式中，A表示第一情绪特征向量矩阵，M_A表示第一私有模态矩阵，V_A表示第一共享模态矩阵。

4.根据权利要求1所述的方法，其特征在于，所述基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵，包括：

利用如下公式计算所述目标共享模态矩阵：

V_x＝V_A+V_B+V_C

式中，Vx表示目标共享模态矩阵，V_A表示第一共享模态矩阵，V_B表示第二共享模态矩阵，V_C表示第三共享模态矩阵。

5.根据权利要求1所述的方法，其特征在于，所述基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵，包括：

利用如下公式确定所述多模态特征矩阵：

式中，

表示多模态特征矩阵，M_A表示第一私有模态矩阵，M_B表示第二私有模态矩阵，M_C表示第三私有模态矩阵，V_x表示目标共享模态矩阵，α，β，γ，η为预设权重系数。

6.根据权利要求5所述的方法，其特征在于，所述预设权重系数满足如下关系：

α+β+γ+η＝1。

Images