CN110598607A - 非接触式与接触式协同的实时情绪智能监测系统 - Google Patents

Abstract

本申请提供一种非接触式与接触式协同的实时情绪智能监测系统。该系统基于用于采集目标个体生理信息的接触式数据采集模块，用于采集目标个体可见光视频、红外热图视频、音频数据的非接触式数据采集模块，搭建数据分析模块确定各类监测数据下目标个体对于每种预设情绪类别的概率分布，并将各类监测数据对应的概率分布通过adaboost策略进行集成学习，采用soft voting投票法确定监测目标个体的最终情绪分布。本申请克服了现有技术中在确定监测目标个体的情绪状态时使用的监测数据类型单一、无法将多类的数据进行语义关联及跨媒体融合的缺陷，全面提高了实时情绪监测的准确度。

Description

非接触式与接触式协同的实时情绪智能监测系统

技术领域

本申请涉及心理和数据处理领域，具体涉及一种非接触式与接触式协同的实时情绪智能监测系统。

背景技术

情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等，也有一些细腻微妙的情绪，例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用，也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪，都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考，但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。

目前，分析个体的情绪特征的技术方案中，使用的数据类型单一、无法将多种类型的数据进行有效的融合，造成确定的情绪特征准确度低。

发明内容

(一)解决的技术问题

针对现有技术的不足，本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统，解决了现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合，情绪特征准确度低的缺陷。

(二)技术方案

为实现以上目的，本申请通过以下技术方案予以实现：

本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统，包括：

接触式数据采集模块，用于采集目标个体的生理信息；

非接触式数据采集模块，用于采集目标个体的可见光图像、红外热图、音频信息；

数据传输模块，用于将所述生理信息、可见光图像、红外热图、音频信息发送给数据存储模块、数据分析处理模块和数据动态展示模块；

所述数据存储模块，用于存储所述生理信息、可见光图像、红外热图、音频信息；

所述数据分析模块，用于利用小波变换对所述生理信息进行去噪处理，并利用长短期记忆网络提取去噪处理后的生理信息的时间序列特征，得到第一特征向量、第二特征向量、第三特征向量；运用前向浮动搜索法从所述第一特征向量、第二特征向量、第三特征向量中分别进行关键特征选择，并利用强分类器，基于选择的关键特征，确定目标个体针对各个预设情绪类别的第一概率分布、第二概率分布、第三概率分布；还用于利用直方图均衡、中值滤波对可见光图像进行灰度校正、噪声过滤的预处理，并标定处理后图像中的多个预设特征点，基于标定的预设特征点，提取反应面部情绪状态的第四特征向量，并利用强分类器，基于第四特征向量，确定目标个体针对各个预设情绪类别的第四概率分布；还用于从可见光图像中获取预设区域内的图像，利用欧拉影像放大算法放大预设区域内的图像的颜色信号变化，并提取放大后的图像中R、G、B三通道的信号，运用小波变换对提取的R、G、B三通道的信号进行去噪，之后对去噪后的R、G、B三通道的信号进行归一化处理，并基于归一化处理后的R、G、B三通道的信号提取三通道的有效信号，基于提取的有效信号计算色度信号，利用傅里叶变换将色度信号变换为频域信号，基于频域信号确定心率值，利用强分类器，基于心率值，确定目标个体针对各个预设情绪类别的第五概率分布；还用于将第四概率分布和第五概率分布进行加权平均，得到目标个体针对各个预设情绪类别的第六概率分布；还用于提取红外图中前额区域的图像，并利用传热模型将前额皮肤的温度数据转换成血液灌注值，利用opencv将血液灌注值数据转换成血液灌注伪彩色图，利用深度学习中的卷积神经网络和时间序列神经网络对血液灌注伪彩色图进行处理，并利用强分类器，得到目标个体针对各个预设情绪类别的第七概率分布；还用于对音频信息进行预加重、加窗分帧、端点检测处理；基于深度信念网络提取处理后的音频信息中的特征，并利用强分类器，基于得到的音频信息中的特征与语音情感语料库进行特征相似性匹配，得到得到目标个体针对各个预设情绪类别的第八概率分布；还用于基于所述第一概率分布、第二概率分布、第三概率分布、第六概率分布、第七概率分布、第八概率分布确定每种预设情绪类别对应的平均概率值；筛选平均概率值最大的预设情绪类别作为目标个体的目标情绪类别；还用于将所述目标情绪类别发送给所述数据传输模块；

所述数据传输模块将所述目标情绪类别发送给所述数据存储模块和数据动态展示模块；

所述数据存储模块存储所述目标情绪类别；

所述数据动态展示模块，用于展示所述目标情绪类别、所述生理信息的波形图、所述音频信号的波形图、所述可见光图像、所述红外热图。

在一种可能的实施方式中，上述系统还包括强分类器构建模块，用于：

利用初始权重对应的训练集训练得到第一个弱学习器，根据第一个弱学习器的学习误差率更新训练样本的权重；基于调整权重后的训练集来训练第二个弱学习器，直到弱学习器数达到预定数量(n个)，将得到的多个弱学习器通过集合策略进行整合，得到强学习器。

在一种可能的实施方式中，所述预定数量为6个。

在一种可能的实施方式中，所述非接触式数据采集模块包括：可见光摄像头、红外摄像头、麦克风。

在一种可能的实施方式中，所述生理信息包括：目标个体的皮电信息、脉搏信息、血氧信息。

在一种可能的实施方式中，所述数据动态展示模块包括PC机。

(三)有益效果

本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统。具备以下有益效果：

本申请利用触式数据采集模块采集目标个体的生理信息，利用非接触式数据采集模块采集目标个体的可见光图像、红外热图、音频信息，利用数据分析模块确定每种类型的数据下，目标个体针对每种预设情绪类别的概率分布，并将每种类型的数据对应的概率分布进行融合和处理，确定目标个体的目标情绪类别。本申请克服了现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合的缺陷，提高了确定的情绪特征准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了本申请一实施例的非接触式与接触式协同的实时情绪智能监测系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合，情绪特征准确度低的缺陷，本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统。该系统利用触式数据采集模块，用于采集目标个体的生理信息，利用非接触式数据采集模块，用于采集目标个体的可见光图像、红外热图、音频信息，利用数据分析模块确定每种类型的数据下，目标个体针对每种预设情绪类别的概率分布，并将每种类型的数据对应的概率分布进行融合和处理，确定目标个体的目标情绪类别。本申请克服了现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合的缺陷，提高了确定的情绪特征准确度。

具体地，如图1所示，上述非接触式与接触式协同的实时情绪智能监测系统包括接触式数据采集模块100、非接触式数据采集模块110、数据传输模块120、数据存储模块130、数据分析模块140、数据动态展示模块150。

接触式数据采集模块100，用于采集目标个体的生理信息。

这里可以利用指夹式采集设备实施采集目标个体的皮电、脉搏、血氧等生理信息。

非接触式数据采集模块110，用于采集目标个体的可见光图像、红外热图、音频信息。

这里可以利用可见光摄像头、热红外摄像头、麦克风的非接触式设备与接触式采集设备同步采集目标个体的可见光图像、红外热图、音频信息。

在具体实施时，可以利用接触式数据采集模块和非接触式数据采集模块在一天中多次实时采集并实时发送给数据传输模块。

数据传输模块120，用于将所述生理信息、可见光图像、红外热图、音频信息发送给数据存储模块、数据分析处理模块和数据动态展示模块。

数据存储模块130，用于存储所述生理信息、可见光图像、红外热图、音频信息。

数据分析模块140，用于利用小波变换对所述生理信息进行去噪处理，并利用长短期记忆网络提取去噪处理后的生理信息的时间序列特征，得到第一特征向量、第二特征向量、第三特征向量；运用前向浮动搜索法从所述第一特征向量、第二特征向量、第三特征向量中分别进行关键特征选择，并利用强分类器，基于选择的关键特征，确定目标个体针对各个预设情绪类别的第一概率分布、第二概率分布、第三概率分布；还用于利用直方图均衡、中值滤波对可见光图像进行灰度校正、噪声过滤的预处理，并标定处理后图像中的多个预设特征点，基于标定的预设特征点，提取反应面部情绪状态的第四特征向量，并利用强分类器，基于第四特征向量，确定目标个体针对各个预设情绪类别的第四概率分布；还用于从可见光图像中获取预设区域内的图像，利用欧拉影像放大算法放大预设区域内的图像的颜色信号变化，并提取放大后的图像中R、G、B三通道的信号，运用小波变换对提取的R、G、B三通道的信号进行去噪，之后对去燥后的R、G、B三通道的信号进行归一化处理，并基于归一化处理后的R、G、B三通道的信号提取三通道的有效信号，基于提取的有效信号计算色度信号，利用傅里叶变换将色度信号变换为频域信号，基于频域信号确定心率值，利用强分类器，基于心率值，确定目标个体针对各个预设情绪类别的第五概率分布；还用于将第四概率分布和第五概率分布进行加权平均，得到目标个体针对各个预设情绪类别的第六概率分布；还用于提取红外图中前额区域的图像，并利用传热模型将前额皮肤的温度数据转换成血液灌注值，利用opencv将血液灌注值数据转换成血液灌注伪彩色图，利用深度学习中的卷积神经网络和时间序列神经网络对血液灌注伪彩色图进行处理，并利用强分类器，得到目标个体针对各个预设情绪类别的第七概率分布；还用于对音频信息进行预加重、加窗分帧、端点检测处理；基于深度信念网络提取处理后的音频信息中的特征，并利用强分类器，基于得到的音频信息中的特征与语音情感语料库进行特征相似性匹配，得到得到目标个体针对各个预设情绪类别的第八概率分布；还用于基于所述第一概率分布、第二概率分布、第三概率分布、第六概率分布、第七概率分布、第八概率分布确定每种预设情绪类别对应的平均概率值；筛选平均概率值最大的预设情绪类别作为目标个体的目标情绪类别；还用于将所述目标情绪类别发送给所述数据传输模块。

数据分析模块在具体实施时，运用SVM建立情绪分类识别模型，分别确定上述多个概率分布。

数据分析模块可以对面部的可见光图像，通过面部81个预设特征点和特定面部感兴趣区域(即上述预设区域)分析目标个体的情绪特征。

数据分析模块将所有概率分布中某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结果，即上述目标情绪类别；相较于hard voting(少数服从多数)来说，选用soft voting丰富了样本的信息，并使得最终的结果更加准确。

所述数据传输模块将所述目标情绪类别发送给所述数据存储模块和数据动态展示模块；所述数据存储模块存储所述目标情绪类别。

所述数据动态展示模块150，用于展示所述目标情绪类别、所述生理信息的波形图、所述音频信号的波形图、所述可见光图像、所述红外热图。

数据动态展示模块包括PC机。

上述实施例不仅能够实现对采集到的数据进行动态展示，而且将以上多模态数据分别提取特征向量并进行跨维度关联融合，建立实时情绪评估模型，将目标个体的实时情绪分析结果反馈给用户。本申请可全方位、多角度地对目标个体情绪进行实时量化和监测。

在一些实施例中，上述非接触式与接触式协同的实时情绪智能监测系统还包括强分类器构建模块160，用于：利用初始权重对应的训练集训练得到第一个弱学习器，根据第一个弱学习器的学习误差率更新训练样本的权重；基于调整权重后的训练集来训练第二个弱学习器，直到弱学习器数达到预定数量，将得到的多个弱学习器通过集合策略进行整合，得到六个通道数据的强学习器。

本申请结合非接触式和接触式两种方式采集数据，分别采用不同的方法提取特征向量，运用不同的方法得到各个单通道数据的情绪分布，将多模态数据所得到的情绪分布进行跨维度关联融合，综合分析目标个体的实时情绪状态，相比单一数据分析情绪的方法更加准确反应目标个体的真实情绪状态。本申请基于adaboost算法集成学习，通过弱分类器的组合构建强分类器，运用soft voting的方式判断最终情绪状态标签及概率，提高分析结果的准确性。

上述非接触式与接触式协同的实时情绪智能监测系统，基于用于采集目标个体生理信息的接触式数据采集模块，用于采集目标个体可见光视频、红外热图视频、音频数据的非接触式数据采集模块，搭建数据分析模块确定各类监测数据下目标个体对于每种预设情绪类别的概率分布，并将各类监测数据对应的概率分布通过adaboost策略进行集成学习，采用soft voting投票法确定监测目标个体的最终情绪分布。本申请克服了现有技术中在确定监测目标个体的情绪状态时使用的监测数据类型单一、无法将多类的数据进行语义关联及跨媒体融合的缺陷，全面提高了实时情绪监测的准确度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种非接触式与接触式协同的实时情绪智能监测系统。，其特征在于，包括：

接触式数据采集模块，用于采集目标个体的生理信息；

非接触式数据采集模块，用于采集目标个体的可见光图像、红外热图、音频信息；

数据传输模块，用于将所述生理信息、可见光图像、红外热图、音频信息发送给数据存储模块、数据分析处理模块和数据动态展示模块；

所述数据存储模块，用于存储所述生理信息、可见光图像、红外热图、音频信息；

所述数据分析模块，用于利用小波变换对所述皮电、脉搏、血氧三种生理信息进行去噪处理，并利用长短期记忆网络提取去噪处理后的生理信息的时间序列特征，得到第一特征向量、第二特征向量、第三特征向量；运用前向浮动搜索法从所述第一特征向量、第二特征向量、第三特征向量中分别进行关键特征选择，并利用强分类器，基于选择的关键特征，确定目标个体针对各个预设情绪类别的第一概率分布、第二概率分布、第三概率分布；还用于利用直方图均衡、中值滤波对可见光图像进行灰度校正、噪声过滤的预处理，并标定处理后图像中的多个预设特征点，基于标定的预设特征点，提取反应面部情绪状态的第四特征向量，并利用强分类器，基于第四特征向量，确定目标个体针对各个预设情绪类别的第四概率分布；还用于从可见光图像中获取预设区域内的图像，利用欧拉影像放大算法放大预设区域内的图像的颜色信号变化，并提取放大后的图像中R、G、B三通道的信号，运用小波变换对提取的R、G、B三通道的信号进行去噪，之后对去噪后的R、G、B三通道的信号进行归一化处理，并基于归一化处理后的R、G、B三通道的信号提取三通道的有效信号，基于提取的有效信号计算色度信号，利用傅里叶变换将色度信号变换为频域信号，基于频域信号确定心率值，利用强分类器，基于心率值，确定目标个体针对各个预设情绪类别的第五概率分布；还用于将第四概率分布和第五概率分布进行加权平均，得到目标个体针对各个预设情绪类别的第六概率分布；还用于提取红外热图中前额区域的图像，并利用传热模型将前额皮肤的温度数据转换成血液灌注值，利用opencv将血液灌注值数据转换成血液灌注伪彩色图，利用深度学习中的卷积神经网络和时间序列神经网络对血液灌注伪彩色图进行处理，并利用强分类器，得到目标个体针对各个预设情绪类别的第七概率分布；还用于对音频信息进行预加重、加窗分帧、端点检测处理；基于深度信念网络提取处理后的音频信息中的特征，并利用强分类器，基于得到的音频信息中的特征与语音情感语料库进行特征相似性匹配，得到得到目标个体针对各个预设情绪类别的第八概率分布；还用于基于所述第一概率分布、第二概率分布、第三概率分布、第六概率分布、第七概率分布、第八概率分布确定每种预设情绪类别对应的平均概率值；筛选平均概率值最大的预设情绪类别作为目标个体的目标情绪类别；还用于将所述目标情绪类别发送给所述数据传输模块；

所述数据传输模块将所述目标情绪类别发送给所述数据存储模块和数据动态展示模块；

所述数据存储模块存储所述目标情绪类别；

所述数据动态展示模块，用于展示所述目标情绪类别、所述生理信息的波形图、所述音频信号的波形图、所述可见光图像、所述红外热图。

2.根据权利要求1所述的系统，其特征在于，还包括强分类器构建模块，用于：

利用初始权重对应的训练集训练得到第一个弱学习器，根据第一个弱学习器的学习误差率更新训练样本的权重；基于调整权重后的训练集来训练第二个弱学习器，直到弱学习器数达到预定数量(n个)，将得到的多个弱学习器通过集合策略进行整合，得到强学习器。

3.根据权利要求1所述的系统，其特征在于，所述预定数量为n个。

4.根据权利要求1所述的系统，其特征在于，所述非接触式数据采集模块包括：可见光摄像头、红外摄像头、麦克风。

5.根据权利要求1所述的系统，其特征在于，所述生理信息包括：目标个体的皮电信息、脉搏信息、血氧信息。

6.根据权利要求1所述的系统，其特征在于，所述数据动态展示模块包括PC机。