CN107822645B - 一种基于WiFi信号的情绪识别方法 - Google Patents

Abstract

一种基于WiFi信号的情绪识别方法，包括步骤：A1，收集在不同情绪下，WiFi路由器发出的无线信号；A2，从无线信号中提取出CSI信号；A3，对CSI数据处理，建模，提取心室波动曲线、心房波动曲线和呼吸波动曲线；A4，提取情绪波动曲线，进行聚类分析；A5，通过深度学习识别内在情绪；A6，根据实测的准确率，返回步骤A4进行迭代分析。

Description

一种基于WiFi信号的情绪识别方法

技术领域

本发明属于人工智能技术领域，特别涉及一种基于WiFi信号的情绪识别方法。

背景技术

随着人工智能与机器人的快速发展，人机交互中对用户情绪识别的需求越来越强烈，大多数的情绪识别通过摄像头装置使用计算机视觉算法识别人脸情绪，但是这种方案存在着很大的局限性，往往不能够识别出用户的内在情绪。比如，通过计算机视觉检测到人脸呈现出微笑状态，判断这个人是高兴的，但是有些这样的“微笑状态”是负面的，可能是轻蔑，可能是无奈，可能是习惯性的平静。

最近几年有一些研究者提出了使用ECG(心电图)来识别人脸情绪，通过心律的变化去识别人的开心，高兴，生气，悲伤等情绪，并且具有比较高的精准率。然而，这种方案需要用户穿戴ECG设备，才能够检测到用户的内在情绪。

发明内容

本发明提出了一种基于WiFi信号的情绪识别方法，不需要用户穿戴任何设备，只需要安装在家庭、办公室等的普通WiFi设备。利用WiFi中CSI信号描述了信号在每条传输路径上的衰弱因子，比如信号散射，环境衰弱，距离衰减等信息，对微弱信号具有很高的敏感性。本发明通过WiFi中的CSI信号数据提取用户的偏强烈的正面情绪和负面情绪特征数据，识别出用户的内在真实情绪。

一种基于WiFi信号的情绪识别方法，该方法包括以下步骤：

A1，收集在不同情绪下，WiFi路由器发出的无线信号；

A2，从无线信号中提取出CSI信号；

A3，对CSI数据处理，建模，提取心室波动曲线、心房波动曲线和呼吸波动曲线；

A4，提取情绪波动曲线，进行聚类分析；

A5，通过深度学习识别内在情绪；

A6，根据实测的准确率，返回步骤A4进行迭代分析；

其中，对于步骤A3，对于CSI数据处理包括：

B1，数据预处理，包括：

针对由情绪引起的心率变动和呼吸变动是微小变动，使用带通滤波过滤高频数据；

针对不同WiFi设备发送功率对CSI数据的影响，对CSI数据进行归一化处理；

B2，去除环境噪声，包括：

多径抑制，即，将CSI从频域变换到时域(IFFT)，再通过移除与心率，呼吸不相关的长时延的信号成分，以减轻环境变化和人体移动引起的多径变化；

小波滤波，即，利用离散小波变换去除高频噪声；

B3，去除个体差异，即在收集的数据中排除与情绪无关的影响因素，包括性别、年龄、当前的活动量；

又有，步骤A4包括：

提取情绪波动曲线，即，通过对CSI频域数据特征分析，提取和心率，呼吸相关的信道数据，将这些周期性数据提取出来；并与实验室记录的情绪发生时间，持续时间匹配与对比，在统计上使用F检验，找出波动明显的数据；

接着进行情绪识别，即对心房波动曲线、心室波动曲线、呼吸曲线，分析IPI(Inter-Peak-Interval,波峰间隔)，SDIPI(即波峰间隔的标准差)；

并且分析不同情绪的功率谱表现，对这些数据做聚类分析，再分析与调整相关特征数据；

将所述相关特征数据转化成一个向量，作为输入，使用深度学习算法进行分类识别，并记录分类结果，与原始数据分析比较，分析精准率，召回率数据，对模型进行迭代。

本发明涉及到通信技术中WiFi中的CSI(Channel State Information，信道状态信息)信号关于不同情绪的特征提取，识别出用户真实情绪，相较于计算机视觉的情绪识别具有更高的准确性，可以应用于智能家居中的自然语言交互，提高人机交互的情感特性，还可以应用于一些撒谎检测等等。

本发明通过室内安装的Wi-Fi路由器设备，通过解析WiFi中的CSI信号识别用户的偏强烈的情绪，在智能家居生活中，可以改善人机交互的情感能力，真实识别出用户的内在意图，另外可以主动式缓和用户当前的糟糕情绪，避免因为情绪不良引起的各类疾病，比如胃病，心脏病等等。

本发明的优势在于利用普通的WiFi设备比较准确地识别用户内在情绪。CSI信号具有比较高的多径分辨能力，尤其是对非视距范围内信号的微小变化具有很高的捕获能力，CSI信号对情绪识别也具有较高的灵敏度和感知广度。用户情绪与心率变化有关，而用户情绪在心率和呼吸上往往是一个上升，到达封顶，再衰减的过程，一个倒U的曲线，与心率，呼吸这样周期性的波动不一样；而不同情绪之间有很不一样的特征，通过特征指标会对这些数据进行聚类分析和有监督的分类识别。

与现有的技术相比，本发明的技术方案具有以下效果：

1)准确性：本发明通过CSI信号数据甄别用户的“心理活动”特征数据，将用户心跳加速，呼吸加速，两者持续时间长度等数据解析出来，识别用户内在偏强烈的情绪，比通过计算机视觉识别出的情绪更加准确；

2)灵敏性：通过对数据特征的提取，会转化出心房波动曲线，心室波动曲线，情绪波动曲线，IBI(inter-beat-interval,心搏间期)，SDIBI(心搏间期标准差)等数据信息，细致地分析出用户不同特征的内在情绪；

3)便捷性：用户不需要通过穿戴设备，比如ECG设备等来识别用户内在情绪，

4)高效性：如果用户在Wi-Fi设备识别情绪系统周边，能够一天24小时实时识别用户当前情绪，另一方面，比通过摄像头识别用户内在情绪的准确率更高，而且可以保护用户的肖像权等隐私。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是本发明实施例中涉及的WiFi情绪识别装置。

图2是本发明涉及到的情绪分类图。

图3是本发明实施例中基于WiFi信号的情绪识别方法流程图。

图4本发明实施例中情绪识别流程示意图。

具体实施方式

基于802.11n协议的WiFi技术采用MIMO-OFDM系统，利用华盛顿大学的DanielHalperin提供的工具软件，可以获取一个无线通信信道中的30个子载波。只需要一个Wi-Fi路由器，一个远程服务器用于处理情绪识别，就可以在用户的手机，电脑等设备上查看自己的情绪识别。也可以直接将情绪识别工程运行在自己的手机上，PC上，并在类似的终端设备中实时查看识别结果。Wi-Fi情绪识别装置见图1。

基于802.11n协议的Wi-Fi技术采用MIMO-OFDM系统(MIMO即Multiple-InputMultiple-Output,多输入多输出；OFDM即Orthogonal Frequency DivisionMultiplexing，正交频分复用技术)，利用华盛顿大学的Daniel Halperin提供的工具软件，可以获取一个无线通信信道中的30个子载波；最后可以得到规范化的CSI矩阵H——n*m*30的复数矩阵，其中n表示发射天线个数，m表示接受天线个数，30是子载波信息个数。一个2*3*30的信道信息的模矩阵如下所示：

本发明中对于情绪分类是基于罗素(Russell，1980)提出情绪分类的环状模式，将情绪划分为两个维度：愉快度和强度。其中愉快度分为愉快和不愉快，强度分为中等强度和高等强度，不考虑低强度的情绪识别，在此通过分类算法识别下图的八种情绪：惊奇，高兴；满足，疲乏；颓废，沮丧；生气，惊恐。情绪数据采集实验设计包括：

实验者需求：年龄在19-77岁，20个女性，20个男性，年龄呈现均匀分布；

实验环境：两个一样布置黑暗的房间，两个一样布置明亮的房间，每个房间相同的WiFi设备，和信号接受处理器；

实验内容：每个实验对象，可以借助一些小道具在每个房间里面展现不同情绪，展现内容见下表：

情绪

惊奇

高兴

满足

疲乏

颓废

沮丧

生气

惊恐

站立

坐着

实验流程：

1)实验者先登记个人信息，情绪平稳，再带着提前设计好的情绪展现小卡片进房间；

2)按照一定顺序展现情绪，有工作人员会给出不同情绪Emoji和文字提示，当用户进入状态之后，提示工作人员，同时使用EGC设备测量实验者的心率数据；情绪维持时间是2分钟，再顺其自然进入平和状态；

3)按照同样的方式展示下一个情绪；

4)站立的情绪展现完成之后，休息10～15分钟，实验者坐在沙发上，按照同样的方式展现情绪；

5)第二天进入实验者在第二个房间进行实验，整个实验需要持续四天；

基于WIFi中CSI信号数据去识别情绪，设计的硬件设备简单，难点在于获取和情绪波动相关的心率波动曲线(心房，心室引起的多径效应)和呼吸波动曲线(胸腔引起的多径效应)，在频域数据上提取愉快，强烈特征相关的数据，通过深度学习算法来实现分类。模型训练的过程主要包括以下步骤：1.接受室内用户在不同情绪下WiFi路由器发出信号，收集WiFi上传的数据；2.从无线信号中提取出CSI信号；3.对CSI数据处理，包括数据预处理，去噪音等等，再关于心率周期性波动，呼吸周期性波动做数据特征。

其中的情绪识别建模与修正方法包括步骤：

1.数据预处理

由情绪引起的心率变动，呼吸变动是更加微小的变动，使用带通滤波过滤高频数据，使用2阶butterworth filter；另一方面由于不同Wi-Fi设备发送功率对CSI数据有一定影响，需要对数据进行归一化处理；

2.环境噪声去除

多径抑制：将CSI从频域变换到时域(IFFT)，再通过移除与心率，呼吸不相关的长时延的信号成分，以减轻环境变化和人体移动引起的多径变化；

小波滤波：利用离散小波变换去除高频噪声，其中threshholding部分采用动态阈值，4层Symlet小波；

3.个体差异去除

收集的数据会排除一些和情绪无关的影响因素，个体上的差异数据，比如性别，年龄，当前的活动量等等；

4.情绪识别波动曲线

通过对CSI频域数据特征分析，提取和心率，呼吸相关的信道数据，将这些周期性数据提取出来；并与实验室记录的情绪发生时间，持续时间匹配与对比，在统计上使用F检验，找出波动明显的数据；

5.情绪识别

再对这些心房波动曲线，心室波动曲线，呼吸曲线，分析IPI(Inter-Peak-Interval,波峰间隔)，SDIPI，即波峰间隔的标准差，时间窗是2分钟；并且分析不同情绪的功率谱表现，对这些数据做聚类分析，再分析与调整相关特征数据。再将这些特征数据转化成一个向量，作为输入，使用深度学习算法进行分类识别，并记录分类结果，与原始数据分析比较，分析精准率，召回率等数据，对模型进行迭代。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (1)

1.一种基于WiFi信号的情绪识别方法，其特征在于，该方法包括以下步骤：

A1，收集在不同情绪下，WiFi路由器发出的无线信号；

A2，从无线信号中提取出CSI信号；

A3，对CSI数据处理、建模，提取心室波动曲线、心房波动曲线和呼吸波动曲线；

A4，提取情绪波动曲线，进行聚类分析；

A5，通过深度学习识别内在情绪；

A6，根据实测的准确率，返回步骤A4进行迭代分析；

其中，对于步骤A3，对于CSI数据处理包括：

B1，数据预处理，包括：

针对由情绪引起的心率变动和呼吸变动是微小变动，使用带通滤波过滤高频数据；

针对不同WiFi设备发送功率对CSI数据的影响，对CSI数据进行归一化处理；

B2，去除环境噪声，包括：

多径抑制，即，将CSI从频域变换到时域(IFFT)，再通过移除与心率、呼吸不相关的长时延的信号成分，以减轻环境变化和人体移动引起的多径变化；

小波滤波，即，利用离散小波变换去除高频噪声；

B3，去除个体差异，即在收集的数据中排除与情绪无关的影响因素，包括性别、年龄、当前的活动量；

步骤A4包括：

提取情绪波动曲线，即，通过对CSI频域数据特征分析，提取和心率、呼吸相关的信道数据，将所述与心率、呼吸相关的信道周期性数据提取出来；并与实验室记录的情绪发生时间，持续时间匹配与对比，在统计上使用F检验，找出波动明显的数据；

接着进行情绪识别，即对心房波动曲线、心室波动曲线、呼吸波动曲线，分析波峰间隔和波峰间隔的标准差；

并且分析不同情绪的功率谱表现，对不同情绪的功率谱表现数据做聚类分析，再分析与调整相关特征数据；

将所述相关特征数据转化成一个向量，作为输入，使用深度学习算法进行分类识别，并记录分类结果，与原始数据分析比较，分析精准率，召回率数据，对模型进行迭代。

Images