CN108875464A - 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法 - Google Patents

Abstract

本发明公开了一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，属于自动控制领域，该系统包括面部表情图像采集模块、电脑、无线WIFI模块、上位机软件系统、LED灯模块、MP3音乐播放器模块、STM单片机模块，本系统可完成三维情绪识别工作并实现根据情绪不同对灯光音乐结合变换的自动控制工作，实现灯光音乐对情绪的反调节功能，本发明提出的基于三维人脸情绪识别的灯光和音乐控制系统及控制方法可帮助用户改善不良情绪，起到减缓压力，放松心情的作用。

Description

一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法

技术领域

本发明涉及三维人脸情绪识别的控制方法，尤其是基于灯光音乐的控制方法，属于自动控制领域。

背景技术

情绪识别技术，是一种判断人的情绪变化的技术，主要是通过收集人的外在表情和行为变化，对人的心理状态进行推断。在现代社会，情绪识别技术以及被广泛应用于智能设备开发、健康管理、广告营销等方面。

现有的情绪识别技术科研成果大多基于二维静态图像或二维图像序列进行分析与研究。其通过获取用户提供的图像提取用户表征的情绪特征信息，根据提供的二维平面信息进行情绪识别。此种利用二维图像识别情绪的方法获取信息受光照、人脸姿态的变化影响很大，这是二维图像的固有属性决定的。例如在光照强度较大的室外环境对于人脸信息提取工作会产生很大障碍，这样在很大程度上限制了产品的使用条件，产品抗外界干扰能力差。又例如对于人脸姿态不一样的情况，二维人脸情绪识别系统只能获取平面信息，所以人脸面对摄像头的角度问题往往不能忽视。因此传统的二维系统的自身灵活性能较差。三维情绪识别系统在识别平面二维图像的基础上增加深度图像数据，大大增强了产品的使用灵活性以及抗干扰性。

在现有的研究中，研究音乐对人情绪影响的科研较多，但灯光环境的影响的研究较少。将音乐与灯光结合对人情绪影响，且将研究方案运用到实际生活的研究基本空白。

发明内容

为克服现有技术的缺陷，本发明结合三维人脸识别系统与灯光音乐自动控制方法，能够实现在不同条件下准确识别出用户情绪并自动控制音乐与灯光的组合变换，使用户情绪恢复到较为平和稳定的状态。为实现上述目的，本发明采用以下技术方案：

(1)一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，基于三维人脸情绪识别的灯光和音乐控制系统包括面部表情图像采集模块、电脑、面部表情图像采集模块USB 连接线、无线WIFI模块、上位机软件系统、LED灯模块、LED灯电源模块、MP3音乐播放器模块、MP3音乐播放器电源模块、STM单片机模块、单片机电源模块，且面部表情图像采集模块通过面部表情图像采集模块USB连接线与电脑相连，电脑安装上位机软件系统，电脑通过无线网络与无线模块相连，STM单片机模块通过连接线分别与LED灯模块、MP3音乐播放器模块、单片机电源模块相连，LED灯模块与LED灯电源模块相连，MP3音乐播放器模块与MP3音乐播放器电源模块相连，LED灯模块包含红色LED、绿色LED、蓝色LED，面部表情图像采集模块包含深度图像传感器、彩色图像传感器、红外人体检测传感器。

(2)三维人脸识别技术的情绪识别方法按照以下步骤进行：

a、面部表情图像采集模块以彩色图像传感器采集W1×D1分辨率的彩色二维图像，以深度图像传感器采集W2×D2分辨率的深度二维图像，调用MATLAB的imresize函数对深度二维图像进行尺寸变换，具体命令为B＝imresize(A，m，’linear’)，其中，A为深度二维图像，B表示尺寸变换后的深度二维图像，m＝[W1/W2，D1/D2]，linear表示线性插值，变换后的深度二维图像和彩色二维图像具有相同的尺寸和分辨率；

b、利用加权平均法对彩色二维图像进行灰度处理，其中R、G、B分别为彩色二维图像的红、绿、蓝三个分量，x和y为像素的行、列坐标，f为灰度处理后的二维图像，具体灰度处理公式如下：

f(x，y)＝0.30R(x，y)+0.59G(x，y)+0.11B(x，y)

c、将得到的灰度化的彩色图像与深度二维图像生成(x，y，z)三维矩阵，生成G(x，y，z)三维图像，其中z为深度，利用KPCA算法对面部特征进行提取，具体实现步骤如下：

(1)从一个人脸三维面部图像样本中获得的N个三维数据点，作为非线性输入数据集合： S＝{G₁，G₂…，G_N}映射到高维空间得到线性样本集合：φ(x)＝{φ(x₁)，φ(x₂)…，φ(x_N)}；

(2)利用φ(x)计算核矩阵i，j＝1，2，...l；

(3)将核矩阵中心化，即用替代K，j是全为1的向量；

(4)计算核矩阵的特征值(λ)和特征向量(v)：[λ，v]＝eig(K)；

(5)将特征向量v正交化：a₁＝v₁，单位化：i＝1，2…，l；

(6)数据重建i＝1，2，…l；

(7)输出变化后的数据集

得到的投影为经过KPCA算法降维，最终获得的人脸特征数据，形成特征脸；

d、对人脸特征点的处理对比工作按以下步骤进行：

(1)对嘴巴和眼睛局部区域的特征点进行距离特征D_i的提取，以计算眼睛的张开度d₁、眉毛的高度d₂、嘴巴的张开度d₃、嘴巴的宽度d₄、嘴巴的拉伸度d₅、下巴的延展度d₆，用于表征人脸表情信息，可用以下公式进行距离特征向量的提取：

(2)对距离特征向量进行斜率-夹角特征向量的提取，设两条特征向量l₁与l₂，的方向向量分别为和则l₁与l₂之间夹角特征A_i为：设空间R中任一点

A＝(x_a，y_a，z_a)与点B＝(x_b，y_b，z_b)之间的连线为l，则该直线对应的方向向量为：

B＝(x_a，y_a，z_a)-(x_b，y_b，z_b)，通过上式可求得眼睛、嘴巴相关的斜率和眼睛、嘴巴相关的夹角，对任意一斜率S_i＝(S_ix，S_iy，S_iz)有：

(3)将两类特征进行融合，令距离特征D_i分别与夹角特征A_i、斜率特征S_i串行拼接，定义如下：

距离与夹角的特征融合：F_i＝(D_i，A_i) i＝1，2，…，N

距离与斜率的特征融合：F_i＝(D_i，S_i) i＝1，2，…，N

面部运动编码系统FACS算法将人脸分为44个运动单元，将两类特征融合的参数结合分析得出44个运动单元的运动情况来抽取表情特征，并将各单元表情特征进行组合分析得出用户表情；

e、使用SVM模型，以jaffe人脸表情库作为训练集，调用f(x)＝sgn(w×X_i+b^*)作为判别函数，采用K-fold Cross Validation方法进行交叉验证，对特征空间进行线性分类，实现面部表情识别，其中将面部识别表情分为开心、兴奋、满足、镇静、生气、恐惧、悲伤七种，并根据上述七种表情分为三种心情，即积极情绪、正常情绪、消极情绪，其中，当面部表情为开心和兴奋时为积极信号，当面部表情为满足和镇静时为正常信号，当面部表情为生气、恐惧和悲伤时为消极信号。

与现有技术相比，本发明的有益效果如下：

(1)现有的二维情绪识别技术抗干扰能力和自身灵活性较差，获取信息受光照、人脸姿态的影响较大。本发明以三维人脸识别技术结合情绪识别技术不仅大大改善了原有技术无法在光照强度大、灯光昏暗等不利于拍摄条件下获取人脸信息的情况，并且减小了人脸姿态对情绪识别工作的影响，提高了产品情绪识别率与抗干扰能力。

(2)灯光与音乐的配合变换，比传统产品调节力度要大。本发明将灯光按照红色，蓝色，绿色分类，将音乐分为中式传统音乐宫商角徽羽与西方音乐大小调，按照特定情绪：开心、兴奋、满足、镇静、生气、恐惧、悲伤，分别对应不同的灯光音乐配合对特定情绪进行针对性调节，对比单独使用音乐或灯光对情绪进行调节，两者配合变换的调节力度要大。

附图说明

图1是本发明的基础流程图。

10-用户，11-面部表情图像采集模块，12-情绪识别模块，13-电脑，131-上位机软件，14- 无线模块，15-STM32单片机模块，16-灯光控制器，17-MP3音乐播放器模块，18-LED灯模块，19-音箱。

图2是本发明的三维人脸识别技术的情绪识别流程图。

21-深度二维图像，22-彩色二维图像，23-尺度变化，24-灰度处理，25-KPCA算法，26-FACS 算法，27-SVM模型。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

如图1所示，本发明是一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，其系统结构包括面部表情图像采集模块11、电脑13、面部表情图像采集模块USB连接线、无线WIFI模块14、上位机软件系统131、LED灯模块18、LED灯电源模块、MP3音乐播放器模块17、MP3音乐播放器电源模块、STM单片机模块15、单片机电源模块，且面部表情图像采集模块11通过面部表情图像采集模块USB连接线与电脑13相连，电脑13安装上位机软件系统131，电脑13通过无线网络与无线模块14相连，STM32单片机模块15通过连接线分别与LED灯模块18、MP3音乐播放器模块17、单片机电源模块相连，LED灯模块18 与LED灯电源模块相连，MP3音乐播放器模块17与MP3音乐播放器电源模块相连，LED 灯模块18包含红色LED、绿色LED、蓝色LED，面部表情图像采集模块11包含深度图像传感器、彩色图像传感器、红外人体检测传感器。其基础流程图具体步骤如下：

a、初始状态为，电脑13连接无线模块14提供的无线网络，STM单片机模块15、LED灯模块18以及MP3音乐播放模块17均处于上电状态，面部表情图像采集模块11为待机状态，其3D深度传感器、高清图像传感器均处于关闭状态，当用户处于面部表情图像采集模块11 的红外人体检测传感器前时，红外人体检测传感器检测到有人进入，即开启3D深度视觉传感器采集深度图像和彩色图像，并将采集的深度图像和彩色图像数据输入情绪识别模块12进行面部表情识别和情绪分类；

b、情绪分类中积极情绪编码为0x5511AA，正常情绪编码为0x5512AA，消极情绪编码为 0x5513AA，电脑通过无线模块14将情绪信号编码发送至STM单片机模块15上，同时STM32 单片机模块15控制开启LED灯模块18以及MP3音乐播放器模块17，其中将音乐分为中国传统音乐的宫、商、角、徽、羽五音与西方音乐的大小调，当STM32单片机模块15识别积极情绪编码0x5511AA时，控制MP3音乐播放器模块17从音乐库中随机播放中国传统羽调音乐以及西方音乐小调各一首，同时点亮LED灯模块18中的蓝色LED，当STM32单片机模块15识别正常情绪编码0x5512AA时，控制MP3音乐播放器模块17从音乐库中随机播放中国传统商调音乐以及西方音乐大调各一首，同时点亮LED灯模块18中的绿色LED，当 STM32单片机模块15识别消极情绪编码0x5513AA时，控制MP3音乐播放器模块17从音乐库中随机播放中国传统宫调音乐以及西方音乐大调各一首，同时点亮LED灯模块18中的红色LED；

c、播放完毕上述选择的中式经典音乐和西方音乐后，即关闭红、绿、蓝LED灯，并返回步骤a。

图2所示的三维人脸识别技术的情绪识别流程图，包括以下步骤：

a、面部表情图像采集模块11以彩色图像传感器采集W1×D1分辨率的彩色二维图像22，以深度图像传感器采集W2×D2分辨率的深度二维图像21，调用MATLAB的imresize函数对深度二维图像进行尺寸变换23，具体命令为B＝imresize(A，m，’linear’)，其中，A为深度二维图像21，B表示尺寸变换23后的深度二维图像21，m＝[W1/W2，D1/D2]，linear表示线性插值，变换后的深度二维图像21和彩色二维图像22具有相同的尺寸和分辨率；

b、利用加权平均法对彩色二维图像22进行灰度处理24，其中R、G、B分别为彩色二维图像22的红、绿、蓝三个分量，x和y为像素的行、列坐标，f为灰度处理24后的二维图像，具体灰度处理公式如下：

f(x，y)＝0.30R(x，y)+0.59G(x，y)+0.11B(x，y)

c、将得到的灰度化的彩色二维图像22与深度二维图像21生成(x，y，z)三维矩阵，生成G(x，y，z) 三维图像，其中z为深度，利用KPCA算法25对面部特征进行提取，具体实现步骤如下：

(1)从一个人脸三维面部图像样本中获得的N个三维数据点，作为非线性输入数据集合： S＝{G₁，G₂…，G_N}映射到高维空间得到线性样本集合：φ(x)＝{φ(x₁)，φ(x₂)…，φ(x_N)}；

(2)利用φ(x)计算核矩阵i，j＝1，2，...l；

(3)将核矩阵中心化，即用替代K，j是全为1的向量；

(4)计算核矩阵的特征值(λ)和特征向量(v)：[λ，v]＝eig(K)；

(5)将特征向量v正交化：a₁＝v₁，单位化：i＝1，2…，l；

(6)数据重建i＝1，2，…l；

(7)输出变化后的数据集

得到的投影为经过KPCA算法25降维，最终获得的人脸特征数据，形成特征脸；

d、对人脸特征点的处理对比工作按以下步骤进行：

(1)对嘴巴和眼睛局部区域的特征点进行距离特征D_i的提取，以计算眼睛的张开度d₁、眉毛的高度d₂、嘴巴的张开度d₃、嘴巴的宽度d₄、嘴巴的拉伸度d₅、下巴的延展度d₆，用于表征人脸表情信息，可用以下公式进行距离特征向量的提取：

(2)对距离特征向量进行斜率-夹角特征向量的提取，设两条特征向量l₁与l₂，的方向向量分别为和则l₁与l₂之间夹角特征A_i为：设空间R中任一点

A＝(x_a，y_a，z_a)与点B＝(x_b，y_b，z_b)之间的连线为l，则该直线对应的方向向量为：

B＝(x_a，y_a，z_a)-(x_b，y_b，z_b)，通过上式可求得眼睛、嘴巴相关的斜率和眼睛、嘴巴相关的夹角，对任意一斜率S_i＝(S_ix，S_iy，S_iz)有：

(3)将两类特征进行融合，令距离特征D_i分别与夹角特征A_i、斜率特征S_i串行拼接，定义如下：

距离与夹角的特征融合：F_i＝(D_i，A_i) i＝1，2，…，N

距离与斜率的特征融合：F_i＝(D_i，S_i) i＝1，2，…，N

面部运动编码系统FACS算法26将人脸分为44个运动单元，将两类特征融合的参数结合分析得出44个运动单元的运动情况来抽取表情特征，并将各单元表情特征进行组合分析得出用户表情；

e、使用SVM模型27，以jaffe人脸表情库作为训练集，调用f(x)＝sgn(w×X_i+b^*)作为判别函数，采用K-fold Cross Validation方法进行交叉验证，对特征空间进行线性分类，实现面部表情识别，其中将面部识别表情分为开心、兴奋、满足、镇静、生气、恐惧、悲伤七种，并根据上述七种表情分为三种心情，即积极情绪、正常情绪、消极情绪，其中，当面部表情为开心和兴奋时为积极信号，当面部表情为满足和镇静时为正常信号，当面部表情为生气、恐惧和悲伤时为消极信号。

Claims (3)

1.一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，基于三维人脸情绪识别的灯光和音乐控制系统，其特征为，包括面部表情图像采集模块、电脑、面部表情图像采集模块USB连接线、无线WIFI模块、上位机软件系统、LED灯模块、LED灯电源模块、MP3音乐播放器模块、MP3音乐播放器电源模块、STM单片机模块、单片机电源模块，且面部表情图像采集模块通过面部表情图像采集模块USB连接线与电脑相连，电脑安装上位机软件系统，电脑通过无线网络与无线模块相连，STM单片机模块通过连接线分别与LED灯模块、MP3音乐播放器模块、单片机电源模块相连，LED灯模块与LED灯电源模块相连，MP3音乐播放器模块与MP3音乐播放器电源模块相连，LED灯模块包含红色LED、绿色LED、蓝色LED，面部表情图像采集模块包含深度图像传感器、彩色图像传感器、红外人体检测传感器。

2.一种基于三维人脸情绪识别的灯光和音乐控制方法，其基于三维人脸识别技术的情绪识别方法按照以下步骤进行：

a、面部表情图像采集模块以彩色图像传感器采集W1×D1分辨率的彩色二维图像，以深度图像传感器采集W2×D2分辨率的深度二维图像，调用MATLAB的imresize函数对深度二维图像进行尺寸变换，具体命令为B＝imresize(A，m，’linear’)，其中，A为深度二维图像，B表示尺寸变换后的深度二维图像，m＝[W1/W2，D1/D2]，linear表示线性插值，变换后的深度二维图像和彩色二维图像具有相同的尺寸和分辨率；

b、利用加权平均法对彩色二维图像进行灰度处理，其中R、G、B分别为彩色二维图像的红、绿、蓝三个分量，x和y为像素的行、列坐标，f为灰度处理后的二维图像，具体灰度处理公式如下：

f(x，y)＝0.30R(x，y)+0.59G(x，y)+0.11B(x，y)

c、将得到的灰度化的彩色图像与深度二维图像生成(x，y，z)三维矩阵，生成G(x，y，z)三维图像，其中z为深度，利用KPCA算法对面部特征进行提取，具体实现步骤如下：

(1)从一个人脸三维面部图像样本中获得的N个三维数据点，作为非线性输入数据集合：

S＝{G₁，G₂…，G_N}映射到高维空间得到线性样本集合：φ(x)＝{φ(x₁)，φ(x₂)…，φ(x_N)}；

(2)利用φ(x)计算核矩阵i，j＝1，2，...l；

(3)将核矩阵中心化，即用替代K，j是全为1的向量；

(4)计算核矩阵的特征值(λ)和特征向量(v)：[λ，v]＝eig(K)；

(5)将特征向量v正交化：a₁＝v₁，单位化：i＝1，2…，l；

(6)数据重建i＝1，2，…l；

(7)输出变化后的数据集

得到的投影为经过KPCA算法降维，最终获得的人脸特征数据，形成特征脸；

d、对人脸特征点的处理对比工作按以下步骤进行：

(1)对嘴巴和眼睛局部区域的特征点进行距离特征D_i的提取，以计算眼睛的张开度d₁、眉毛的高度d₂、嘴巴的张开度d₃、嘴巴的宽度d₄、嘴巴的拉伸度d₅、下巴的延展度d₆，用于表征人脸表情信息，可用以下公式进行距离特征向量的提取：

(2)对距离特征向量进行斜率-夹角特征向量的提取，设两条特征向量l₁与l₂，的方向向量分别为和则l₁与l₂之间夹角特征A_i为：设空间R中任一点A＝(x_a，y_a，z_a)与点B＝(x_b，y_b，z_b)之间的连线为l，则该直线对应的方向向量为：

B＝(x_a，y_a，z_a)-(x_b，y_b，z_b)，通过上式可求得眼睛、嘴巴相关的斜率和眼睛、嘴巴相关的夹角，对任意一斜率S_i＝(S_ix，S_iy，S_iz)有：

(3)将两类特征进行融合，令距离特征D_i分别与夹角特征A_i、斜率特征S_i串行拼接，定义如下：

距离与夹角的特征融合：F_i＝(D_i，A_i)i＝1，2，…，N

距离与斜率的特征融合：F_i＝(D_i，S_i)i＝1，2，…，N

面部运动编码系统FACS算法将人脸分为44个运动单元，将两类特征融合的参数结合分析得出44个运动单元的运动情况来抽取表情特征，并将各单元表情特征进行组合分析得出用户表情；

e、使用模型，以jaffe人脸表情库作为训练集，调用f(x)＝sgn(w×X_i+b^*)作为判别函数，采用K-fold Cross Validation方法进行交叉验证，对特征空间进行线性分类，实现面部表情识别，其中将面部识别表情分为开心、兴奋、满足、镇静、生气、恐惧、悲伤七种，并根据上述七种表情分为三种心情，即积极情绪、正常情绪、消极情绪，其中，当面部表情为开心和兴奋时为积极信号，当面部表情为满足和镇静时为正常信号，当面部表情为生气、恐惧和悲伤时为消极信号。

3.根据权利要求2所述的一种基于三维人脸情绪识别的灯光和音乐控制方法，其音乐控制方法按照以下步骤进行：

a、初始状态为，电脑连接无线模块提供的无线网络，STM单片机模块、LED灯模块以及MP3音乐播放模块均处于上电状态，面部表情图像采集模块为待机状态，其3D深度传感器、高清图像传感器均处于关闭状态，当用户处于面部表情图像采集模块的红外人体检测传感器前时，红外人体检测传感器检测到有人进入，即开启3D深度视觉传感器采集深度图像和彩色图像，并采用上述权利要求2方法进行面部表情识别和情绪分类；

b、情绪分类中积极情绪编码为0x5511AA，正常情绪编码为0x5512AA，消极情绪编码为0x5513AA，电脑通过无线模块将情绪信号编码发送至STM单片机模块上，同时单片机控制开启LED灯模块以及MP3音乐播放器模块，其中将音乐分为中国传统音乐的宫、商、角、徽、羽五音与西方音乐的大小调，当STM32单片机模块识别积极情绪编码0x5511AA时，控制MP3音乐播放器模块从音乐库中随机播放中国传统羽调音乐以及西方音乐小调各一首，同时点亮LED灯模块中的蓝色LED，当STM32单片机模块识别正常情绪编码0x5512AA时，控制MP3音乐播放器模块从音乐库中随机播放中国传统商调音乐以及西方音乐大调各一首，同时点亮LED灯模块中的绿色LED，当STM32单片机模块识别消极情绪编码0x5513AA时，控制MP3音乐播放器模块从音乐库中随机播放中国传统宫调音乐以及西方音乐大调各一首，同时点亮LED灯模块中的红色LED；

c、播放完毕上述选择的中式经典音乐和西方音乐后，即关闭红、绿、蓝LED灯，并返回步骤a。