CN105559804A - 一种基于多种监控的心情管家系统 - Google Patents

Abstract

本发明公开了一种基于多种监控的心情管家系统。本发明属于无线通信系统领域，涉及图像采集技术和WIFI通信技术，情感心理学，尤其涉及一种应用于智能家居的心情管家系统。主要通过采集人脸面部表情和身体各部位温度的变化，判断人们当时的内心情绪，系统会智能的改变环境，来调整人们的心情。面部表情提取主要采取动态图像和面部重要单元技术，心情获取采用一种连续的人脸表情空间模型对所对应的情感状态进行表达，其模型采用人脸表情图像的Gabor小波系数构建。基于多种监控的心情管家系统在智能家居领域中有效的缓和人们心情的基于多种监控的心情管家系统，很好的预防人们出现的各类心里疾病。

Description

一种基于多种监控的心情管家系统

技术领域

本发明属于无线通信系统领域，涉及图像采集技术和WIFI通信技术，情感心理学，尤其涉及一种应用于智能家居的心情管家系统。

背景技术

1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒(anger)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成人脸面部表情运动的描述方法。

WIFI通信是一种可以将个人电脑、手持设备等终端设备以无线方式相互连接的技术，使用IEEE802.11协议，能够在数百英尺范围内支持互联网接入的无线电信号。随着技术的发展，目前主流厂商都已经开发IEEE802.11ac协议版本，它使用5GHz频段(也可以说是6GHz频段)，采用更宽的基带(最高扩展到160Mhz)、更多的MIMO、高密度的调制解调(256QAM)。

人脸识别技术是基于人的脸部特征，对输入的人脸图象或者视频流。首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。

发明内容

随着城市发展步伐的加快，大量的人都有着心理压力大的表现，内心不高兴时，很多人不愿意与别人分享，或是很大一部分是找不到别人与你分享。很多人选择自我调节，有的人可以很好的调整好自己的心情，而很大一部分人群无法及时的调整好自己的心情。长时间处于消极的心情状态，会导致忧郁症、精神分裂症等心里疾病。

本发明的目的在于针对上述问题，提出了一种智能，有效的缓和人们心情的基于多种监控的心情管家系统，很好的预防人们出现各类心里疾病。

人脸面部表情是非语言交流中情感信息传递的最重要载体，心理学家分析，人的情感表达百分之六十是通过面部表情，而且在单独一个人的时候，这个比例更高。此外身体各部位温度的变化也反应了人们的心情。

本发明主要通过采集人脸面部表情和身体各部位温度的变化，判断人们当时的内心情绪，系统会智能的改变环境，来调整人们的心情。

本发明的目的通过下述技术方案实现：

1、面部表情提取

面部表情提取就是提取心情因素的信息。本发明的面部表情提取主要采取动态图像和面部重要单元的方式。基于动态图像技术是通过分析图像中人脸的变化和变形的信息为表情特征来进行表情识别。相比静态图像，基于动态图像的方式更真实的还原了面部表情的动作。眼睛，眉毛，额头以及嘴巴周围是人脸面部表情重要单元。本专利是通过基于Gabor小波融合特征技术识别人脸面部表情重要单元的形状，纹理以及特征点运动方式的变化。

2、心情空间模型

虽然面部表情和心情表达关系非常密切，心里学家也做了大量的情感机理研究，但是目前仍然没有心情与表情的准确定义。在研究人脸表情的心情状态之前，需要对提取的人脸表情情感模拟大脑的分类工作。本专利采用一种连续的人脸表情空间模型对所对应的情感状态进行表达。心情空间是一个连续空间，由情感引发的表情空间也是一个连续空间，其模型采用人脸表情图像的Gabor小波系数构建，特性主要有：

(1)眼睛，眉毛，额头以及嘴巴构成连续多维空间，空间中每个点代表一种心情；

(2)空间中存在6个标准点，分别对应的是6种基本心情。大部分表情都是在这6类心情周围；

(3)表情点到各个标准点的距离体现表情点与基本心情的相似度。距离越小，说明此刻心情包含基本心情越多，越对应某一种心情。

3、人体热量检测技术

芬兰科学家已进行了心情对生理变化影响的实验，测量人体在不同心情控制下各个部位的温度。不同心情的热成像温度图如图1所示，列出了愤怒、恐惧、厌恶等14种情绪，每种情绪各对应着身体各部位温度的变化：愤怒———头胸部的温度明显升高；沮丧———四肢温度下降变冷；害羞———热量集中到脸上。因此本专利采用检测人体身体各部位温度的变化来反应人体心情。目前通过红外线检测身体各部位温度的变化技术已经很成熟了。

4、环境控制器

心理学家分析，人的心情主要是由周围环境所影响。而负面心情也可以通过改变周围环境来调整。在识别心情后，系统需要作出判断。但心情时负面时，开始启动环境控制器调控周围环境。例如在智能家居中，可以通过调整家里的音乐，温度，光线等家庭常用设备。系统与周围环境的通信采用无线连接方式，本专利采用的IEEE802.11ac无线局域网(WLAN)通信标准具有5GHz频带。保证向下兼容性，但数据传输通道会大大扩充，在当前20MHz的基础上增至40MHz或者80MHz，稳定高速的控制周围设备。

附图说明

图1是本发明系统的硬件结构示意图；

图2是本发明系统中人体温度与心情的对应关系；

图3是本发明系统中CPU处理人脸表情结构示意图；

具体实施方式

下面结合附图对本发明作进一步详细描述。

优选实施例

参照图1，本发明系统硬件实现框图由摄像头、红外温度传感器、CPU、DDR3存储器、音乐播放器、空调、灯光、手机等组成。

摄像头主要负责人脸图像采集，采集的数据为动态图像序列。

红外温度传感器负责采集人体各个部位的温度。

CPU负责接收摄像头的动态人脸图像序列，首先对摄像头采集的人脸动态图片序列进行预处理，然后提取眼睛，眉毛，额头以及嘴巴周围等人脸面部表情重要单元。提取的人脸面部表情与美国CMU机器人研究所和心理学系共同建立的Cohn-KanadeAU-CodedFacialExpressionImageDatabase(简称CKACFEID)人脸表情数据库进行对比，接着通过人脸表情图像的Gabor小波系数构建心情空间模型。最后环境控制器将读取心情空间模型中获取的心情，通过WIFI控制周围的音乐播放器、灯光、手机等设备。环境控制器还将读取温度反应出的心情值，控制空调改变室内的温度。

DDR3存储器主要存储CKACFEID人脸表情数据库和温度与心情对应表。温度与心情的对应值参照2所示。例如，愤怒时，头胸部的温度明显升高；沮丧时，四肢温度下降变冷；害羞时，热量集中到脸上。

音乐播放器通过环境控制器的指令播放相应音乐来调整心情。例如低落时，播放一些快节奏的欢快歌曲；疲惫时，播放一些舒缓的慢节奏歌曲等。

空调由环境控制器控制来调整人体温度，已达到控制心情的效果。

灯光的亮暗度也可以调整人们的心情。例如红色、橙色灯光容易加快血液流动，可以使沮丧的心情变得活跃起来，适合在餐厅中调整灯光的亮暗度，能增加食欲；蓝色、绿色能消除紧张，舒缓神经，适合在书房调整灯光的亮暗度；暖黄色使人心情平静适宜在卧室调整灯光的亮暗度；白色照明效果好，适合在厨房调整灯光的亮暗度。

手机负责在控制中记忆的心情状态已经长时间处于一种消极状态时提醒手机主人的常用联系人，以达到通过他人安慰，调整心情的作用。

图3是CPU处理人脸表情的过程。首先通过摄像头获取人脸动态图像序列。图像预处理是调整图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。以达到改善图像质量，消除噪声，统一图像灰度值及尺寸的效果，为后序特征提取和分类识做好准备。面部表情提取眼睛，眉毛，额头以及嘴巴周围等人脸面部表情重要单元的形状，纹理以及特征点运动方式的变化。最后通过心情空间模型识别心情。

Claims (5)

1.一种基于多种监控的心情管家系统，其特征在于，包括：

面部表情提取系统：面部表情提取主要采取动态图像和面部重要单元的方式；人脸面部表情识别通过识别人脸重要单元的形状，纹理以及特征点运动方式的变化。

心情空间模型：采用一种连续的人脸表情空间模型对所对应的情感状态进行表达；其模型采用人脸表情图像的Gabor小波系数构建。

人体热量检测系统：每种情绪各对应着身体各部位温度的变化。

环境控制器系统：系统与周围环境的通信采用无线连接方式；心情时负面时，开始启动环境控制器调控周围环境。

2.根据权利要求1所述的面部表情提取系统，其特征在于，通过摄像头采样，基于Gabor小波融合特征技术提取动态图像。

3.根据权利要求1所述的心情空间模型，其特征在于：

(1)眼睛，眉毛，额头以及嘴巴构成连续多维空间，空间中每个点代表一种心情。

(2)空间中存在6个标准点，分别对应的是6种基本心情。

(3)表情点到各个标准点的距离体现表情点与基本心情的相似度。

4.根据权利要求1所述的人体热量检测系统，其特征在于，红外线检测身体各部位温度的变化技术，14种情绪对应着身体各部位温度的变化。

5.根据权利要求1所述的环境控制器系统，其特征在于，系统与周围环境的通信采用无线连接方式。可调控的周围环境主要由音乐播放器、空调、灯光、手机等组成。