CN104598913A - 一种基于人脸的情感健康促进方法及系统 - Google Patents

Abstract

本发明涉及一种基于人脸的情感健康促进方法，该方法包括步骤：自动采集用户的人脸图像，完成人脸情感分类，根据情感类别生成并播放对应的情感视频，根据人脸图像生成情感转化了的三维人脸，评估用户情感变化情况。本发明还公开了使用所述方法的一种基于人脸的情感健康促进系统，该系统包括：摄像头控制模块，人脸图像采集模块，人脸情感分类模块，三维人脸表情转化模块，三维人脸表情显示模块，情感视频选择模块，情感视频播放模块，用户情感评估模块，人脸表情分类模型学习模块。本发明能让使用者随时改善其情感状态，能有效促进使用者的情感健康。

Description

一种基于人脸的情感健康促进方法及系统

技术领域

本发明涉及一种基于人脸的情感健康促进方法及系统，属于医疗健康、机器学习和移动互联网技术领域。

背景技术

情感状态体现了心理的健康状态，很多人都面临心理压力，或多或少会出现一些心理情感问题，表现为烦躁，焦虑，抑郁等，需要及时引导，但是这些表现出来的信号，对于心理学知识缺乏的人一般很难觉察，因此借助信息技术，自动监测并改善是很重要的。人脸表情包含了丰富的情感信息，是我们理解情感的重要途径，因此通过人脸表情分析就可以实现人类的情感状态判别，进而判断人类的情感健康情况。研究还表明，若采集用户的人脸图像，然后生成一个改变了表情的人脸展示给用户观察，若将人脸的表情改变为微笑，用户就会感到快乐，而那些人脸表情被篡改为皱着眉头，用户就感觉不快乐，因此可通过这种方法来促进人的快乐感觉。

目前很多智能终端如智能手机都支持人脸图像的采集功能，而且是人们经常使用的工具，用户在使用这些设备时的人脸表情反映的是用户的自然情感，因此通过自动采集用户使用这些设备时的人脸图像，进而通过人脸表情分析就可以判断用户的情感状态，进一步可通过修改表情为微笑的方法来促进人类的快乐，也能通过播放情感视频的方法来促进人的快乐。目前国内还没有发现类似的方法和系统。

发明内容

本发明要解决的技术问题是：实现个性化的情感健康促进，包括播放合适的情感视频和表情转换。

本发明涉及一种基于人脸的情感健康促进方法，其特征在于该方法包括以下步骤： 

[1]     自动采集用户的人脸图像

[2]     完成人脸情感分类

[3]     根据情感类别生成对应的情感视频，并播放视频

[4]     根据用户的人脸图像生成表情转化了的三维用户人脸图像，并显示用户人脸图像

[5]     评估用户情感变化情况。

 本发明涉及一种基于人脸的情感健康促进系统，其特征在于系统包括：摄像头控制模块，人脸图像采集模块，人脸情感分类模块，三维人脸表情转化模块，三维人脸表情显示模块，情感视频选择模块，情感视频播放模块，用户情感评估模块，人脸表情分类模型学习模块。其中摄像头控制模块的输出与人脸图像采集模块的输入连接。人脸图像采集模块的输出与人脸情感分类模块的输入连接。人脸情感分类模块的输出与三维人脸表情转化模块的输入连接。三维人脸表情转化模块的输出与三维人脸表情显示模块的输入连接。人脸情感分类模块的输出与幽默笑话视频选择模块的输入连接。视频选择模块的输出与视频播放模块的输入连接。人脸情感分类模块的输出与用户情感评估模块的输入连接。人脸表情分类模型学习模块的输出与人脸情感分类模块的输入连接。其中人脸情感分类模型学习模块是离线独立运行的。

有益效果

与现有技术相比，本发明的一种基于人脸的情感健康促进方法及系统具有以下优点：

[1]     采用播放情感视频的方法能有效地促进用户的情感健康

[2]     采用改变用户人脸表情的方法能有效地促进用户的情感健康

[3]     通过手机等智能终端促进用户情感健康，很方便，能让使用者随时改善其情感状态。

 附图说明

图1 一种基于人脸的情感健康促进方法的流程图；

图2 一种基于人脸的情感健康促进系统的结构图。

具体实施方式

本发明提出的一种基于人脸的情感健康促进方法及系统，结合附图和实施例说明如下。如图1 所示，为一种基于人脸的情感健康促进方法的流程图，该方法包括以下步骤： 

[1]     通过控制摄像机，自动采集用户的人脸图像，并以采集时的时间为文件名称将采集的人脸图像保存为JPEG格式的图片文件，然后提取图片文件的图像特征，形成一个人脸图像的特征向量；

[2]     完成人脸情感分类，采用支持向量机作为情感分类器，对每个人脸情感特征向量分类，判断的情感类别为愤怒，高兴，悲伤，惊讶，厌恶，恐惧和平静；

[3]     根据情感状态，从预先设计的表格中选择合适的情感视频播放；

[4]     根据情感状态，根据人脸图像生成并显示情感转化了的三维人脸表情；

[5]     评估用户的情感变化情况，观察是否有情感健康促进作用。

 

其中人脸情感分类模型的获取过程包含以下步骤：

(a)     采集1000个人脸图像及其对应的情感类别；

(b)     构造每个人脸图像的特征向量；

(c)      构造训练数据，以人脸图像的特征向量为输入，其对应的情感类别为输出，构成训练样本集合；

(d)     采用训练样本集合，学习人脸情感分类模型-----支持向量机分类器；

(e)     以10倍交叉验证方式选择支持向量机分类器的最佳参数，进而获得对应参数的支持向量机分类器。

 如图1所述方法的实施案例中，每个关键步骤的实现方法叙述如下。

 

第一步：采集用户的人脸图像。

本实施案例通过摄像头等图像捕捉工具获取人脸的静态图像，然后完成图像预处理，包括图像的大小和灰度的归一化，头部姿态的矫正，人脸图像的检测等。人脸检测算法采用Viola–Jones的级联分类器算法，它是现在的一个比较优秀的人脸检测算法。这种算法使用基于Haar特征的级联分类器策略，可快速且有效地找到多种姿态和尺寸的人脸图像。Android OpenCV提供此该算法的实现。Android OpenCV是 Intel 开源计算机视觉库 (Computer Version) ，由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。 Android OpenCV拥有包括 300 多个 C 函数的跨平台的中、高层 API 。Android OpenCV提供了对硬件的访问，可以直接访问摄像头，因而我们利用Android OpenCV编程实现人脸图像的采集和检测，从而获得人脸图像。包括两个步骤：第1步是图片预处理，从摄像头中获得一个帧(一张图片)后，先对这张图片进行一些预处理：将图片从RGB模式转为灰度图，然后进行灰度图直方图均衡化操作，这步在Android OpenCV中的实现非常简单。第2步，检测并标记人脸目标，在Android OpenCV中，对于人脸检测的模型已经建立为一个XML文件，其中包含了上面提到的Haar特征的分类器的训练结果，我们直接使用这个结果，将待检测的人脸图像和级联分类器模型一同传递给Android OpenCV的目标检测算法即得到一个检测到的人脸图像。

本实施案例提取人脸图像的特征有两类：第1类，利用二维离散小波在不明显损失图像信息的基础上对表情图像进行变换，再利用离散余弦变换提取代表原图像绝大部分能量的数据作为表情特征矢量。第2类对人脸情感图像进行分割、消噪处理，然后对其作标准化处理，包括尺度归一化和灰度均衡化。对标准化处理后的图像使用固定像素的网格进一步分割，对每一个网格进行Gabor小波变换，取Gabor变换后的小波系数模的均值、方差作为该网格的情感特征向量。最后将两类特征向量串接为一个特征向量作为人脸图像的特征向量。

本实施案例利用Android OpenCV提供的多种API函数构造人脸图像的特征向量。

    # detect objects

    cascade = cv.cvLoadHaarClassifierCascade('haarcascade_frontalface_alt.xml',

                                                cv.cvSize(1,1))

    faces = cv.cvHaarDetectObjects(grayscale, cascade, storage, 1.2, 2,

                                    cv.CV_HAAR_DO_CANNY_PRUNING,

                                    cv.cvSize(50, 50))#设置最小的人脸为50*50像素

    if faces:

        print 'face detected here', cv.cvGetSize(grayscale)

        for i in faces:

            cv.cvRectangle(image, cv.cvPoint( int(i.x), int(i.y)),

                         cv.cvPoint(int(i.x + i.width), int(i.y + i.height)),

                         cv.CV_RGB(0, 255, 0), 1, 8, 0)#画一个绿色的矩形框

第二步：人脸情感分类。

本实施案例采用支持向量机 (Support Vector Machine, SVM)作为人脸情感分类方法。SVM是近几年刚发展起来的一种分类方法，它基于结构风险最小化原则,具有良好的泛化能力。给定训练样本                                                集，其中为输入向量，为对应的类别，SVM在特征空间中寻找能将两类样本正确分开的最优分界超平面。对于输入空间中的向量，假如使用表示其在特征空间中对应的特征向量，则最优分界超平面表示为。相应的决策方程为。在任何情况下，SVM并不要求知道映射。 引入核函数k(·)，特征空间中向量间的点积能在输入空间中通过核函数表示为。

 

训练SVM等价于求解如下最优化问题： 

   

这是正定的二次规划问题，目标方程由拉格朗日乘子向量 a 决定。一旦向量 a 已知，决策方程中的权重向量 w 和阈值 b 能够通过KKT条件容易地计算出来。KKT条件是上述二次规划问题的充分必要条件。定义

则KKT条件为

其中不为零对应的样本就是支持向量，它们通常只是全体样本中的少部分。计算出支持向量后，便得到决策函数

其中S为支持向量集合。决策函数中常用核函数有多项式核，径向基核函数（RBF），Sigmoid核函数等。本实施案例利用Android OpenCV提供的SVM分类器完成人脸情感分类，核函数选择径向基核函数RBF，以预测性能为准则，以10倍交叉验证方式选择SVM分类器的合适参数，进而获得对应的SVM分类模型。

 第三步：根据情感状态，从预先设计的表格中选择合适的情感视频，并播放。

根据专家的经验知识，预先设计好情感视频播放规则，如下表所显示，并准备好已经分好类的情感视频，类别分为三类，风景视频，恐怖视频，喜剧视频，然后根据用户的当前情感和规则，播放对应的视频。例如情感判断为愤怒时，随机选择一个恐怖视频播放，然后再随机选择一个风景视频播放，最后随机选择一个喜剧视频播放。

情感视频播放规则表

视频播放采用流媒体技术实现。流媒体是指以流的方式在Internet中传输音视频等文件的一种媒介。流媒体服务器的主要功能是将采集到的音频、视频文件通过流媒体协议发送到客户端，提供给用户进行观看。流媒体服务器是基于RTMP、RTSP等流媒体协议的。选择的架构方式是采用flash播放器作为流媒体服务器的客户端，这种方式与一般的浏览器兼容性很好，且实现方式较为简单。

协议选择广泛应用于直播、点播实现的RTMP协议，它的直播流编码是H.264 。运用RTMP协议作为流媒体传输协议的服务器广泛应用于商业程序和开源项目中，例如比较常用的商业程序是Adobe公司的FMS、Real Network的Helix等。开源项目中比较流行的是Red5、Crtmpserver等。Crtmpserver是一个高性能的流媒体服务器，支持RTMP、RTMPE、RTMPS、RTMPT、RTMPTE等多种RTMP协议。Crtmpserver还兼容Android平台，IP摄像头、IP-TV（MPEG-Ts，RTSP/RTCP/RTP）等多种设备，因此本实施案例选择Crtmpserver作为流媒体服务器。

 第四步：根据情感状态，完成人脸图像生成并显示情感转化了的三维人脸图像。

根据采集的人脸图像实时判断用户的情感类别，进而根据专家预先设计的情感转化规则，动态生成对应情感的三维人脸图像。例如若判断用户的当前情感类别为厌恶，那么应将人脸的表情转化为恐惧，再转化为平静，最后转化为高兴。

情感转化规则表

 

三维人脸图像是基于单张或多张人脸图像重构的。目前有很多方法，他们基于一般模型的变形和三维人脸库的形变模型。我们选用涂意等提出的方法（涂意，赵群飞，卢芳芳，基于单张人脸图片和一般模型的三维重建方法，计算机应用研究，2009）。选用BJUT-3D Face Database 中国人三维人脸库，选择100个男性和100个女性的每人约60，000个点和120，000个三角片的数据作为稠密人脸样本集，然后通过人工选取每人60个三维特征点，作为稀疏对应的样本集，并使用这200人的平均模型作为一般模型。

重建过程包括以下步骤：

[1]     由ASM(active shape model)模板检测人脸特征点。采用改进的ASM算法自动提取其60个特征点。ASM是目前最流行的人脸对齐方法之一；

[2]     利用稀疏的形变模型获取特征点深度信息。利用先验三维人脸统计知识，将三维特征点样本集通过平面投影和线性组合来最优逼近照片的二维特征点，从而获得照片特征点对应的三维坐标；

[3]     根据三维特征点的位移将一般人脸模型变形得到特定三维人脸。选择薄板样条插值算法(TPS)将原始模型弹性变形为特定人脸模型。TPS插值是常用的2D插值方法，几乎所有的生物有关的形变都可以用TPS来近似；

[4]     通过纹理映射重建模型的颜色信息，将照片纹理作仿射变换后正交投影到三维模型表面。

实现工具采用3DMAX三维建模工具建立人脸模型，使用OpenGL编程完成3DMAX模型的读取与重现，再用OpenGL对其进行控制。采用MPEG-4的参数变化进行面部表情的合成，面部表情的分析与合成主要集中于基本的情感，包括悲伤、愤怒、喜悦、恐惧、厌恶、惊奇和平静。MPEG-4标准表示了一种关于面部表情建模和表达潜在情感的方法。 

 

第五步：评估用户的情感变化

为了让用户随时了解其情感是否向健康快乐的方面转化，按时序周期性绘制情感状态曲线。第2个评估方法是统计每个情感类别在时间序列中的平均值，确定主导情感是否健康。

 

如图2 所示，为一种基于人脸的情感健康促进系统实施案例的结构图，系统包括智能手机客户端和服务器两部分。智能手机客户端包括模块：摄像头控制模块201，人脸图像采集模块202，三维人脸表情显示模块205，情感视频播放模块207。服务器包括模块：人脸情感分类模块203，三维人脸表情转化模块204，情感视频选择模块206，用户情感评估模块208，人脸表情分类模型学习模块209。其中摄像头控制模块201的输出与人脸图像采集模块202的输入连接。人脸图像采集模块202的输出与人脸情感分类模块203的输入连接。人脸情感分类模块203的输出与三维人脸表情转化模块204的输入连接。三维人脸表情转化模块204的输出与三维人脸表情显示模块205的输入连接。人脸情感分类模块203的输出与情感视频选择模块206的输入连接。情感视频选择模块206的输出与情感视频播放模块207的输入连接。人脸情感分类模块203的输出与用户情感评估模块208的输入连接。人脸表情分类模型学习模块209的输出与人脸情感分类模块203的输入连接。其中人脸情感分类模型学习模块209是离线独立运行的。

1)    手机摄像头控制模块201，通过控制手机的照相机对人脸照相，采集人脸图像。

2)    人脸图像采集模块202，对手机摄像头控制模块201采集的人脸图像进行预处理，去除背景，获得预处理后的人脸图像，然后将检测的人脸图像抽取特征，转化为人脸图像的特征向量表示。

3)    人脸情感分类模块203，采用支持向量机分类模型对人脸图像的特征向量进行情感分类，获得情感类别。

4)    人脸表情分类模型学习模块209，采用人脸表情训练样本数据库训练支持向量机分类器，获得人脸情感分类的支持向量机分类模型。

5)   三维人脸表情转化模块204，根据情感状态，查询情感转化规则库，获得对应的转化情感类别，然后对采集的人脸图像转化，获得具有转化情感类别的三维人脸情感图像。

6)    三维人脸表情显示模块205，在智能手机客户端显示三维人脸情感图像。

7)     情感视频选择模块206，根据情感状态，查询情感视频选择规则库，获得具有转化情感类别的情感视频。

8)     情感视频播放模块207，在智能手机客户端播放选择的情感视频。

9)     用户情感评估模块208，按时序周期性评估用户的情感状态，绘制情感状态变化曲线；统计每个情感类别在时间序列中平均值，确定主导情感是否健康。并将结果反馈到智能手机客户端显示。

 图2所述的实施案例中的智能手机采用Android智能手机。Android平台提供了应用程序框架，提供了传感器、语音识别、桌面组件开发、Android游戏引擎设计、Android应用优化等各类开发工具，提供了对音频、视频和图片等多媒体支持。采用Android OpenCV和Android平台实现摄像头控制、人脸图像采集、三维人脸表情显示、和情感视频播放等。

服务器采用WEB服务器Tomcat，流媒体服务器Crtmpserver， OpenCV 和OpenGL等实现。实施案例中的服务器则采用J2EE平台，采用 OpenCV编写程序实现人脸图像的处理、人脸情感分类、三维人脸表情转化等，采用MYSQL数据库实现数据库管理。

本领域的普通技术人员应当理解，本发明的技术方案可以进行修改，变形或等同变换，而不脱离本发明技术方案的本质和范围，均覆盖在本发明的权利要求范围之中。

Claims (10)

1.一种基于人脸的情感健康促进方法，其特征在于该方法包括以下步骤：[1]自动采集用户的人脸图像；[2]完成人脸情感分类；[3]根据情感类别生成对应的情感视频，并播放视频；[4]根据用户的人脸图像生成表情转化了的三维用户人脸图像，并显示用户人脸图像；[5]评估用户情感变化情况。

2.根据权利要求1 所述的一种基于人脸的情感健康促进方法，其特征在于所述的步骤[3] 根据情感类别生成并播放对应的情感视频。

3.根据权利要求1 所述的一种基于人脸的情感健康促进方法，其特征在于所述的步骤[4] 根据用户的人脸图像生成表情转化了的三维用户人脸图像。

4.根据权利要求1 所述的一种基于人脸的情感健康促进方法，其特征在于所述的步骤[5] 评估用户情感变化情况。

5.一种基于人脸的情感健康促进系统，其特征在于系统包括：摄像头控制模块，人脸图像采集模块，人脸情感分类模块，三维人脸表情转化模块，三维人脸表情显示模块，情感视频选择模块，情感视频播放模块，用户情感评估模块，人脸表情分类模型学习模块；其中摄像头控制模块的输出与人脸图像采集模块的输入连接；人脸图像采集模块的输出与人脸情感分类模块的输入连接；人脸情感分类模块的输出与三维人脸表情转化模块的输入连接；三维人脸表情转化模块的输出与三维人脸表情显示模块的输入连接；人脸情感分类模块的输出与幽默笑话视频选择模块的输入连接；视频选择模块的输出与视频播放模块的输入连接；人脸情感分类模块的输出与用户情感评估模块的输入连接；人脸表情分类模型学习模块的输出与人脸情感分类模块的输入连接；其中人脸情感分类模型学习模块是离线独立运行的。

6.根据权利要求5 所述的一种基于人脸的情感健康促进系统，其特征在于所述的系统采用了权利要求1所述的一种基于人脸的情感健康促进方法实现。

7.根据权利要求5 所述的一种基于人脸的情感健康促进系统，其特征在于所述的系统在调用人脸情感分类模块识别出人脸的一个情感类别后，调用三维人脸表情转化模块生成对应情感的三维用户人脸图像，并显示该人脸图像。

8.根据权利要求5 所述的一种基于人脸的情感健康促进系统，其特征在于所述的系统在调用人脸情感分类模块识别出人脸的一个情感类别后，调用情感视频选择模块，选择对应的情感视频播放。

9.根据权利要求5 所述的一种基于人脸的情感健康促进系统，其特征在于所述的系统按浏览器和服务器方式实现，其中浏览器包括：摄像头控制模块，人脸图像采集模块，三维人脸表情显示模块，情感视频播放模块；服务器包括：人脸情感分类模块，三维人脸表情转化模块，情感视频选择模块，用户情感评估模块，人脸表情分类模型学习模块。

10.根据权利要求5 所述的一种基于人脸的情感健康促进系统，其特征在于所述的系统按客户端和服务器方式实现，其中客户端包括：摄像头控制模块，人脸图像采集模块，三维人脸表情显示模块，情感视频播放模块；服务器包括：人脸情感分类模块，三维人脸表情转化模块，情感视频选择模块，用户情感评估模块，人脸表情分类模型学习模块。