CN102467668A

CN102467668A - 情绪侦测及舒缓系统及方法

Info

Publication number: CN102467668A
Application number: CN2010105461190A
Authority: CN
Inventors: 汪卓浩
Original assignee: Hongfujin Precision Industry Shenzhen Co Ltd; Hon Hai Precision Industry Co Ltd
Current assignee: Hongfujin Precision Industry Shenzhen Co Ltd; Hon Hai Precision Industry Co Ltd
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2012-05-23

Abstract

一种情绪侦测及舒缓系统，应用于电子装置中，该电子装置包括相机模块和存储装置，该存储装置存储各类表情图像的原始特征值。该系统包括：设置模块，用于设置表情的类别以及每一类别的表情相应的舒缓方式，每一类别的表情有相应的原始特征值；获取模块，用于从该相机模块获取拍摄的影像；特征识别模块，用于识别影像中人脸的表情特征，并根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别；及控制模块，用于执行所确定的表情类别相应的舒缓方式。本发明还提供一种情绪侦测及舒缓方法。利用本发明可识别用户情绪并进行舒缓。

Description

情绪侦测及舒缓系统及方法

技术领域

本发明涉及一种生物识别技术，尤其涉及一种情绪侦测及舒缓系统及方法。

背景技术

随着生物识别技术的不断发展，人脸识别已经越来越多的应用于各个领域中，例如：门禁系统、监控系统等。在人脸识别的基础上发展起来的人脸表情识别(Facial Expression Recognition，FER)也愈发得到重视。然而，目前并没有针对识别出的人脸表情作进一步的应用。

发明内容

鉴于以上内容，有必要提供一种情绪侦测及舒缓系统方法，可根据识别出的人脸表情侦测用户的情绪，并执行预设的舒缓方式安抚用户的情绪。

一种情绪侦测及舒缓系统，应用于电子装置中，所述电子装置包括相机模块和存储装置，所述存储装置存储各类表情图像的原始特征值，所述情绪侦测及舒缓系统包括：设置模块，用于设置表情的类别以及每一类别的表情相应的舒缓方式，其中，每一类别的表情有相应的原始特征值；获取模块，用于从所述的相机模块获取拍摄的影像；特征识别模块，用于识别影像中人脸的表情特征，并根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别；及控制模块，用于执行所确定的表情类别相应的舒缓方式。

一种情绪侦测及舒缓方法，应用于电子装置中，所述电子装置包括相机模块和存储装置，所述存储装置存储各类表情图像的原始特征值，该方法包括：设置表情的类别以及每一类别的表情相应的舒缓方式，其中，每一类别的表情有相应的原始特征值；从所述的相机模块获取拍摄的影像；识别影像中人脸的表情特征；根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别；及执行所确定的表情类别相应的舒缓方式。

相较于现有技术，所述的情绪侦测及舒缓方法，可根据对影像中人脸表情的识别侦测用户的情绪，并执行预设的舒缓方式安抚用户的情绪。

附图说明

图1是本发明情绪侦测及舒缓系统的较佳实施方式的功能模块图。

图2是本发明情绪侦测及舒缓系统的较佳实施方式的表情的运动特征示意图。

图3是本发明情绪侦测及舒缓方法的较佳实施方式的流程图。

主要元件符号说明

电子装置 1

处理器 10

存储装置 12

显示屏 14

扬声器 16

相机模块 18

情绪侦测及舒缓系统 2

设置模块 20

获取模块 22

特征识别模块 24

控制模块 26

记录模块 28

具体实施方式

如图1所示，是本发明情绪侦测及舒缓系统的较佳实施方式的功能模块图。在本实施方式中，所述的情绪侦测及舒缓系统2应用于电子装置1中，用于识别影像中的人脸以及人脸的表情特征，根据该表情特征侦测用户的情绪，然后执行预设的舒缓方式以实现用户情绪的舒缓。例如，当侦测到用户的情绪是生气时，可利用所述电子装置1播放预先设定的音乐或者影像，从而实现对用户情绪的安抚。

所述电子装置1可以是计算机、通讯装置、服务器等。该电子装置1包括处理器10、存储装置12、显示屏14、扬声器16以及相机模块18。

所述的处理器10用于执行所述电子装置1内安装的各类软件，例如，所述的情绪侦测及舒缓系统2、操作系统等应用软件。

所述的存储装置12用于存储各类数据，例如，各类表情图像的原始特征值等。所述存储装置12可以是所述电子装置1的内存，例如硬盘等，还可以是可外接于该电子装置1的存储设备，如移动硬盘等。

所述的显示屏14用于显示各类数据，例如视频、影像、图片、信息等。所述的扬声器16用于播放声音文件，例如歌曲等。

所述的相机模块18可以是一个或者多个(图1中仅示出一个)，用于拍摄各类场景以获取相关影像。该相机模块18可以安装于所述电子装置1内，例如摄像头等，还可以外接于所述的电子装置1，例如网络摄像头(Webcam)等。如果所述相机模块18是网络摄像头，可分别安置在不同的场所。例如，可以安置在工厂车间内以拍摄员工脸部影像，从而可识别员工的情绪并执行相应的舒缓方式，播放柔和的音乐或者发送预定短信给员工进行安抚。

在本较佳实施方式中，所述的情绪侦测及舒缓系统2包括多个功能模块，分别是设置模块20、获取模块22、特征识别模块24以及控制模块26。

所述的设置模块20，用于设置表情的类别以及每一类别的表情相应的舒缓方式，其中，每一类别的表情有相应的存储在存储装置12中的原始特征值。所述的表情类别可以包括，但不限于：高兴、悲哀、惊奇、恐惧、厌恶、愤怒。

所述的舒缓方式包括利用所述扬声器16播放指定的音乐及/或利用所述显示屏14显示指定的图像或者视频。所述的设置模块20可对不同表情类别下播放的歌曲/视频/图像类型、歌曲/视频/图像名称进行预先设置。例如，在根据用户表情识别用户情绪为愤怒时，可以利用所述扬声器16播放柔和节奏的歌曲，并利用所述显示屏14显示设定的自然风景照，从而安抚用户的情绪。

此外，所述设置模块20还可设置针对不同表情类型的短信息，例如在识别用户情绪为悲哀时，发送励志或安抚的信息至所述用户的手机中。

表情可以通过以下特征进行识别，分别是：灰度特征、运动特征和频率特征。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。频率特征主要是利用表情图像在不同的频率分解下的差别。运动特征利用了不同表情下人脸的主要表情点的运动信息来进行识别，可参考图2所示的几种不同表情下运动特征的具体表现。例如，当识别到眉毛内角皱在一起、抬高，眼睛内角的上眼皮抬高，同时嘴角下拉时可判断用户的表情是“悲伤”。图2所示的数据仅为参考，实际应用中，并不局限于此。

不同特征对应不同的特征值，如上文所述，所述的存储装置12存储有各类表情图像的原始特征值。

所述的获取模块22，用于从所述的相机模块18获取拍摄的影像。所述获取的影像可以是一幅也可以是连续的多幅影像以识别人脸局部特征的变化情况。

所述的特征识别模块24，用于采用预设的识别方式识别影像中人脸的表情特征，并根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别。具体而言，所述的特征识别模块24通过对影像进行预处理、进行人脸的检测和定位、对人脸进行分割与归一化、提取人脸表情特征以及识别表情，从而实现人脸及表情特征的识别。

预设的识别方式可以是：整体识别法、局部识别法、形变提取法、运动提取法、几何特征法或者容貌特征法等方式。例如，整体法中将表情人脸作为一个整体来分析，找出各种表情下的图像差别，包括基于特征脸的主变量分析法(PCA)、独立分量分析法(ICA)。形变提取法是根据人脸在表达各种表情时的各个部位的变形情况来识别，主要有Gabor小波、运动模板法(Active Shape Model，ASM)等方法。

所述的控制模块26，用于执行所确定的表情类别相应的舒缓方式。例如，播放预设的音乐、显示预设的影像以及发送预设的短信息等。

此外，在其它的实施方式中，所述设置模块20还用于对每一类别的表情进行程度的划分，并为每一程度的表情设置相应的舒缓方式。例如，可以将每一类别的表情划分为轻度、中度、重度三种程度。所述控制模块26还用于根据所确定的表情类别的程度执行相应的舒缓方式。

此外，在其它的实施方式中，所述的情绪侦测及舒缓系统2还可进一步包括记录模块28，用于将获取的影像及从该影像中识别出的表情类别、用户名等信息记录于文件中，并存储至所述的存储装置12。

例如，所述的情绪侦测及舒缓系统2可应用于产线中，用以识别不同员工的表情从而判断员工情绪是否正常，并在出现异常状况时及时地记录及安抚，使其情绪得以舒缓。

如图3所示，是本发明情绪侦测及舒缓方法的较佳实施方式的水平校准流程图。首先，步骤S2，提供一个存储装置12以存储各类表情图像的原始特征值。

步骤S4，所述的设置模块20设置表情的类别以及每一类别的表情相应的舒缓方式。例如，所述的表情类别可以包括，但不限于：高兴、悲哀、惊奇、恐惧、厌恶、愤怒。所述的舒缓方式包括利用所述扬声器16播放指定的音乐及/或利用所述显示屏14显示指定的图像或者视频。

步骤S6，所述的获取模块22从所述的相机模块18获取拍摄的影像。所述获取的影像可以是一幅也可以是连续的多幅影像以识别人脸局部特征的变化情况。

步骤S8，所述的特征识别模块24采用预设的识别方式识别影像中人脸的表情特征。所预设的识别方式可以是：整体识别法、局部识别法、形变提取法、运动提取法、几何特征法或者容貌特征法等方式。

步骤S10，所述的特征识别模块24根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别。

步骤S12，所述的控制模块26执行所确定的表情类别相应的舒缓方式，然后，结束本流程。例如，播放预设的音乐、显示预设的影像以及发送预设的短信息等。

以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。

Claims

1.一种情绪侦测及舒缓系统，应用于电子装置中，所述电子装置包括相机模块和存储装置，其特征在于，所述存储装置存储各类表情图像的原始特征值，所述情绪侦测及舒缓系统包括：

设置模块，用于设置表情的类别以及每一类别的表情相应的舒缓方式，其中，每一类别的表情有相应的原始特征值；

获取模块，用于从所述的相机模块获取拍摄的影像；

特征识别模块，用于识别影像中人脸的表情特征，并根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别；及

控制模块，用于执行所确定的表情类别相应的舒缓方式。

2.如权利要求1所述的情绪侦测及舒缓系统，其特征在于，所述的特征识别模块通过对影像进行预处理、进行人脸的检测和定位、对人脸进行分割与归一化、提取人脸表情特征以及识别表情，从而实现人脸及表情特征的识别。

3.如权利要求1所述的情绪侦测及舒缓系统，其特征在于，该系统还包括记录模块，用于将获取的影像及从该影像中识别出的表情类别记录于文件中，并存储至所述的存储装置。

4.如权利要求1至3项中任一项所述的情绪侦测及舒缓系统，其特征在于，所述设置模块还用于对每一类别的表情进行程度的划分，并为每一程度的表情设置相应的舒缓方式，并且所述控制模块还用于根据所确定的表情类别的程度执行相应的舒缓方式。

5.如权利要求1所述的情绪侦测及舒缓系统，其特征在于，所述的舒缓方式包括利用所述电子装置的扬声器播放指定的音乐及/或利用所述电子装置的显示屏显示指定的图像或者视频。

6.一种情绪侦测及舒缓方法，应用于电子装置中，所述电子装置包括相机模块和存储装置，其特征在于，所述存储装置存储各类表情图像的原始特征值，该方法包括：

设置表情的类别以及每一类别的表情相应的舒缓方式，其中，每一类别的表情有相应的原始特征值；

从所述的相机模块获取拍摄的影像；

识别影像中人脸的表情特征；

根据所述存储装置中的原始特征值确定识别的表情特征所属的表情类别；及

执行所确定的表情类别相应的舒缓方式。

7.如权利要求6所述的情绪侦测及舒缓方法，其特征在于，所述识别影像中人脸的表情特征的步骤包括：

对影像进行预处理；

进行人脸的检测和定位；

对人脸进行分割与归一化；及

提取人脸表情特征以及识别表情。

8.如权利要求6所述的情绪侦测及舒缓方法，其特征在于，该方法还包括：

将获取的影像及从该影像中识别出的表情类别记录于文件中，并存储至所述的存储装置。

9.如权利要求6至8项中任一项所述的情绪侦测及舒缓方法，其特征在于，该方法还包括：

对每一类别的表情进行程度的划分，并为每一程度的表情设置相应的舒缓方式；及

根据所确定的表情类别的程度执行相应的舒缓方式。

10.如权利要求6所述的情绪侦测及舒缓方法，其特征在于，所述的舒缓方式包括利用所述电子装置的扬声器播放指定的音乐及/或利用所述电子装置的显示屏显示指定的图像或者视频。