CN106125929A - 基于人脸表情识别与颜色情感反馈的人镜交互方法及系统 - Google Patents

Abstract

本发明涉及一种基于人脸表情识别与颜色情感反馈的人镜交互方法，包括以下步骤：1、检测到人体靠近时，获取人脸表情图像；2、对人脸表情图像进行处理和表情识别，得到识别后的表情；3、根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。本发明的结构简单，智能镜子的制作材质和普通镜子差不多，就是在普通玻璃上镀铝薄膜，这是为了保证该智能镜子的分辨率足够高；本发明具有人脸表情识别功能，借助现在已经有的表情识别技术，使该智能镜子能够对人脸表情进行识别；本发明具有LED颜色灯光反馈功能，能够将识别到的表情以及与之相对应的情感通过外部LED灯不同发光状况反馈。

Description

基于人脸表情识别与颜色情感反馈的人镜交互方法及系统

技术领域

本发明涉及一种基于人脸表情识别与颜色情感反馈的人镜交互方法及系统。

背景技术

随着人工智能理论与技术的高速发展，各种各样的智能家电产品层出不穷，同样，镜子作为家居的一部分，同样需要变得更加地智能化。国外在智能镜子这一块已经有了一定的研究，也研发出了一些智能化的镜子。例如，2012年日本Seraku公司在日本科技展会上向人们展示了一款基于Andr iod系统的智能镜子，用户通过触摸这款镜子的屏幕可以查看天气、新闻等各类信息。但是这一款智能镜子和只具有大尺寸的触摸显示屏的功能并没有太大区别，而显示屏的分辨率远远不如普通镜子的高。不管是普通镜子还是智能镜子，它最基础的功能都应该存在，它的智能化也应该是在普通功能实现之后进一步实现。美国加州的MemmoryMi公司研发了一款名为MemmoryMirror的智能试衣镜，用户通过触摸屏幕，能够看到自己在屏幕上换上不同款式不同颜色的衣服的效果，同时顾名思义，它还能够记住用户的试穿记录，当然，它的记忆功能依靠的是镜子上方的摄像头，其实就是用户试穿的情况录制下来，但是这也只是记录下用户试穿的那件衣服的效果图，并不能将她的心请与不同款式衣服相互对应。总而言之，目前已有的智能镜子主要有以下不足：现在已经有的智能镜子并不是真正的镜子，镜子的分辨率由摄像头拍摄分辨率以及显示屏的显示分辨率所决定，同时，色彩也会由于摄像头和显示屏的原因，发生失真的现象。因此，基于显示屏的智能镜子，很难达到传统镜子的水平，镜子最基本的反射成像效果不好，分辨率低，镜子本身的作用被明显削减，并且，显示屏的辐射对人体有很多危害；现在已有的镜子并不具备通过识别人的面部表情从而识别人的情感功能。

发明内容

本发明所要解决的技术问题是提供一种基于人脸表情识别与颜色情感反馈的人镜交互方法及系统。

本发明解决上述技术问题的技术方案如下：

基于人脸表情识别与颜色情感反馈的人镜交互方法，包括以下步骤：

步骤S1、检测到人体靠近时，获取人脸表情图像；

步骤S2、对人脸表情图像进行处理和表情识别，得到识别后的表情；

步骤S3、根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。

本发明的有益效果是：第一，本发明的结构简单，智能镜子的制作材质和普通镜子差不多，就是在普通玻璃上镀铝薄膜，这是为了保证镜子的分辨率足够高；第二，本发明具有人脸表情识别功能，借助现在已经有的表情识别技术，使该智能镜子能够对人脸表情进行识别；第三，本发明具有一个LED颜色灯光反馈系统，能够将识别到的的表情以及与之相对应的情感通过外部LED灯不同发光状况反馈，形成一个简单的人镜交互系统。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步的，还包括以下步骤：对识别后的表情和识别时间进行存储，每隔预设时间段进行统计和分析，得到表情统计信息。

采用上述进一步方案的有益效果为：本发明可以记录并统计一段时间内用户的心情状况。

进一步的，识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类，所述灯光显示模块的预定的表情颜色匹配规则，是将6类表情分别匹配6种不同的颜色，无法匹配的表情，显示白色光，同种情感类型但程度不同的表情，通过颜色的深浅进行区别匹配，情感程度强的表情匹配的颜色深，情感程度弱的表情匹配的颜色浅。

采用上述进一步方案的有益效果为：本发明可以根据识别后的表情感情类别和感情强烈程度，进行直观的颜色显示。

进一步的，所述步骤S2对人脸图像进行表情识别的方法，具体包括以下步骤：

步骤S21、对获取的待测试的人脸表情图像进行处理得到人脸区域；

步骤S22、对含有表情特征的表情区域进行图像分割，得到眼睛、鼻子、嘴唇的表情区域；

步骤S23、利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取和处理得到总特征向量集合；

步骤S23、将总特征向量集合作为ELM神经网络的输入，对总特征向量集合中的每一个特征向量进行训练，得到不同的ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；

步骤S24、利用步骤S23的ELM表情分类器进行表情识别，对待测试的人脸表情图像进行测试，得到识别后的表情。

基于人脸表情识别与颜色情感反馈的人镜交互系统，包括以下的模块：

获取模块：用于检测到人体靠近时，获取人脸表情图像；

表情识别模块，用于对人脸表情图像进行处理和表情识别，得到识别后的表情；

灯光显示模块，用于根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。

基于人脸表情识别与颜色情感反馈的人镜交互系统，还包括以下模块：

表情统计模块：对识别后的表情和识别时间进行存储，每隔预设时间段进行统计和分析，得到表情统计信息。

进一步的，识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类，所述灯光显示模块的预定的表情颜色匹配规则，是将6类表情分别匹配6种不同的颜色，同种情感类型但程度不同的表情，通过颜色的深浅进行区别匹配，情感程度强的表情匹配的颜色深，情感程度弱的表情匹配的颜色浅。

进一步的，所述表情识别模块具体包括以下单元：

图像处理单元，用于对获取的待测试的人脸表情图像进行处理得到人脸区域；

图像分割单元，用于对含有表情特征的表情区域进行图像分割，得到眼睛、鼻子、嘴唇的表情区域；

特征提取单元，用于利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取和处理得到总特征向量集合；

ELM表情分类器训练单元，用于将总特征向量集合作为ELM神经网络的输入，对总特征向量集合中的每一个特征向量进行训练，得到不同的ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；

表情识别单元，用于利用ELM表情分类器进行表情识别，对待测试的人脸表情图像进行测试，得到识别后的表情。

附图说明

图1为本发明方法示意图；

图2为本发明系统示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，基于人脸表情识别与颜色情感反馈的人镜交互方法，包括以下步骤：

步骤S1、检测到人体靠近时，获取人脸表情图像；

步骤S2、对人脸表情图像进行处理和表情识别，得到识别后的表情；

步骤S3、根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。

本发明的实施例提供一种智能镜子，包括一个普通镜面，普通镜面上方安装有一个摄像头，镜面的两侧均安装有LED灯管。在镜子背后设置有LED灯光颜色反馈系统。该系统与外部摄像头相连接，同时和外部的LED灯管通过电路连接。由电源模块为整个系统正常工作运行提供电源。

其中，所述的普通镜面就是镀铝薄膜的玻璃，镜子上方的摄像头拟采用Kinect，用来捕捉获取人脸表情图像。使用该智能镜子时，当人体靠近镜子且处于一定范围时，Kinect能够检测到有人正位于镜子前使用镜子，同时立刻捕捉获取人脸图像，并且迅速将获取到的图像通过一系列算法进行预处理、特征提取、再处理等过程生成较为成熟的表情图像，生成的表情与表情库中原有的表情进行对比分析，最后将对比分析后得到的结果反馈给LED灯光颜色反馈系统。反馈系统一旦接收到讯息，将接收到的信息与系统中原有的信息库相比较，然后迅速准确地将信息通过与之相连的LED灯管反馈出来，于此完成一个完整的表情识别及反馈过程。

本发明的结构简单，智能镜子的制作材质和普通镜子差不多，就是在普通玻璃上镀铝薄膜，这是为了保证该智能镜子的分辨率足够高；第二，本发明具有人脸表情识别功能，借助现在已经有的表情识别技术，使该智能镜子能够对人脸表情进行识别；第三，本发明具有一个LED颜色灯光反馈系统，能够将识别到的的表情以及与之相对应的情感通过外部LED灯不同发光状况反馈，形成一个简单的人镜交互系统。

在上述技术方案的基础上，本发明还可以做如下改进。

还包括在步骤S2之后进行的以下步骤：对识别后的表情和识别时间进行存储，每隔预设时间段进行统计和分析，得到表情统计信息。

识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类，所述步骤S3的预定的表情颜色匹配规则，是将6类表情分别匹配6种不同的颜色，无法匹配的表情，显示白色光，同种情感类型但程度不同的表情，通过颜色的深浅进行区别匹配，情感程度强的表情匹配的颜色深，情感程度弱的表情匹配的颜色浅。

根据现有智能镜子的一些应用，本发明可以用于以下一些领域。首先，和普通镜子一般，最基本的应用领域便是家居，在人们日常生活工作中，镜子都有着重要作用，最基础的便是为用户整理着装提供便利，在普通镜子的基础上，增加的表情识别功能可以反馈用户在使用镜子时的心情，同时还可以记录并统计一段时间用户的心情状况，并适时将近期的结果反馈给用户；其次，本发明可以记录人脸的表情，可用作不同应用场合的统计分析。例如，在洗手间安装本发明的智能镜子情况下，可以每天记录用户的情绪变化，分析用户的心理变化或者潜在的心理问题/疾病。在本发明用作试衣镜的场合，智能镜子能够记录不同的人试用不同衣服，得到的不同的反馈表情，本发明的智能镜子可以代替试衣镜用于服装店，顾客在智能镜子前试穿时，智能镜子可以快速识别到顾客的表情，与此同时销售员可以根据LED灯的发光情况判断顾客对自己试穿的这件衣服的满意度，然后进行最适的解说；还可以通过全国/全世界智能试衣镜的大数据分析，提供给厂商或者销售商们关于客户满意度的分析。在本发明用作理发店的场合，智能镜子可以获得客户对于发型、剪发的满意度的结果等。

所述步骤S2对人脸图像进行表情识别的方法，具体包括以下步骤：

步骤S21、对获取的待测试的人脸表情图像进行处理得到人脸区域；

步骤S22、对含有表情特征的表情区域进行图像分割，得到眼睛、鼻子、嘴唇的表情区域；

步骤S23、利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取和处理得到总特征向量集合；

步骤S23、将总特征向量集合作为ELM神经网络的输入，对总特征向量集合中的每一个特征向量进行训练，得到不同的ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；

步骤S24、利用步骤S23的ELM表情分类器进行表情识别，对待测试的人脸表情图像进行测试，得到识别后的表情。

基于人脸表情识别与颜色情感反馈的人镜交互系统，包括以下的模块：

获取模块：用于检测到人体靠近时，获取人脸表情图像；

表情识别模块，用于对人脸表情图像进行处理和表情识别，得到识别后的表情；

灯光显示模块，用于根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。

基于人脸表情识别与颜色情感反馈的人镜交互系统，还包括以下模块：

表情统计模块：对识别后的表情和识别时间进行存储，每隔预设时间段进行统计和分析，得到表情统计信息。

识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类，所述灯光显示模块的预定的表情颜色匹配规则，是将6类表情分别匹配6种不同的颜色，无表情则显示白色，例如，愤怒则灯光显示绿色，悲伤则灯光显示橙色，惊奇则灯光显示黄色，厌恶则灯光显示黄色，厌恶则灯光显示黄色，恐惧则灯光显示紫色，同种情感类型但程度不同的表情，通过颜色的深浅进行区别匹配，情感程度强的表情匹配的颜色深，情感程度弱的表情匹配的颜色浅。

所述表情识别模块具体包括以下单元：

图像处理单元，用于对获取的待测试的人脸表情图像进行处理得到人脸区域；

图像分割单元，用于对含有表情特征的表情区域进行图像分割，得到眼睛、鼻子、嘴唇的表情区域；

特征提取单元，用于利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取和处理得到总特征向量集合；

ELM表情分类器训练单元，用于将总特征向量集合作为ELM神经网络的输入，对总特征向量集合中的每一个特征向量进行训练，得到不同的ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；

表情识别单元，用于利用ELM表情分类器进行表情识别，对待测试的人脸表情图像进行测试，得到识别后的表情。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于人脸表情识别与颜色情感反馈的人镜交互方法，其特征在于，包括以下步骤：

步骤S1、检测到人体靠近时，获取人脸表情图像；

步骤S2、对人脸表情图像进行处理和表情识别，得到识别后的表情；

步骤S3、根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。

2.根据权利要求1所述的基于人脸表情识别与颜色情感反馈的人镜交互方法，其特征在于，还包括在步骤S2之后进行的以下步骤：对识别后的表情和识别时间进行存储，每隔预设时间段进行统计和分析，得到表情统计信息。

3.根据权利要求1所述的基于人脸表情识别与颜色情感反馈的人镜交互方法，其特征在于，识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类，所述步骤S3的预定的表情颜色匹配规则，是将6类表情分别匹配6种不同的颜色，无法匹配的表情，显示白色光，同种情感类型但程度不同的表情，通过颜色的深浅进行区别匹配，情感程度强的表情匹配的颜色深，情感程度弱的表情匹配的颜色浅。

4.根据权利要求1所述的基于人脸表情识别与颜色情感反馈的人镜交互方法，其特征在于，所述步骤S2对人脸图像进行表情识别的方法，具体包括以下步骤：

步骤S21、对所述人脸表情图像进行人脸区域检测，得到人脸区域；

步骤S22、对所述人脸区域进行图像分割，得到眼睛、鼻子、嘴唇区域；

步骤S23、利用Gabor滤波器对眼睛、鼻子、嘴唇区域进行表情特征提取得到总特征向量集合；

步骤S23、将总特征向量集合作为ELM神经网络的输入，对总特征向量集合中的每一个特征向量进行训练，得到不同的ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；

步骤S24、利用所述ELM表情分类器进行表情识别，对待测试的人脸表情图像进行测试，得到识别后的表情。

5.基于人脸表情识别与颜色情感反馈的人镜交互系统，其特征在于，包括以下的模块：

获取模块：用于检测到人体靠近时，获取人脸表情图像；

表情识别模块，用于对人脸表情图像进行处理和表情识别，得到识别后的表情；

灯光显示模块，用于根据预定的表情颜色匹配规则，确定识别后的表情对应的显示颜色，并进行相应的灯光显示。

6.根据权利要求5所述的基于人脸表情识别与颜色情感反馈的人镜交互系统，其特征在于，还包括以下模块：

表情统计模块，用于对识别后的表情和识别时间进行存储，每隔预设时间段进行统计和分析，得到表情统计信息。

7.根据权利要求5所述的基于人脸表情识别与颜色情感反馈的人镜交互系统，其特征在于，识别后的表情包括愤怒、高兴、惊奇、厌恶、悲伤和恐惧6类，所述灯光显示模块的预定的表情颜色匹配规则，是将6类表情分别匹配6种不同的颜色，无法匹配的表情，显示白色光，同种情感类型但程度不同的表情，通过颜色的深浅进行区别匹配，情感程度强的表情匹配的颜色深，情感程度弱的表情匹配的颜色浅。

8.根据权利要求5所述的基于人脸表情识别与颜色情感反馈的人镜交互系统，其特征在于，所述表情识别模块具体包括以下单元：

图像处理单元，用于对所述人脸表情图像进行人脸区域检测，得到人脸区域；图像分割单元，用于对所述人脸区域进行图像分割，得到眼睛、鼻子、嘴唇区域；特征提取单元，用于利用Gabor滤波器对眼睛、鼻子、嘴唇的表情区域进行表情特征提取得到总特征向量集合；

ELM表情分类器训练单元，用于将总特征向量集合作为ELM神经网络的输入，对总特征向量集合中的每一个特征向量进行训练，得到不同的ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；

表情识别单元，用于利用ELM表情分类器进行表情识别，对待测试的人脸表情图像进行测试，得到识别后的表情。