CN104582187A - 基于人脸识别和表情识别的记录与灯光控制系统及方法 - Google Patents

Abstract

本发明公开了基于人脸识别和表情识别的记录与灯光控制系统及方法，包括人脸图像采集单元、存储器、运算处理单元、无线传输模块和灯光主题控制器；人脸图像采集单元，用于采集人脸图像，并将采集的图像转换为特征数据进行存储；存储器，用于存储离线训练好的表情特征数据和初次采集的注册人脸模板；运算处理单元，实现人脸识别和面部表情识别，并将识别分析结果通过无线传输模块发出相应的无线控制信号；灯光主题控制器，存储适合不同情绪的灯光主题并接收无线传输模块发出的控制信号，产生符合相应情绪的灯光主题控制信号，传输给灯光系统。本发明基于面部表情识别和人脸识别的心情记录和家居控制，可以给用户良好的体验，丰富家庭的娱乐生活。

Description

基于人脸识别和表情识别的记录与灯光控制系统及方法

技术领域

本发明涉及一种基于人脸识别和表情识别的记录与灯光控制系统及方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，并对检测到的人脸进行特征提取，与模板库中的人脸图像特征做比对，达到识别不同人身份的目的。包括：人脸图像的采集，人脸定位，人脸图像的预处理与特征提取，人脸识别。

面部表情识别在智能人机交互中有重要的意义，使机器人能够读懂人的情感，更具人性化。面部表情识别通过对静态的表情和动态变化的表情提取特征，并分析判断，获取人的情感信息，从而达到了解人的情绪，并基于表情属性满足人们的某些需要和提供某些服务。

基于面部表情识别和人脸识别的心情记录和家居控制，可以给用户良好的体验，丰富家庭的娱乐生活。

目前，市场上的灯光控制系统大都采用传统的控制方式，通过人的一些操作来完成灯光场景的切换，不能根据用户的情感和喜好自动的更换灯光主题。

发明内容

本发明为了解决上述问题，提出了一种基于人脸识别和表情识别的记录与灯光控制系统及方法，本系统实时采集特定家庭人员的人脸图像并进行身份认证和面部表情分析，统计并记录一段时间内的特定家庭成员的表情变化，并根据表情分析结果调整室内的灯光主题，使灯光主题符合特定人群的情绪。

为了实现上述目的，本发明采用如下技术方案：

一种基于人脸识别和表情识别的记录与灯光控制系统，包括人脸图像采集单元、存储器、运算处理单元、无线传输模块和灯光主题控制器；

所述人脸图像采集单元，用于采集人脸图像，并将采集的图像转换为特征数据进行存储；

所述存储器，用于存储离线训练好的表情特征数据和初次采集的注册人脸模板；

所述运算处理单元，用于实现人脸识别和面部表情识别，并将识别分析结果通过无线传输模块发出相应的无线控制信号；

所述灯光主题控制器，存储适合不同情绪的灯光主题并接收无线传输模块发出的控制信号，产生符合相应情绪的灯光主题控制信号，传输给灯光系统。

所述灯光主题控制器与移动终端连接，接收移动终端客户端的控制信号，自定义灯光主题。

所述移动终端设有无线传输模块，安装有相应的客户端。

所述移动终端接收并存储无线传输模块发出的人脸分析结果，根据人脸识别结果记录注册人群的表情变化，对于没注册的用户，客户端不会记录其表情变化，用户在移动端查看本人及家人的心情变化，无须通过无线传输模块。

基于上述系统的工作方法，包括以下步骤：

(1)摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化；提取人脸的整体特征，对采集到的人脸注册类别，保存在存储器中的注册人脸模板库；

(2)从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化，发送给运算处理单元进行人脸特征和面部表情特征提取，与存储器里保存的注册人脸模板和人脸表情模板进行匹配，输出采集到的人脸的身份和表情属性。

(3)统计注册人群在设定时间段内的表情属性变化情况，并通过无线传输模块传输给移动终端客户端和灯光主题控制器；

(4)客户端接收到无线传输模块发送过来的表情属性和人脸身份属性信号后，根据人脸身份类别，统计并记录注册人心情变化情况；

(5)灯光主题控制器在接收到传输模块发送过来的表情属性信号后，根据相应表情属性与灯光主题的对应关系，控制室内灯光主题。

所述步骤(3)中，包括以下情况：

(a)当系统视野范围内只有一个注册人时，根据这个人的表情统计规律，发出相应的控制信号给灯光主题控制器；

(b)当系统视野范围内有多个注册人时，系统根据用户指定的注册人的表情变化属性，发出相应的控制信号；

(c)当系统视野范围内没有注册人时，系统状态不变，系统不发出任何控制信号。

所述步骤(5)中，用户根据自己的喜好，通过客户端，自定义表情属性与灯光主题的对应关系。

所述步骤(2)中，为了提高表情识别的准确性，用户将自己的表情模板添加到表情数据库。

所述步骤(2)中，运算处理单元进行人脸特征和面部表情特征提取时，提取人脸的整体特征用于人脸识别，提取面部表情显著区域的特征，用于表情识别。

所述步骤(2)中，显著区域包括嘴部、眼部和鼻子。

所述人脸识别，可以采用eigenFace,Fisherface以及LBPFace等人脸识别算法，表情识别算法可以提取表情显著区域的LBP和Gabor融合特征，用SVM(支持向量机)分类识别，也可定位表情显著区域的关键特征点，分析各特征点之间的关系，将输入表情归类到相应的表情类别。

样本表情数据库，存储有离线训练好的表情模板，表情属性与室内灯光主题是一一对应的，该对应关系可以由用户指定，也可以选用默认对应关系。

用户可以自定义自己的表情样本，增加至样本库。

无线传输模块，根据运算处理单元对人脸身份和表情的识别结果，发出信号给灯光主题控制器和手机客户端。

灯光控制器也设置有无线传输单元，可以接收无线传输模块发出的灯光主题控制信号，也可以接收手机客户端发出的无线控制信号。该模块存储有符合表情属性的灯光主题，根据接收到的表情控制信号，控制室内灯光效果。

本发明的有益效果为：

(1)基于面部表情识别和人脸识别的心情记录和家居控制，可以给用户良好的体验，丰富家庭的娱乐生活；

(2)能够统计并记录一段时间内的特定家庭成员的表情变化，并根据表情分析结果调整室内的灯光主题，使灯光主题符合特定人群的情绪，用户也可以查看本人及家庭成员在某一时间段内的表情变化；

(3)本系统采用人脸识别和面部表情识别相结合的灯光控制系统，能够读懂用户的情感和身份，根据用户的情感和喜好自动切换相应的灯光主题，实现人性化智能化控制；另外本系统还可以自动记录注册人员表情变化情况，使用户可以查看及时了解家人的情绪变化情况；

(4)本系统不仅可以识别人的表情还可以识别人的身份，家庭成员可以自定义符合自己表情属性的灯光主题，系统智能化的根据采集到的注册人的身份，选择符合注册人情绪的灯光主题；本系统与用户间的交互更加的友好。

(5)本系统可以自动记录家庭成员的情绪变化情况，使用户可以查看及时了解家人的情绪变化情况。

附图说明

图1为本发明的结构示意图；

图2为本发明的流程示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，一种基于人脸识别和表情识别的记录与灯光控制系统，包括：

人脸图像采集单元，用于采集人脸图像，并将其转换为特征数据进行存储；

样本表情数据库，存储离线训练好的表情特征数据；

运算处理单元，包括人脸识别算法和面部表情识别算法的实现，该单元调用样本表情数据库中的样本特征数据以及注册人脸数据库中的特征数据与人脸图像采集单元中的特征数据进行比较分析，得出用户的身份以及表情并统计一段时间内的表情变化；

无线传输模块，接受运算处理单元人脸识别和面部表情识别的分析结果，并发出相应的无线控制信号给手机客户端和灯光主题控制器；

灯光主题控制器，存储适合不同情绪的灯光主题并接受无线传输模块发出的控制信号，并根据接受到的控制信号，产生符合相应情绪的灯光主题；

带有无线传输模块的手机，手机上设置有基于Android或iOS等主流手机操作系统，安装有本方案的客户端。该手机客户端作为移动端控制器，接受并存储无线传输模块发出的人脸分析结果，用户可以查看本人及家人一天的心情变化。

如图2所示，本系统的方法包括：

注册阶段：

从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化。提取人脸的整体特征，对采集到的人脸注册类别，保存在注册人脸模板库。

识别阶段：

步骤1：从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化，发送给人脸特征和面部表情特征提取单元(处理器)。提取人脸的整体特征用于人脸识别，提取面部表情显著区域(嘴部，眼部，鼻子)的特征，用于表情识别。

步骤2：在提取到人脸识别特征和面部表情特征后，与存储器里保存的注册人脸模板和人脸表情模板进行匹配，输出采集到的人脸的身份和表情属性。

步骤3：统计注册人群在一定时间段内的表情属性变化情况，并通过无线传输模块传输给手机客户端和灯光主题控制器。

步骤4：手机客户端在接收到无线传输模块发送过来的表情属性和人脸身份属性信号后，根据人脸身份类别，统计并记录注册人心情变化情况。

步骤5:灯光主题控制器在接收到传输模块发送过来的表情属性信号后，根据相应表情属性与灯光主题的对应关系，控制室内灯光主题。

人脸检测与定位单元接收来自人脸图像采集单元的图像信息后，对人脸进行检测与定位，分割出人脸图像并归一化，发送给人脸特征和面部表情特征提取单元。

所述人脸特征和面部表情特征提取单元，提取人脸的整体特征用于人脸识别，提取面部表情显著区域(嘴部，眼部，鼻子)的特征，用于表情识别。

人脸识别算法，可以采用eigenFace,Fisherface以及LBPFace等人脸识别算法，表情识别算法可以提取表情显著区域的LBP和Gabor融合特征，用SVM(支持向量机)分类识别，也可定位表情显著区域的关键特征点，分析各特征点之间的关系，将输入表情归类到相应的表情类别。

根据人脸识别和表情识别的分析结果，统计一段时间内，同一人脸表情变化情况，根据表情的变化属性，发出相应的控制信号。

a、当系统视野范围内只有一个注册人时，根据这个人的表情统计规律，发出相应的控制信号给灯光主题控制器。b、当系统视野范围内有多个注册人时，系统根据用户指定的注册人的表情变化属性，发出相应的控制信号。c、当系统视野范围内没有注册人时，系统状态不变，系统不发出任何控制信号。

用户自定义阶段：

一、用户可以根据自己的喜好，通过手机客户端，自定义表情属性与灯光主题的对应关系。

二、为了提高表情识别的准确性，用户可以将自己的表情模板添加到表情数据库。

可以根据客户自定义的符合表情属性的灯光主题，并能够接收无线传输模块发出的特定人群的表情属性，并记录。用户可以查看本人或家人某个时间段的表情变化。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于人脸识别和表情识别的记录与灯光控制系统，其特征是：包括人脸图像采集单元、存储器、运算处理单元、无线传输模块和灯光主题控制器；

所述人脸图像采集单元，用于采集人脸图像，并将采集的图像转换为特征数据进行存储；

所述存储器，用于存储离线训练好的表情特征数据和初次采集的注册人脸模板；

所述运算处理单元，用于实现人脸识别和面部表情识别，并将识别分析结果通过无线传输模块发出相应的无线控制信号；

所述灯光主题控制器，存储适合不同情绪的灯光主题并接收无线传输模块发出的控制信号，产生符合相应情绪的灯光主题控制信号，传输给灯光系统。

2.如权利要求1所述的记录与灯光控制系统，其特征是：所述灯光主题控制器与移动终端连接，接收移动终端客户端的控制信号，自定义灯光主题。

3.如权利要求1所述的记录与灯光控制系统，其特征是：所述移动终端设有无线传输模块，安装有相应的客户端。

4.基于权利要求1-3中任一项所述的系统的工作方法，其特征是：包括以下步骤：

(1)摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化；提取人脸的整体特征，对采集到的人脸注册类别，保存在存储器中的注册人脸模板库；

(2)从摄像头采集图像信息，对人脸进行检测与定位，分割出人脸图像并归一化，发送给运算处理单元进行人脸特征和面部表情特征提取，与存储器里保存的注册人脸模板和人脸表情模板进行匹配，输出采集到的人脸的身份和表情属性；

(3)统计注册人群在设定时间段内的表情属性变化情况，并通过无线传输模块传输给移动终端客户端和灯光主题控制器；

(4)客户端接收到无线传输模块发送过来的表情属性和人脸身份属性信号后，根据人脸身份类别，统计并记录注册人心情变化情况；

(5)灯光主题控制器在接收到传输模块发送过来的表情属性信号后，根据相应表情属性与灯光主题的对应关系，控制室内灯光主题。

5.如权利要求4所述的工作方法，其特征是：所述步骤(3)中，包括以下情况：

(a)当系统视野范围内只有一个注册人时，根据这个人的表情统计规律，发出相应的控制信号给灯光主题控制器；

(b)当系统视野范围内有多个注册人时，系统根据用户指定的注册人的表情变化属性，发出相应的控制信号；

(c)当系统视野范围内没有注册人时，系统状态不变，系统不发出任何控制信号。

6.如权利要求4所述的工作方法，其特征是：所述步骤(5)中，用户根据自己的喜好，通过客户端，自定义表情属性与灯光主题的对应关系。

7.如权利要求4所述的工作方法，其特征是：所述步骤(2)中，为了提高表情识别的准确性，用户将自己的表情模板添加到表情数据库。

8.如权利要求7所述的工作方法，其特征是：所述步骤(2)中，运算处理单元进行人脸特征和面部表情特征提取时，提取人脸的整体特征用于人脸识别，提取面部表情显著区域的特征，用于表情识别。

9.如权利要求4所述的工作方法，其特征是：所述步骤(2)中，显著区域包括嘴部、眼部和鼻子。