CN111353437A - 一种集会场景中人的面部表情分析系统 - Google Patents

Abstract

本发明公开了一种集会场景中人的面部表情分析系统，包括第一摄像机、第二摄像机、半圆滑轨和主机；第一摄像机和第二摄像机安装于半圆滑轨上的两端，并且第一摄像机和第二摄像机摄像方向与半圆滑轨在摄像机处的切线垂直；第一摄像机和第二摄像机沿半圆滑轨在被测点前方呈半圆移动，以确保和被测点呈一个固定的角度；半圆滑轨安装于观众席前方的舞台上；主机中包括预先设计好的分析算法，第一摄像机和第二摄像机拍摄的照片通过局域网传送到主机分析，主机分析完毕后通过互联网将分析结果传送到云端。本发明依据光学传感器获取的人脸转动角度信息，主机进行判断后，控制器自发带动摄像机移动，无需人工调节。

Description

一种集会场景中人的面部表情分析系统

技术领域

本发明属于人脸识别检测技术领域，具体涉及一种集会场景中人的面部表情分析系统。

背景技术

人们对某个大型活动的满意程度往往是活动举办者最关心的事，采用人工调研的方式存在速度慢、统计不准确等因素的影响，很难保证达到足够的准确率和较高的效率。因此，将机器视觉技术引入到人们对活动满意程度的分析，用机器对人脸进行提取、分析并统计，取代传统的人工调研方式，将有助于提高调研效率和工作水平。

机器视觉技术是一种视觉的科学和工程学，这一技术自20世纪50年代发展以来，在研究的深度和广度都有了长足发展，其在生物识别方面的应用也越来越广泛，其中也不乏将这种技术应用于日常生活的实例。但传统的人脸识别技术只能单纯的判断某人的身份信息，或对单个人物进行简单的表情识别。前者不具备表情识别的功能。后者只能对人群进行单个人物的表情分析，满足不了大片人群的表情分析，且后者并没有大数据统计分析的算法。

传统人工调研存在时效性差，调研结果不准确，调研成本高等缺陷，目前市场上并没有任何一套系统同时具备人脸识别、表情分析以及数据统计的功能。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种集会场景中人的面部表情分析系统，通过语音识别关键词驱动相机取样分析，最后经过一系列算法实现人脸识别、表情分析以及数据统计。

为实现上述技术目的，本发明采取的技术方案为：

一种集会场景中人的面部表情分析系统，包括第一摄像机、第二摄像机、半圆滑轨和主机；

第一摄像机和第二摄像机安装于半圆滑轨上的两端，并且第一摄像机和第二摄像机摄像方向与半圆滑轨在摄像机处的切线垂直；

第一摄像机和第二摄像机沿半圆滑轨在被测点前方呈半圆移动，以确保和被测点呈一个固定的角度；

半圆滑轨安装于观众席前方的舞台上，以保证第一摄像机和第二摄像机能够正面拍摄人脸；

主机中包括预先设计好的分析算法，第一摄像机和第二摄像机拍摄的照片通过局域网传送到主机分析，主机分析完毕后通过互联网将分析结果传送到云端。

为优化上述技术方案，采取的具体措施还包括：

上述的第一摄像机和第二摄像机均通过半圆滑轨两端的可拆卸卡槽安装进入半圆滑轨，第一摄像机和第二摄像机安装完毕后随卡槽安装到相应位置。

上述的第一摄像机和第二摄像机的移动位置始终分别和被拍摄对象与水平面之间的夹角为30°，即第一摄像机和第二摄像机垂直拍摄左右脸，第一摄像机和第二摄像机分别将拍摄的左右脸照片传送到主机后通过灰度调整后合成一张照片进行分析。

上述的第一摄像机和第二摄像机均包括无线摄像头、托盘和小车；

托盘连接无线摄像头和小车；

在拍摄时，小车将摄像头移动到相应位置进行拍摄。

上述的第一摄像机和第二摄像机均还包括侧面滑轮；

侧面滑轮用于减少第一摄像机和第二摄像机在移动时和半圆滑轨的摩擦。

上述的无线摄像头包括第一驱动电机、语音识别传感器、连接器、镜头、信号接收器和第二驱动电机；

语音识别传感器接收到关键词后通过第一驱动电机驱动镜头进行自动对焦与拍摄；

信号接收器将镜头拍摄好的照片通过局域网传送到主机；

主机对接收的照片进行分析识别，若无法识别，主机向信号接收器发送移动无线摄像头的指令，信号接收器通过改变第二电机的电源方向实现驱动小车正向反向移动；

连接器起连接作用。

上述的系统还包括辅助摄像装置，所述辅助摄像装置包括第一滑轨、第二滑轨、第三滑轨、第四滑轨、第四滑轨、第五滑轨、第三摄像机和第四摄像机；

第一滑轨和第二滑轨固定在天花板上，第三滑轨和第四滑轨设于第一滑轨和第二滑轨，可沿第一滑轨和第二滑轨上前后滑动，第四滑轨和第五滑轨分别设于第三滑轨和第四滑轨上，并且能在第三滑轨和第四滑轨上上下移动；

第三摄像机、第四摄像机分别安装于第四滑轨、第五滑轨上，用于多方位的人脸获取。

上述的系统还包括第五摄像头，所述第五摄像头有两个，分别设于人脸正对的舞台两侧，用于人脸信息的辅助获取。

上述的主机中还包括满意度专注度判断算法，满意度专注度判断标准根据事先的调研分析得到。

本发明具有以下有益效果：

1.本发明依据光学传感器获取的人脸转动角度信息，主机进行判断后，控制器自发带动摄像机移动到相应位置或机械微调手一系列诸如相机焦距、高度，光纤传感器位置以及弧形控制器的调节等进行初始调节，无需人工调节。当调节完成后，开始进行满意度专注度的分析；

2.本发明对于集会环境中人们满意度专注度的分析检测，相比采用正面打光方式会造成人们参与集会的体验度舒适度大大降低，本发明系统采用的是左右脸分别拍摄并将灰度值处理趋于一致再合成为一张图片，这种照明方式会完全摒弃设备对环境光源的要求，对人脸识别领域具有重大意义。

3.本发明系统在软件上的实现使用的算法是目前深度学习中最优秀的一类之一，其中包括专门针对图像的卷积神经网络，以及针对卷积神经网络的目标检测算法YOLO(youonly look once)，以及其使用的神经网络架构darknet-53。卷积神经网络无疑是目前最热门的计算机视觉技术之一，YOLO目标检测算法则可以使整个检测系统的性能达到很好的状态，darknet-53则能使网络性能提高减少图片特征点在系统提取识别运算的过程中的丢失。基于上述算法的目标特征点的检测具有训练收敛速度极快，运行速度快，对于功能的复用少，特征数据丢失程度低，对于硬件的需求不高等优点。这些优点能够保证本发明系统能够在一个广谱接受范围内的硬件架构上稳定的运行且得到较让人满意的结果。

而在前期的该系统使用的特殊的采光方案能够使得在整场集会中有大量的时间区间可以采集用户的实时数据，在长达数小时的分析。该系统在最后会通过绝大部分对象的有效数据进行分析，才会得出结论。而得出结论的参考是在系统运行前就已经从社会事实情况以及专业的人脸面部表情与其情绪变化研究得出。所以在结合对象有效数据的情况下，该系统总能给出可以有效的可以参考的结果。

4.本发明可以实现对多种不同情况下集会中人们的满意度专注度的分析。

附图说明

图1是本发明的应用实施例图；

图2是本发明结构的立体图；

图3是本发明结构的俯视图；

图4是本发明结构的正视图；

图5本发明结构中第一摄像机和/或第二摄像机的立体图；

图6本发明结构中第一摄像机和/或第二摄像机的侧面图；

图7本发明结构中第一摄像机和/或第二摄像机的内部细节图；

图8本发明结构中的辅助摄像装置；

图9本发明的使用流程图。

其中的附图标记为：半圆滑轨B1、第一摄像机B2、卡槽B3和第二摄像机B4；

无线摄像头C1、托盘C2、侧面滑轮C3和小车C4；

第一驱动电机D1、语音识别传感器D2、连接器D3、镜头D4、信号接收器D5和第二驱动电机D6；

第四滑轨E1、第五滑轨E2、第三摄像机E3、第四摄像机E4、第三滑轨E5、第四滑轨E6、第一滑轨E7、第二滑轨E8；

第五摄像头A1、音响A2、舞台照明灯A3、荧幕A4、观众席照明灯A5、辅助摄像装置A7、讲台A9、观众席A10。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

如图2-4所示，本发明的一种集会场景中人的面部表情分析系统，包括第一摄像机B2、第二摄像机B4、半圆滑轨B1和主机；

第一摄像机B2和第二摄像机B4安装于半圆滑轨B1上的两端，并且第一摄像机B2和第二摄像机B4摄像方向与半圆滑轨B1在摄像机处的切线垂直；

第一摄像机B2和第二摄像机B4沿半圆滑轨B1在被测点前方呈半圆移动，以确保和被测点呈一个固定的角度；

可以移动的第一摄像机B2和第二摄像机B4也保证了被测人物转动头部时产品依然可以进行识别。

半圆滑轨B1安装于观众席A10前方的舞台上，以保证第一摄像机B2和第二摄像机B4能够正面拍摄人脸；

主机可安装于场馆内的任意位置，主机中包括预先设计好的分析算法，第一摄像机B2和第二摄像机B4拍摄的照片通过局域网传送到主机分析，主机分析完毕后通过互联网将分析结果传送到云端。

实施例中，所述主机中还包括满意度专注度判断算法，满意度专注度判断标准根据事先的调研分析得到。

所述第一摄像机B2和第二摄像机B4均通过半圆滑轨B1两端的可拆卸卡槽B3安装进入半圆滑轨B1，第一摄像机B2和第二摄像机B4安装完毕后随卡槽B3安装到相应位置。

可拆卸卡槽B3的存在能够保证摄像机在运动的过程中不会出现脱离滑轨的情况。

所述第一摄像机B2和第二摄像机B4的移动位置始终分别和被拍摄对象与水平面之间的夹角为30°，即第一摄像机B2和第二摄像机B4垂直拍摄左右脸，第一摄像机B2和第二摄像机B4分别将拍摄的左右脸照片传送到主机后通过灰度调整等一系列处理后合成一张照片进行分析。

为了避免正面取像可能存在的左右脸明暗相差过大而造成的无法进行分析的情况，本发明采用两个同水平面及取样点连线夹角为30°的第一摄像机B2和第二摄像机B4分别取样，先进行明暗处理以达到一致，再将对应两张图像拼接进行面部表情分析；这样的设计可以使得设备在单侧光较强时避免无法识别的情况发生。

如图5所示，实施例中，所述第一摄像机B2和第二摄像机B4均包括无线摄像头C1、托盘C2和小车C4；

托盘C2连接无线摄像头C1和小车C4；

在拍摄时，小车C4将摄像头C1移动到相应位置进行拍摄。

所述第一摄像机B2和第二摄像机B4均还包括侧面滑轮C3；

侧面滑轮C3用于减少第一摄像机B2和第二摄像机B4在移动时和半圆滑轨B1的摩擦。

如图7所示，实施例中，所述无线摄像头C1包括第一驱动电机D1、语音识别传感器D2、连接器D3、镜头D4、信号接收器D5和第二驱动电机D6；

语音识别传感器D2接收到关键词后通过第一驱动电机D1驱动镜头D4进行自动对焦与拍摄；

实施例中，以第一摄像机B2为例，语音识别传感器D2位于第一摄像机B2下方，在活动开始前提前设置好关键词，当主持人说出关键词后第一驱动电机D1驱动镜头D4进行拍摄。

光纤传感器，即信号接收器D5：设于第一摄像机B2下方，方向和第一摄像机B2方向一致，用于检测被测对象的移动，从而驱动摄像机移动。

自动调焦装置：由语音识别传感器D2、第一驱动电机D1、镜头D4组成，存在于系统每一台摄像机中，用于调节相机的清晰度。根据工控机给出的信号，确定电机旋转角度，由此带动与相机镜头同轴固联的微调齿轮，达到自动调焦的功效。

传动装置：存在于第一摄像机B2和第二摄像机B4中，由信号接收器D5、第二驱动电机D6组成，接收光纤传感器的信号后，带动第一摄像机B2和第二摄像机B4在半圆滑轨B1上移动从而进行角度调整。

信号接收器D5将镜头D4拍摄好的照片通过局域网传送到主机；

主机对接收的照片进行分析识别，若无法识别，主机向信号接收器D5发送移动无线摄像头C1的指令，信号接收器D5通过改变第二驱动电机D6的电源方向实现驱动小车正向反向移动；

连接器D3起连接作用。

实施例中，语音识别传感器D2在接受到主持人通过音响A2发出的关键词时开始驱动第一驱动电机D1带动镜头D4进行对焦并拍摄。

拍摄到的图像通过局域网传送到主机进行识别，若无法识别，则主机进行检测并给出信号接收器D5，信号接收器D5根据指令控制小车移动。

信号接收器D5通过接收到的指令驱动第二驱动电机D6进行运动，正反向运动通过改变电流方向实现。

如图8所示，实施例中，所述系统还包括辅助摄像装置A7，用于避免滑轨系统漏拍的情况，大大加强拍摄的覆盖面积。

所述辅助摄像装置A7包括第一滑轨E7、第二滑轨E8、第三滑轨E5、第四滑轨E6、第四滑轨E1、第五滑轨E2、第三摄像机E3和第四摄像机E4；

第一滑轨E7和第二滑轨E8固定在天花板上，第三滑轨E5和第四滑轨E6设于第一滑轨E7和第二滑轨E8，可沿第一滑轨E7和第二滑轨E8上前后滑动，第四滑轨E1和第五滑轨E2分别设于第三滑轨E5和第四滑轨E6上，并且能在第三滑轨E5和第四滑轨E6上上下移动；

第三摄像机E3、第四摄像机E4分别安装于第四滑轨E1、第五滑轨E2上，用于多方位的人脸获取。

所述系统还包括第五摄像头A1，所述第五摄像头A1有两个，分别设于人脸正对的舞台两侧，用于人脸信息的辅助获取。

如图9所示，本发明系统的应用实施例为：

集会开始时，在入口处对所有人进行人脸采集，主机内标记社会地位高的个体并增加拍摄事件与最后算法分析的权重；

语音识别传感器D2对关键词进行识别并驱动第一摄像机B2、第二摄像机B4进行人脸识别，半圆滑轨B1保障在极端光影下的人脸照片拍摄，辅助摄像装置A7保证全方位的人脸信息获取，舞台正前方的第五摄像头A1避免了可能存在的漏拍现象。

无线摄像头C1拍摄完毕后通过局域网将获取的照片传送至主机，由主机分析后再通过互联网传送至云端。

具体地，首先，将半圆滑轨B1安装在观众席A10前方的舞台上。会场开始时观众席照明灯A5的光正面照射在观众席A10，舞台照明灯A3的光打在舞台。主持人在讲台A9进行演讲，发言通过音响A2传送给整个场馆，半圆滑轨B1在接收到关键词时进行自动对焦并拍摄，同时辅助拍摄装置将第三摄像机E3、第四摄像机E4分别带到相应位置拍摄，第五摄像头A1在同一时刻进行拍摄，拍摄的照片通过局域网上传到主机进行分析，再通过互联网将分析结果传送到云端。

在入场时每个观众都要经过人脸识别入场，将识别后的人脸与云端数比对，标记地位较高的人群，在分析时延长拍摄时间并增加分析权重。

首先，提前设置好语音识别传感器D2的识别关键词以驱动第一摄像机B2、第二摄像机B4进行对焦与拍摄，将拍摄好的照片通过局域网传送到主机，主机判断是否能够识别。

若能识别，则将左右脸图像的灰度值调整一致，然后合成一张照片进行分析，全部分析完毕后主机通过互联网将分析结果传送至云端。

若不能识别，则主机判断第一摄像机B2、第二摄像机B4运行的方向和距离，并给出指令到信号接收器D5，使第一摄像机B2、第二摄像机B4同拍摄对象与水平面之间的夹角始终是30°，即第一摄像机B2、第二摄像机B4垂直拍摄左右脸，而后将左右脸图像的灰度值调整一致，然后合成一张照片进行分析，全部分析完毕后主机通过互联网将分析结果传送至云端。

本发明一改传统人脸识别系统对光源的要求。由于集会场景中大多光线情况不一，为了保证人们参与集会的舒适度，不可能采取正面打光的方式，于是采用两个摄像头对左右脸分别拍摄，再进行灰度调整以达到两张的灰度一致，再合成成为一张照片进行拍摄。这个方法大大解决了传统人脸识别系统对光线的要求，也保证了人们参加活动被调研时候的舒适程度。

本发明系统基本实现了对多种情况下不同集会中人们的满意度专注度等情绪调查的智能检测分析的自动化及智能化，极大地节约了人力物力，提高了检测准确性。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种集会场景中人的面部表情分析系统，其特征在于，包括第一摄像机(B2)、第二摄像机(B4)、半圆滑轨(B1)和主机；

第一摄像机(B2)和第二摄像机(B4)安装于半圆滑轨(B1)上的两端，并且第一摄像机(B2)和第二摄像机(B4)摄像方向与半圆滑轨(B1)在摄像机处的切线垂直；

第一摄像机(B2)和第二摄像机(B4)沿半圆滑轨(B1)在被测点前方呈半圆移动，以确保和被测点呈一个固定的角度；

半圆滑轨(B1)安装于观众席(A10)前方的舞台上，以保证第一摄像机(B2)和第二摄像机(B4)能够正面拍摄人脸；

主机中包括预先设计好的分析算法，第一摄像机(B2)和第二摄像机(B4)拍摄的照片通过局域网传送到主机分析，主机分析完毕后通过互联网将分析结果传送到云端。

2.根据权利要求1所述的一种集会场景中人的面部表情分析系统，其特征在于，所述第一摄像机(B2)和第二摄像机(B4)均通过半圆滑轨(B1)两端的可拆卸卡槽(B3)安装进入半圆滑轨(B1)，第一摄像机(B2)和第二摄像机(B4)安装完毕后随卡槽(B3)安装到相应位置。

3.根据权利要求1所述的一种集会场景中人的面部表情分析系统，其特征在于，所述第一摄像机(B2)和第二摄像机(B4)的移动位置始终分别和被拍摄对象与水平面之间的夹角为30°，即第一摄像机(B2)和第二摄像机(B4)垂直拍摄左右脸，第一摄像机(B2)和第二摄像机(B4)分别将拍摄的左右脸照片传送到主机后通过灰度调整后合成一张照片进行分析。

4.根据权利要求1所述的一种集会场景中人的面部表情分析系统，其特征在于，所述第一摄像机(B2)和第二摄像机(B4)均包括无线摄像头(C1)、托盘(C2)和小车(C4)；

托盘(C2)连接无线摄像头(C1)和小车(C4)；

在拍摄时，小车(C4)将摄像头(C1)移动到相应位置进行拍摄。

5.根据权利要求4所述的一种集会场景中人的面部表情分析系统，其特征在于，所述第一摄像机(B2)和第二摄像机(B4)均还包括侧面滑轮(C3)；

侧面滑轮(C3)用于减少第一摄像机(B2)和第二摄像机(B4)在移动时和半圆滑轨(B1)的摩擦。

6.根据权利要求4或5所述的一种集会场景中人的面部表情分析系统，其特征在于，所述无线摄像头(C1)包括第一驱动电机(D1)、语音识别传感器(D2)、连接器(D3)、镜头(D4)、信号接收器(D5)和第二驱动电机(D6)；

语音识别传感器(D2)接收到关键词后通过第一驱动电机(D1)驱动镜头(D4)进行自动对焦与拍摄；

信号接收器(D5)将镜头(D4)拍摄好的照片通过局域网传送到主机；

主机对接收的照片进行分析识别，若无法识别，主机向信号接收器(D5)发送移动无线摄像头(C1)的指令，信号接收器(D5)通过改变第二电机(D6)的电源方向实现驱动小车正向反向移动；

连接器(D3)起连接作用。

7.根据权利要求1所述的一种集会场景中人的面部表情分析系统，其特征在于，所述系统还包括辅助摄像装置(A7)，所述辅助摄像装置(A7)包括第一滑轨(E7)、第二滑轨(E8)、第三滑轨(E5)、第四滑轨(E6)、第四滑轨(E1)、第五滑轨(E2)、第三摄像机(E3)和第四摄像机(E4)；

第一滑轨(E7)和第二滑轨(E8)固定在天花板上，第三滑轨(E5)和第四滑轨(E6)设于第一滑轨(E7)和第二滑轨(E8)，可沿第一滑轨(E7)和第二滑轨(E8)上前后滑动，第四滑轨(E1)和第五滑轨(E2)分别设于第三滑轨(E5)和第四滑轨(E6)上，并且能在第三滑轨(E5)和第四滑轨(E6)上上下移动；

第三摄像机(E3)、第四摄像机(E4)分别安装于第四滑轨(E1)、第五滑轨(E2)上，用于多方位的人脸获取。

8.根据权利要求1所述的一种集会场景中人的面部表情分析系统，其特征在于，所述系统还包括第五摄像头(A1)，所述第五摄像头(A1)有两个，分别设于人脸正对的舞台两侧，用于人脸信息的辅助获取。

9.根据权利要求1所述的一种集会场景中人的面部表情分析系统，其特征在于，所述主机中还包括满意度专注度判断算法，满意度专注度判断标准根据事先的调研分析得到。

Images