CN104504112B - 影院信息采集系统 - Google Patents

Abstract

本发明提供一种影院信息采集系统。本发明影院信息采集系统，包括：客流采集模块，用于采集影院观众客流信息；音频采集模块，用于采集影院放映厅内的音频信息；表情采集模块，用于采集影院放映厅内观众的表情信息；评论采集模块，用于采集影院内观众对影片的评论信息；分析统计模块，分别与所述客流采集模块、音频采集模块、表情采集模块和评论采集模块连接，用于对采集到的客流信息、音频信息、表情信息、评论信息进行识别处理。本发明统计的效率较高，而且大大提高了客流人数统计准确性，能够更准确的分析出观影观众的真实感受。

Description

影院信息采集系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种影院信息采集系统。

背景技术

中国电影的健康良性发展需要强大的资金支持，同时需要准确的票房数据辅助决策。目前我国的票房统计一方面主要来自于电影院的销售系统所安装的税控装置，但是观众可通过其他渠道如团购网站购买电影票，因此存在票房统计不准确的问题，另外一方面还采用人工监督的方式统计票房，统计效率低、准确性低，因此目前我国的电影行业的票房数据，其实并不等于影院真实的客流。

进一步地，单纯使用票房数据不能充分的反映出观众对电影的真实喜好。首先由于电影是一次性消费品，观众在购票入场后，即便非常不喜欢正在播映的电影，也只能采用提前离开的方式中止消费，无法退回已经支付的购票款项；其次由于电影发行方的宣传能力、财力和控制排片档期的能力各有不同，如有强势宣传又占据了黄金档期的电影，会造成一定的观众偏好假象。

发明内容

本发明提供一种影院信息采集系统，能够实现影院真实的客流统计，充分反映出观众对电影的真实感受。

本发明提供一种影院信息采集系统，包括：

客流采集模块，用于采集影院观众客流信息；

音频采集模块，用于采集影院放映厅内的音频信息；

表情采集模块，用于采集影院放映厅内观众的表情信息；

评论采集模块，用于采集影院内观众对影片的评论信息；

分析统计模块，分别与所述客流采集模块、音频采集模块、表情采集模块和评论采集模块连接，用于对采集到的客流信息、音频信息、表情信息、评论信息进行识别处理。

可选地，所述客流采集模块，包括：

放映厅出入口客流采集单元以及放映厅内的客流采集单元；

所述分析统计模块，具体用于：

对所述放映厅出入口客流采集单元和所述放映厅内的客流采集单元采集到的所述客流信息进行分析处理获取客流人数，所述客流信息包括图像信息。

可选地，所述放映厅内的客流采集单元的数量为2个，且对称设置在所述放映厅内；

所述分析统计模块，具体用于：

将同一时刻所述客流采集单元采集的所述放映厅的图像进行拼接得到最终的放映厅内的图像信息。

可选地，所述音频采集模块，具体用于：

采集影院放映厅内的观众发出的音频信息以及影片放映时的音频信息，所述音频信息包括：语音信息和音乐信息；

所述分析统计模块，具体用于：

对采集到的音频信息进行特征提取，并根据预先建立的声学模型和语言模型，将所述观众发出的音频信息和所述影片放映时的音频信息分离出来，根据所述影片的情节划分，分析各个不同情节下所述观众的反响。

可选地，所述分析统计模块，具体用于：

对采集到的所述表情信息进行表情特征提取，获取情绪标签，根据所述影片的情节划分，在各个不同的情节下对所述情绪标签与预设的情绪标签进行对比，分析所述观众的反响。

可选地，所述评论采集模块，包括：

广告运营单元和无线投票单元；

所述广告运营单元，用于为观众提供影视信息推送、影视信息查询和活动互动；所述活动互动包括评论信息采集活动，用于采集影院内观众对影片的评论信息；

所述无线投票单元，用于采集影院内观众对影片的评分信息以及评论信息；

所述分析统计模块，具体用于：

对采集到的所述评分信息以及评论信息进行统计，分析观众对影片的观影感受。

可选地，还包括：

无线保真WiFi模块，与所述评论采集模块连接，用于感应预设范围内的移动终端或无线投票单元，对所述客流信息、所述评分信息和所述评论信息进行收集，并通过媒体访问控制MAC地址来识别观众。

可选地，所述客流采集模块、所述音频采集模块、所述表情采集模块和所述评论采集模块实时或周期性的采集信息。

本发明影院信息采集系统，包括：客流采集模块，用于采集影院观众客流信息；音频采集模块，用于采集影院放映厅内的音频信息；表情采集模块，用于采集影院放映厅内观众的表情信息；评论采集模块，用于采集影院内观众对影片的评论信息；分析统计模块，分别与所述客流采集模块、音频采集模块、表情采集模块和评论采集模块连接，用于对采集到的客流信息、音频信息、表情信息、评论信息进行识别处理，统计的效率较高，而且大大提高了客流人数统计准确性，进一步，还通过采集音频信息、表情信息以及评论信息能够更准确的分析出观影观众的真实感受。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明影院信息采集系统一实施例的结构示意图；

图2为本发明实施例的客流统计的网络拓扑图；

图3为本发明实施例采集到的图像；

图4为本发明实施例摄像机的安装位置示意图一；

图5为本发明实施例摄像机的安装位置示意图二；

图6为本发明实施例的音频信息的处理过程原理示意图；

图7为本发明实施例在弱光环境下对观众表情甄别的示意图；

图8为本发明实施例的分析流程示意图一；

图9为本发明实施例的分析流程示意图二。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于目前我国的电影行业的常见术语“票房”，其实并不等于影院真实的“客流”。需要通过借助现代的视频甄别、音频甄别、云存储、云计算等高科技手段建立一个自动统计观影客流人数的应用系统，且应由与票房收入不相干的第三方民营机构公平、公正、公开地运行已经迫在眉睫了。中国票房数据的采集需要有更加先进的自动客流计数系统来保驾护航，直接应用视频、音频甄别技术以及云存储、云计算等高科技手段来获得观众客流数据是我国电影行业研究领域的一项重大技术创新。

而且在观众的观影期间通过面部表情甄别技术来采集观影情绪，将有助于我国电影研究机构与拍片制作方获得观众在观影期间的直观反应。面部表情甄别技术是全球范围内大数据应用领域的一个重要分支，这项技术已经通过谷歌眼镜、安全防范系统等在实验或应用环境中得以采用。在影院通过拍摄观众面部表情，甄别观众的观影情绪，包含多项技术处理要点与难点，这种技术应用方向在我国电影行业领域中尚属首次。

在观众的观影期间还可以通过移动终端的问卷调查来采集观影情绪，同样有助于我国电影研究机构与拍片制作方获得观众在观影期间的直观感受与直接评价。

我国以往的观众评价采集方式通常采用事后问卷调查、网上贴吧或论坛的文字分析等方式获得。这种观影评论的采集有一定效果，观众的事后评价也能反映相当多的观影感受。然而，在观影实时评论的采集上，我国电影行业尚处于空白状态。

图1为本发明影院信息采集系统一实施例的结构示意图，如图1所示，本实施例的影院信息采集系统100，可以包括：

客流采集模块10，用于采集影院观众客流信息；

音频采集模块11，用于采集影院放映厅内的音频信息；

表情采集模块12，用于采集影院放映厅内观众的表情信息；

评论采集模块13，用于采集影院内观众对影片的评论信息；

分析统计模块14，分别与所述客流采集模块10、音频采集模块11、表情采集模块12和评论采集模块13连接，用于对采集到的客流信息、音频信息、表情信息、评论信息进行识别处理。

具体来说，客流采集模块10可以通过摄像机采集视频信号，由分析统计模块14进行分析统计客流，分析统计模块14可以由软件实现。基于摄像机采集视频中人体头部和肩部形状为分析目标，通过区域和方向的设定来统计通过客流，采用先进的识别算法大幅度提高统计精确率完全可以满足应用要求。

如采用基于运动目标智能跟踪与甄别技术，并通过人工神经网络(ANN)、关键特征匹配等算法和智能统计模型，对指定单个或多个视频监控区域内的运动物体进行跟踪，利用模式甄别的原理和方法对运动物体进行检测和甄别，判定其是否是人体，从而精确检测通过该区域顾客人数信息。通过视频运动检测、智能分析、关键特征匹配，提取人体关键特征(排除手臂、腿脚、背包、行李、衣服、帽子等物体的干扰)进行实时处理。实时对行人进行运动分析、目标跟踪和特征分类，精确检测通过区域的客流人数信息。

由于室内监控摄像机一般都有声卡和麦克风可以利用摄像机自带的音频采集设备作为音频采集模块11进行采集。

音频采集模块11采集影院放映厅内的音频信息，采集到的音频信息由分析统计模块14进行识别处理，如采用统计模式甄别技术进行识别处理，从输入的音频信息中提取特征，供声学模型、语言模块处理。同时，在处理之前还可以进行一些前期的信号处理，以尽可能降低环境噪声、信道、说话人等因素对特征提取造成的影响。

通过制片方对影片的不同情节的划分，分析统计模块14在各个不同的情节下对观影过程中观众音频信息与预期效果进行对比，实现观影感受分析，以达到收集并甄别观众在该情节过程中的反响，更加客观的反映影片情节效果。

表情采集模块12，可支持在经过数据处理程序后，在不泄露观众面部影像的同时，将表情信息传给分析统计模块14，分析统计模块14对所述表情信息进行分析。其基本原理是通过摄像机定期拍照，通过甄别照片当中亮光区域内观众面部的表情信息，再把这些数据进行分析和处理，最后通过数据库匹配来为观众面部表情信息进行偏向性得分，给予各位可甄别表情信息的观众一个情绪标签，最后汇总所有人的情绪标签，为放映厅内某部电影播放期间的整体氛围给出如“喜悦、悲伤、沉闷、惊恐、困惑、催眠”等总体标签。这些得分将对于改善制作方的电影制作水平大有裨益，它可以让导演与制片人了解观众在真实环境中观看电影的直接情绪反应。同时，本系统中将设计指定程序，不支持图像数据存储功能。摄像机拍照获得图片后，将由分析统计模块14如人脸表情甄别软件来整合观众表情信息，为观影人群的总体情绪打一个标签，传回来这个情绪标签将是唯一被储存起来的数据，一旦捕捉到情绪标签被接收处理后，原始图片等相关数据将自动删除。

评论采集模块13，如可以通过广告运营单元实现，可以提供影视信息推送、影视信息查询、活动互动等，采集影院内观众对影片的评论信息。影院提供无线保真WiFi的基础网络服务，观众可通过携带的移动终端连接无线网络，参与互动，对影片进行评论，或者观众可通过放映厅内放置的终端设备，如手持式投票器进行投票或评论。

本实施例，影院信息采集系统，包括：客流采集模块，用于采集影院观众客流信息；音频采集模块，用于采集影院放映厅内的音频信息；表情采集模块，用于采集影院放映厅内观众的表情信息；评论采集模块，用于采集影院内观众对影片的评论信息；分析统计模块，分别与所述客流采集模块、音频采集模块、表情采集模块和评论采集模块连接，用于对采集到的客流信息、音频信息、表情信息、评论信息进行识别处理，统计的效率较高，而且大大提高了客流人数统计准确性，进一步，还通过采集音频信息、表情信息以及评论信息能够更准确的分析出观影观众的真实感受。

下面采用具体的实施例，对图1所示系统实施例的技术方案进行详细说明。

可选地，所述客流采集模块10，包括：

放映厅出入口客流采集单元以及放映厅内的客流采集单元；

所述分析统计模块14，具体用于：

对所述放映厅出入口客流采集单元和所述放映厅内的客流采集单元采集到的所述客流信息进行分析处理获取客流人数，所述客流信息包括图像信息。

具体来说，客流采集模块10由两部分组成：放映厅出入口客流采集单元以及放映厅内的客流采集单元。通过对两个单元采集的客流人数做加权平均，从而获得较为精确地观众客流人数。

图2为本发明实施例的客流统计的网络拓扑图。

图3为本发明实施例采集到的图像。

放映厅出入口客流人数统计的拓扑图如图2所示，放映厅出入口客流采集单元如摄像机采集到的图像如图3所示。

客流人数统计可利用计算机视觉技术，对画面进行分析、处理、应用的过程，主要包括以下三个步骤：

背景学习过程；

移动目标提取与跟踪；

目标的甄别与行为分析。

放映厅出入口摄像机使用环境需求：

摄像机垂直安装在待统计区域的正上方；

保证被统计客流的方向是垂直穿越视频画面的方向上下运行，或者平行穿越视频画面的方向左右运行；

人头部在视频画面中显示的大小约为35×35像素为最佳(整体画面320×240)；

尽量保持使用环境的光线均匀，亮度适中；

在检测框内，距离检测框边20像素的范围为有效的客流。

针对客流采集模块的分析统计模块采用专为视频应用设计的嵌入式DSP 处理器；后台管理软件能够在Windows Server系列平台(2003/2008)和Linux、 Unix等平台上正常运行。

每台客流分析主机应保证处理多路视频数据，数据上传更新时间可以由每个影院自行设定。

客流信息采集模块，还可以采用红外计数器实现，是对摄像机计数的备份与补充，当摄像机计数的工作由于设备损坏或其他意外原因突然中止时，红外计数器计数的结果将有效避免采集不到出入口过道的客流人数的情况。

通过计算放映厅观众的出入，当有观众进入时进行加计数，当有观众外出时进行减计数，并可把现在放映厅客流通过网络传送到自动监票系统。通过这个模块，监票人员可以很好的了解放映厅内的观众客流。红外计数器是一种由红外线发射和接收组成的计数电路。整体由电源部分、红外线发射部分、红外线接收部分、光电耦合部分、计数部分组成。系统硬件电路简单，利用红外光敏开关作为外部脉冲。

电源部分：由电池盒向红外发射部分直接提供稳定电压，由自行设计的电源向红外接收部分提供工作电压。

红外线发射与接收部分：通过振荡电路控制红外发射管发射一定频率的红外线，判断接收部分通过红外接收管是否接收到红外线使光电耦合器作出反应。

光电耦合部分与计数部分：由红外线接收部分是否接收到红外线控制光耦导通或截止，进而驱动计数器计数。

各部分硬件选择：

电源部分：红外发射部分电源采用电池盒直接供电，接收部分电源采用三端稳压器、变压器等组成直流稳压电源；

特点：电压调整容易，故障率低，有内部保护。

红外线发射部分：采用555振荡电路及红外线发射管组成；

特点：可人为控制发射频率，体积小，精度高，成本较低，信号较强。

红外线接收部分：本部分电路可采用红外线接收二极管组成，也可用光敏三极管组成。二者都可实现红外接收，本发明选择用红外接收模块 TSOP1738该接收模块是一个三端元件，具有功耗低、抗干扰能力强、输入灵敏度高、对其他波长(950nm以外)的红外光不敏感等特点。

计数器部分：可选用常用的十进制加法可编程计数器74LS160芯片，也可选用74LS47与74LS90等组合实现(考虑客流上限，设定计数器位数为八位，此位数可根据需要变更)。

可选地，所述放映厅内的客流采集单元的数量为2个，且对称设置在所述放映厅内；

所述分析统计模块14，具体用于：

将同一时刻所述客流采集单元采集的所述放映厅的图像进行拼接得到最终的放映厅内的图像信息。

具体来说，放映大厅内前端的客流采集单元融合了视频处理技术、图像处理技术、模式甄别技术以及人工智能等多个领域的技术，彻底颠覆了一直以来依赖人工、红外感应等传统的统计方式， 具有统计准确，施工简便、功能多样、操作方便等特点。

所述放映厅内的客流采集单元主要应用于影院放映厅的观众数进行统计，得到该每一场电影放映的票房数量。

本方案介绍采用视频分析统计技术的客流统计方法，该方法具有以下特点：

统计量准确，适合在暗光、现场人和物体复杂的场合；

不易察觉性，通过视频记录观众客流，不会对观众观影产生行为干扰；

施工简便，美观，公共区只需安装摄像机；

功能强大，完全覆盖整个观影厅所有作为，并能准确甄别观众；

操作方便，支持客户端与网络技术查看数据；

系统扩容改造方便，通过简单的网络配置和摄像机增加就可以实现系统扩容和改造；

可在原有监控系统的基础上，升级改造成客流统计系统，监控客流统计两不误，更加经济；

目前客流量统计主要为大型商业场所提供客流量数据，并提供各种图形化报表。

在该子系统中对于不同摄像机的选择，直接关系到统计效果。不同的摄像机拍摄的效果对甄别的准确性有直接的关系，目前市场上可选的摄像机种类有三种：微光摄像机、红外摄像机以及热成像摄像机。

微光摄像机：微光夜视技术是用电真空和电子光学等技术，实现光子图像—电子图像—可视视频图像的转换，在转换过程中，通过对电子图像的增强技术，来实现对图像的可视增强，进而达到在有微弱光线下的一种夜视技术。其优点是可视距离比较远，缺点则是在没有光线的情况下无法看清楚物体，也就是这种技术仍需要在一定光线，哪怕是在一点微弱的光的环境下，才能看到监视场景的图像。

由于摄像机是架设在每一个放映大厅内，放映厅存在一处主动光源以及一处反射光源。电影放映机的位置是主动光源，由于电影播放，需要使用放映机，每个放映机放映口都会发射一束强光源投射至屏幕上，由屏幕进行反射形成第二个反射光源。由于反射光源的存在使得每个观众面部会比较明亮，响应轮廓会比较清晰。但是由于观众面部亮度是由荧幕的反射光亮度影响，所以离屏幕越远的观众面部亮度越弱。

图4为本发明实施例摄像机的安装位置示意图一。

图5为本发明实施例摄像机的安装位置示意图二。

方案一是采用单台摄像机进行拍摄统计：

为了统计每场电影放映时的观众数，将在影院放映厅屏幕前方安装一个视角为135度的广角摄像机，从上方以俯视角度对观影大厅观众进行拍摄。可在每场电影的第20分钟、40分、60分钟、80分钟时进行拍摄，每次拍摄 5分钟。在拍摄完成后将拍摄的内容发送给存储系统进行存储。摄像机的安装位置如图4所示。

方案二是采用双摄像机拍摄后进行图像拼接：

由于在电影院放映厅中存在一处主动光源：电影放映机窗口，该处电影放映机窗口到电影屏幕会形成一道扇形的光柱，该处光柱在光源处将是最亮的部分，延伸至电影屏幕处将慢慢减弱。由于此道光柱的存在，将会对摄像机拍摄效果产生影响，使得在光柱下方的观众拍摄效果变得模糊不清成白色。

为了避免由于拍摄不清无法对拍摄影像进行有效的甄别处理，对最后统计数据产生较大的误差。采用双摄像机进行拍摄，避开放映机的光束，将整个放映大厅分为左右两个视图部分，将两个摄像机的摄像内容发送给存储系统进行存储。摄像机的安装位置如图5所示。

为了统计每场电影放映时的观众数，将在影院大屏前方安装两个微光摄像机，从上方以俯视角度对观影大厅观众进行拍摄。可在每场电影的第20分钟、40分、60分钟、80分钟时进行拍摄，每次拍摄5分钟。

红外摄像机：主动红外技术是通过主动发射红外光，利用目标反射红外光来实现摄像监视的一种夜视技术，随着第三代红外阵列技术的应用，主动红外监控的效果已得到了很好的提升，产品的品质、寿命也更好，且制造工艺要求不高，成本低廉，其具有较广阔的应用前景。但是由于主动红外光在暗光环境下能看到红色的两点，所以必须将摄像机架高以免对观影效果产生影响。

红外摄像机也可以采用微光摄像机方案一的方案，而且为了避免由于拍摄不清无法对拍摄影像进行有效的甄别处理，对最后统计数据产生较大的误差，同样可以采用微光摄像机方案二的方案。

热成像摄像机：热成像技术是一种被动红外夜视技术，普通的红外监控技术是主动红外夜视技术，热成像技术是利用自然界物体不同部位红外热辐射强度的不同来形成图像，它根据目标与背景或目标各部分之间的温差或热辐射差来发现目标。由于该技术有点在于不随周围光照条件的变化而变化，所以可以在白天黑夜，甚至大雾，下雨等恶劣环境下提供视频图像。但是它无法实现较远距离的监控，且监控画面只能判别是否有可疑人员进入，而无法看清楚人脸及外貌特征。缺点在于该种设备造价比较贵，投入成本以及维护成本偏高。

因为热成像技术对于光源要求微乎其微，采用此方案不用考虑到放映机光束的影响。所以在此方案中只需要采用一个摄像机即可。热成像摄像机拍摄的图像效果可以分为，白模式、黑模式以及彩色模式。也可在每场电影的第20分钟、40分、60分钟、80分钟时进行拍摄，每次拍摄5分钟。

客流统计在影院也可以发挥不同的作用：

为影院或售票点获取内部按不同时段分布的客流统计；

人群流动方向等信息；

影院入口外通道中的人群流动量统计信息，有利于评估影片票房数量；

影院管理层可利用客流统计系统了解顾客行为，以及评估影院提供的服务设施是否方便、足够等；

对影院由于观众过多拥挤引起的安全隐患及时报警。

本系统实现的功能：

可对指定区域的人群流量进行准确统计，能分别统计出不同行进方向的客流，并对其进行客流计算。

可实现单进出门口客流统计，也可实现多门口联合客流统计分析。

通过配套的分析统计模块如专业客流分析软件，将客流统计数据进行数据分析和图表生成，根据设置条件生成多种数据分析图表，如设定：

分、时、天、周、月、年等时间条件生产报表；也可根据天气、节日、宣传活动等条件生成报表。

所有分析、记录的数据全部记录在管理服务器内，可实现无限期的数据保存。

可对客流量分析的视频画面进行实时的录像、存储、检索和录像回放查看。

整个系统采用网络化组建，客流数据、客流分析报表、录像资料等可以实现网络远程查询、调取数据。企业管理人员在异地通过网络即可了解到商超的客流状况，方便、快捷、高效。

图6为本发明实施例的音频信息的处理过程原理示意图。

可选地，所述音频采集模块11，具体用于：

采集影院放映厅内的观众发出的音频信息以及影片放映时的音频信息，所述音频信息包括：语音信息和音乐信息；

所述分析统计模块14，具体用于：

对采集到的音频信息进行特征提取，并根据预先建立的声学模型和语言模型，将所述观众发出的音频信息和所述影片放映时的音频信息分离出来，根据所述影片的情节划分，分析各个不同情节下所述观众的反响。

具体来说，分析统计模块14对音频信息的处理过程如图6所示，首先根据语音数据库通过数据挖掘技术等训练得到声学模型，如基于一阶隐马尔科夫模型建立声学模型。根据语言数据库通过数据挖掘技术等训练得到语言模型。理论上，包括正则语言，上下文无关文法在内的各种语言模型都可以作为语言模型，但目前各种系统普遍采用的还是基于统计的N元文法及其变体。对采集到的音频信号进行解码，寻找能够以最大概率输出该音频信息的词串。

除了语音甄别以外该分析统计模块还可以通过音乐甄别技术，使得电脑自动甄别出音乐的旋律、节奏、类型、风格、等信息。这些信息可以用于对电影效果的评估。

可以进行音乐旋律提取：系统通过音乐旋律提取，将旋律表示为一组高音序列，并且这组高音序列中的高音时当前音乐中最突出的音。重点在多音音乐中的旋律提取，算法首先对音乐中的有音片段(人声片段)进行甄别，然后针对这些片段进行旋律提取。

还可以进行多音估计：对音乐中同时发生的多个音的基频进行估计，通过多音估计方法(Klapuri)和联合基频估计方法进行实现。

音频采集模块与分析统计模块通过制片方对影片的不同情节的划分，在各个不同的情节下对观影过程中音频信息的采集与预期效果的对比，进行观影环境分析，已达到收集并甄别观众在该情节过程中的反响，更加客观的反映影片情节效果。

可选地，所述分析统计模块14，具体用于：

对采集到的所述表情信息进行表情特征提取，获取情绪标签，根据所述影片的情节划分，在各个不同的情节下对所述情绪标签与预设的情绪标签进行对比，分析所述观众的反响。

具体来说，表情采集是经由放映厅内安装的摄像机对固定视觉明亮区域内对观众进行抽样拍摄。拍摄采用三种不同摄像机进行效果比较：

微光摄像机：由于微光摄像机拍摄时对光线需求比较强烈，拍摄的范围需要固定在光线较强的前五排靠中间的区域内，采集人群将会比较小。

红外摄像机：红外摄像机通过被动红外反射成像，在清晰度上会较好。但是红外摄像机在有强点光源的暗环境中，光源周围区域内将会泛白，在该范围内采集效果将比较差。

热成像摄像机：热成像摄像机根据物体表面温度绘制图像形体，观众观影时一般面部裸露在外热能较为明显。且表情甄别主要在于甄别眼睛与嘴两处高热量组织的形态变化，所以热成像摄像机能更加准确的采集观众在观影时的表情变化。但是该种摄像机费用较为昂贵且维护不易。

表情特征提取是表情甄别系统中最重要的部分，有效的表情特征提取工作将使甄别的性能大大提高。影院可以通过对人脸表情的抽样甄别综合其他各项指标以后分析出观众对该片的喜爱程度。

目前为止的人脸面部表情特征提取方法大都是从人脸甄别的特征提取方法演变而来，所用到的甄别特征主要有:灰度特征、运动特征和频率特征三种特征。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到甄别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行甄别。频率特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情甄别方法上，分类方向主要有三个：整体甄别法和局部甄别法、形变提取法和运动提取法、几何特征法和容貌特征法。

整体甄别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有基于特征脸的主成分分析法(Principal Component Analysis，简称PCA)、独立分量分析法(IndependentComponent Analysis，简称ICA)、Fisher线性判别法(Fishers Linear DiscriminantAnalysis，简称FLD)、局部特征分析(Local Feature Analysis，简称LFA)、隐马尔科夫模型法(Hidden Markov Model，简称HMM)，聚类分析法和流形法。

局部甄别法：将人脸的各个部位在甄别时分开，也就是说各个部位的重要性是不一样。比如说在表情甄别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在甄别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。其中最典型的方法就是脸部运动编码分析法((Facial Actions Code System，简称FACS)和MPEG-4中的脸部运动参数法，其他的还有局部主分量分析法 (Local PCA)、Gabor小波法和神经网络法。

形变提取法：根据人脸在表达各种表情时的各个部位的变形情况来甄别的，主要的方法有:主分量分析法(PCA)、Gabor小波法、运动模板法(ASM) 和点分布模型(PointDistribution Model，简称PDM)法。

运动提取法：是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这一原理来甄别的。典型的甄别方法有:光流法和MPEG-4 中的脸部运动参数法。

几何特征法：根据人的面部的各个部分的形状和位置(包括嘴、眼睛、眉毛、鼻子)来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以甄别不同的表情。重要的方法是基于运动单元(AU)的主分量分析法。

容貌特征法：主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是Gabor小波。

当然，这三个发展方向不是严格独立，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路，相互联系，相互影响。有很多种方法是介于两者甚至是三者之间。例如说面部运动编码系统法是局部法的一种，同时也是从脸部运动上考虑的等等。

由于影院环境中光线效果较弱，并且只需要对部分观众进行抽样甄别即可，所以在表情采集时只针对光线强度能够甄别面部表情时才会触发拍照，采集范围为影院的3-5排的客户照片，通过以几何法为基础甄别方法，辅助其他的各类方法对观众的面部表情进行甄别。

图7为本发明实施例在弱光环境下对观众表情甄别的示意图。

如图7所示，观众面部产生形变后，通过对各个主要器官点进行连线形成不同的几何图形，来定义不同的表情，如高兴，伤心，惊恐等，从而可以知道观众在观影时的内心情绪以及电影情节是否达到拍摄初期所预计的效果。

在识别观众情绪以后，将采集范围内的观众的情绪数据上传至分析统计模块，由系统进行后期分析。表情采集模块与分析统计模块通过制片方对影片的不同情节的划分，在各个不同的情节下对观影过程观众表情的采集与预期效果的对比，进行观影环境分析，已达到收集并甄别观众在该情节过程中的反响，更加客观的反映影片情节效果。

图8为本发明实施例的分析流程示意图一。

如图8所示，分析统计模块，还可以通过汇总音频采集模块与表情采集模块的信息后，通过与原有设定的标杆进行匹配分析，并与预期效果进行匹配，来真实的反映电影内容与观众观感效果。

通过各个采集模块，系统将所有采集到并经过甄别的内容进行归类区分，将不同放映厅同一部电影统计数据放到同一个甄别数据库内，然后将同一部电影的甄别数据与原有存贮在数据库中的需求效果进行比对分析，很容易就能得出影片上映后观众对影片的直接评价。并且系统可以通过与其他模块采集到的内容进行同步分析，更准确地反映到观众在观看电影中与观看电影后对影片的不同评价是否存在差异。

图9为本发明实施例的分析流程示意图二。

如图9所示，分析统计模块，还可以进行特殊模式深入识别，如针对比较复杂与甄别较困难的信息通过汇总后，通过多轮挖掘分析后，输出一个相对的分析报告，由专门人员进行审查后再决定是否公布。

由于在数据采集过程中会存在很多的干扰因素，使得某些数据采集回来后无法直接分析出结果或对同一电影不同时间的多次采集分析出来多个结果。在这种特殊情况下，系统将会对采集的数据进行多轮的分析，将超过半数以上的同一结果作为最终分析报告提交给审核人员进行审核。当报告及多轮数据通过人工审核以后才能最终进行发布。以此保证分析报告的客观有效性。

可选地，所述评论采集模块13，包括：

广告运营单元和无线投票单元；

所述广告运营单元，用于为观众提供影视信息推送、影视信息查询和活动互动；所述活动互动包括评论信息采集活动，用于采集影院内观众对影片的评论信息；

所述无线投票单元，用于采集影院内观众对影片的评分信息以及评论信息；

所述分析统计模块14，具体用于：

对采集到的所述评分信息以及评论信息进行统计，分析观众对影片的观影感受。

可选地，所述系统还包括：

无线保真WiFi模块15，与所述评论采集模块13连接，用于感应预设范围内的移动终端或无线投票单元，对所述客流信息、所述评分信息和所述评论信息进行收集，并通过媒体访问控制MAC地址来识别观众。

具体来说，影院提供WiFi的基础网络服务，通过广告运营单元，为影院营销提供一个新的平台，诸如：影视信息推送、影视信息查询、活动互动等，通过二次整合开发现有系统以及媒介平台，能够为影院提供更多的关注度，拓展影院移动平台营销渠道，提高创收能力。

本系统还可通过每个放映厅架设的WiFi模块，通过WiFi信号感应一定范围内的移动终端，对观众进行信息收集：可以收集到每个放映厅大概客流人数的多少；通过MAC地址来识别新老观众；为各个观众提供一个实时沟通交流的平台。并且也能通过数据挖掘几首整理出可用的相关信息，从侧面了解观众对电影的不同评价。

除以WiFi网络服务为基础的广告运营单元外，影院可以增加无线投票单元进一步对观众的观影感受以及评论信息进行采集。

无线投票单元可以作为体感设备安装在影院放映厅的座椅侧作为观众对影片观后体验的一个直观收集设备，如无线手持表决器、无线数据采集等，可适用于投票选择、评分式表决、影片观后评论等。该无线投票单元采用无线投票方式，只需一次性在影院安装，准备快捷，适合各种不同大小的固定影院。该单元最基本的要素为保密功能，可以在不记名模式下，直接收集观众对影片的评论信息。特有的保密功能使得代表按键能最大限度的反映观众的真实意愿，而不用担心被人窥视或记录追查。投票结果可自动统计产生，并根据会议要求以图文或报表方式来显示和打印。另外还可以从另一个方面统计在一个放映厅中的观影人数。

为了保证投票系统反映的真实性，以及最大程度的避免观众错失投票机会，并在最大程度上减少能源消耗，座位侧的无线手持表决器，将在影片开始 20分钟开启并持续到影片放映完后10分钟自行关闭。

该无线投票单元组成：

包括基站、投票器单元和投票软件。采用蚕蛹陷阱的双向数字射频RF 无线通讯技术，通讯稳定可靠且速度快。具有按键投票、数字评分、观影评论3大功能。

特点：

1)硬件设计高度可靠、按键投票保密性强、用户操作直观明了、表决方式多种多样等优点；

2)观众可以根据自己在观影后的感受，轻按表决器按键，即可轻松地完成各种投票打分及评论操作。

功能：

1)观影影片管理；

2)多种表决结果显示；

3)多种表决方式；

4)无记名游客投票或会员记名投票两种方式共同参与；

5)查询打印；

6)表决结果不可修改。

可选地，所述客流采集模块10、所述音频采集模块11、所述表情采集模块12和所述评论采集模块13实时或周期性的采集信息。

进一步地，分析统计模块14，还可以进行文本挖掘与专项分析。系统通过评论采集模块将会采集到大量的文本和文字信息，并且这些信息杂乱无章。但是在这些看似杂乱无章的信息中包含有大量的有效信息，需要通过挖掘整理后才能为影院或制作方提供有效的指导。

通过文本挖掘技术，对观众群进行分类，给观众设立不同的标签，如以年龄段、性别、观影习惯、对个体行为进行画像，实现大数据支撑下的个性化、动态化的营销功能推广活动。

与售票系统、管理平台对接，实现面向客户个性化的库资源管理并且能够直接反应出每一个类型的影片对观众的吸引力能达到何种程度，什么样的情节是无法让观众产生代入感。

基于深度文本挖掘，能够根据制片方进行定制化的数据挖掘，获得制片方想获得跌信息。并且也可以通过特殊的标签符号，对特殊的影片进行专项统计分析生成定制化的报表或报告。

分析统计模块14，还可以进行分析结果的展示与报表制作，用户可根据实际需求查询各类报表，系统报表丰富、实用，可满足各类用户的需求。报表还支持用户自主定制。

根据不同人员的级别和需求配置不同的访问权限，用户登录密码采用本发明设计的独特的加密方式，有效确保观众信息系统的安全。

用户可实时监控各区域的观众信息，以及对应的曲线分析图。

任意时段/日/周/月/年各通道以及各通道分时观众统计报表查询和对应的图表分析；

任意时段/日/周/月/年各区域以及各区域分时观众统计报表、逗留时间等信息查询，以及对应的图表分析；

日/周/月/年各区域观众数据的对比分析和对应的图表分析；

日/周/月/年各区域销售数据、分时销售数据KPI值的对比分析，以及对应的图表分析；

日/周/月/年各区域销售数据的对比分析和对应的图表分析。

进一步地，根据不同的采集模块对数据采集形式以及需要的不同，数据采集时段、时长也存在较大的差异。

客流采集模块的放映厅出入口客流采集单元：

放映厅出入口客流最集中的时段为电影开场前10分钟到电影开场后10 分钟。为了保证数据的有效性以及准确性，放映厅出入口客流采集单元的数据采集时段在电影开场前10分钟至电影开场后10分钟，总时长20分钟。

在20分钟时长的时间内所采集的图像数据由网络直接存储在本地存储空间中。每天0点至8点为影院闲时，这8个小时内可以定期将数据上传至机房，本地数据保存1周，在一周后删除本地数据以保证本地存储空间。

客流采集模块的放映厅放映厅内的客流采集单元以及音频采集模块：

放映厅采集的最佳时段为电影开场之后20分钟到电影散场前10分钟。并且在放映大厅进行采集时，不但需要采集大厅的图像照片，还需要采集放映厅的音频信息。

为了保证数据的有效性以及准确性，放映厅采集的数据采集时段在电影开场后20分钟至电影散场前20分钟中采集三次。影像信息采集时间点为电影播放30分、50分钟以及70分钟，三个时间点。

音频信息采集时间为电影播放30分钟、50分钟、70分钟3个时间点，每个时间点采集5分钟时长的音频信息。

所采集的图像以及音频信息由网络直接存储在本地存储空间中。每天0 点至8点为影院闲时，这8个小时内可以定期将数据上传至机房。由于每场电影只保存3-6张印象图片以及15分钟音频信息，数据占用空间较小，便于长期保存，所以本地数据可保存一年，该数据可留做每年的审核，在一年后删除本地数据以保证本地存储空间。针对表情采集之后只返回分析后的结果数据，不会保存并传输清晰的表情图片。

系统存储空间分为本地存储以及云存储两种不同的形式。

各个影院的本地信息保存周期比较短，普通的存储设备即可。但是各个影院的影像以及分析数据汇聚以后数据量是十分庞大的，并且数据是呈现不断增长趋势的，对于各个影院本身而言，如果全部存储在本地，需要投入一定的资金购买硬件设备存储数据，这样的方式，不仅在资金上有大量的投入，而且还需要大量的人力投入，通过人力使数据存储系统得到定期的维护。而采用云存储服务商就可以从影院的角度上出发，为其提供极大的存储空间，只需要利用租赁的方式就可以解决影院在存储空间上的所有问题，这样的话，影院对影音数据的存储需求就可以达到最大程度的满足。

本系统主要是在云存储的服务下，使视频监控图像的分析得以实现，总的来讲，就是在全国各个影院安装视频监控系统的监控信息统一上传至云存储系统中，同时可以在云存储系统中存储视频所监控到的数据，然后利用相关的监控软件，对视频数据进行管理和调用。

超级管理用户可以通过在线服务对分析统计后的信息进行查看、下载以及标注，完成的信息可以在云存储系统中进行存储。各个影院用户也可以从云上下载所需求的影音信息以及分析信息，并且实现网络共享公开，使得修改和管理文档的时候也更为方便和快捷。

可选地，本发明影院信息采集系统还可以包括：管理功能与控制模块；

管理功能与控制模块主要负责系统前端各个采集模块、客流检测及分析统计模块的信息配置及权限设置。

该模块以服务器模式运行，数据连接为密钥KEY加密方式，确保数据安全、可靠。该模块兼容所有系列采集模块的数据采集、数据上传、以及二次开发接口TXT文本的自动导出等。用户只需要在个人电脑上输入各个采集模块的服务器地址、通讯端口号和加密密钥KEY，就可实现远程设备采集状态的实时动态监视。

本发明影院信息采集系统的风险控制与安全性设计：

整个系统的传输采用独立开发的通讯编码格式，从而保证了整个系统在通讯上的安全、可靠、稳定，防止恶意的复制与侦测；

系统软件采用严格的身份认证机制，防止对系统的非法侵入；

在中心管理主机上应对整个系统建立完善的备份和灾难恢复机制，确保系统被损坏后的快速恢复。

相应的防病毒措施，安装杀毒功能强大的杀毒软件，并及时升级。

本发明影院信息采集系统的特点与优势：

对于客流采集部分来说，可采用嵌入式智能视频观众计数器；

采用工业级设计，性能更加稳定可靠；

采用最新系列DSP，全国首创内嵌“测肩宽过线计数”规则DSP智能视频分析算法，最大检测宽度为5m；

系统采集设备终端工作不受光线、阴影的影响，也不受人员秃顶或佩戴各式帽子的影响，彻底解决智能视频抓人头算法对背景库依赖的缺陷；

设备内嵌数据存储功能，掉电保存可达10年之久；

封闭式保密型铝型材外壳设计，保证观众信息安全；

支持RS485通讯、TCP/IP通讯、WiFi通讯；

检测系统和数据处理通讯系统集于一身，故障死机设备自动重启；

进、出方向分别计数，且进出方向可自由设置；系统可实时监控观众进出的时间、数量、日均逗留时间，以及观众流向规律等，有效控制场内观众数量；

单机可监测单通道，多机组网可监测多个通道或多个异地区域；

统一标准、集中管理、分布架构、区域授权；

系统的设计技术先进、成熟、实用，产品的选择标准、规范；

系统安装运行、维护成本低，使用寿命长，安全，可靠；

可通过自动时序编程相机自动光照度激活取像；

多图自动匹配，每场电影取3张图片自动甄别比对，支持人工调档。

最后，介绍一下本系统的工程实施规范：

1、采用标准化、结构化布线方式，为确保布线安全、节约、美观，所有线缆布线时均采用防腐抗干扰PVC管槽进行布线保护。信号通过线材传输到主机中，线材除了要求信号损耗率小外，还应重视环境对信号的影响，即屏蔽性能应高。而管材用来保护线材，也应根据保护级别不同，选用相应的管材。电缆布设过程中应确保所有电缆均在PVC管内，应尽量避开恶劣环境条件或易使管线损伤地段，应避开干扰较大区域；

2、强、弱电布线分开，桥架内的线路平直敷设，点位的出线加套金属软管；

3、工具使用规范，避免安全隐患及保护施工环境；

4、施工中保证天花板的清洁，避免污染天花及检修孔；

5、对所有线缆进行标记，布线过程中要标记清楚、明了，易于改线、维护、管理；

6、系统时间与现实时间一致，调试时大量测试实际参数；

7、准确率达标95％以上，验收时与业主一起检测准确性；

8、严格遵守以下国家和行业有关部门制定的各项标准和规范如：

商用建筑布线标准；

国际布线标准；

建筑与建群综合布线系统工程设计规范；

建筑与建群综合布线系统工程施工与验收标准；

民用电器建筑设计规范；

中国电器装置安装工程施工及验收规范。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种影院信息采集系统，其特征在于，包括：

客流采集模块，用于采集影院观众客流信息；

音频采集模块，用于采集影院放映厅内的音频信息；

表情采集模块，用于采集影院放映厅内观众的表情信息；

评论采集模块，用于采集影院内观众对影片的评论信息；

分析统计模块，分别与所述客流采集模块、音频采集模块、表情采集模块和评论采集模块连接，用于对采集到的客流信息、音频信息、表情信息、评论信息进行识别处理；

所述音频采集模块，具体用于：

采集影院放映厅内的观众发出的音频信息以及影片放映时的音频信息，所述音频信息包括：语音信息和音乐信息；

所述分析统计模块，具体用于：

对采集到的音频信息进行特征提取，并根据预先建立的声学模型和语言模型，将所述观众发出的音频信息和所述影片放映时的音频信息分离出来，根据所述影片的情节划分，分析各个不同情节下所述观众的反响；

所述分析统计模块，具体用于：

对采集到的所述表情信息进行表情特征提取，获取情绪标签，根据所述影片的情节划分，在各个不同的情节下对所述情绪标签与预设的情绪标签进行对比，分析所述观众的反响；

所述评论采集模块，包括：

广告运营单元和无线投票单元；

所述广告运营单元，用于为观众提供影视信息推送、影视信息查询和活动互动；所述活动互动包括评论信息采集活动，用于采集影院内观众对影片的评论信息；

所述无线投票单元，用于采集影院内观众对影片的评分信息以及评论信息；

所述分析统计模块，具体用于：

对采集到的所述评分信息以及评论信息进行统计，分析观众对影片的观影感受；

无线保真WiFi模块，与所述评论采集模块连接，用于感应预设范围内的移动终端或无线投票单元，对所述客流信息、所述评分信息和所述评论信息进行收集，并通过媒体访问控制MAC地址来识别观众。

2.根据权利要求1所述的系统，其特征在于，所述客流采集模块，包括：

放映厅出入口客流采集单元以及放映厅内的客流采集单元；

所述分析统计模块，具体用于：

对所述放映厅出入口客流采集单元和所述放映厅内的客流采集单元采集到的所述客流信息进行分析处理获取客流人数，所述客流信息包括图像信息。

3.根据权利要求2所述的系统，其特征在于，所述放映厅内的客流采集单元的数量为2个，且对称设置在所述放映厅内；

所述分析统计模块，具体用于：

将同一时刻所述客流采集单元采集的所述放映厅的图像进行拼接得到最终的放映厅内的图像信息。

4.根据权利要求1所述的系统，其特征在于，所述客流采集模块、所述音频采集模块、所述表情采集模块和所述评论采集模块实时或周期性的采集信息。