CN112363624B - 一种基于情绪分析的互动展馆系统 - Google Patents

Abstract

本申请公开了一种基于情绪分析的互动展示系统。用于解决现有的展馆展览中缺乏对参观者的面部表情进行情绪识别的相关研究，不能有效判断参观者对展品的直观感受的问题。该系统包括面部识别子系统，用于对采集到的参观者的人像进行人脸识别，获取参观者的面部图像；面部分析子系统，用于根据参观者的面部图像分析参观者的情绪，并将参观者的情绪与展馆中各展厅对应的预设主题分别进行匹配，得到匹配结果；智能互动子系统，用于根据匹配结果，分别调整展馆中各展厅的展示内容。可以多维度地分析参观者对展品的满意度，有效判断参观者对展品的直观感受，根据调整展示内容和智能互动多种手段主动调节参观者情绪，使参观者的体验感更佳。

Description

一种基于情绪分析的互动展馆系统

技术领域

本申请涉及智能展馆领域，尤其涉及一种基于情绪分析的互动展馆系统。

背景技术

面部表情是人的心理信息传递的显示器。在人的心理活动中，面部表情往往最能直接反映出一个人的情绪。通过人的面部表情来判断人此刻的情绪，具有极高的应用价值。越来越多基于面部表情的情绪分析和研究的出现，也表明了通过人的面部表情进行情绪识别的实用性与科学性。

目前的展馆展览中缺乏对参观者的面部表情进行情绪识别的相关研究，缺乏可以多维度地分析参观者对展品的满意度，判断参观者的情绪与展品主题的契合度的方法，不能有效判断参观者对展品的直观感受。

发明内容

本申请实施例提供一种基于情绪分析的互动展馆系统，用以解决现有的展馆展览中缺乏对参观者的面部表情进行情绪识别的相关研究，缺乏可以多维度地分析参观者对展品的满意度，判断参观者的情绪与展品主题的契合度的方法，不能有效判断参观者对展品的直观感受的问题。

本申请实施例提供的一种基于情绪分析的互动展馆系统，包括：

面部识别子系统，用于对采集到的参观者的人像进行人脸识别，获取参观者的面部图像；面部分析子系统，用于根据所述参观者的面部图像分析参观者的情绪，并将参观者的情绪与展馆中各展厅对应的预设主题分别进行匹配，得到匹配结果；智能互动子系统，用于根据所述匹配结果，分别调整展馆中各展厅的展示内容。

在一个示例中，所述面部识别子系统包括人脸识别模块：所述人脸识别模块将参观者的人像输入卷积神经网络的输入层；对输入层的数据通过公式

进行归一化处理；其中，

表示输入数据的归一化结果，x表示输入数据，E[x]表示输入数据的均值，Var[x]表示输入数据的方差，ε表示常数；将处理完毕的数据送入下一层；对所述人像的局部像素进行感知，将得到的局部像素汇总；得到参观者的面部图像。

在一个示例中，所述面部识别子系统包括自动跟踪摄像模块：所述自动跟踪摄像模块用于自动跟踪展馆内的参观者，采集并存储所述参观者的参观视频。

在一个示例中，所述面部分析子系统包括情绪演算模块；所述情绪演算模块，具体用于通过预先训练的情绪识别模型，根据参观者的面部图像，标记出参观者的面部图像的关键点，并根据所述关键点之间的相对位置，通过预设的情绪分值表，计算出所述参观者的情绪分值。

在一个示例中，所述面部分析子系统还用于根据面部识别子系统采集到的参观者的参观视频，计算参观者的情绪持续时间，并根据所述情绪持续时间，对计算出的参观者的情绪分值进行调整。

在一个示例中，所述面部分析子系统还用于根据参观者的参观视频，分析参观者在各展厅的情绪，生成所述参观者的情绪动线。

在一个示例中，所述智能互动子系统还包括中央控制模块；所述中央控制模块包括中控主机、电路控制器、红外控制开关、触摸显示器；所述中央控制模块，用于确定所述匹配结果低于预设值时，通过各展厅对应的预设主题，自动对展馆的展示内容与环境条件进行调整；所述展示内容包括文字、图片、视频，所述环境条件包括灯光、音乐、温度。

在一个示例中，所述智能互动子系统还用于根据参观者的请求，调取所有包含参观者面部图像的参观视频和参观者的情绪动线。

在一个示例中，所述面部分析子系统还用于，根据参观者的参观视频，计算参观者在各展厅的停留时间，并根据参观者在各展厅的情绪分值和停留时间，确定所述参观者对各展厅的满意度。

在一个示例中，所述智能互动子系统还用于根据参观者的情绪动线，确定情绪动线峰值对应的各展厅展示内容，并根据所述情绪动线峰值对应的各展厅展示内容更新展馆的展示内容数据库。

本申请实施例提供的一种基于情绪分析的互动展馆系统，至少包括以下有益效果：

本申请通过以参观者为中心，可以多维度地分析参观者对展品的满意度，有效判断参观者对展品的直观感受，通过分析参观者的情绪，判断参观者情绪与展厅主题的契合度，根据调整展示内容和智能互动多种手段主动调动参观者情绪，使参观者的情绪更加符合展厅的期望。同时，展馆也可以根据参观者的数据分析，对满意度不高的展厅部分进行内容改进或升级，使展馆更智能、参观者的体验感更佳。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于情绪分析的互动展馆系统结构示意图；

图2为本申请实施例提供的另一种基于情绪分析的互动展馆系统结构示意图；

图3为本申请实施例提供的一种参观者情绪动线示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

面部表情是人的心理信息传递的显示器。在人的心理活动中，面部表情往往最能直接反映出一个人的情绪。通过人的面部表情来判断人此刻的情绪，具有极高的应用价值。越来越多基于面部表情的情绪分析和研究的出现，也表明了通过人的面部表情进行情绪识别的实用性与科学性。目前的展馆展览中缺乏对参观者的面部表情进行情绪识别的相关研究，缺乏可以多维度地分析参观者对展品的满意度，判断参观者的情绪与展品主题的契合度的方法，不能有效判断参观者对展品的直观感受。

本申请实施例提供了一种基于情绪分析的互动展馆系统，通过以参观者为中心，可以多维度地分析参观者对展品的满意度，有效判断参观者对展品的直观感受，通过分析参观者的情绪，判断参观者情绪与展厅主题的契合度，根据调整展示内容和智能互动多种手段主动调节参观者情绪，使参观者的情绪更加符合展厅的期望。同时，展馆也可以根据参观者的数据分析，对满意度不高的展厅部分进行内容改进或升级，使展馆更智能、参观者的体验感更佳。

图1为本申请实施例提供的基于情绪分析的互动展馆系统结构示意图，系统主要包括面部识别子系统110、面部分析子系统120、智能互动子系统130。其中，智能互动子系统130、面部识别子系统110、面部分析子系统120两两相互连接。

本申请实施例还提供了另一种基于情绪分析的的互动展馆系统，参见图2，展馆被分为序厅、第一章、第二章、第三章、第四章、第五章、尾厅等若干不同的展厅，每个展厅预先设置一个对应的主题，并展示与主题对应的展示内容。每个展厅根据展示内容的不同给参观者带来不同的情绪和体验。其中，各展厅预设的主题可包括高兴、伤心、愤怒、震撼、害怕、惊讶、轻蔑，具体可根据需要设置，本申请对此不做限定。

在本申请实施例中，面部识别子系统110，用于对各展厅采集到的参观者的人像进行人脸识别，通过识别结果获取参观者的面部图像。

面部分析子系统120，用于根据各展厅参观者的面部图像进行分析，进而分析出每个参观者在不同展厅的情绪，并将参观者的情绪与各展厅预先设置的主题分别进行匹配，并根据参观者情绪与展厅主题的匹配度得到匹配结果。其中，参观者情绪可包括高兴、伤心、愤怒、害怕、厌恶、轻蔑、惊讶、无表情。

智能互动子系统130，用于根据面部分析子系统120得到的匹配结果，在参观者的情绪与展厅预设的主题不匹配时，确定展馆的展示内容不能调动参观者的情绪，则可调整展馆中展厅的展示内容。

在本申请实施例中，面部识别子系统110包括人脸识别模块111。人脸识别模块111用于将各展厅采集的参观者的人像输入卷积神经网络的输入层，对输入层的数据通过公式

进行归一化处理，将处理完毕的数据送入下一层，对参观者的人像的局部像素进行感知，将得到的局部像素汇总，最终得到参观者的面部图像。其中，

表示输入数据的归一化结果，x表示输入数据，E[x]表示输入数据的均值，Var[x]表示输入数据的方差，ε表示常数。

本申请实施例通过使用卷积神经网络对参观者的人像进行人脸识别，进而得到参观者的面部图像，能够识别出大角度侧脸，遮挡，模糊的参观者的面部图像，大大提高了识别参观者面部的准确率。

在本申请实施例中，面部识别子系统110还包括自动跟踪摄像模块112，自动跟踪摄像模块112用于跟踪展馆内的参观者，采集并存储参观者在不同展厅的参观视频。

自动跟踪摄像模块112包括若干人脸摄像头(图中未示出)。其中，人脸摄像头由白光变焦筒机与高性能GPU模块组成，可以360度无死角跟踪摄像目标。

在本申请实施例中，面部分析子系统120包括情绪演算模块121。情绪演算模块121具体用于通过预先训练的情绪识别模型，将输入参观者的面部图像情绪识别模型中，通过情绪识别模型，对参观者的面部图像进行检测，定位并标记出参观者的面部图像的关键点，并根据关键点之间的相对位置，输出识别出的参观者的表情。并且，情绪演算模块121还可将输出的参观者的表情与展厅预先设置的情绪分值表，进行对比，判断参观者表情与情绪分值表中存储的图片的相似度，并根据相似度确定出参观者的情绪分值。其中，情绪分值表用于通过分值对表情的强烈程度进行定义，分值越高，情绪越强烈，并且，不同分值预先对应有各种情绪的强烈程度不同的图片，关键点包括眼睛、嘴巴、鼻子、眉毛等。这样能够准确的对参观者的情绪进行分析与识别，确定参观者对展馆的直观感受。

在本申请实施例中，面部分析子系统120还用于，根据参观者的参观视频，计算参观者在各展厅的停留时间，并根据参观者在各展厅的情绪分值和停留时间，确定参观者对各展厅的满意度。

具体的，参观者在展厅的情绪分值越高，停留时间越长，证明参观者对该展厅的满意度越高。参观者在展厅的情绪分值越低，停留时间越短，证明参观者对该展厅的满意度越低。根据参观者的情绪分值和停留时间两个方面来确定参观者对展厅的满意度，可以多维度的分析出参观者对展厅的感受，使得出的参观者的满意度结果更加精确。

在本申请实施例中，面部分析子系统120还用于根据面部识别子系统110采集到的参观者的参观视频，分别计算参观者在不同展厅的情绪持续时间，并根据参观者的情绪持续时间，对计算出的参观者的情绪分值进行调整。

情绪持续时间与参观者的情绪强烈度成正相关关系，因此，面部分析子系统120可在参观者情绪持续时间较高时，确定参观者的情绪强烈度较高，因此，适当调高该持续时间较高的情绪分值；在参观者情绪持续时间较低时，确定参观者的情绪强烈度较低，因此，适当调低该持续时间较低的情绪分值。根据情绪持续时间来对计算出的参观者的情绪分值进行调整，避免情绪分值受到参观者短时间表情变化的影响，使计算出的情绪分值更加准确。

在本申请实施例中，面部分析子系统120还用于根据参观者的参观视频，分析参观者在展馆各展厅的情绪，并根据参观者在各展厅的情绪分值，生成参观者在整个展馆的不同展厅的情绪动线。

本申请实施例提供了一种对应于图2的参观者情绪动线示意图，请参见图3，以参观者在序厅的情绪波动为例，序厅预设的主题为“高兴”，如图3所示，参观者的高兴情绪从刚开始的平静逐渐达到了峰值，在达到峰值之后又逐渐趋于平静。

在本申请实施例中，智能互动子系统130还包括中央控制模块131，中央控制模块131包括中控主机(图中未示出)、电路控制器(图中未示出)、红外控制开关(图中未示出)、触摸显示器(图中未示出)。中央控制模块131，用于在参观者情绪与展厅主题的匹配结果低于预设值时，通过各展厅对应的预设主题，自动将展厅的展示内容调整为更符合展厅主题的内容。其中，预设值具体可根据需要设置，本申请对此不做限定。

同时，智能互动子系统130还可以在参观者情绪与展厅主题的匹配结果低于预设值时，自动对展馆的环境条件进行调整。例如，将预设主题为悲伤的展厅的音乐调成悲伤类型的，将灯光调成冷色调光。

其中，展示内容包括但不限于文字、图片、视频，环境条件包括但不限于灯光、音乐、温度，具体可根据需要设置，本申请对此不做限定。

在本申请实施例中，对于图3，智能互动子系统130根据参观者在序厅的情绪动线波形，可以判断出序厅中间位置的展示内容更能调动参观者的情绪，也更符合序厅的预设主题，而序厅靠后位置的展示内容与序厅的主题匹配度较低，因此，智能互动子系统130可将序厅靠后位置的展示内容进行适当调整。

在本申请实施例中，智能互动子系统130还用于根据参观者的情绪动线波形，确定参观者的情绪动线峰值对应的各展厅的展示内容，并根据情绪动线峰值对应的各展厅展示内容的类型，更新展馆的展示内容数据库。同时将参观者的情绪动线波形最低处对应的展厅的展示内容从展馆的展示内容数据库中删除。

在本申请实施例中，智能互动子系统130还用于根据参观者的请求，采集参观者的面部图像、确认出参观者的身份后，调取所有包含参观者面部图像的参观视频和参观者的情绪动线，供参观者查看。

在本申请实施例中，智能互动子系统130还用于根据参观者的参观视频，确定参观者视线对应的展厅的展示内容，并计算参观者视线在该展示内容上停留的时间，并根据参观者视线在展示内容上的停留时间计算参观者对展示内容的专注度。并且，智能互动子系统130可根据参观者对不同展示内容的关注度，对展厅中的展示内容进行调整、替换。

在本申请实施例中，智能互动子系统130在展厅设置互动屏幕(图中未示出)，互动屏幕可以基于参观者的人脸触发，在识别出参观者的面部后，自动从所有视频中调取包含参观者面部图像的参观视频和参观者的情绪动线。本申请实施例通过互动屏幕使参观者可以调取自己的参观动线和参观视频，对自己在展馆的整个过程进行回访，极大地提升了参观者的体验。

在本申请实施例中，中央控制模块131应用多媒体系统集成控制技术，采用多机通讯技术和系统集成技术，采用中控主机、电路控制器、红外控制开关、触摸显示器等专业设备，并结合控制软件，可以在展厅任意位置集中控制展厅内的文字、图片、灯光、音乐、温度以及视频显示设备等。

其中，中控主机是集模拟量采集、RS-485通信、开关量输出于一体的多功能监控主机，可接入智能空调、UPS、蓄电池组、开关电源等动力设备，以及各种气体、温度、湿度、压力、风速等各类模拟量传感器。

红外控制开关是靠感应来控制开启与关闭的，包括人体感应开关、人体感应灯、微波感应开关微、波感应灯、无线遥控开关、人体感应开关模块、高频收发模块和家居智能产品。

触摸屏显示器(Touch Screen)包括电容式触控屏、电阻式触控屏和表面声波触摸屏。可以让使用者只要用手指轻轻地碰计算机显示屏上的图符或文字就能实现对主机操作，这样摆脱了键盘和鼠标操作，使人机交互更为直截了当。主要应用于公共场所大厅信息查询、领导办公、电子游戏、点歌点菜、多媒体教学、机票和火车票预售等。

在本申请实施例中，触摸屏显示器集电脑多媒体技术，触摸技术，网络传输技术于一体，支持多点触摸，手写及多点手势，操作简单快捷方便的人机交互设备，触摸精准，反应快速，功能强大。

在本申请实施例中，智能互动子系统130还可以提供电视功能、计算机功能、电玩功能、会议功能、环保白板功能、投影仪功能、电子查询功能。

其中，电视功能支持1920*1080的分辨率，实现32位真彩色全高清显示。计算机功能可实现使参观者在5、10、40米之外上网，也可以用无线键盘鼠标，进行无线上网。电玩功能可实现直接由触摸屏代替鼠标操作游戏，也可接入手柄、方向盘、摇杆、进行赛车、射击等电子游戏。会议功能可实现会议演讲、策划方案讲解、远程视屏会议等功能，无需投影仪、投影幕布、计算机、幻灯片展示台、DVD播放器等多余设备。环保白板功能可以实现删除、存储、录制参观者写入的字符，无需笔擦，节能环保。投影仪功能可以实现大屏播放，使播放的图像更加清晰。电子查询功能可以通过运营商对各种电子档、信息的输入和编辑，参观者可以自助查询到所需要的信息，节省时间，减少问询的工作人员成本。

在本申请实施例中，智能互动系统130还可通过无线液晶显示控制器(IPAD)对几乎所有的电气设备进行控制，可通过一个无线触摸屏控制厅内所有电子器材，包含投影机、影音设备、以及灯光照明、系统调光等。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种基于情绪分析的互动展馆系统，其特征在于，包括：

面部识别子系统，用于对采集到的参观者的人像进行人脸识别，获取参观者的面部图像；

面部分析子系统，用于根据所述参观者的面部图像分析参观者的情绪，并将参观者的情绪与展馆中各展厅对应的预设主题分别进行匹配，得到匹配结果；其中，所述预设主体至少包括：高兴、伤心、愤怒、震撼、害怕、惊讶、轻蔑；

智能互动子系统，用于根据所述匹配结果，分别调整展馆中各展厅的展示内容；

所述面部识别子系统包括自动跟踪摄像模块：

所述自动跟踪摄像模块用于自动跟踪展馆内的参观者，采集并存储所述参观者的参观视频；

所述智能互动子系统，还用于根据所述参观者的参观视频，确定参观者视线对应的展厅的各展示内容，并计算所述参观者视线在各所述展示内容上的停留时间，以根据各所述停留时间，确定所述参观者对各所述展示内容的关注度；其中，所述关注度用于对展厅中的所述展示内容进行调整。

2.根据权利要求1所述的系统，其特征在于，所述面部识别子系统包括人脸识别模块：

所述人脸识别模块将参观者的人像输入卷积神经网络的输入层；

对输入层的数据通过公式

进行归一化处理；其中，

表示输入数据的归一化结果，x表示输入数据，E[x]表示输入数据的均值，Var[x]表示输入数据的方差，ε表示常数；

将处理完毕的数据送入下一层；

对所述人像的局部像素进行感知，将得到的局部像素汇总；

得到参观者的面部图像。

3.根据权利要求1所述的系统，其特征在于，所述面部分析子系统包括情绪演算模块；

所述情绪演算模块，具体用于通过预先训练的情绪识别模型，根据参观者的面部图像，标记出参观者的面部图像的关键点，并根据所述关键点之间的相对位置，通过预设的情绪分值表，计算出所述参观者的情绪分值。

4.根据权利要求3所述的系统，其特征在于，所述面部分析子系统还用于根据面部识别子系统采集到的参观者的参观视频，计算参观者的情绪持续时间，并根据所述情绪持续时间，对计算出的参观者的情绪分值进行调整。

5.根据权利要求1所述的系统，其特征在于，所述面部分析子系统还用于根据参观者的参观视频，分析参观者在各展厅的情绪，生成所述参观者的情绪动线。

6.根据权利要求1所述的系统，其特征在于，所述智能互动子系统还包括中央控制模块；所述中央控制模块包括中控主机、电路控制器、红外控制开关、触摸显示器；

所述中央控制模块，用于确定所述匹配结果低于预设值时，通过各展厅对应的预设主题，自动对展馆的展示内容与环境条件进行调整；所述展示内容包括文字、图片、视频，所述环境条件包括灯光、音乐、温度。

7.根据权利要求1所述的系统，其特征在于，所述智能互动子系统还用于根据参观者的请求，调取所有包含参观者面部图像的参观视频和参观者的情绪动线。

8.根据权利要求1所述的系统，其特征在于，所述面部分析子系统还用于，根据参观者的参观视频，计算参观者在各展厅的停留时间，并根据参观者在各展厅的情绪分值和停留时间，确定所述参观者对各展厅的满意度。

9.根据权利要求1所述的系统，其特征在于，所述智能互动子系统还用于根据参观者的情绪动线，确定情绪动线峰值对应的各展厅展示内容，并根据所述情绪动线峰值对应的各展厅展示内容更新展馆的展示内容数据库。

Images