CN111191554B - 一种基于隐喻地图的视频情感分析与可视化方法与系统 - Google Patents

Abstract

本发明公开一种基于隐喻地图的视频情感分析与可视化方法与系统。本发明包括：基于Ekman情感表示模型的视频情感采集工具以及情感建模，可以同时采集到较为准确的情绪类别和情绪数值两种类型的情感数据；利用隐喻地图表达视频中的情感和关系信息，在表达层次、关系信息时具有优势，同时地图的形状、色彩的搭配使其具有一定的美感；通过地图，用户可以快速直观地了解到视频的情绪变化趋势、各情感种类的占比以及视频各事件和情绪之间的关系。本发明可用于视频内容探索、查询、理解的交互式可视化分析，允许用户根据情感信息对视频进行快速地浏览，并能够直观地展现将要到来的情绪转折点或高潮，同时支持对视频中人物情绪和关系的探索。

Description

一种基于隐喻地图的视频情感分析与可视化方法与系统

技术领域

本发明属于可视化领域，具体涉及一种基于隐喻地图的视频情感分析与可视化方法与系统。

背景技术

视频中包含多种类型的信息，情感信息是其中一个非常重要的方面。情感信息的重要性主要体现在以下几个方面：首先，视频中隐含的情感的起伏波动推动着视频的进展同时也影响着观众的情绪，以影视作品为例，影片所包含的情感越丰富就越能给观众留下深刻的印象。其次，由于情感的变化一定程度上对应着情节的起伏和视频中的精彩部分，视频进展到故事的高潮部分时，观众的情感往往是比较激烈的。借助于这一点，视频中的情感信息可以帮助观众快速地找到视频中的精彩部分，把握视频的大致内容，有需要地对视频内容进行挑选观看。另一方面，用户在选择视频进行观看时，可能想要不仅基于视频类型、演员、导演和故事内容进行视频的选择，更想根据视频中所传达出的主要情绪来选择观看。

本发明借助于隐喻地图对视频情感内容进行分析，隐喻地图是对不具有空间排布信息的类似于地图的可视化表达形式，在人为构造的虚拟空间中，按照信息的语义、层次等多种关系映射到该空间中，从而获得美观、直接、形象的仿地图可视化形式。之所以被称为隐喻地图，是因为地图所表现出的空间特征与传统意义上现实地图不同，而是隐藏了一种语义信息的联系。

隐喻地图能够涵盖更多的信息，在表达关系信息方面具有优势，同时地图的形状、色彩的搭配使其具有一定的美感。因此，隐喻地图在本发明中被作为视频可视化和分析的主要形式，特别是针对于情感内容和视频中潜在关系的分析。

发明内容

本发明的目的在于提出一种基于隐喻地图的视频情感分析与可视化方法与系统，在二维空间中，构建视频情感数据和地图元素的映射关系，最终形成一个可供用户探索、查询、理解视频情感内容的情感分析及可视化系统，不仅可以简单快速地了解视频的整体情感(分布及强度)，同时也可以在系统中详细地探索视频情感与情节。

本发明采用的技术方案如下：

一种基于隐喻地图的视频情感分析与可视化方法，其步骤包括：

采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。

进一步地，所述采集观众观看视频时的情感数据，是利用基于Ekman情感理论的情感采集工具采集观众观看视频时的情绪类别和情绪数值两种类型的数据，并通过投票和回归两种方式建立情感模型，得到按时间序列排布的情感数据。

进一步地，所述构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图，包括：将按时间序列排布的情感数据，通过所归属的属性进行重新排序，生成类似树结构的情感数据，并利用Gosper曲线的特性将其放置在隐喻地图上，将相同情感类别的数据聚类展示，地图块的大小表征对应视频片段的持续时间。

进一步地，所述通过所归属的属性进行重新排序，生成类似树结构的情感数据，是将整个视频的情感数据划分为层次结构：将整个视频划分为多个事件；每个事件中包括至少一个情感种类，每个情感种类对应一个情感节点；每个情感节点中包含若干个叶子节点，每个叶子节点对应于视频中的一秒，具有相同父节点的叶子节点之间按照时间的顺序排列。

进一步地，所述隐喻地图中的颜色映射采用CIELab表色系，其由三个通道组成，第一个通道是明度即L，a通道的颜色是从红色到深绿，b通道则是从蓝色到黄色；将唤醒度映射到明度，效价映射到b通道，以直观地同时表现出唤醒度和效价的情况。

进一步地，所述利用隐喻地图对视频的情感进行分析，是将隐喻地图、人物情感视图、视频播放视图、情感折线图与自然的草图交互方式，进行多视图视频情感交互式分析，实现多视图联合分析和表达。

进一步地，所述人物情感视图用颜色表达情感，横轴对应时间，纵轴表示表情识别算法的识别输出概率，颜色对应于不同的情感种类，将鼠标滑至情感圆点时，显示当前人物的面部表情，并且其他不同种类的情感圆点被隐藏，以便用户更好地观察；所述草图交互方式播放对应视频、展示出不同人物所参与的共同事件、两个事件中共同参与的人物、人物的情感变化。

一种基于隐喻地图的视频情感分析与可视化系统，其包括：

情感数据采集模块，负责采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

隐喻地图生成模块，负责构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

情感分析模块，负责利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。

和现有技术相比，本发明具有的优点和积极效果如下：

1.本发明提供了高效的观众主观情感采集工具，通过情感采集工具，可以同时采集到较为准确的情绪种类以及唤醒度、效价数值等两种类型的情感数据，这些数据不仅可用于分析电影等视频的情节内容，同时也可以结合观众面部表情的采集作为表情识别的数据集。

2.本发明创新性地利用隐喻地图表达电影等视频中的情感和关系信息，相比传统的线性表达形式，隐喻地图能够涵盖更多的信息，在表达层次、关系信息时具有优势，同时地图的形状、色彩的搭配使其具有一定的美感。通过地图，用户可以快速直观地了解到整部电影的情绪变化趋势、各情感种类的占比以及电影各事件和情绪之间的关系。

3.本发明提出了一个可用于电影等视频内容(包括但不限于情感)探索、查询、理解的交互式可视化分析系统，该系统允许用户根据情感信息对视频进行快速地浏览，并能够直观地展现将要到来的情绪转折点或高潮，同时支持对视频中人物情绪和关系的探索。

附图说明

图1.情感表示模型图示；

图2.情感采集工具图示；

图3.层次化情感数据的构建过程图示；

图4.用于生成地图的Gosper曲线图示；

图5.唤醒度、效价与颜色之间的映射关系图示；

图6.交互式视频情感分析系统图示；

图7.人物情感视图图示；

图8.《泰坦尼克号》人物社交网络图示；

图9.不同类型的地图图示；

图10.草图操作图示。

具体实施方式

为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的基于隐喻地图的视频情感分析与可视化方法与系统，但不构成对本发明的限制。

本发明主要包括以下内容(其中以电影为例进行说明，本发明也可以适用于其他视频类型)：

1.基于Ekman情感表示模型的视频情感采集工具以及情感建模。

情感不同于其他的客观数据，很难准确地进行确定和衡量。现实生活中我们通常用快乐、悲伤、生气、无聊等词语来代表情感的类别，用很、非常去表示情感的强度。在心理学中，对于情感的表示可以以离散的方式(情感类型)表示，也可以使用基于不同情感表示模型的连续的方式表示，这两种都是比较常见的情感表示方法。在情感数据采集过程中，采集了离散和连续这两个方面的数据，其中离散数据即类似于日常生活中所使用的描述情感的词语，连续数据则在一个情感二维空间中进行表示，该种表示方法认为情感由唤醒度和效价两个维度的因素共同作用形成(参考文献：Gunes H,Schuller B.Categorical anddimensional affect analysis in continuous input:Current trends and futuredirections[J].Image and Vision Computing,2013,31(2):120-136)。连续的情感二维空间和两种数据类型的关系如图1所示。纵轴为唤醒度，代表情绪的强烈程度；横轴为效价，代表情绪的正负性及程度。

视频情感采集工具如图2所示，由视频播放界面(a)、情感采集轮盘(b)、V-A曲线(c)组成。情感采集轮盘基于上述的情感模型，为了辅助用户选择情感数值，在情感采集轮盘上绘制了情感类型来供用户选择，用户在观看电影时可以拖动指针到不同区域来选择该时刻的情感类型，并且可以控制指针半径来控制所选情感的强度。下方的曲线记录了与之相对应的唤醒度和效价的数值及其变化的趋势，用户可以在情绪采集时记录自己观看视频时的情绪变化。该模型可以同时收集到情感种类和情感数值等两种类型的数据，最终收集到的数据格式为[视频时间(秒)，情感类型，唤醒度，效价]。

由于被试对电影的熟悉和偏好程度不同，为了减小这两个部分对于结果的影响，确保数据的整体质量。每位用户在实验前会对电影的熟悉程度和喜爱程度进行打分，在数据处理之前做了以下的假设：(1)更熟悉该电影的用户对电影的了解程度更高，情感采集的结果更准确；(2)如果用户更喜欢电影的内容，则采集过程中可能存在某些个人的倾向，情感采集结果可参考性较小。

为了得出电影中每一秒的最终情感结果，采用了以下公式(1)、公式(2)进行计算，F和P来表示每位被试的熟悉程度和喜爱程度，而C代表被试选择的情感类型。整体采用投票选择的机制，即视为100名用户对电影每一秒的情感类型进行投票，得票多的为情感类型为最终的情感采集结果。第n名用户的贡献可以被表示为(F/P)_n×C_ne，n∈[1,100]，C_ne代表这一秒第n名用户选择了情感类型e。e,i∈[惊讶，激动，开心，愉悦，放松，中立，疲惫，无聊，困倦，悲伤，厌恶，害怕，生气，紧张]，对应情感采集轮盘上的14种情绪。(F/P)_n代表了第n名用户的投票比重，E_i代表了每一秒中每种情感的投票得分，T_s代表了最终投票得出的该秒代表情感。数据经过这样的处理后，最终得到了电影中每一秒的代表情绪，如第1秒中立、第2秒惊讶、第3秒激动……

针对于情感强度(唤醒度、效价)，在二维坐标系中对其进行了多项式的拟合，最终得到了唤醒度以及效价的变化曲线。上述的处理对电影中的情感内容进行了建模，隐喻地图也将基于此数据生成。

2.构建情感数据和地图元素之间的映射关系，生成隐喻地图。

为了更好地展示电影中的故事情节，需要对电影中的地点、时间、人物、情感等信息进行展示，本发明采用了隐喻地图的表达方式，隐喻地图将非空间化的信息以某种映射关系将其以地图的形式展现。隐喻地图利用了人类先天具有的空间感，有利于用户对数据的理解和探索。除此之外，地图的可视化形式可以直观地看出其组成元素的比例和大小。本发明基于Gosper map(参考文献：DAVID A.,CHARLES H.,ANTOINE L.,BENJAMIN R.,ARNAUD S.,AGNES S.:Gospermap:using a gosper curve for laying out hierarchicaldata.IEEE Transactions on Visualization Computer Graphics 19,11(2013),1820–1832.)进行扩展，结合了多尺度的语义缩放和交互操作。

Gosper map按照分形的规则构造地图，当电影内容发生变化时，可以保证构成的地图具有一定的相似性和稳定性。如图3所示，展示了数据的处理过程，包括以下步骤：

1)根据地图的层次化结构，为了使用户可以更容易地探索电影内容，本发明首先将整部电影的情感数据划分为层次结构，将电影人工划分为多个事件，每个事件中包括至少一个情感种类，每个情感种类对应一个情感节点。每个情感节点中又包含了若干个叶子节点，每个叶子节点对应于电影中的一秒，具有相同父节点的叶子节点之间会按照时间的顺序排列。这种层次结构让代表时间的叶子节点按照事件、情感和时间的优先级进行聚合，一定程度上在空间中保留了时间的顺序。同时，情感的聚类可以更清楚地看到事件中的主要情感。

2)之后，在空间中生成Gosper曲线，它是一种二维的空间填充曲线，常用于生成分形，如图4所示，Gosper曲线上有许多结点，之后以结点为中心点产生六边形，并将叶子节点的数据按顺序对应到六边形上，形成电影的隐喻映射。由此，地图中的每个正六边形对应于电影中实际意义的一秒，每个地图块的尺寸对应于该种情感或时间的持续时间。

这种地图生成方式可以保证相同事件中具有相同情绪和时间相邻的时间节点在空间上也相邻，利用这一特性，本发明通过对地图区域进行划分来表示不同的事件。此外，某些时间相邻但情感种类不同的节点会分布在不同区域，这也反映出了情绪的突然变化对应于空间位置的变化。

3)最后根据叶子节点的效价和唤醒度数据，对节点进行颜色填充，形成具有实际意义的隐喻地图。

在颜色映射方面，本发明有如下考虑：一个理想的颜色映射可以让观众在不经常参考颜色图例的情况下就理解可视化图形中所蕴含的信息，在通常的表现手法中，黄色通常与积极、正面的情感联系在一起，而蓝色则与消极负面的情感相关联。在表达唤醒度的数值时，本发明采用了CIELab表色系，它由三个通道组成，第一个通道是明度，即“L”。a通道的颜色是从红色到深绿；b通道则是从蓝色到黄色，这种色彩模式理论上包括了人眼可见的所有色彩。本发明将唤醒度对于明度通道，低唤醒度接近于白色，高唤醒度接近于黑色。这种安排一方面可以使唤醒度独立于效价被感知，另一方面高唤醒度的区域颜色更深，更符合普通人的认知。将唤醒度映射到明度，效价映射到b通道，能够直观地同时表现出唤醒度和效价的情况。基于以上的颜色设计，如图5可以很明显地看出每个数值区间内唤醒度和效价特征。

3.基于隐喻地图构建可用于电影内容探索、查询、理解的可视化系统。

仅仅对数据进行展示是远远不够的，本发明建立了一个交互式视频情感分析系统，提供自然有效的方式辅助用户探索包括情感在内的视频内容，自然的草图交互方式和多视图浏览的功能也被集成到该视频分析系统中。

如图6所示为最终的交互式视频情感分析系统的界面，其中(a)图为界面整体示意图，共具有4个视图：1是基于隐喻地图的用于展示视频情感内容的主视图，其示例见(b)图；2是视频播放器，用于播放选中的视频片段，便于用户观看原视频，其示例见(c)图；3是人物情感分析视图，其示例见(d)图；4为情感折线图，直观展示唤醒度和效价随时间的变化，其示例见(e)图。

人物的面部表情可以提供关于电影情节的有价值的情感信息，对于用户探索电影内容很有帮助，如图7所示本发明将自动化算法(即前文的公式(1)、公式(2))识别出的人物情感以散点图的形式进行展示，横坐标为时间，纵坐标为表情识别算法的识别输出，颜色对应于不同的情感种类，由此来展示的人物情绪的变化。同时，将鼠标滑至情感圆点时，会显示当前人物的面部表情，并且其他不同种类的情感圆点将被隐藏，以便用户更好地观察。

除了情感信息之外，角色之间的关系对于用户分析电影故事情节也是有帮助的。本发明将电影人物之间的对话视为他们之间的互动，并依据此为所有人物建立一个社交网络，如果他们在同一个事件中发生互动，两个角色就会被连接起来，并使用PageRank算法来计算网络中每个节点的中心度。如图8显示了电影《泰坦尼克号》中的人物网络和每个人物的重要程度。头像的大小代表每个人物的重要程度，即中心度，被链接个数越多则该人物的重要程度越高，Rose的人物中心度为0.2094，重要程度排在第一位，从可视化的结果中也可以看出，Rose作为《泰坦尼克号》的女主人公，与其中的多个角色都有交流和接触，其重要程度最高完全符合预期。两个人物之间连接线的宽度代表亲密度。在计算中心度之后，根据人物在每个事件中的出场与否将其放置在地图上，不同事件中人物的位置由其出场时间决定，地图上人物头像的大小代表其重要程度，Rose的头像最大，Jack次之……此外，本发明在地图上设计了单个人物的故事线，通过虚线将人物所参与过的事件串联起来，以方便用户探索每个人物在故事中的在不同事件、场景中的经历和对应的情感变化。

除了展示用户观看电影时的主观情绪，本发明同样也收集了电影中人物的面部表情，用于分析电影中人物所传达出的情感和电影人物之间的关系。近年来随着深度学习技术的发展，面部表情识别算法的研究已经取得了很大的进展，识别结果已经具有很高的准确率和可信度。因此，本发明使用了现有的深度学习的方法，用于收集电影中各人物的情感数据，辅助用户分析角色的情感，本发明使用了Arriaga等人开发的识别模型，该模型对Ekman提出的六种基本情绪进行了识别(参考文献：Arriaga O,Valdenegrotoro M,PlogerP G,et al.Real-time Convolutional Neural Networks for Emotion and GenderClassification[J].arXiv:Computer Vision and Pattern Recognition,2017.)。

以下将以电影《泰坦尼克号》为例详细介绍如何将电影映射为隐喻地图，并对其中所蕴含的信息进行分析。隐喻地图基于Gosper地图生成，其形状与视频的时长有关，根据分形的原理，其具有一定的自相似性，因此可以保证当电影时长发生变化时，地图的形状可以保持稳定，同时Gosper曲线按时间生成，具有一定的时间信息。

如图9所示，地图有三种不同的展示形式，帮助用户从不同的角度探索电影的内容和情感。(a)为事件地图，将整部电影《泰坦尼克号》划分为了不同的事件，用不同的颜色来进行区分，颜色对应于该事件的平均唤醒度和效价数值，大小对应于该事件在电影中的持续时间。地图最底层的组成元素为一个个小的正六边形，代表电影实际时间的一秒，根据高斯曲线的排布规则，同一个事件块中代表相同情绪的正六边形会被放置在一起。为了让用户更好地掌握地图中潜在的时间顺序，每个事件块的中心有一个对应的事件点，地图上有一条透明的时间线串连起来所有的事件点。用户可以通过这条时间线来探索电影的叙事。同时用户可以选择地图上的任意事件点来浏览电影中相应的视频片段。为了获得更详细的视图，本发明提供了语义缩放功能，以现实世界中的真实地图为例，我们可以在宏观层面上看到各省，通过在地图上缩放可以看到各省中的城市。同样地，在(a)中对地图进行缩放，地图会根据用户的个人喜好显示出(b)或(c)中的情感值(效价、唤醒)或类别。此时，每个小六边形都会根据它的唤醒值和价值着色，并且在每个图的旁边提供了一个图例，便于用户理解。(b)中的地图表达了不同时期的电影中情感的强度和积极或消极的程度。通过观察情绪在地图上的分布，用户可以大体估计出此时正在发生的事件。同时，在地图上对情感进行可视化可以帮助用户轻松找到电影的情绪高潮并对故事走向进行分析。例如，在(b)中可以看到，作为一部经典电影，电影《泰坦尼克号》包含了丰富的情绪，沉船事件是其中一个重要的转折点，该事件发生后，观众的情绪由积极逐渐转变为消极。同时，根据颜色的深浅，也可以看出其中的唤醒度变化，在撞击冰山事件前观众的情绪唤醒度较低，之后逐渐变高。这是因为电影情节中泰坦尼克号即将沉没。将唤醒度和效价综合在一起来考虑，可以看出电影中有两个唤醒度较高的地方，一个是Jack和Rose在船头相拥，这是《泰坦尼克号》中的经典画面，十分能够引起观众的共鸣。另一个是沉船事件，更容易让观众沉浸在其中的紧张氛围之中。但是可以看出其中一个为黄色，另一个为蓝色，也就是说一处为积极情绪，一处为消极情绪。在(c)的视图中，根据收集的情感类别数据，每个事件由几个代表情感类别颜色的地图块组成，其中暖色代表积极的情感类别，而冷色代表消极的情绪，颜色的深浅代表了感情的强烈程度。

如图6所示，系统的底部为(d)情感折线图，该视图展示了唤醒度和效价具体随时间变化的情况，这里使用的数据与生成隐喻地图的数据相同，曲线被事件划分为不同区域，在某些特定区域标注了所处的场景，以便用户分析不同场景下观众所感受到的情绪。在情绪折线图的帮助下我们可以从时间、空间两个角度探索电影中的情感。除此之外，不同的视图并非独立存在，而是相互协作共同展示电影中的情感信息。在情感折线图上进行操作或播放视频时，地图的对应区域会被突出显示，通过这种方式的展示，用户可以清楚目前的视频进度在情绪地图中的位置；点击地图上的小正六边形，会播放对应时间的视频，便于用户快速地检索定位视频中的位置。

草图交互具有自然、简便、有效、学习负荷低的优势，本发明在系统中结合了自然的草图交互方式，为不同的操作提供了几种不同的草图手势，以便让用户浏览、探索、查询视频中的内容。具体的交互过程为：用户通过在系统中勾画草图，系统对草图手势进行识别并转化为相关的操作。通过自然的草图手势，用户可以更简便有效地与视频内容交互，了解人物关系、事件关系、情感关系，挑选有兴趣的内容进行观看，目前主要提供了以下的草图操作：

人物关系：用户可通过画线连接两个人物头像来查看两个人物共同参与过的事件，进而继续查看对应的视频片段。画线将Jack和Ruth连接起来，两人未共同参与过的事件(序幕、相遇、沉船、获救、回忆等)将变为灰色。

事件关系：用户可通过草图圈选两个事件，同时参与到这两个事件中的人物将会被红色的虚线框标记，如同时参与到相遇和沉船中两个事件中的Rose、Carl、Lovejoy被红色虚线框标记了出来。

人物线：如图10所示，用户可通过三角手势选择人物头像，整部电影中该人物的人物线将被展示在地图之上。虚线将所有出现的该人物图标串联了起来，人物线可被用于比较不同人物的故事发展历程。

人物情绪：用户可通过使用草图手势对号选择人物，对应的情感信息将会在右侧的人物情感分析视图显示，包括整部电影中人物的情感变化走势与针对于某一事件的任务情感占比。

事件选择：通过圆圈圈选事件点，事件点会变为绿色，对应事件的视频将会在视频播放窗口中被播放。

基于同一发明构思，本发明的另一个实施例提供一种基于隐喻地图的视频情感分析与可视化系统，其特征在于，包括：

情感数据采集模块，负责采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

隐喻地图生成模块，负责构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

情感分析模块，负责利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。

其中各模块的具体实施过程参加前文对本发明方法的描述。

基于同一发明构思，本发明的另一个实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上对本发明所述的基于隐喻地图的视频情感分析与可视化方法与系统进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (9)

1.一种基于隐喻地图的视频情感分析与可视化方法，其步骤包括：

采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询；

所述构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图，包括：

将按时间序列排布的情感数据，通过所归属的属性进行重新排序，生成类似树结构的情感数据，并利用Gosper曲线的特性将其放置在隐喻地图上，将相同情感类别的数据聚类展示，地图块的大小表征对应视频片段的持续时间。

2.如权利要求1所述的方法，其特征在于，所述采集观众观看视频时的情感数据，是利用基于Ekman情感理论的情感采集工具采集观众观看视频时的情绪类别和情绪数值两种类型的数据，并通过投票和回归两种方式建立情感模型，得到按时间序列排布的情感数据。

3.如权利要求2所述的方法，其特征在于，采用以下公式，通过投票选择的机制计算视频中每一秒的情感类别：

其中，F和P分别表示每位被试的熟悉程度和喜爱程度，C代表被试选择的情感类型，C_ne代表某一秒第n名用户选择了情感类型e；(F/P)_n代表第n名用户的投票比重；E_i代表每一秒中每种情感的投票得分，T_s代表了最终投票得出的该秒的代表情感。

4.如权利要求1所述的方法，其特征在于，所述通过所归属的属性进行重新排序，生成类似树结构的情感数据，是将整个视频的情感数据划分为层次结构：将整个视频划分为多个事件；每个事件中包括至少一个情感种类，每个情感种类对应一个情感节点；每个情感节点中包含若干个叶子节点，每个叶子节点对应于视频中的一秒，具有相同父节点的叶子节点之间按照时间的顺序排列。

5.如权利要求1所述的方法，其特征在于，所述隐喻地图中的颜色映射采用CIELab表色系，其由三个通道组成，第一个通道是明度即L，a通道的颜色是从红色到深绿，b通道则是从蓝色到黄色；将唤醒度映射到明度，效价映射到b通道，以直观地同时表现出唤醒度和效价的情况。

6.如权利要求1所述的方法，其特征在于，所述利用隐喻地图对视频的情感进行分析，是将隐喻地图、人物情感视图、视频播放视图、情感折线图与自然的草图交互方式，进行多视图视频情感交互式分析，实现多视图联合分析和表达。

7.如权利要求6所述的方法，其特征在于，所述人物情感视图用颜色表达情感，横轴对应时间，纵轴表示表情识别算法的识别输出概率，颜色对应于不同的情感种类，将鼠标滑至情感圆点时，显示当前人物的面部表情，并且其他不同种类的情感圆点被隐藏，以便用户更好地观察；所述草图交互方式播放对应视频、展示出不同人物所参与的共同事件、两个事件中共同参与的人物、人物的情感变化。

8.一种采用权利要求1～7中任一权利要求所述方法的基于隐喻地图的视频情感分析与可视化系统，其特征在于，包括：

情感数据采集模块，负责采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；

隐喻地图生成模块，负责构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；

情感分析模块，负责利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

Images