CN110020437A - 一种视频和弹幕相结合的情感分析及可视化方法 - Google Patents

Abstract

本发明提供一种视频和弹幕相结合的情感分析及可视化方法，属于自然语言处理和图像处理领域。该方法首先利用爬虫爬取视频和弹幕数据；然后对爬取的数据进行预处理；随后训练Faster R‑CNN模型，识别物体并标注情感值，之后匹配情感词、程度副词、颜文字、否定词、计算弹幕情感值，最后结合视频物体情感值、弹幕情感值计算“情感值(S(t))‑时间(t)”的关系趋势图。本方法适用于各类主题的网络视频弹幕，可用于分析整体或局部不同细粒度的内容情感取向，得出整个视频的情感曲线图。对于网络视频弹幕内容结构多样、符号复杂难处理的问题，本发明还提出了一种网络视频弹幕规范化处理方法。

Description

一种视频和弹幕相结合的情感分析及可视化方法

技术领域

本发明属于自然语言处理和图像处理领域，尤其涉及一种视频和弹幕相结合的情感分析及可视化方法。该方法可以有效地对网络视频弹幕的评论信息进行收集、处理和分析，实现弹幕评论信息的情感分析，通过可视化处理将分析结果展现出来，从而作为视频质量评估、商业合作推广、内容个性推荐的参考依据。

背景技术

弹幕一词最早起源于军事用语，本意指集中炮弹射击过于密集就像幕布一样，故为弹幕。弹幕视频迎合了ACG(动画、漫画、游戏的总称)文化，也满足了用户互动、娱乐和社交的需求。而现在，弹幕已不是二次元文化的专属，当下几乎所有视频网站、软件以及直播平台等都引入了弹幕功能，其吐槽的视频类型也不再以ACG(Animation Comic Game，是动画、漫画、游戏的总称)为主，“边看边吐槽”“看其他用户的吐槽”已经成为观众在观看视频、直播、电视剧时的“新乐趣”“新常态”。

弹幕评论数据包含评论文本及其对应的视频时间点信息，因此与一般的评论数据相比，弹幕评论数据能更准确、具体地反映出用户在观看视频时的即时情感和褒贬评价。这些情感和评价信息可以为其他用户在选择视频时提供参考。

目前针对网络视频弹幕的研究多集中在文化传播领域。针对弹幕评论数据的挖掘和实际应用还不常见，尤其是在情感分析领域。这些情感信息可以为用户在选择视频时提供参考，满足更多元、个性化的视频检索需求。

综上所述，情感分析在视频评论领域具备一定的应用需求，弹幕评论数据是很有价值的情感分析数据来源，为了更好的呈现分析结果，还可对弹幕评论数据做可视化处理。

发明内容

本发明针对现有技术中对网络视频弹幕情感分析的不足，提出了一种面向网络视频弹幕的情感分析方法。该方法适用于各类主题的网络视频弹幕，可用于分析整体或局部不同细粒度的内容情感取向，得出整个视频的情感曲线图。对于网络视频弹幕内容结构多样、符号复杂难处理的问题，本发明还提出了一种网络视频弹幕规范化处理方法。

一种视频和弹幕相结合的情感分析及可视化方法，具体步骤如下：

步骤1，使用爬虫获取网络视频和弹幕数据，爬取的数据包括弹幕发送时间、弹幕文本内容和弹幕视频文件，弹幕发送时间和弹幕文本内容以表格的形式存储，每个表项以“时间-内容”为存储结构，视频文件进行抽帧，保存为离散的图片序列。

步骤2，对爬取的数据进行预处理，此处包括一种网络视频、弹幕规范化处理方法，具体过程为：

步骤2.1，采用统计词频的方法建立弹幕用语词典，记录并保留在弹幕环境下具有特殊意义的文本字符。爬取弹幕视频网站各大主题分区播放量前十的视频弹幕数据，建立弹幕语料库，使用NLTK(Natural Language Toolkit，自然语言处理工具包)统计词频，将词频大于阈值α的文本字符加入词典，依据弹幕用语词典，去除步骤1表格中不包含于弹幕用语词典内的数据。

步骤2.2，利用DFA(Deterministic Finite Automaton，确定有穷自动机)识别异形文本并将其转换成简体汉字：首先构建异形词库，将单个字词与其不同种类的异形文本构建成一对多映射关系。然后根据映射关系构建NFA(Nondeterministic FiniteAutomaton，不确定有穷自动机)，利用子集法确定化NFA得到DFA，消除多余状态化简DFA使其最小化。最后，将步骤1表格内弹幕文本作为输入，并用转化后的简体字代替输入数据中的异形文本。该步得到的规范化的弹幕序列为{T₁，T₂，...，T_i，...，T_m}，m为弹幕总数，T_i表示一行“时间-内容”表项。

步骤2.3，提取步骤1中爬取的视频文件的关键帧，。将抽取的关键帧按时间先后顺序排列，组成离散的图片序列{I₁，I₂，...，I_i，...，I_k}，k为抽帧总数，I_i表示一帧关键帧。

步骤3，爬取弹幕视频文件，剥离音频文件，仅保留视频数据，采取抽帧法得到图片训练集。训练基于Faster R-CNN(Faster Region-based Convolutional Network，更快的区域卷积神经网络)的物体识别模型，识别视频中的物体，根据物体的实际情感寓意构建情感权重模型。

步骤3.1，单独训练RPN网络(RegionProposal Network，区域候选网络)，选用ImageNet的模型作为预训练模型，初始化RPN网络，采用端到端的方式来调整参数。

步骤3.2，单独训练检测网络Fast R-CNN(Fast Region-based ConvolutionalNetwork，快速区域卷积神经网络)，训练所需proposals来自步骤3.1的RPN网络层，该步骤中模型初始化采用ImageNet模型。

步骤3.3，用步骤2.2的Fast R-CNN的参数来初始化RPN模型，训练时候固定卷积层参数，只调整属于RPN网络层的参数。

步骤3.4，保持共享的卷积层固定，用步骤3.3调整后的RPN网络层输出的proposals作为输入，微调Fast R-CNN余下的参数，得到可用的神经网络。

步骤3.5，对识别出的所有物体进行情感标注，分别赋一权值ξ，该权值表示该物体在某一视频帧中的主观情感取向即情感值，其中ξ取值为-1、0、1，分别表示负面，中性和正面。

步骤4，使用jieba分词将弹幕文本分词，对分词结果进行词性标注，提取弹幕文本中的形容词、副词、动词、名词、颜文字表情。

步骤5，建立弹幕情感计算模型。首先导入情感词词典、程度副词词典、否定词词典、颜文字表情词典。使用词典对步骤4中得到的标注结果进行匹配。若匹配成功，则依据词典赋予其一个弹幕的情感取向权值q，若匹配结果为空，则认为其情感取向为中性，暂赋值为0，将所有匹配为空的分词单独存储，复核标注后再加入对应词典中。重复匹配过程，直到没有分词匹配结果为空。

弹幕的情感取向权值q的计算方法：将情感词和颜文字情感值记为v，v∈[-1,1]，程度副词权重记为w，否定词个数为x，则：

q＝(-1)^x·w·v (1)

步骤6，分析弹幕的情感取向，绘制“情感值(S)-时间(t)”的关系趋势图。

步骤6.1，统计弹幕数据中的弹幕发送时间，计算单位时间内的弹幕密度ρ：

其中，t为时间(单位：秒)，n(t)为第t秒视频中发送的弹幕数量(单位：条/秒)。

步骤6.2，计算视频中每一秒的情感值S(t)，计算方法如下：

其中q_i为第i条弹幕的情感取向权值q，ξ_j为第j个物体情感取向权值ξ，I(t)表示t时刻范围内的关键帧中物体个数；

步骤6.3，根据公式(3)计算得出的散点值，进行曲线拟合即得到“情感值(S(t))-时间(t)”的关系趋势曲线，即关系趋势图。

所述步骤2.1中，具有特殊意义的文本字符包括数字类、颜文字类等文本字符。

所述步骤2.1中，实验中α＝10时效果较好。

所述步骤2.2中，异形文本包括未登录词、中英文变化结合、同音变换、形近变换、简繁转换、偏旁拆分字等。

所述步骤2.3中，抽帧密度为5～10帧每秒时可较好地还原视频中的场景

本发明的有益效果：使用本发明的面向网络视频弹幕进行情感分析和可视化方法，可根据用户需求选择弹幕数据来源(如主流弹幕视频网站)。情感分析过程中可以更具实际应用场景评估词语的情感值，对其重新赋值，仅需满足步骤5中的赋值区间。“S-t”图的时间步长区间t可以根据视频的总长度来设定，不局限于步骤6中所述1秒的时间步长区间。

附图说明

图1为本发明方法的流程示意图。

图2为爬虫架构示意图。

图3为局部DFA示意图。

图4为某大型弹幕视频网站实际测试，其中，(a)为鬼畜区某UP主作品的“情感值(S(t))-时间(t)”关系趋势图；(b)为舞蹈区某UP主作品的“情感值(S(t))-时间(t)”关系趋势图。

具体实施

下面结合附图和实例来说明具体实施方法，分析对象为国内某大型弹幕视频网站。

步骤1，进入网站首页，获取每个主题分区的URL，使用BeautifulSoup解析网站代码，获取视频文件、弹幕文本内容和弹幕发送时间，保存到本地，待分析的数据和训练用的数据分开存放。对于视频源文件，使用视频编辑软件去除音频文件，只保留视频数据。使用OpenCV对视频进行逐帧分析，按照每秒5帧的抽取密度抽取关键帧，按照关键帧出现的时间顺序标号排序，保存为图片序列。

某弹幕样例的原始数据格式如下：

p＝"218.49300,1,25,10066431,1554113570,0,9300b847,14140778819878912">八雲佬你来啦</d><d

其中，逗号用于分割的数据，最后一部分为弹幕内容。第一个参数是弹幕出现的时间，以秒数为单位。第二个参数是弹幕的模式。第三个参数是字号。第四个参数是字体的颜色。第五个参数是Unix格式的时间戳，基准时间为1970-1-1 08:00:00。第六个参数是弹幕池。第七个参数是发送者的ID。第八个参数是弹幕在弹幕数据库中rowID。

爬虫爬取的弹幕数据原始格式为xml，后续分析过程只取用价值较高的发送时间(第一项)和弹幕文本，保存为表格形式，如表1。

表1

步骤2，对弹幕数据进行规范化处理。

打开弹幕文件，读取弹幕数据，导入jieba分词模块进行分词，去除“的，呢”等停用词，再使用NLTK的FreqDist功能实现词频统计，将所有词频大于阈值α＝10的弹幕用语加入弹幕用语词典。去除待分析的数据中不存在于弹幕用语词典内的文本。例如，“2333”、“6666”、“awsl”、等文本出现频率较高且在弹幕环境下具有特定含义，此处应当保留。

面向弹幕异形词，建立语法树，求出简体字与异形词之间的映射关系，该关系通常以一对多的形式存在，将步骤1中提取的弹幕文本作为DFA的输入，进行匹配，输出结果为规范化的弹幕文本，局部DFA示意图见图3。保存转换后的文本。

步骤3，构建基于FasterR-CNN的物体识别模型。本模型训练基于tensorflow框架，前期还需要准备python环境、OpenCV和Faster-RCN_TF库。使用的操作系统为Ubuntu16.04，GPU为GTX1080Ti。首先从网站各大分区下载播放量前10的视频资源。视频由大量的帧组成，且在小区间内帧的差异并不明显，物体识别和感情标注不需要大量相似的重复数据，比如在某一秒内的场景和所有物体，可以使用该秒内的部分关键帧近似代替。所有视频关键帧若大于500x333的分辨率，则统一采用等比例压缩的方式进行处理以方便训练。

使用labelIMG工具对数据进行标注，标记出图片中的情感体(可能影响人情感的实物)。将图片放置到相应目录并生成测试和训练所需的文件索引，后续操作根据此索引获取图片。修改相应demo的参数即可自动训练，生成基于自己的数据集的物体识别模型。

对识别出的物体进行情感取向标注。将步骤1中爬取的待处理关键帧作为输入，识别关键帧中物体，对关键帧中被识别出的物体标注-1、0、1，表示负面、中立、正面三个取向。此处主要考量物体在相关场景中的意向和人的主观感受，相关参考标准为《元明清诗歌鉴赏》和人的主观感受。由此得到视频中物体所具有的情感取向。例如，关键帧中出现红灯笼、烟花等物体，则可认为是正面，若出现鸡蛋、图书类，则可认为是中性，出先枯枝落叶、工厂烟囱则可能是负面的。

步骤4，构建弹幕文本情感分析模型，采用词典匹配的方式计算情感值，按公式(1)(2)(3)计算出情感值。此处，以该弹幕网站两位UP主的视频作品为例分析计算得出情感变化曲线，见图4。例子中可见，鬼畜区一开始比较平淡，随着视频内容的推进，给大家带来了快乐，其情感曲线在最后出现较快增长，确实符合该鬼畜视频的情感走向。另一例表现出一些负面情绪，经分析是由于部分观众不喜欢类似的风格的舞蹈，评价较为消极，但是随着时间推移，该舞蹈区UP的作品情绪得到回暖，说明其总体走向是正面的，实际数据也表明，在约第200个时间点(20秒)之后，仅出现少量负面评价，分析原因可能是不喜欢此类风格的观众退出了观看。

经过实际检验，本发明在该弹幕网站的测试过程中表现出不错的分析能力，且在后续面向其他弹幕网站的测试中，展现出良好的准确性和鲁棒性。

Claims (8)

1.一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，具体步骤如下：

步骤1，使用爬虫获取网络视频和弹幕数据，爬取的数据包括弹幕发送时间、弹幕文本内容和弹幕视频文件，弹幕发送时间和弹幕文本内容以表格的形式存储，每个表项以“时间-内容”为存储结构；视频文件进行抽帧，保存为离散的图片序列；

步骤2，对爬取的数据进行预处理，具体过程为：

步骤2.1，采用统计词频的方法建立弹幕用语词典，记录并保留在弹幕环境下具有特殊意义的文本字符；爬取弹幕视频网站各大主题分区播放量前十的视频弹幕数据，建立弹幕语料库，使用NLTK(Natural Language Toolkit，自然语言处理工具包)统计词频，将词频大于阈值α的文本字符加入词典，依据弹幕用语词典，去除步骤1表格中不包含于弹幕用语词典内的数据；

步骤2.2，利用DFA识别异形文本并将其转换成简体汉字；

首先构建异形词库，将单个字词与其不同种类的异形文本构建成一对多映射关系；然后根据映射关系构建NFA，利用子集法确定化NFA得到DFA，消除多余状态化简DFA使其最小化；最后，将步骤1表格内弹幕文本作为输入，并用转化后的简体字代替输入数据中的异形文本；该步得到的规范化的弹幕序列为{T₁，T₂，...，T_i，...，T_m}，m为弹幕总数，T_i表示一行“时间-内容”表项；

步骤2.3，提取步骤1中爬取的视频文件的关键帧，将抽取的关键帧按时间先后顺序排列，组成离散的图片序列{I₁，I₂，...，I_i，...，I_k}，k为抽帧总数，I_i表示一帧关键帧；

步骤3，爬取弹幕视频文件，剥离音频文件，仅保留视频数据，采取抽帧法得到图片训练集；训练基于Faster R-CNN的物体识别模型，识别视频中的物体，根据物体的实际情感寓意构建情感权重模型；

步骤3.1，单独训练RPN网络，选用ImageNet的模型作为预训练模型，初始化RPN网络，采用端到端的方式来调整参数；

步骤3.2，单独训练检测网络Fast R-CNN，训练所需proposals来自步骤3.1的RPN网络层，该步骤中模型初始化采用ImageNet模型；

步骤3.3，用步骤3.2的Fast R-CNN的参数来初始化RPN模型，训练时候固定卷积层参数，只调整属于RPN网络层的参数；

步骤3.4，保持共享的卷积层固定，用步骤3.3调整后的RPN网络层输出的proposals作为输入，微调Fast R-CNN余下的参数，得到可用的神经网络；

步骤3.5，对识别出的所有物体进行情感标注，分别赋一权值ξ，该权值表示该物体在某一视频帧中的主观情感取向，即情感值，其中ξ取值为-1、0、1，分别表示负面，中性和正面；

步骤4，使用jieba分词将弹幕文本分词，对分词结果进行词性标注，提取弹幕文本中的形容词、副词、动词、名词、颜文字表情；

步骤5，建立弹幕情感计算模型

导入情感词词典、程度副词词典、否定词词典、颜文字表情词典；使用词典对步骤4中得到的标注结果进行匹配：当匹配成功时，则依据词典赋予其一个弹幕的情感取向权值q，当匹配结果为空时，则认为其情感取向为中性，暂赋值为0，将所有匹配为空的分词单独存储，复核标注后再加入对应词典中；重复匹配过程，直到没有分词匹配结果为空；

弹幕的情感取向权值q的计算方法为：将情感词和颜文字情感值记为v，v∈[-1,1]，程度副词权重记为w，否定词个数为x，则：

q＝(-1)^x·w·v (1)

步骤6，分析弹幕、视频的情感取向，绘制“情感值(S(t))-时间(t)”的关系趋势图；

步骤6.1，统计弹幕数据中的弹幕发送时间，计算单位时间内的弹幕密度ρ：

其中，t为时间，n(t)为第t秒视频中发送的弹幕数量；

步骤6.2，计算视频中每一秒的情感值S(t)，计算方法如下：

其中q_i为第i条弹幕的情感取向权值q，ξ_j为第j个物体情感取向权值ξ，I(t)表示t时刻范围内的关键帧中物体个数；

步骤6.3，根据公式(3)计算得出的散点值，进行曲线拟合即得到“情感值(S(t))-时间(t)”的关系趋势曲线，即关系趋势图。

2.根据权利要求1所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.1中，具有特殊意义的文本字符包括数字类、颜文字类文本字符。

3.根据权利要求1或2所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.1中，阈值α＝10。

4.根据权利要求1或2所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.2中，异形文本包括未登录词、中英文变化结合词、同音变换词、形近变换词、简繁转换词、偏旁拆分字。

5.根据权利要求3所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.2中，异形文本包括未登录词、中英文变化结合词、同音变换词、形近变换词、简繁转换词、偏旁拆分字。

6.根据权利要求1、2或5所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.3中，抽帧密度为5～10帧每秒。

7.根据权利要求3所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.3中，抽帧密度为5～10帧每秒。

8.根据权利要求4所述的一种视频和弹幕相结合的情感分析及可视化方法，其特征在于，所述步骤2.3中，抽帧密度为5～10帧每秒。