CN106960042A - 基于弹幕语义分析的网络直播监督方法 - Google Patents

Abstract

本发明公开了一种基于弹幕语义分析的网络直播监督方法，包括：实时爬取直播间弹幕，并进行预处理；对弹幕语句进行分词处理，并去除停用词，构建LDA主题模型，提取弹幕隐含主题；将得到的主题与敏感主题进行相似度比较，识别具体的敏感主题。能自动识别敏感话题并向管理员发出预警，提高了网络直播平台监管的效率，减少了人工管理的成本，也保证监督的可靠性与实时性，简单高效。

Description

基于弹幕语义分析的网络直播监督方法

技术领域

本发明属于视频内容监督技术领域，具体地涉及一种基于弹幕语义分析的网络直播监督方法。

背景技术

网络直播行业是近些年迅速发展起来的一种新的互联网文化产业。弹幕式分享网站是其中一种重要的形式，直播间播放视频，观众在线观看，主播和观众通过弹幕进行交流。其中比较著名直播平台有斗鱼、虎牙、全民、熊猫、战旗、YY等。据统计，仅在2016年，全国在线直播平台数量接近200家，网络直播的市场规模约90亿，网络直播平台用户数量已经达到3.25亿，一个知名主播在高峰时段的在线观众可达400万，一个平台同时直播的房间数目超过3000个。

网络直播一个显著的特点是观众可以通过弹幕和主播或其他观众交流。在形式上，弹幕明显不同于书面语言，更接近于口语，一条弹幕一般控制在30个中文字符内。在内容上，弹幕所讨论的内容一般都与视频直播内容实时同步，具有一致性。在语法结构上深入研究弹幕可以发现它具有以下特点：①内容特点：多变性、多元性、情绪性、独特性、碎片化；②形式特点：即时性、共时性、互动性；③趋势特点：玩乐性、吐槽性、内容趋同性。因此分析其语义需要使用特殊的方式。

相对于网络直播行业的繁荣，目前对网络直播的监督方式比较落后，各个直播平台均是采用委任超级管理员人工监督或由群众监督举报。随着直播房间和观众的激增，人工监督的方式显然不能满足管理的需求。因此，市场上迫切需要一种能够自动监督直播、自动识别敏感话题、自动预警、全天24小时工作的网络直播监督新方法出现。

以LDA（latent dirichlet allocation）模型为代表的主题模型是自然语言文本挖掘领域的一个比较成熟的技术。由美国学者Blei于2003年提出它是一种“文档-主题-词项”三层贝叶斯网络的概率模型，具有优秀的降维能力、发现隐藏主题能力和良好的扩展性。利用主题建模挖掘出的主题可以帮助人们理解海量文本背后隐藏的语义，可以完成文本分类、话题检测、文本自动摘要等多方面的文本挖掘任务。LDA主题模型已经在文本挖掘及相关领域中得到广泛应用，并且在以新闻类数据为主的传统网络文本挖掘方面获得了很大成功。本发明因此而来。

发明内容

针对上述存在的技术问题，本发明目的是：提供了一种基于弹幕语义分析的网络直播监督方法，能自动识别敏感话题并向管理员发出预警，提高了网络直播平台监管的效率，减少了人工管理的成本，也保证监督的可靠性与实时性，简单高效。

本发明的技术方案是：

一种基于弹幕语义分析的网络直播监督方法，包括以下步骤：

S01：实时爬取直播间弹幕，并进行预处理；

S02：对弹幕语句进行分词处理，并去除停用词，构建LDA主题模型，提取弹幕隐含主题；

S03：将得到的主题与敏感主题进行相似度比较，识别具体的敏感主题。

优选的，所述步骤S01具体包括：

S11：登录直播间，获取其UML地址；使用爬虫程序每隔一定时间爬取该直播间的弹幕数据作为弹幕文本保存；

S12：对弹幕文本进行预处理，删除无意义的礼物赠送提示信息、答谢提示信息、房间公告、广告刷屏弹幕；

S13：对正常用户所发的弹幕，删除用户名、时间，只保留发言语句信息。

优选的，所述步骤S02具体包括：

S21：创建弹幕分词词典，对预处理后的语句进行分词处理，将语句分割为独立的字或词汇；

S22：创建弹幕停用词词典，去除分词后的弹幕文本中的停用词；

S23：将去除停用词后的弹幕文本运行于构建的LDA主题模型，获得弹幕文本隐含的主题信息。

优选的，所述步骤S03中，按顺序筛选对照文本；计算弹幕文本和对照文本主题间的距离D_KL，计算公式为：

式中，P(x)和Q(x)分别为文本集中某两个文本的主题概率分布，X为文本集；

若D_KL大于设定阈值，则认为无敏感主题，反之，弹幕文本含有与对照文本相同的敏感主题，并进行预警。

与现有技术相比，本发明的优点是：

1、通过对直播视频实时相关的弹幕进行语义分析，可以清楚地了解到直播内容，然后通过敏感话题识别，即可发现播放不良内容的直播间，达到了自动监督的目的。

2、实时获取直播间最新信息作为判断依据，能够快速识别出含有敏感主题并向管理员发出警报，实时高效。

3、对监督的直播间的播放内容没有限制，只要是含有弹幕的视频都可以用本发明进行监督，应用范围广。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明方法的流程图；

图2为本发明直播间弹幕爬取流程图；

图3为本发明弹幕隐含主题挖掘流程图；

图4为本发明敏感话题识别流程图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例：

本发明基于弹幕语义分析的网络直播监督方法，其中弹幕是指直播间播放视频内容上实时显示的观众输入的弹幕语句。对照文本是指管理员根据以前的管理经验预先挑选的含有敏感内容的直播间当时记录的弹幕文本集，可以有多个对照文本。LDA主题模型产生的主题形式是得到该主题在数学上的概率分布。

如图1所示，本发明基于弹幕语义分析的网络直播监督方法，包括以下步骤：

一、直播间弹幕爬取及预处理。

如图2所示，从网络直播间爬取弹幕文字后，以5分钟为一个时间片，判断该爬取过程是否已够5分钟。对于未满足5分钟的弹幕文本，继续爬取，对于已够5分钟的弹幕文本，保存下来。具体的，当对某一具体直播间开启监督后，程序开始爬取第一条弹幕，弹幕语句格式中包含时间信息，记录这个时间为start_time，第二条及以后的弹幕的时间为end_time，比较两者的时间差，如果：

end_time - start_time≤5，采集下一条弹幕，并跟新end_time。

end_time - start_time＞5，保存弹幕该文本。

得到原始弹幕文本后，使用Python语言编程对其进行预处理，删除无意义的礼物赠送提示信息、答谢提示信息、房间公告、广告刷屏弹幕。对正常用户所发的每条弹幕，删除用户名、时间，只保留发言语句信息。

二、弹幕内容隐含主题挖掘。

如图3所示，根据弹幕语言特点对弹幕原始文本进行预处理，使用正则表达式去除用户名、纯数字语句、纯拼音语句、纯符号语句、无意义刷屏的语言噪音，得到纯汉字文本的弹幕文本。

然后使用Python自带的jieba分词系统对其进行中文分词、去停用词等操作，特别地，此步骤需要使用自定义的分词库和停用词库，以提高准确率。

分词库和停用词库可以根据先验知识进行创建。

对分词后的文本使用LDA主题模型，挖掘文本隐含主题，输入适当的参数，经过若干次迭代过程后输出趋于稳定，能够获得弹幕文本隐含的主题信息。

本实施例LDA模型的参数设置为：主题数目K=5，每个主题下的词汇数设置为10个，α=50/K=0.1、β=0.01，Gibbs抽样的迭代次数为1000次。本实验的LDA模型为C++版本，运行环境为Linux操作系统。

三、敏感话题识别。

如图4所示，首先创建对照弹幕文本集，对照弹幕文本集是管理员根据以往管理经验从数据库中人工筛选含有敏感主题的对照弹幕文本，文本的时间跨度也为5分钟，一篇文档中只包含一个敏感主题。但某敏感主题的对照文本集可以包含若干篇含有此敏感主题的文档。本实施例中，含有色情主题的对照文本10篇，含有暴力主题的对照文本10篇。

把对照文本进行与爬取的实验弹幕文本一样的主题提取操作，即分别进行预处理、分词、去停用词、应用LDA主题模型，最后得到对照文本的主题分布。

然后使用KL距离（Kullback-Leibler Divergence）计算实验弹幕文本和对照文本主题间的距离，其计算公式如下图所示：

式中，P(x)和Q(x)分别为实验文本集中某两个文本的主题概率分布，X为实验文本集。D_KL距离越接近0，代表两个主题越相似。

设置阈值，如果相似度小于等于阈值，则判定两个主题相似，实验弹幕文本含有和对照文本相同的敏感主题，向管理员发出预警；如果相似度大于阈值，则丢弃实验弹幕文本，重新爬取新的实验弹幕文本，重复以上步骤，继续监督直播间。本实验阈值设为0.2。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于弹幕语义分析的网络直播监督方法，其特征在于，包括以下步骤：

S01：实时爬取直播间弹幕，并进行预处理；

S02：对弹幕语句进行分词处理，并去除停用词，构建LDA主题模型，提取弹幕隐含主题；

S03：将得到的主题与敏感主题进行相似度比较，识别具体的敏感主题。

2.根据权利要求1所述的基于弹幕语义分析的网络直播监督方法，其特征在于，所述步骤S01具体包括：

S11：登录直播间，获取其UML地址；使用爬虫程序每隔一定时间爬取该直播间的弹幕数据作为弹幕文本保存；

S12：对弹幕文本进行预处理，删除无意义的礼物赠送提示信息、答谢提示信息、房间公告、广告刷屏弹幕；

S13：对正常用户所发的弹幕，删除用户名、时间，只保留发言语句信息。

3.根据权利要求1所述的基于弹幕语义分析的网络直播监督方法，其特征在于，所述步骤S02具体包括：

S21：创建弹幕分词词典，对预处理后的语句进行分词处理，将语句分割为独立的字或词汇；

S22：创建弹幕停用词词典，去除分词后的弹幕文本中的停用词；

S23：将去除停用词后的弹幕文本运行于构建的LDA主题模型，获得弹幕文本隐含的主题信息。

4.根据权利要求3所述的基于弹幕语义分析的网络直播监督方法，其特征在于，所述步骤S03中，按顺序筛选对照文本；计算弹幕文本和对照文本主题间的距离D_KL，计算公式为：

式中，P(x)和Q(x)分别为文本集中某两个文本的主题概率分布，X为文本集；

若D_KL大于设定阈值，则认为无敏感主题，反之，弹幕文本含有与对照文本相同的敏感主题，并进行预警。