CN108776671A - 一种网络舆情监控系统及方法 - Google Patents

Abstract

本发明为一种网络舆情监控系统及方法，其中系统包括舆情采集模块、舆情处理模块、舆情服务模块、管理控制模块和数据库服务器。本发明将采集的网页文本数据首先进行分词处理、关键词处理、敏感词处理和聚类分析，从而将网页文本数据处理成标准化结构形式以供舆情服务模块进行处理，有效解决了传统舆情监控系统存在的较长时间滞后性的缺点，舆情服务模块采用数据挖掘来获取热点话题，有效的解决了传统舆情监控系统存在的计算机复杂度较高的缺点，从而保证了热点话题的实时性和准确性。

Description

一种网络舆情监控系统及方法

技术领域

本发明涉及网络信息安全技术，具体涉及一种网络舆情监控系统及方法。

背景技术

随着Internet的迅猛发展，网络信息已经成为人们生活中必不可少的一部分，目前中国网民数量已经超过2亿，中国网页数量也超过了80亿。网络媒体已被公认为继报纸、广播和电视之后的“第四媒体”，网络成为反应社会舆情的主要载体之一。网络舆情与社会舆情相互作用、相互影响，网络舆情与社会舆情在内容表现形态方面具有一致性，网络舆情一定程度上会影响社会舆情的发展趋势，因此网络舆情热点话题的发现具有十分重要的意义。

目前关于网络舆情热点的研究主要是基于自然语言处理技术的词频统计方法的研究，涉及到的技术有未登录词的识别、中英文分词等等，该方法针对热点话题的快速发现，对各种论坛系统进行分类研究，依靠论坛的共享目标、信息互惠、共享环境等多种度量指标，使用多维向量来度量话题活性。但是，这种研究方法无法在不基于历史信息的情况下，针对大量话题快速发现舆情热点话题，具有较长的时间滞后性和较高的计算复杂度。

现实社会中的舆论热点在形成的早期，存在一个意见逐渐在人群中流行的过程，即热点话题，但现实社会中关于话题传播的数据难以采集，发现与监测也无法实现。这是舆情研究相对困难的原因之一。然而现实社会中的热点话题，在互联网上也会形成大量相关信息，同时互联网上的数据可以通过网络爬虫实时采集，这为研究舆论热点问题提供了数据基础。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提供一种网络舆情监控系统，本发明将采集的网页文本数据首先进行分词处理、关键词处理、敏感词处理和聚类分析，从而将网页文本数据处理成标准化结构形式以供舆情服务模块进行处理，有效解决了传统舆情监控系统存在的较长时间滞后性的缺点，舆情服务模块采用数据挖掘来获取热点话题，有效的解决了传统舆情监控系统存在的计算机复杂度较高的缺点，从而保证了热点话题的实时性和准确性。

本发明的另一个目的在于提供上述一种网络舆情监控系统实现舆情监控的方法。

本发明目的通过下述技术方案来实现：一种网络舆情监控系统，包括：舆情采集模块、舆情预处理模块、舆情服务模块、管理控制模块和数据库服务器；

所述舆情采集模块，用于根据采集策略采集论坛网页数据，提取网页文本数据；

所述舆情预处理模块包括：分词处理模块，用于根据数据库服务器中词库的关键词、敏感词及情感倾向词，从网页文本数据分析出关键词、敏感词及情感倾向词；关键词及情感倾向词处理模块，用于依据分词处理模块分析出关键词及情感倾向词对网页文本数据进行过滤，存储关键词及情感倾向词过滤记录；敏感词处理模块，用于依据分词处理模块的敏感词，对关键词及情感倾向词处理模块过滤后的网页文本数据进行过滤；聚类分析模块，用于将敏感词处理模块过滤后的网页文本数据，按照网页所属类别和关键词进行自动聚类分析出论坛言论数据；

所述舆情服务模块包括：内容预警模块，从论坛言论数据分析出带有负面信息的言论；热点分析模块，采用数据挖掘技术，按照舆情处理模块分析出的关键词，从论坛言论数据分析出热点话题。

所述管理控制模块包括：任务管理模块，用于给用户提供舆情服务模块中各模块处理的结果；用户管理模块，用于设置系统各模块的参数。

所述舆情服务模块还可以包括舆情简报(统计分析)模块，用于对内容预警模块分析出的带有负面信息的言论，和热点分析模块分析出的热点话题进行统计分析，获取舆情简报。

所述舆情服务模块还可以包括舆情检索模块，用于为用户提供论坛信息查询。其中，舆情检索模块可以自动推荐检索关键词，该关键词包括内容预警模块获取的负面信息和热点分析模块分析出热点话题。

上述一种网络舆情监控系统实现舆情监控的方法，包括以下步骤：

(1)舆情采集模块根据采集策略采集论坛网页数据，提取网页文本数据；

(2)分词处理模块根据从词库调用关键词、敏感词及情感倾向词，从网页文本数据分析出关键词、敏感词及情感倾向词；

(3)关键词处理模块依据分词处理模块分析出关键词及情感倾向词对网页文本数据进行过滤，存储关键词及情感倾向词过滤记录；

(4)敏感词处理模块依据分词处理模块的敏感词，对关键词及情感倾向词处理模块过滤后的网页文本数据进行过滤；

(5)聚类分析模块将敏感词处理模块过滤后的网页文本数据，按照网页所属类别和关键词进行自动聚类分析出论坛言论数据；

(6)内容预警模块从论坛言论数据分析出带有负面信息的言论；

(7)热点分析模块采用数据挖掘技术，按照舆情处理模块分析出的关键词，从论坛言论数据分析出热点话题。

上述方法中，在步骤(6)分析出带有负面信息的言论和步骤(7)分析出热点话题之后，还可以由舆情简报(统计分析)模块对负面信息的言论，和热点分析模块分析出的热点话题进行统计分析，获取舆情简报。

上述方法中，步骤(1)所述舆情采集模块根据采集策略采集论坛网页数据，提取网页文本数据，具体采用网络爬虫进行采集和提取。

上述方法中，步骤(2)所述分词处理模块具体采用中文分词技术从网页文本数据分析出关键词、敏感词及情感倾向词。

上述方法中，所述敏感词为国家相关法律法规所规定的敏感词。

上述方法中，步骤(6)所述负面信息的言论，具体为有危害影响的帖子、有明显反动性质的帖子，带有恶意煽动性质的热点言论。

上述方法中，步骤(7)所述热点分析模块分析出热点话题之后，还针对该话题分析其话题热度(依据文本中关键词的单位时间内的频度及关键词出现次数的增长速度来分析)、社会影响和情感倾向，并将其与热点话题组成热点话题报告，提供给舆情简报(统计分析)模块。

本发明相对于现有技术的优点和有益效果如下：本发明将采集的网页文本数据首先进行分词处理、关键词处理、敏感词处理和聚类分析，从而将网页文本数据处理成标准化结构形式以供舆情服务模块进行处理，由舆情服务模块实现了内容预警、热点分析、预警简报(统计分析)、舆情检索等功能。本发明可以采用网络爬虫来进行网页信息的采集，有效提高了网页数据采集的速度，在传统的基于中文分词技术研究舆情热点的基础上，采用聚类分析方法有效解决了传统舆情监控系统存在的较长时间滞后性的缺点，采用数据挖掘来获取热点话题，有效的解决了传统舆情监控系统存在的计算机复杂度较高的缺点，同时为用户提供易于操作的管理控制模块，用户可以根据自身专业领域需要来设定舆情监控系统所关注热点问题，提供各不同专业领域的舆情监控系统，很好的完成了网络舆情监控系统所需的各项功能。

附图说明

图1为本发明网络舆情监控系统的结构示意图。

图2为本发明网络舆情监控系统的监控流程图。

图3为本发明网络舆情监控系统的舆情信息预处理方法流程图。

图4为本发明网络舆情监控系统的提供舆情服务方法流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

本发明网络舆情监控系统可以通过系统用户接口设置为校园舆情监控系统，监控国内各大高校BBS舆情信息，关注国内大学生的热点话题，及时把握高校大学生群体中的最新舆论动态，有助于提高国家制定政策提高教育质量，维护社会和谐稳定。

如图1所示，本发明之网络舆情监控系统包括：舆情采集模块、舆情预处理模块、舆情服务模块、管理控制模块和数据库服务器。所述数据库服务器存储有词库，还用于存储舆情预处理模块和舆情服务模块的处理结果等等。

其中，舆情采集模块，用于负责论坛网页数据的采集，是整个网络舆情监控系统的待分析信息的输入模块。它的功能是借助网络爬虫对各大网络论坛中的BBS、博客、新闻评论等信息资源进行采集，提取网页文本数据。网络爬虫按照系统管理员从用户管理模块预设的采集策略，从一个或若干个初始网页的URL开始，获得初始网页上的URL，同时抓取网页中的纯文本信息，在抓取网页中纯文本信息的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件(如相关Web信息采集完毕、URL队列为空等等)。如果采集到的信息与之前采集的信息不重复，将提取的Web纯文本信息按数据库中规定的字段分类存储到数据库服务器中，以供舆情预处理模块调用。舆情信息采集模块是网络舆情监控系统的信息来源，依靠网络爬虫不停的实时采集从而保证了舆情信息的实时性和准确性。本模块的采集是时间增量的采集，是时间可控的采集。

舆情预处理模块，用于对舆情采集模块取得的网页文本数据进行标准化结构处理和分析，将分析后所得数据送入数据库服务器以供舆情服务模块使用。具体应用文本分词、词频统计等技术对舆情采集模块取得的网页文本数据进行预先处理，预处理可以使系统获取的信息更加准确、高效，为下一步的舆情热点分析与处理提供更充分的材料和资源。

舆情预处理模块具体包括：

分词处理模块，运用中文分词技术对舆情采集模块采集到的网页文本数据进行最初的整理，分析出网页文本中的关键词、敏感词和带有情感倾向的词语，分析的结果提交给关键词处理模块使用，其中关键词、敏感词以及带有明显情感倾向的词来自于系统自带，位于数据库服务器词库中的敏感词、关键词和情感词，并可以根据社会舆情发展变化的需要由管理员通过用户管理模块添加新的词汇到此词库，以实现词库的实时更新；

关键词处理模块，依据分词处理模块的处理结果提供的关键词以及带有明显情感倾向的词实现对网页信息的过滤、预警(即对网页文本信息进行标记如依照关键词标记或依照情感倾向词标记)，处理结果提交给敏感词处理模块进行敏感词处理；

敏感词处理模块，用于根据国家相关法律法规，对经关键词处理模块处理的文本数据中的敏感词进行过滤、屏蔽，处理结果交由聚类分析模块进行处理，其中敏感词来自分词处理模块提供的处理结果；

聚类分析模块，利用敏感词处理模块的处理结果，将获得的网页文本数据按照网页所属类别和关键词等进行自动聚类，聚类后的处理结果将提交至舆情服务模块。

所述舆情服务模块进一步包括：

内容预警模块，用于及时分析由舆情处理模块提供的处理结果即论坛言论数据，对有危害影响的帖子、有明显反动性质的帖子，带有恶意煽动性质的热点言论直接发出舆情预警，提交给系统管理员；

热点分析模块，按照舆情处理模块的处理结果中提供的关键词来发现互联网中的热点话题，并分析其话题热度(依据文本中关键词的单位时间内的频度及关键词出现次数的增长速度)、社会影响、情感倾向，并将其与热点话题组成热点话题报告，提供给舆情简报(统计分析)模块。

预警简报(统计分析)模块，主要根据内容预警模块和热点分析模块的处理结果对最近一段时间各大门户网站及论坛中的舆情状况提供一份简报主要包括热点话题、负面信息；

舆情检索模块，用于为用户提供论坛信息的查询，可以自动推荐关键字，其中自动推荐的关键字来自于内容预警模块和热点分析模块的处理结果如热点话题、负面信息等。

其中，该系统所述管理控制模块进一步包括：

任务管理模块，用于根据用户设定的自身需要将舆情服务模块的处理结果呈现给用户，显示给用户的信息主要由舆情服务模块提供，用户可以浏览舆情简报(由预警简报模块支持)，可以查看舆情热点的详细信息(由热点分析模块提供支持)，可以浏览内容预警(由内容预警模块提供支持)，也可以根据自己的需要对热点话题进行检索(由舆情检索模块提供支持)；

用户管理模块，用于根据系统管理员的设定更新舆情监控系统各模块的参数如关键词库，敏感词库情感词库，舆情采集模块的起始URL等等；系统管理员可以根据本部门的职能或本单位的现时需要或本企业的专业领域，实时的更改舆情监控系统的舆情采集模块的初始页面和关键词库等以关注不同领域，不同行业的即时热点话题，提高舆情监控系统的效率，更实时，更准确，更专业的满足不同用户的需求。

图2是本发明的网络舆情监控实现网络舆情监控的流程图，参见图2，对本发明的网络舆情监控方法作进一步的说明。

(1)采集舆情信息，实时地、智能地监控各高校网站、BBS论坛等目标信息，采集网站和论坛的数据，通过页面之间的链接关系，自动地获取页面信息，并且随着链接不断向整个扩展。实现这一过程主要是由网络爬虫来完成的，从一个初始的集出发，将这些URL全部放入到一个有序的待采集队列里。网络爬虫从这个队列里按顺序取出URL，通过Web上的协议，获取URL所指向的页面，然后从这些已获取的页面中提取出新的，并将它们继续放入到待采集队列里，然后重复上面的过程，直到舆情采集模块根据自己的策略停止采集将提取的信息按数据库中的字段分类存储在数据库服务器中，以供步骤(2)使用。

(2)舆情信息预处理，与普通文本文档相比，WEB文档的信息除了正文外，还包括大量的其他信息，这些信息包括Script、脚本、广告链接、导航链接、版权信息等等。与传统的数据库中的结构化数据相比，WEB文档具有有限的结构，或者根本就没有结构，计算机很难直接对其进行处理，本步骤的主要目的是对步骤(1)中采集到的原始WEB文档进行的标准化预处理，这其中包括：分词处理、关键词处理、敏感词处理和聚类分析等技术，经过处理将文档转换为适合于分类、聚类等挖掘算法的表示形式，为步骤(3)提供数据支持。

(3)提供舆情服务，在信息预处理的基础上，舆情服务模块从数据库中取得步骤(2)的处理结果进行进一步的分析，调用服务数据库中的存储信息，根据热点信息发现的模型以及管理员设置的系统参数，运用文本信息智能分析功能，通过相关运算，实现舆情信息的发现生成，完成内容预警、热点分析、预警简报(统计分析)和舆情检索等功能。

(4)为用户(管理员)提供管理控制系统，根据用户的设定的自身需要将步骤(3)的处理结果呈现给用户，包括热点事件显示、热点排序、事件跟踪、事件趋势图、趋势分析、舆情展示，信息发布等功能。同时根据系统管理员的设定更新校园舆情监控各模块的参数，具体包括用户管理、分类管理、主题管理、发布管理、词典管理、关键字管理、数据库管理、系统参数配置以及数据控制配置。

如图3所示，步骤(2)所述舆情信息预处理方法，具体流程如下：

a、运用中文分词技术对网页文本信息进行自动分词，便于以后结构处理，本发明采用的中文分词词典是中科院计算所分词词典，中文分词匹配算法是逆向最大匹配法：选取包含7个汉字的符号串作为最大符号串，把最大符号串与词典中的单词条目相匹配，如果不能匹配，就削掉一个汉字继续匹配，直到在词典中找到相应的单词为止，匹配的方向是从左向右，此步骤处理结果得到关键词，敏感词及情感倾向词等信息。

b、用上一步骤得到的关键词及情感倾向词实现网页信息的过滤、预警，也为舆情检索模块提供自动推荐关键词，本发明采用向量空间模型(VSMVector Space Model)来实现关键词处理：将用户特征信息和初步搜索到的Web信息都作为文档，将一篇文档定义为一系列关键词的组合，每个词被赋予一个权值以表明它对这篇文档的重要性。这种表示方法的优点是，能够将复杂的并且不能够被计算机直接处理的文木信息转换成为简单的多维的文木向量，这样就能够对文木这种原木抽象的信息进行数学公式和方法的运算处理，在可接受的精度的范围内极大的提高了处理的效率。

c、根据国家相关法律法规，对经步骤b处理过的网页信息中的敏感词进行过滤，屏蔽，设立敏感词库，对搜集到的网页信息屏蔽以下内容1、含有色情、暴力、恐怖内容2、具有广告性质的内容3、涉及反动的内容4、涉及人身攻击的内容5、违背伦理道德的内容6、恶意无聊灌水的内容7、涉及违法犯罪的内容8、涉及国家机密危害国家安全的内容，其中敏感词由步骤a提供。

d、将从步骤c中获得的网页数据按照网页所属类别自动聚类，按照热点话题将文档进行聚类，从一组新闻文档集中发现新热点话题，它没有关于新热点话题的先验知识。热点话题的发现意在将输入的新闻报道归入不同的主题簇，并在需要的时候建立新的主题簇，作为一种增量聚类，可以划分为两个阶段：①检测出新热点话题的出现；②将描写先前发现的热点话题的相关报道归入相应的热点话题。显然，第一个阶段就是对新发生事件的检测，即检测出以前没有讨论过的热点话题的出现。这个阶段也被看作是对一个热点话题发现系统的透明测试，因为判断每个报道是否讨论了一个新热点话题，是一个热点话题发现系统的基础。

如图4所示，步骤(3)所述提供舆情服务方法，具体流程如下：

A、及时从舆情预处理模块获得论坛言论数据，对有危害影响的帖子发出预警，提交给系统管理员，同时以按需定制的方式将监控信息提供给相关人或相关监控部门，在安全监控系统运行过程中，系统管理员可以对已有的信息进行评估，产生新的信息需求，进而规划新的监控重点，开始新的信息监控，形成一个具有生命特征的舆情信息监测系统。

B、对从舆情预处理模块获得的论坛中的热点话题，采用数据挖掘技术进行分析，提交热点问题相关的报告，热点分析程序根据舆情采集模块采集到的数据，进行热点分析，根据用户设定的用户阈值，筛选出热点话题，用户输入需要进行热点分析的开始时间和结束时间，热点分析程序调用采集到的舆情信息，根据话题活性模型进行热点分析，将热点的帖子以列表的形式显示出来，首先计算BBS整体的话题活性，当话题活性超过用户预先设定的阈值时，将热点信息显示在界面下方的列表中否则热点信息列表为空。

C、对最近一段时间高校论坛中的舆情情况(由步骤A和步骤B获得)提供一份简报主要包括热点话题、负面信息，综合运用网络搜索技术及信息智能处理技术，通过信息挖掘的方法，对内部网络的海量信息进行自动抓取、自动分类、自动聚类等处理，实现网络舆情主题监测和追踪、敏感信息的监测报警等功能，最后形成简报、报告、图表等分析结果，为全面掌握大学生思想动态，做出正确舆论引导，提供分析依据。

D、为用户提供论坛信息的查询，可以自动推荐关键字(由步骤A和步骤B获得)，对于发布的信息，用户既可以查阅本地数据库中经过自动过滤的内容，也可以对照查阅原链接网页。支持专题定制，用户可以通过定义关键词规则来建立专题，专题包含满足规则的信息，方便用户跟踪访问特定的内容。同时支持多种格式的信息文档导出，一个或多个信息批量导出到Word、Excel、文本文件等文件中，从而更好的被信息处理人员利用。

Claims (9)

1.一种网络舆情监控系统，其特征在于，包括：舆情采集模块、舆情预处理模块、舆情服务模块、管理控制模块和数据库服务器；

所述舆情采集模块，用于根据采集策略采集论坛网页数据，提取网页文本数据；

所述舆情预处理模块包括：分词处理模块，用于根据数据库服务器中词库的关键词、敏感词及情感倾向词，从网页文本数据分析出关键词、敏感词及情感倾向词；关键词及情感倾向词处理模块，用于依据分词处理模块分析出关键词及情感倾向词对网页文本数据进行过滤，存储关键词及情感倾向词过滤记录；敏感词处理模块，用于依据分词处理模块的敏感词，对关键词及情感倾向词处理模块过滤后的网页文本数据进行过滤；聚类分析模块，用于将敏感词处理模块过滤后的网页文本数据，按照网页所属类别和关键词进行自动聚类分析出论坛言论数据；

所述舆情服务模块包括：内容预警模块，从论坛言论数据分析出带有负面信息的言论；热点分析模块，采用数据挖掘技术，按照舆情处理模块分析出的关键词，从论坛言论数据分析出热点话题；

所述管理控制模块包括：任务管理模块，用于给用户提供舆情服务模块中各模块处理的结果；

用户管理模块，用于设置系统各模块的参数。

2.根据权利要求1所述的网络舆情监控系统，其特征在于：所述舆情服务模块还包括舆情简报模块，用于对内容预警模块分析出的带有负面信息的言论，和热点分析模块分析出的热点话题进行统计分析，获取舆情简报。

3.根据权利要求1所述的网络舆情监控系统，其特征在于：所述舆情服务模块还包括舆情检索模块，用于为用户提供论坛信息查询。

4.根据权利要求2所述的网络舆情监控系统，其特征在于：所述舆情服务模块还包括舆情检索模块，用于为用户提供论坛信息查询。

5.根据权利要求1所述的网络舆情监控系统实现网络舆情监控的方法，其特征在于，包括以下步骤：

(1)舆情采集模块根据采集策略采集论坛网页数据，提取网页文本数据；

(2)分词处理模块根据从词库调用关键词、敏感词及情感倾向词，从网页文本数据分析出关键词、敏感词及情感倾向词；

(3)关键词处理模块依据分词处理模块分析出关键词及情感倾向词对网页文本数据进行过滤，存储关键词及情感倾向词过滤记录；

(4)敏感词处理模块依据分词处理模块的敏感词，对关键词及情感倾向词处理模块过滤后的网页文本数据进行过滤；

(5)聚类分析模块将敏感词处理模块过滤后的网页文本数据，按照网页所属类别和关键词进行自动聚类分析出论坛言论数据；

(6)内容预警模块从论坛言论数据分析出带有负面信息的言论；

(7)热点分析模块采用数据挖掘技术，按照舆情处理模块分析出的关键词，从论坛言论数据分析出热点话题。

6.根据权利要求5所述的网络舆情监控系统实现网络舆情监控的方法，其特征在于：在步骤(6)分析出带有负面信息的言论和步骤(7)分析出热点话题之后，由舆情简报模块对负面信息的言论，和热点分析模块分析出的热点话题进行统计分析，获取舆情简报。

7.根据权利要求5所述的网络舆情监控系统实现网络舆情监控的方法，其特征在于：步骤(1)所述舆情采集模块根据采集策略采集论坛网页数据，提取网页文本数据，具体采用网络爬虫进行采集和提取。

8.根据权利要求5所述的网络舆情监控系统实现网络舆情监控的方法，其特征在于：步骤(2)所述分词处理模块具体采用中文分词技术从网页文本数据分析出关键词、敏感词及情感倾向词。

9.根据权利要求5所述的网络舆情监控系统实现网络舆情监控的方法，其特征在于：步骤(7)所述热点分析模块分析出热点话题之后，还针对该话题分析其话题热度、社会影响和情感倾向，并将其与热点话题组成热点话题报告，提供给舆情简报模块。