CN109446465A - 一种教育网络舆情监测及管理系统 - Google Patents

Abstract

本发明公开了一种教育网络舆情监测及管理系统，包括用户登录系统，还包括大数据采集监控系统、大数据处理系统、大数据分析管理系统和采集数据下载单元。该系统的网站前后端分离，后端只提供接口，安全性和运行效率相对较高，同时采用Python的Django开发数据库驱动的网站，容易实现代码复用，根据需要添加组件服务于整个网络已成形的框架，易于测试，且具有很强的可扩展性，而且采集数据具有全面性，且实时更新，对于采集的数据可以进行对比、分析、筛选，整理成一套具有真实性的数据信息，并且运用Django语言转换单元可以方便各种水平的读者和开发者的查阅，进一步提高了该系统的迭代性、可研究性及扩展性。

Description

一种教育网络舆情监测及管理系统

技术领域

本发明涉及互联网舆情监测与分析技术领域，具体是一种教育网络舆情监测及管理系统。

背景技术

目前互联网舆情监测与分析领域已经有多款相关产品。与本款产品较为类似的产品包括清博舆情系统、邦富舆情系统等。

清博舆情系统是一款针对全网的舆情信息抓取和分析的开放系统，其功能包括抓取舆情信息展示，舆情走势、平台占比、情感倾向等分析，传播路径分析、方案对比分析及舆情简报制作等。

邦富舆情系统同样针对全网数据抓取，但主要是对公的一款私人定制化的舆情软件。邦富舆情系统包括舆情走势、平台信息占比、情感倾向等分析功能，其实现的功能相对较少，但数据抓取和分析的精确度较高。

但是现有的互联网舆情监测与分析系统存在以下缺陷：1、中文自然语言较为复杂，当前各家舆情系统抓取的精确度不高；2、目前舆情系统多是无差别的综合性舆情系统，针对特定领域的舆情系统较少；3、突破反爬虫技术手段还不成熟；4、各个舆情系统较为模式化，用户可以进行的拓展性不高；因此，本领域技术人员提供了一种教育网络舆情监测及管理系统，以解决上述背景技术中提出的问题。

发明内容

本发明的目的在于提供一种教育网络舆情监测及管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种教育网络舆情监测及管理系统，包括用户登录系统，还包括大数据采集监控系统、大数据处理系统、大数据分析管理系统和采集数据下载单元，所述用户登录系统用于对用户信息进行实名认证、登录，所述大数据采集监控系统全网全域数据进行采集，包括海外数据，所述大数据处理系统是对针对大数据采集监控系统采集的数据进行整理、处理，所述大数据分析管理系统是对大数据处理系统整理的数据进行统计和分析，所述采集数据下载单元是便于用户对大数据采集监控系统内的文档资源进行下载；

所述用户登录系统包括用户注册模块、软件登录模块和身份验证模块，所述软件登录模块采用微博、微信、客户端或网页中的一种，所述身份验证模块采用身份证或有效证件号中的一种或两种；

所述大数据采集监控系统包括网络数据采集单元、数据语言处理单元、数据重复删除单元、文档数据库，所述数据语言处理单元是对采集数据的文字语言进行处理，所述数据重复删除单元是对采集数据进行对比分析，再对重复性数据进行删除整理，所述文档数据库用于存储分析整理后的采集数据，所述文档数据库是采用Python的Django开发数据库；

所述采集数据下载单元包括文档格式转化模块和数据识别下载模块，所述文档格式转化模块是对文档数据库内的数据文档进行格式转换，所述数据识别下载模块是利用JS自动识别判断、下载。

作为本发明进一步的方案：所述网络数据采集单元所采集的数据源主要有两种，一是通过指定范围的网站、平台对其进行抓取采集，另一种是通过第三方入口进行全网的数据进行实时采集监控。

作为本发明再进一步的方案：所述大数据处理系统包括采集数据整理单元、采集数据聚类单元、数据智能处理单元，所述采集数据整理单元是对大数据采集监控系统采集分析后的数据进行整理、处理，所述采集数据聚类单元是对采集整理数据进行聚类、归纳，所述数据智能处理单元是对聚类、归纳数据进行分析、整理。

作为本发明再进一步的方案：所述大数据分析管理系统包括采集数据统计单元、数据统计分析单元、Django语言转换单元、数据分析显示单元，所述采集数据统计单元是对采集处理后的数据进行统计，所述数据统计分析单元是对采集统计后的数据进行分析、对比，所述Django语言转换单元是便于各种水平的读者和开发者的查阅，所述数据分析显示单元是对采集统计、分析后的数据进行显示。

作为本发明再进一步的方案：所述数据语言处理单元包括对全文标引、全文分词、词性自动识别、对象识别、结构化、相似度分析与去重、自动生成摘要和关键词等多项进行中文语言处理。

作为本发明再进一步的方案：所述采集数据聚类单元包括情感分析、共现分析、倾向分析、频度分析、相似分析和相关分析。

作为本发明再进一步的方案：所述数据智能处理单元包括中文分词、自然语言处理、中文信息处理、自动对信息进行智能处理，关键词提取与聚类统计、语言分析语情感研判和相似性判断。

作为本发明再进一步的方案：所述数据分析显示单元显示内容包括热点聚焦、热点话题、热点事件和热点人物。

与现有技术相比，本发明的有益效果是：本发明设计了一种教育网络舆情监测及管理系统，在实际使用时，该系统的网站前后端分离，后端只提供接口，安全性和运行效率相对较高，同时采用Python的Django开发数据库驱动的网站，容易实现代码复用，根据需要添加组件服务于整个网络已成形的框架，易于测试，且具有很强的可扩展性，而且采集数据具有全面性，且实时更新，对于采集的数据可以进行对比、分析、筛选，整理成一套具有真实性的数据信息，并且运用Django语言转换单元可以方便各种水平的读者和开发者的查阅，进一步提高了该系统的迭代性、可研究性及扩展性。

附图说明

图1为一种教育网络舆情监测及管理系统的流程框图；

图2为一种教育网络舆情监测及管理系统中数据语言处理单元的框架图；

图3为一种教育网络舆情监测及管理系统中采集数据聚类单元的构架图；

图4为一种教育网络舆情监测及管理系统中数据智能处理单元的构件图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～4，本发明实施例中，一种教育网络舆情监测及管理系统，包括用户登录系统，还包括大数据采集监控系统、大数据处理系统、大数据分析管理系统和采集数据下载单元，用户登录系统用于对用户信息进行实名认证、登录，大数据采集监控系统全网全域数据进行采集，包括海外数据，大数据处理系统是对针对大数据采集监控系统采集的数据进行整理、处理，大数据分析管理系统是对大数据处理系统整理的数据进行统计和分析，采集数据下载单元是便于用户对大数据采集监控系统内的文档资源进行下载；

用户登录系统包括用户注册模块、软件登录模块和身份验证模块，软件登录模块采用微博、微信、客户端或网页中的一种，身份验证模块采用身份证或有效证件号中的一种或两种；

大数据采集监控系统包括网络数据采集单元、数据语言处理单元、数据重复删除单元、文档数据库，数据语言处理单元是对采集数据的文字语言进行处理，数据重复删除单元是对采集数据进行对比分析，再对重复性数据进行删除整理，文档数据库用于存储分析整理后的采集数据，所述文档数据库是采用Python的Django开发数据库；

采集数据下载单元包括文档格式转化模块和数据识别下载模块，文档格式转化模块是对文档数据库内的数据文档进行格式转换，数据识别下载模块是利用JS自动识别判断、下载。

进一步的，网络数据采集单元所采集的数据源主要有两种，一是通过指定范围的网站、平台对其进行抓取采集，另一种是通过第三方入口进行全网的数据进行实时采集监控。

再进一步的，数据语言处理单元包括对全文标引、全文分词、词性自动识别、对象识别、结构化、相似度分析与去重、自动生成摘要和关键词等多项进行中文语言处理。

再进一步的，大数据处理系统包括采集数据整理单元、采集数据聚类单元、数据智能处理单元，采集数据整理单元是对大数据采集监控系统采集分析后的数据进行整理、处理，采集数据聚类单元是对采集整理数据进行聚类、归纳，且采集数据聚类单元包括情感分析、共现分析、倾向分析、频度分析、相似分析和相关分析，数据智能处理单元是对聚类、归纳数据进行分析、整理，且数据智能处理单元包括中文分词、自然语言处理、中文信息处理、自动对信息进行智能处理，关键词提取与聚类统计、语言分析语情感研判和相似性判断。

再进一步的，大数据分析管理系统包括采集数据统计单元、数据统计分析单元、Django语言转换单元、数据分析显示单元，采集数据统计单元是对采集处理后的数据进行统计，数据统计分析单元是对采集统计后的数据进行分析、对比，Django语言转换单元是便于各种水平的读者和开发者的查阅，数据分析显示单元是对采集统计、分析后的数据进行显示，且数据分析显示单元显示内容包括热点聚焦、热点话题、热点事件和热点人物。

综上所述，通过大数据采集监控系统中的网络数据采集单元向全网全域数据进行采集，包括海外数据，采集数据源主要有两种，一是通过指定范围的网站、平台对其进行抓取采集，另一种是通过第三方入口进行全网的数据进行实时采集监控，在数据采集过程中，包含了对于正文内容的全文标引、全文分词、词性自动识别、对象识别、结构化、相似度分析与去重、自动生成摘要和关键词等多项中文语言处理技术，此外，大数据采集监控系统中的采集数据下载单元还能够针对网页中文档数据库内的图片、视频，文档资源文件进行采集下载，具有生成网页图片和快照、实现网站自动登录、利用代理服务器下载、JS自动识别判断、分布式采集等多项功能，在大数据采集监控系统中采用数百个网站的模版，使得用户的配置过程相当简便，实现数据信息的采集、分析、整理、浏览、下载的功能，并且大数据采集监控系统的前后端分离，前端只供用户进入查阅、下载，后端只提供接口，便于采集全网的数据信息，安全性和运行效率相对较高。

再通过大数据处理系统对大数据采集监控系统采集的数据进行整理、处理，通过自然语言理解、内容挖掘、聚类分类、社交网络技术等进行智能分析、自动排重、分类、摘要、聚合，然后对其进行整理，通过可视化报表呈现热点聚焦、热点话题、事件和人物等，并通过指数模型，最终形成各类热点指数。

大数据分析管理系统主要包含对舆情内容、数量的统计、平台分布统计、低于分布、时间趋势统计、发布账号统计等，通过可视化图表形式呈现，通过数据统计分析单元利用自动聚类、社会网络、内容挖掘等对采集数据进行智能分析、自动排重、主题抽取、情感计算、对象识别、分类、摘要、聚合，进而形成热点聚焦、热点话题、事件和人物、传播效果、推演与预测等，再通过Django语言转换单元进行文字语言转换，便于各种水平的读者和开发者的查阅，最后通过数据分析显示单元呈现出来，进一步的提高了该系统的迭代性、可研究性及扩展性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种教育网络舆情监测及管理系统，包括用户登录系统，其特征在于，还包括大数据采集监控系统、大数据处理系统、大数据分析管理系统和采集数据下载单元，所述用户登录系统用于对用户信息进行实名认证、登录，所述大数据采集监控系统全网全域数据进行采集，包括海外数据，所述大数据处理系统是对针对大数据采集监控系统采集的数据进行整理、处理，所述大数据分析管理系统是对大数据处理系统整理的数据进行统计和分析，所述采集数据下载单元是便于用户对大数据采集监控系统内的文档资源进行下载；

所述用户登录系统包括用户注册模块、软件登录模块和身份验证模块，所述软件登录模块采用微博、微信、客户端或网页中的一种，所述身份验证模块采用身份证或有效证件号中的一种或两种；

所述大数据采集监控系统包括网络数据采集单元、数据语言处理单元、数据重复删除单元、文档数据库，所述数据语言处理单元是对采集数据的文字语言进行处理，所述数据重复删除单元是对采集数据进行对比分析，再对重复性数据进行删除整理，所述文档数据库用于存储分析整理后的采集数据，所述文档数据库是采用Python的Django开发数据库；

所述采集数据下载单元包括文档格式转化模块和数据识别下载模块，所述文档格式转化模块是对文档数据库内的数据文档进行格式转换，所述数据识别下载模块是利用JS自动识别判断、下载。

2.根据权利要求1所述的一种教育网络舆情监测及管理系统，其特征在于，所述网络数据采集单元所采集的数据源主要有两种，一是通过指定范围的网站、平台对其进行抓取采集，另一种是通过第三方入口进行全网的数据进行实时采集监控。

3.根据权利要求1所述的一种教育网络舆情监测及管理系统，其特征在于，所述大数据处理系统包括采集数据整理单元、采集数据聚类单元、数据智能处理单元，所述采集数据整理单元是对大数据采集监控系统采集分析后的数据进行整理、处理，所述采集数据聚类单元是对采集整理数据进行聚类、归纳，所述数据智能处理单元是对聚类、归纳数据进行分析、整理。

4.根据权利要求1所述的一种教育网络舆情监测及管理系统，其特征在于，所述大数据分析管理系统包括采集数据统计单元、数据统计分析单元、Django语言转换单元、数据分析显示单元，所述采集数据统计单元是对采集处理后的数据进行统计，所述数据统计分析单元是对采集统计后的数据进行分析、对比，所述Django语言转换单元是便于各种水平的读者和开发者的查阅，所述数据分析显示单元是对采集统计、分析后的数据进行显示。

5.根据权利要求1所述的一种教育网络舆情监测及管理系统，其特征在于，所述数据语言处理单元包括对全文标引、全文分词、词性自动识别、对象识别、结构化、相似度分析与去重、自动生成摘要和关键词等多项进行中文语言处理。

6.根据权利要求3所述的一种教育网络舆情监测及管理系统，其特征在于，所述采集数据聚类单元包括情感分析、共现分析、倾向分析、频度分析、相似分析和相关分析。

7.根据权利要求3所述的一种教育网络舆情监测及管理系统，其特征在于，所述数据智能处理单元包括中文分词、自然语言处理、中文信息处理、自动对信息进行智能处理，关键词提取与聚类统计、语言分析语情感研判和相似性判断。

8.根据权利要求4所述的一种教育网络舆情监测及管理系统，其特征在于，所述数据分析显示单元显示内容包括热点聚焦、热点话题、热点事件和热点人物。