CN112183067B - 一种大数据环境下网络舆情人工智能分析系统 - Google Patents
一种大数据环境下网络舆情人工智能分析系统 Download PDFInfo
- Publication number
- CN112183067B CN112183067B CN202011005951.XA CN202011005951A CN112183067B CN 112183067 B CN112183067 B CN 112183067B CN 202011005951 A CN202011005951 A CN 202011005951A CN 112183067 B CN112183067 B CN 112183067B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- vector
- data matrix
- generation module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Abstract
本发明提供了一种大数据环境下网络舆情人工智能分析系统,属于网络舆情数据分析技术领域。所述系统包括:输入模块、预处理模块、特征提取模块、第一向量生成模块、第二向量生成模块、第三向量生成模块和输出模块,其中,输入模块输入某话题潜伏期和增长期的第一数据矩阵;预处理模块对第一数据矩阵进行增删改查形成第二数据矩阵;特征提取模块对第二数据矩阵进行特征提取形成第三数据矩阵;第二向量生成模块对第三数据矩阵进行数据判断形成第二数据向量;第三向量生成模块对第二数据向量进行规则提取形成第三数据向量;输出模块对输出第三数据向量以供用户进行参考,所述第三向量至少包括谣言数据和热点数据。本发明提供的分析系统可以将大数据环境下网络舆情分成谣言信息和热点信息,为制定舆情控制决策提供支持。
Description
技术领域:
本发明涉及一种大数据环境下网络舆情人工智能分析系统,属于网络舆情数据分析技术领域。
技术背景:
随着移动宽带互联网的普及,网络舆情在数据体量、复杂性和产生速度等方面发生巨大变化,已经呈现大数据环境。由于网络舆情中大量真实信息、主观猜测、恶意关联、小道消息,而主观猜测、恶意关联和小道消息极易异化成为网络谣言,并促使网络舆情的数量快速增加,已经成为网络空间的“灾害”,如何治理网络谣言,净化网络空间成为网络社会治理的难题。
目前网络舆情的研究涉及新闻学与传播学、统计学、管理学、心理学、计算机科学等多学科,属于交叉学科研究领域,研究网络谣言传播规律建模思想主要有:小世界网络建模、微分方程建模、人群动力学建模、社会网络建模、无标度网络建模、演化博弈建模、借鉴传染病模型等。由于网络谣言的传播与传染病的扩散有相似性,因此国内外针对网络谣言的传播规律研究大都借鉴传染病模型而开发新的模型,这类模型研究主要包括基础模型和改进模型,前者包括SI模型、SIS模型、SIR模型、SEIR模型,后者主要包括SIHR、RSIRa、SCIR、PSEIR等。在理论模块面,按照信息生命周期理论,网络舆情传播演化具备周期性,并且在一个演化周期内可以划分潜伏期、增长期和消退期。
网络谣言与热点舆情具有高度相似性:突然暴发,现有技术中提供的模型很难从舆情信息量的变化中网络谣言与热点舆情有效区分开,给进一步的舆情管控带来不便。
发明内容
为克服现有技术中存在的缺点,本发明的发明目的是提供一种大数据环境下网络舆情人工智能分析系统,其能够区分网络数据是谣言数据还是热点数据。
为实现所述发明目的,本发明提供一种大数据环境下网络舆情人工智能分析系统,其特征在于,包括:输入模块、预处理模块、特征提取模块、第一向量生成模块、第二向量生成模块、第三向量生成模块和输出模块,其中,输入模块输入大数据环境下某话题潜伏期和增长期的第一数据矩阵,第一数据矩阵为:
预处理模块对第一数据矩阵进行增删改形成第二数据矩阵,第二数据矩阵为:
特征提取模块对第二数据矩阵进行特征提取形成第三数据矩阵,第三数据矩阵为:
第一向量生成模块对第三数据矩阵进行处理成第一数据向量,第一数据矩阵向量为:
第二向量生成模块对第一数据向量进行数据判断形成第二数据向量,第二数据向量为:
式中,
第三向量生成模块根据下式输出第三向量,其为:
输出模块用于给建模模块输出第三数据向量以分析网络谣言和网络热点的耦合度,所述第三向量至少包括谣言数据和热点数据,输出模块输出的信号为:
优选地,大数据环境下网络舆情人工智能分析系统还包括时间序列区间设定模块和极大点抽取模块,其中,从极大点抽取模块数据库存储的某话题多个信息来源时间序列抽取多个信息来源中话题出现次数的极大值;时间序列区间设定模块根据极大值从数据库存储的多个信息来源时间序列设定起始点和终止点。
优选地,所述起始点和终止点位于极大值两侧。
与现有技术相比,本发明提供的大数据环境下网络舆情人工智能分析系统能够区分网络数据是谣言数、热点和普通信息。
附图说明
图1是本发明提供大数据环境下网络舆情分析装置的组成框图;
图2是本发明提供的时间序列特征区间的获取过程流程图;
图3是本发明提供的大数据环境下网络舆情某话题出现次数随时间变化的曲线图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,本文所用的术语仅用于描述特定实施例的目的,而并非旨在限制本发明。除非上下文明确指出,否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时,是意图说明存在该特征、整数、步骤、操作、元素和/或组件,而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1是本发明提供的大数据环境下网络舆情分析装置的组成框图。如图1所示,本发明提供的大数据环境下网络舆情预警装置包括处理器1、通信单元2输入输出接口3和存储器4,处理器1可以是各种类型的,包括微控制器和微处理器;通信单元2被配置为便于大数据环境下网络舆情预警装置和其他设备之间有线或无线方式的通信,大数据环境下网络舆情预警装置可以接入基于通信标准的无线网络,如3G、4G、5G或它们的组合,通信单元2还包括蓝牙模块,其为近场通信模块,以促进短程通信。输入输出接口3为处理器和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮、显示器等;存储器4可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM),只读存储器(ROM)、磁存储器、快闪存储器磁盘等。处理器1通过通信单元2通过网络获取数据,并通过通信单元向网络输出数据。存储器4存储有大数据环境下网络舆情预警系统的计算机程序,处理器执行该计算机程序,并通过输入输出接口连接的显示单元生成一个用户界面,大数据环境下网络舆情预警系统包括数据数据获取模块12、时间序列生成模块11、特征区间提取模块13、极大点抽取模块18、人工智能模块14、建模模块15、仿真模块16和计算模块17,其中,数据获取模块12通过通信单元2从网络中输入大数据环境下多个信息来源的数据并提供给时间序列生成模块11,本发明中,数据获取模块12通过爬虫技术从因特网上的网页、博客等中获取对网民对某话题的文档、视频及发布文档、视频的时刻;时间序列生成模块11根据数据获取模块提供的信息对某话题的文档、视频率及发布文档、视频的时刻,形成话题出现次数随时刻变化的时间序列并存储到数据库中;极大点抽取模块18从数据库存储的某话题多个信息来源时间序列抽取多个信息来源中话题出现次数的极大值Q;时间序列区间设定模块13从数据库存储的多个信息来源时间序列设定起始点和终止点,所述起始点和终止点位于极值两侧;人工智能模块对间序列区间设定模块提供的信息进行监测,区别为网络舆情和网络谣言,进而得到网络舆情与网络谣言的时间序列数据;建模模块对网络舆情、网络谣言的监测数据进行回归分析,求模型参数;仿真模块对新加入的数据的进行动态仿真;计算模块计算网络舆情和网络谣言耦合比(CR),预测网络舆情与网络谣言的耦合趋势。
本发明中,网络舆情与网络谣言耦合的机理模型为:
将其变成其对应的差分方程组进行计算:
式中,Δv1(k)=v1(k)-v2(k-1),Δv2(k)=v2(k)-v2(k-1),k=1,2,3......,v1(k),v2(k)分别表示网络舆情和网络谣言的文档、视频出现数。
网络舆情和网络谣言的耦合模型中关键参数是r1,r、μ和h,为研究网络谣言和网络舆情耦合趋势,当t→∞时,v1(t),v2(t)的趋向稳定。令
当h>0时,得到模型平衡点
考虑到网络舆情的单调性,只剩余一个正的平衡点P,且是全局稳定的,据此,可以定义网络谣言和网络舆情的耦合度CR(Coupling Ratio),代表网络谣言融入网络舆情后,网络舆情数量的激增程度。定义
图2是本发明提供的时间序列区间设定模块的工作流程图,如图2所示,首先,数据获取模块12利用包含网民关注语言在网页、微博等中进行检索,将检索的文档、视频等输入到时间序列数据生成模块11。时间序列数据生成模块11根据数据获取模块12提供的信息处理某话题的多个评论文档、视频及发布评论的时刻,形成多个信息来源某话题出现次数随时刻变化的时间序列数据并存储到数据库中,具体而言,时间序列数据生成模块11根据各文档、音视频的时间信息,按每单位时间求出包含检测略的文档的出现数,生成图3所示的曲线图。接着,极大值抽取模块18抽取多个信息来源中的某话题出现次数的最大值或者变变化率的极大值,并将出现极值点的时刻Q提供给特征区间抽取模块13,如图3Q时刻提供给特征区间抽取模块;特征区间抽取模块13根据极大值抽取模块18提供的信息从关于该话题的文档数据库中抽取信息源的时间序列数据而后提供给人工智能模块14,该时间序列的时间段的起始点设置在Q时刻过去侧,始点设置在Q时刻的将来侧,即起始点和终点设置在Q时刻两侧。
本发明提供的大数据环境下网络舆情人工智能分析系统包括:输入模块、预处理模块、特征提取模块、第一向量生成模块、第二向量生成模块、第三向量生成模块和输出模块,其中,
输入模块输入大数据环境下潜伏期和增长期的第一数据矩阵,第一数据矩阵
预处理模块对第一数据矩阵进行增删改形成第二数据矩阵,第二数据矩阵为:
其中,N2、M2分别为第二数据矩阵的列数和行数,表示第m2列,第n2行个数据;为权值,其与每个信息来源的可信度相关,由反馈训练模块根据输出模块的结果进行反复训练得到。本发明中,N2为第二数据矩阵的列数,如果在第一数据矩阵上增加数据,则N2比N1大,如果在第一数据矩阵上删除数据,则N2比N1小,如果在第一数据矩阵上修改数据,则N2与N1相同。
特征提取模块对第二数据矩阵进行特征提取形成第三数据矩阵,第三数据矩阵为:
第一向量生成模块对第三数据矩阵进行处理成第一数据向量,第一数据矩阵向量为:
第二向量生成模块对第一数据向量进行数据判断形成第二数据向量,第二数据向量为:
式中,
输出模块用于给建模模块输出第三数据向量以分析网络谣言和网络热点的耦合度,所述第三向量至少包括谣言数据和热点数据,输出模块输出的信号为:
本发明在定性分析网络舆情和网络谣言的耦合机理基础上,构建微分方程模型研究网络谣言对网络舆情的影响程度,并通过回归分析和模拟仿真研究网络舆情和网络谣言耦合趋势预测问题,以期为政府治理网络谣言,净化网络空间提供参考依据。
以上结合附图,详细说明了本发明的工作原理。但是本领域的普通技术人员应当明白,说明书仅是用于解释权利要求书。但本发明的保护范围并不局限于说明书。任何熟悉本技术领域的技术人员在本发明批露的技术范围内,可轻易想到的变化或者替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (3)
1.一种大数据环境下网络舆情人工智能分析系统,其特征在于,包括:输入模块、预处理模块、特征提取模块、第一向量生成模块、第二向量生成模块、第三向量生成模块和输出模块,其中,输入模块输入大数据环境下某话题潜伏期和增长期的第一数据矩阵,第一数据矩阵为:
预处理模块对第一数据矩阵进行增删改形成第二数据矩阵,第二数据矩阵为:
特征提取模块对第二数据矩阵进行特征提取形成第三数据矩阵,第三数据矩阵为:
第一向量生成模块对第三数据矩阵进行处理成第一数据向量,第一数据矩阵向量为:
第二向量生成模块对第一数据向量进行数据判断形成第二数据向量,第二数据向量为:
第三向量生成模块根据下式生成第三数据向量:
输出模块用于给建模模块输出第三数据向量以分析网络谣言和网络热点的耦合度,所述第三向量至少包括谣言数据和热点数据,输出模块输出的信号为:
2.根据权利要求1所述大数据环境下网络舆情人工智能分析系统,其特征在于,还包括时间序列区间设定模块和极大点抽取模块,其中,从极大点抽取模块数据库存储的某话题多个信息来源时间序列抽取多个信息来源中话题出现次数的极大值;时间序列区间设定模块根据极大值从数据库存储的多个信息来源时间序列设定起始点和终止点。
3.根据权利要求2所述大数据环境下网络舆情人工智能分析系统,其特征在于,所述起始点和终止点位于极大值两侧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011005951.XA CN112183067B (zh) | 2020-09-23 | 2020-09-23 | 一种大数据环境下网络舆情人工智能分析系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011005951.XA CN112183067B (zh) | 2020-09-23 | 2020-09-23 | 一种大数据环境下网络舆情人工智能分析系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112183067A CN112183067A (zh) | 2021-01-05 |
CN112183067B true CN112183067B (zh) | 2022-05-27 |
Family
ID=73956470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011005951.XA Active CN112183067B (zh) | 2020-09-23 | 2020-09-23 | 一种大数据环境下网络舆情人工智能分析系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112183067B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150432A (zh) * | 2013-03-07 | 2013-06-12 | 宁波成电泰克电子信息技术发展有限公司 | 一种网络舆情分析方法 |
CN105335352A (zh) * | 2015-11-30 | 2016-02-17 | 武汉大学 | 基于微博情感的实体识别方法 |
CN106980692A (zh) * | 2016-05-30 | 2017-07-25 | 国家计算机网络与信息安全管理中心 | 一种基于微博特定事件的影响力计算方法 |
CN108776671A (zh) * | 2018-05-12 | 2018-11-09 | 苏州华必讯信息科技有限公司 | 一种网络舆情监控系统及方法 |
CN110795641A (zh) * | 2019-11-05 | 2020-02-14 | 重庆邮电大学 | 基于表示学习的网络谣言传播控制方法 |
CN111611464A (zh) * | 2020-05-22 | 2020-09-01 | 河南智慧云大数据有限公司 | 一种基于大数据的舆情监测平台 |
-
2020
- 2020-09-23 CN CN202011005951.XA patent/CN112183067B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150432A (zh) * | 2013-03-07 | 2013-06-12 | 宁波成电泰克电子信息技术发展有限公司 | 一种网络舆情分析方法 |
CN105335352A (zh) * | 2015-11-30 | 2016-02-17 | 武汉大学 | 基于微博情感的实体识别方法 |
CN106980692A (zh) * | 2016-05-30 | 2017-07-25 | 国家计算机网络与信息安全管理中心 | 一种基于微博特定事件的影响力计算方法 |
CN108776671A (zh) * | 2018-05-12 | 2018-11-09 | 苏州华必讯信息科技有限公司 | 一种网络舆情监控系统及方法 |
CN110795641A (zh) * | 2019-11-05 | 2020-02-14 | 重庆邮电大学 | 基于表示学习的网络谣言传播控制方法 |
CN111611464A (zh) * | 2020-05-22 | 2020-09-01 | 河南智慧云大数据有限公司 | 一种基于大数据的舆情监测平台 |
Also Published As
Publication number | Publication date |
---|---|
CN112183067A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106980692B (zh) | 一种基于微博特定事件的影响力计算方法 | |
CN106776841B (zh) | 一种互联网舆情事件传播指数的获取方法和系统 | |
US8843429B2 (en) | Action prediction and identification of user behavior | |
Dehghani et al. | Analyzing political rhetoric in conservative and liberal weblogs related to the construction of the “ground zero mosque” | |
US20090327913A1 (en) | Using web revisitation patterns to support web interaction | |
CN102262681B (zh) | 一种博客信息传播中识别关键博客集的方法 | |
Hu et al. | Predicting depression of social media user on different observation windows | |
CN106548255A (zh) | 一种基于海量用户行为的商品推荐方法 | |
CN103646092A (zh) | 基于用户参与的搜索引擎排序方法 | |
CN103714084A (zh) | 推荐信息的方法和装置 | |
CN103399891A (zh) | 网络内容自动推荐方法、装置和系统 | |
Kumaravel et al. | Web portal visits patterns predicted by intuitionistic fuzzy approach | |
CN113282841B (zh) | 基于建模的公众话题传播评估方法及系统 | |
JP2013061756A (ja) | 情報処理システム、情報処理方法、プログラム及び情報記憶媒体 | |
WO2013082718A1 (en) | System and method for performing analysis on information, such as social media | |
Li et al. | Lifecycle research of social media rumor refutation effectiveness based on machine learning and visualization technology | |
CN108805311A (zh) | 农产品的价格预测方法和系统 | |
Wu et al. | Modeling dynamic multi-topic discussions in online forums | |
CN106649714B (zh) | 针对数据不均匀及数据稀疏的topN推荐系统及方法 | |
Dai et al. | ICS-SVM: A user retweet prediction method for hot topics based on improved SVM | |
Liang et al. | Mobile application rating prediction via feature-oriented matrix factorization | |
CN112183067B (zh) | 一种大数据环境下网络舆情人工智能分析系统 | |
Feng et al. | Analysis of the attention to COVID-19 epidemic based on visibility graph network | |
Zeng et al. | A framework for WWW user activity analysis based on user interest | |
Santos-Neto et al. | Tracking user attention in collaborative tagging communities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |