CN107516279B - 一种网络舆情自动预警的方法 - Google Patents

一种网络舆情自动预警的方法 Download PDF

Info

Publication number
CN107516279B
CN107516279B CN201710698802.8A CN201710698802A CN107516279B CN 107516279 B CN107516279 B CN 107516279B CN 201710698802 A CN201710698802 A CN 201710698802A CN 107516279 B CN107516279 B CN 107516279B
Authority
CN
China
Prior art keywords
early warning
public sentiment
model
event
network public
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710698802.8A
Other languages
English (en)
Other versions
CN107516279A (zh
Inventor
白银鷃
陆峰
于添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aim Shanghai Culture Medium Co ltd
Original Assignee
Aim Shanghai Culture Medium Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aim Shanghai Culture Medium Co ltd filed Critical Aim Shanghai Culture Medium Co ltd
Priority to CN201710698802.8A priority Critical patent/CN107516279B/zh
Publication of CN107516279A publication Critical patent/CN107516279A/zh
Application granted granted Critical
Publication of CN107516279B publication Critical patent/CN107516279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

本发明属于计算机网络预警技术领域，具体涉及一种网络舆情自动预警的方法，包括：S1，应用网络爬虫获取事件的相关网页文本信息；S2，对所述文本信息进行情感分析，并得到情感分析结果，所述情感分析结果包括负面情感；S3，对所述负面情感的事件重点跟踪，建立ARIMA模型对事件的网络舆情进行不断预测，获取动态阈值；S4，对超过所述动态阈值的网络舆情进行预警。根据ARIMA模型对网络舆情进行不断预测，获取动态阈值，根据动态阈值进行预警，相对于固定设置阈值的模型预测，本发明能更准确的反应舆情情况，并能进行自动预警。

Description

一种网络舆情自动预警的方法
技术领域
本发明属于计算机网络预警技术领域，具体涉及一种网络舆情自动预警的方法。
背景技术
随着互联网的发展，互联网络作为社会舆论的工具，具有反映和引导社会舆论的功能。因此一个良好的预警方法是必要的。在舆情危机预警方面，现有的做法是通过对某个突发事件相关主题在不同时间段的访问量、评论量等关注度进行跟踪，之后以舆情分析报告等方式提交给舆情工作者，然后由人工来作预警判断。如：基于Web挖掘的突发事件网络舆情预警研究(现代情报，2014年第2期)，基于AHP-模糊综合分析的移动社交网络舆情预警模型研究(现代情报，2017年第1期)等。
现有的网络预警方法仍需要人工干预，无法实现自动化预警，且现有的网络预警应用的模型采用固定阈值，其预警的准确度还有待提高。
发明内容
针对以上问题的不足，本发明提供了一种网络舆情自动预警的方法，根据ARIMA模型对网络舆情进行不断预测，获取动态阈值，根据动态阈值进行预警，相对于固定设置阈值的模型预测，本发明能更准确的反应舆情情况，并能进行自动预警。
为实现上述目的，本发明提供的一种网络舆情自动预警的方法，包括：
S1，应用网络爬虫获取事件的相关网页文本信息；
S2，对所述文本信息进行情感分析，并得到情感分析结果，所述情感分析结果包括负面情感；
S3，对所述负面情感的事件重点跟踪，建立ARIMA模型对事件的网络舆情进行不断预测，获取动态阈值；
S4，对超过所述动态阈值的网络舆情进行预警。
优选地，所述S3中建立ARIMA模型对事件的网络舆情进行不断的预测的具体方法为：
S31，获取事件的数据，根据所述数据建立ARIMA模型；
S32，所述ARIMA模型开始预测，并计算动态置信区间；
S32，将所述动态置信区间设置为动态阈值，返回步骤S31。
优选地，所述S31中建立ARIMA模型的具体方法为：
对数据进行预处理，得到平稳非白噪声序列；
根据所述平稳非白噪声序列，计算自相关系数和偏相关系数，并初步得到多个初模型；
根据BIC准则来检验每个所述初模型，从多个所述初模型中选出最优模型，此最优模型即为ARIMA模型。
优选地，所述对数据进行预处理的具体方法为：
对所述数据进行序列图检验和单位根检验，得到非平稳序列；
对所述非平稳序列进行差分处理，得到平稳序列；
对所述平稳序列进行白噪声检验，得到平稳非白噪声序列。
6、优选地，所述BIC准则的计算公式为：BIC＝kln(n)-2ln(L)，其中k为模型参数个数，n为样本数量，L为似然函数。
优选地，所述S32中计算置信区间的具体方法为：
将所述数据分为第一样本和第二样本，计算所述第一样本的均值
Figure BDA0001379835500000021
方差s1和样本的大小n1，计算所述第二样本的均值
Figure BDA0001379835500000022
方差s2和样本的大小n2；
计算统计量z，
Figure BDA0001379835500000023
计算置信度为95％的置信区间Pr，
Figure BDA0001379835500000024
其中，α＝1-0.95＝0.05，
Figure BDA0001379835500000031
可通过查t分布临界值表获得。
由上述方案可知，本发明的有益效果为：根据ARIMA模型对网络舆情进行不断预测，产生动态置信区间，将动态置信区间设置为动态阈值，对超过动态阈值的网络舆情进行预警，相对于固定设置阈值的模型预测，本发明能更准确的反应舆情情况，并能进行自动预警。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本实施例中网络舆情自动预警的方法流程图；
图2为本实施例中建立模型对网络舆情进行预测的方法流程图。
具体实施方式
下面将结合附图对本发明的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的产品，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例：
本发明的实施例提供了一种网络舆情自动预警的方法，如图1所示，包括：
S1，应用网络爬虫获取事件的相关网页文本信息；
S2，对所述文本信息进行情感分析，并得到情感分析结果，所述情感分析结果包括负面情感；
S3，对所述负面情感的事件重点跟踪，建立ARIMA模型对事件的网络舆情进行不断预测，获取动态阈值；
S4，对超过所述动态阈值的网络舆情进行预警。
其中，如图2所示，所述S3中建立ARIMA模型对事件的网络舆情进行不断预测的具体方法为：
S31，获取事件的数据，根据所述数据建立ARIMA模型；
S32，所述ARIMA模型开始预测，并计算动态置信区间；
S32，将所述动态置信区间设置为动态阈值，返回步骤S31。
其中，所述S31中建立ARIMA模型的具体方法为：
对数据进行预处理，得到平稳非白噪声序列；
根据所述平稳非白噪声序列，计算自相关系数和偏相关系数，并初步得到多个初模型；
根据BIC准则来检验每个所述初模型，从多个所述初模型中选出最优模型，此最优模型即为ARIMA模型，所述BIC准则的计算公式为：BIC＝kln(n)-2ln(L)，其中k为模型参数个数，n为样本数量，L为似然函数。
其中，所述对数据进行预处理的具体方法为：
对所述数据进行序列图检验和单位根检验，得到非平稳序列；
对所述非平稳序列进行差分处理，得到平稳序列；
对所述平稳序列进行白噪声检验，得到平稳非白噪声序列。
其中，所述S32中计算置信区间的具体方法为：
将所述数据分为第一样本和第二样本，计算所述第一样本的均值
Figure BDA0001379835500000041
方差s1和样本的大小n1，计算所述第二样本的均值
Figure BDA0001379835500000042
方差s2和样本的大小n2；
计算统计量z，
Figure BDA0001379835500000043
计算置信度为95％的置信区间Pr，
Figure BDA0001379835500000044
其中，α＝1-0.95＝0.05，
Figure BDA0001379835500000045
可通过查t分布临界值表获得。
本实施例中的ARIMA模型又称自回归移动平均模型，将预测对象随时问推移而形成的数据序列视为—个随机序列，以时间序列的自相关分析为基础，用一定的数学模型来近似描述这个序列。置信区间是指由样本统计量所构造的总体参数的估计区间，展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，给出的是被测量参数的测量值的可信程度。
本实施例中的序列是将某一指标在不同时间上的观测数值，按时间先后排列而成的数列。这种数列由于受到各种偶然因素的影响，往往表现出某种随机性，彼此之间存在统计上的依赖关系。对序列的分析就是在不需要考虑预测变量的相关因素及其关系的情况下，利用事物发展的延续性，建立模型来预测未来的变化。
网络舆情是由于各种事件的刺激而产生的通过互联网传播的人们对该事件的所有认知、态度、情感和行为倾向的集合，由于网络舆情反映了民情民意，影响着社会发展，存在引发社会问题的风险，因此对网络舆情进行未来舆情进行预警就格外重要，现有的网络舆情预警还需要人工干预，且现有网络舆情预警且应用的模型采用固定阈值，对舆情情况的分析结果不够准确。本实施例利用ARIMA模型，不仅可以进行自动预警，且根据ARIMA模型对网络舆情的不断预测，产生动态置信区间，将动态置信区间设置为动态阈值，对超过动态阈值的网络舆情进行预警，相对于固定设置阈值的模型预测，本发明能更准确的反应舆情情况。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (4)

1.一种网络舆情自动预警的方法，其特征在于，包括：
S1，应用网络爬虫获取事件的相关网页文本信息；
S2，对所述文本信息进行情感分析，并得到情感分析结果，所述情感分析结果包括负面情感；
S3，对所述负面情感的事件重点跟踪，建立ARIMA模型对事件的网络舆情进行不断预测，获取动态阈值；
S4，对超过所述动态阈值的网络舆情进行预警；
所述S3中建立ARIMA模型对事件的网络舆情进行不断的预测的具体方法为：
S31，获取事件的数据，根据所述数据建立ARIMA模型；
S32，所述ARIMA模型开始预测，并计算动态置信区间；
S32，将所述动态置信区间设置为动态阈值，返回步骤S31。
2.根据权利要求1所述的一种网络舆情自动预警的方法，其特征在于，所述S31中建立ARIMA模型的具体方法为：
对数据进行预处理，得到平稳非白噪声序列；
根据所述平稳非白噪声序列，计算自相关系数和偏相关系数，并初步得到多个初模型；
根据BIC准则来检验每个所述初模型，从多个所述初模型中选出最优模型，此最优模型即为ARIMA模型。
3.根据权利要求2所述的一种网络舆情自动预警的方法，其特征在于，所述对数据进行预处理的具体方法为：
对所述数据进行序列图检验和单位根检验，得到非平稳序列；
对所述非平稳序列进行差分处理，得到平稳序列；
对所述平稳序列进行白噪声检验，得到平稳非白噪声序列。
4.根据权利要求2所述的一种网络舆情自动预警的方法，其特征在于，所述BIC准则的计算公式为：BIC＝kln(n)-2ln(L)，其中k为模型参数个数，n为样本数量，L为似然函数。
CN201710698802.8A 2017-08-15 2017-08-15 一种网络舆情自动预警的方法 Active CN107516279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710698802.8A CN107516279B (zh) 2017-08-15 2017-08-15 一种网络舆情自动预警的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710698802.8A CN107516279B (zh) 2017-08-15 2017-08-15 一种网络舆情自动预警的方法

Publications (2)

Publication Number Publication Date
CN107516279A CN107516279A (zh) 2017-12-26
CN107516279B true CN107516279B (zh) 2021-04-20

Family

ID=60723161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710698802.8A Active CN107516279B (zh) 2017-08-15 2017-08-15 一种网络舆情自动预警的方法

Country Status (1)

Country Link
CN (1) CN107516279B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145215B (zh) * 2018-08-29 2023-11-07 中国平安保险(集团)股份有限公司 网络舆情分析方法、装置及存储介质
CN109299258B (zh) * 2018-09-18 2023-07-21 平安科技（深圳）有限公司 一种舆情事件检测方法、装置及设备
CN110457474A (zh) * 2019-07-25 2019-11-15 阿里巴巴集团控股有限公司 舆情预警方法和装置
CN110889556B (zh) * 2019-11-28 2022-08-12 福建亿榕信息技术有限公司 一种企业经营风险特征数据信息提取方法和提取系统
CN112711651A (zh) * 2020-12-30 2021-04-27 上海金仕达软件科技有限公司 一种舆情监测方法及系统
CN113011656B (zh) * 2021-03-22 2022-08-02 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 一种电站辅机故障预警方法及系统
CN113392185B (zh) * 2021-06-10 2023-06-23 中国联合网络通信集团有限公司 舆情预警方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1337913A4 (en) * 2000-11-09 2006-03-22 Spss Inc SYSTEM AND METHOD FOR BUILDING A TIME SERIES MODEL
CN102708153A (zh) * 2012-04-18 2012-10-03 中国信息安全测评中心 自适应在线社交网络热点话题发现预测方法及系统
CN105608200A (zh) * 2015-12-28 2016-05-25 湖南蚁坊软件有限公司 一种网络舆论趋势预测分析方法
CN106599487A (zh) * 2016-12-16 2017-04-26 天津大学 基于arima模型和用户调控的动态方差实时报警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1337913A4 (en) * 2000-11-09 2006-03-22 Spss Inc SYSTEM AND METHOD FOR BUILDING A TIME SERIES MODEL
CN102708153A (zh) * 2012-04-18 2012-10-03 中国信息安全测评中心 自适应在线社交网络热点话题发现预测方法及系统
CN105608200A (zh) * 2015-12-28 2016-05-25 湖南蚁坊软件有限公司 一种网络舆论趋势预测分析方法
CN106599487A (zh) * 2016-12-16 2017-04-26 天津大学 基于arima模型和用户调控的动态方差实时报警方法

Also Published As

Publication number Publication date
CN107516279A (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN107516279B (zh) 一种网络舆情自动预警的方法
CN107153874B (zh) 水质预测方法及系统
CN112596495B (zh) 一种基于知识图谱的工业设备故障诊断方法及系统
RU2672394C1 (ru) Способы и системы для оценки обучающих объектов посредством алгоритма машинного обучения
Wu et al. A prediction method using the grey model GMC (1, n) combined with the grey relational analysis: a case study on Internet access population forecast
CN106354995A (zh) 一种基于拉格朗日插值与时间序列的预测方法
Yu Machine health prognostics using the Bayesian-inference-based probabilistic indication and high-order particle filtering framework
WO2023165006A1 (zh) 基于健康状态指数的工业设备预测性维护方法、装置和电子设备
WO2017071369A1 (zh) 一种预测用户离网的方法和设备
Havrylenko et al. Economic and mathematical modeling of industrial enterprise business model financial efficiency estimation
CA3053894A1 (en) Defect prediction using historical inspection data
CN111950577A (zh) 一种点检方法及装置
CN115062006A (zh) 一种基于关联企业的风险评估方法及系统
CN114201328A (zh) 基于人工智能的故障处理方法、装置、电子设备及介质
Saghir Phase-I design scheme for-chart based on posterior distribution
CN116206764A (zh) 风险分级方法、装置、电子设备及存储介质
CN116151470A (zh) 一种产品质量预测方法、装置、设备及存储介质
CN115375039A (zh) 一种工业设备故障预测方法、装置、电子设备及存储介质
CN113688120A (zh) 数据仓库的质量检测方法、装置和电子设备
CN111523826A (zh) 一种数据采集方法、装置及设备
CN112256974B (zh) 一种舆情信息的处理方法及装置
CN112100367A (zh) 一种景区舆情预警方法及装置
Guo et al. A novel approach to bearing prognostics based on impulse-driven measures, improved morphological filter and practical health indicator construction
CN116631446B (zh) 一种基于言语分析的行为方式分析方法及系统
CN115329148B (zh) 一种基于多重大数据处理的数据筛选整合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant