CN115935073A - 基于人工智能交叉验证的舆情分析方法及系统 - Google Patents
基于人工智能交叉验证的舆情分析方法及系统 Download PDFInfo
- Publication number
- CN115935073A CN115935073A CN202310018161.2A CN202310018161A CN115935073A CN 115935073 A CN115935073 A CN 115935073A CN 202310018161 A CN202310018161 A CN 202310018161A CN 115935073 A CN115935073 A CN 115935073A
- Authority
- CN
- China
- Prior art keywords
- public opinion
- module
- data
- public
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于人工智能交叉验证的舆情分析方法及系统,具体包括以下步骤:S1、历史研究;S2、交叉验证;S3、舆情监控;S4、对比分析;本发明涉及数据分析技术领域。该基于人工智能交叉验证的舆情分析方法及系统,通过对历史发生的舆情事件相关数据进行采集,并进行阶段性分类,实现对历史发生舆情事件的分段表述,配合事件序列交叉验证对预测模型进行训练,获取高精准性的阶段性演变预测模型,在感兴趣舆情相关数据的采集后,获取感兴趣舆情的阶段性演变预测,实现舆情的阶段性演变预测,达到前瞻性判断的目的,配合与感兴趣舆情贴近历史舆情事件的获取,提供参照的同时,为感兴趣舆情的发展提供有效控制手段。
Description
技术领域
本发明涉及数据分析技术领域,具体为基于人工智能交叉验证的舆情分析方法及系统。
背景技术
舆情是舆论情况的简称,是指在一定的社会空间内,围绕中介性社会事件的发生、发展和变化,作为主体的民众对作为客体的社会管理者、企业、个人及其他各类组织及其社会、道德等方面的取向产生和持有的社会态度,它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。
舆情的正向引导,可以在社会上引起更好的积极效果,针对于舆情的发展,往往是通过网络数据的采集来进行判断,其中缺乏有效的舆情发展预测,不利于舆情的正向引导,如申请号为202010743881.1所述基于深度学习的网络舆情信息源影响力评估方法及系统,其通过对舆情信息源的评估,来提高舆情信息搜索的精准度,从而更好的对舆情的影响力进行判断。
基于对上述资料的检索,可以看出现有技术中通过对舆情的影响力进行判断时,是针对于已经发生的舆情事件进行判断,属于事后判断,由于缺乏舆情的发展预测,无法实现事前判断,导致舆情的发展缺乏前瞻性判断,不利于负面舆情的提前控制。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了基于人工智能交叉验证的舆情分析方法及系统,解决了缺乏对舆情进行前瞻性判断的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:基于人工智能交叉验证的舆情分析方法,具体包括以下步骤:
S1、历史研究:对历史发生的舆情事件进行分类,并针对舆情事件进行阶段性标记,其中阶段性包括但不限于引发期、酝酿期、发生期、发展期、高潮期、处理期、平息期和反馈期,采集舆情事件包括互联网浏览量及其增长率、引发支链数量及其增长率的相关结构化数据,按照时间顺序进行标记后,进行存储;
S2、交叉验证:对S1中存储的结构化数据进行整理,获取数据集,构建预测模型,利用时间序列交叉验证和数据集对预测模型进行训练测试,具体的,选择数据时间标记靠前的数据作为训练集,将时间标记靠后的数据作为验证集,将训练集导入到预测模型中,获取结果后,与验证集进行对比,对阶段性演变精准性进行判断,优化后得到训练后的预测模型;
S3、舆情监控:对互联网进行感兴趣舆情监控,获取带有时间标记的舆情结构化数据,导入到S2中训练后的预测模型中,输出阶段性预测结果;
S4、对比分析:根据S3的阶段性预测结果,与S1中存储的历史发生的舆情时间进行相似度对比,获取历史参照。
通过采用上述技术方案,对历史发生的舆情事件相关数据进行采集,并进行阶段性分类,实现对历史发生舆情事件的分段表述,配合事件序列交叉验证对预测模型进行训练,获取高精准性的阶段性演变预测模型,在感兴趣舆情相关数据的采集后,按照时间顺序进行整理,获取感兴趣舆情的阶段性演变预测,实现舆情的阶段性演变预测,达到前瞻性判断的目的,为舆情的控制提供有效控制时间。
本发明还公开了基于人工智能交叉验证的舆情分析系统,包括舆情分析平台,所述舆情分析平台包括历史研究单元、交叉验证单元、舆情监控单元和对比分析单元,其中历史研究单元用于采集历史舆情数据,并进行相关结构化数据的存储,所述历史研究单元与交叉验证单元对接,所述交叉验证单元用于构建预测模型,并通过时间序列交叉验证对预测模型进行训练,所述交叉验证单元与舆情监控单元对接,所述舆情监控单元用于监控并采集感兴趣舆情数据,并利用预测模型进行阶段性预测,所述舆情监控单元与对比分析单元对接,所述对比分析单元用于根据阶段性预测结构,与历史发生的舆情时间进行相似度对比,获取历史参照。
本发明进一步设置为:所述历史研究单元包括历史舆情分类模块、舆情收集模块和结构化数据存储模块,所述历史舆情分类模块与舆情收集模块对接,所述舆情收集模块与结构化数据存储模块对接。
本发明进一步设置为:所述历史舆情分类模块用于针对历史发生的舆情事件进行分类,并针对不同分类的舆情事件进行阶段分类;
所述舆情收集模块用于采集舆情事件相关结构化数据;
所述结构化数据存储模块用于将采集的相关结构化数据代入到阶段分类中进行存储,获取结构化数据。
通过采用上述技术方案,对历史发生的舆情事件进行整理,具有充足的时间获取更为全面的数据资料,从而为预测模型的训练提供全面有效的数据集,为预测模型的高精度结果的输出提供更为可靠的保障。
本发明进一步设置为:所述交叉验证单元包括时间序列数据整理模块、演变模型构建模块和训练测试模块,所述时间序列数据整理模块与演变模型构建模块对接,所述演变模型构建模块与训练测试模块对接。
本发明进一步设置为:所述时间序列数据整理模块用于对历史研究单元中存储的结构化数据按照时间顺序进行排序;
所述演变模型构建模块用于构建预测模型,并根据训练结果对预测模型进行优化调整;
所述训练测试模块用于选择数据时间标记靠前的数据作为训练集,将时间标记靠后的数据作为验证集,将训练集导入到预测模型中,获取结果后,与验证集进行对比,对阶段性演变精准性进行判断,其中按照时间顺序进行数据整理的参照条件为:在不同时间点收集的数据,由于数据点是在相邻时间段收集的,因此观测值之间可能存在相关性。
本发明进一步设置为:所述舆情监控单元包括数据采集模块、时序归纳模块和测试推演模块;
所述数据采集模块用于对互联网进行感兴趣舆情监控,在出现感兴趣舆情时,采集带有时间标记的相关舆情数据;
所述时序归纳模块用于按照时间标记对采集的相关舆情数据进行排序整理;
所述测试推演模块用于将时序归纳模块整理的数据导入到预测模型中,获取舆情发展预测结果。
本发明进一步设置为:所述对比分析单元包括演变对比模块和处理分析模块;
所述演变对比模块用于设定相似度对比标准,将舆情发展预测结果和舆情数据变化与历史舆情事件进行对比后,筛选出超出相似对比标准的历史舆情实践作为历史参照;
所述处理分析模块用于根据历史参照对应的历史舆情事件进行资料检索,作为舆情辅助分析资料。
通过采用上述技术方案,通过相似度对比标准的设定,将感兴趣舆情的数据变化与历史舆情事件进行对比,获取与感兴趣舆情贴近的历史舆情事件,不仅可以更好的进行感兴趣舆情后续发展的参照,还可以根据历史舆情事件的控制方式来为感兴趣舆情的发展提供有效控制手段。
(三)有益效果
本发明提供了基于人工智能交叉验证的舆情分析方法及系统。具备以下
有益效果:
(1)本发明通过对历史发生的舆情事件相关数据进行采集,并进行阶段性分类,实现对历史发生舆情事件的分段表述,配合事件序列交叉验证对预测模型进行训练,获取高精准性的阶段性演变预测模型,在感兴趣舆情相关数据的采集后,按照时间顺序进行整理,获取感兴趣舆情的阶段性演变预测,实现舆情的阶段性演变预测,达到前瞻性判断的目的,为舆情的控制提供有效控制时间。
(2)本发明通过对历史发生的舆情事件进行整理,具有充足的时间获取更为全面的数据资料,从而为预测模型的训练提供全面有效的数据集,为预测模型的高精度结果的输出提供更为可靠的保障。
(3)本发明通过相似度对比标准的设定,将感兴趣舆情的数据变化与历史舆情事件进行对比,获取与感兴趣舆情贴近的历史舆情事件,不仅可以更好的进行感兴趣舆情后续发展的参照,还可以根据历史舆情事件的控制方式来为感兴趣舆情的发展提供有效控制手段。
附图说明
图1为本发明的流程示意图;
图2为本发明的系统原理框图;
图3为本发明历史研究单元的系统原理框图;
图4为本发明交叉验证单元的系统原理框图;
图5为本发明舆情监控单元的系统原理框图;
图6为本发明对比分析单元的系统原理框图;
图中,1、舆情分析平台;2、历史研究单元;3、交叉验证单元;4、舆情监控单元;5、对比分析单元;6、历史舆情分类模块;7、舆情收集模块;8、结构化数据存储模块;9、时间序列数据整理模块;10、演变模型构建模块;11、训练测试模块;12、数据采集模块;13、时序归纳模块;14、测试推演模块;15、演变对比模块;16、处理分析模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1-6,本发明实施例提供以下技术方案:基于人工智能交叉验证的舆情分析系统,如附图2所示,包括由历史研究单元2、交叉验证单元3、舆情监控单元4和对比分析单元5构成的舆情分析平台1。
作为优选方案,为了提供更为精细全面的数据集,其中历史研究单元2用于采集历史舆情数据,并进行相关结构化数据的存储,具体的,如附图3所示,历史研究单元2包括历史舆情分类模块6、舆情收集模块7和结构化数据存储模块8,历史舆情分类模块6用于针对历史发生的舆情事件进行分类,并针对不同分类的舆情事件进行阶段分类;
历史舆情分类模块6与舆情收集模块7对接,舆情收集模块7用于采集舆情事件相关结构化数据;
舆情收集模块7与结构化数据存储模块8对接,结构化数据存储模块8用于将采集的相关结构化数据代入到阶段分类中进行存储,获取结构化数据。
作为优选方案,为了获取高精度判断的预测模型,历史研究单元2与交叉验证单元3对接,交叉验证单元3用于构建预测模型,并通过时间序列交叉验证对预测模型进行训练,具体的,如附图4所示,交叉验证单元3包括时间序列数据整理模块9、演变模型构建模块10和训练测试模块11,时间序列数据整理模块9用于对历史研究单元2中存储的结构化数据按照时间顺序进行排序;
时间序列数据整理模块9与演变模型构建模块10对接,演变模型构建模块10用于构建预测模型,并根据训练结果对预测模型进行优化调整,其中预测模型优选反向传播神经网络;
演变模型构建模块10与训练测试模块11对接,训练测试模块11用于选择数据时间标记靠前的数据作为训练集,将时间标记靠后的数据作为验证集,将训练集导入到预测模型中,获取结果后,与验证集进行对比,对阶段性演变精准性进行判断。
作为优选方案,为了实现对感兴趣舆情的前瞻性判断,交叉验证单元3与舆情监控单元4对接,舆情监控单元4用于监控并采集感兴趣舆情数据,并利用预测模型进行阶段性预测,具体的,如附图5所示,舆情监控单元4包括数据采集模块12、时序归纳模块13和测试推演模块14;
数据采集模块12用于对互联网进行感兴趣舆情监控,在出现感兴趣舆情时,采集带有时间标记的相关舆情数据;
时序归纳模块13用于按照时间标记对采集的相关舆情数据进行排序整理;
测试推演模块14用于将时序归纳模块13整理的数据导入到预测模型中,获取舆情发展预测结果。
作为优选方案,为了实现对感兴趣舆情的控制提供有效参考,舆情监控单元4与对比分析单元5对接,对比分析单元5用于根据阶段性预测结构,与历史发生的舆情时间进行相似度对比,获取历史参照,具体的,如附图6所示,对比分析单元5包括演变对比模块15和处理分析模块16;
演变对比模块15用于设定相似度对比标准,将舆情发展预测结果和舆情数据变化与历史舆情事件进行对比后,筛选出超出相似对比标准的历史舆情实践作为历史参照;
处理分析模块16用于根据历史参照对应的历史舆情事件进行资料检索,作为舆情辅助分析资料。
基于人工智能交叉验证的舆情分析方法,具体包括以下步骤:
S1、历史研究:通过历史舆情分类模块6对历史发生的舆情事件进行分类,并针对舆情事件进行阶段性标记,利用舆情收集模块7采集舆情事件相关结构化数据,具体包括互联网浏览量及其增长率、引发支链数量及其增长率,按照时间顺序进行标记后,存储在结构化数据存储模块8中;
S2、交叉验证:利用时间序列数据整理模块9对S1中存储的结构化数据按照时间顺序进行排序,获取数据集,通过演变模型构建模块10构建预测模型,选择数据时间标记靠前的数据作为训练集,将时间标记靠后的数据作为验证集,通过训练测试模块11将训练集导入到预测模型中,获取结果后,与验证集进行对比,对阶段性演变精准性进行判断,根据训练测试结果,对预测模型进行优化调整,将阶段性演变精确性最高的预测模型作为最终预测模型;
S3、舆情监控:通过数据采集模块12对互联网进行感兴趣舆情监控,在出现感兴趣舆情时,采集带有时间标记的相关舆情数据,利用时序归纳模块13按照时间标记对采集的相关舆情数据进行排序整理,之后通过测试推演模块14导入到最终预测模型中,输出阶段性预测结果,为舆情发展预测结果;
S4、对比分析:演变对比模块15设定相似度对比标准,将舆情发展预测结果和舆情数据变化与历史舆情事件进行对比后,筛选出超出相似对比标准的历史舆情实践作为历史参照,根据S3的阶段性预测结果,处理分析模块16根据历史参照对应的历史舆情事件进行资料检索,作为舆情辅助分析资料。
Claims (10)
1.基于人工智能交叉验证的舆情分析方法,其特征在于:具体包括以下步骤:
S1、历史研究:对历史发生的舆情事件进行分类,并针对舆情事件进行阶段性标记,采集舆情事件相关结构化数据,按照时间顺序进行标记后,进行存储;
S2、交叉验证:对S1中存储的结构化数据进行整理,获取数据集,构建预测模型,利用时间序列交叉验证和数据集对预测模型进行训练测试,优化后得到训练后的预测模型;
S3、舆情监控:对互联网进行感兴趣舆情监控,获取带有时间标记的舆情结构化数据,导入到S2中训练后的预测模型中,输出阶段性预测结果;
S4、对比分析:根据S3的阶段性预测结果,与S1中存储的历史发生的舆情时间进行相似度对比,获取历史参照。
2.根据权利要求1所述的基于人工智能交叉验证的舆情分析方法,其特征在于:所述S1中采集舆情事件相关结构化数据包括互联网浏览量及其增长率、引发支链数量及其增长率。
3.根据权利要求1所述的基于人工智能交叉验证的舆情分析方法,其特征在于:所述S2中利用数据集对预测模型进行训练时,选择数据时间标记靠前的数据作为训练集,将时间标记靠后的数据作为验证集,将训练集导入到预测模型中,获取结果后,与验证集进行对比,对阶段性演变精准性进行判断。
4.基于人工智能交叉验证的舆情分析系统,包括舆情分析平台(1),其特征在于:所述舆情分析平台(1)包括历史研究单元(2)、交叉验证单元(3)、舆情监控单元(4)和对比分析单元(5),其中历史研究单元(2)用于采集历史舆情数据,并进行相关结构化数据的存储,所述历史研究单元(2)与交叉验证单元(3)对接,所述交叉验证单元(3)用于构建预测模型,并通过时间序列交叉验证对预测模型进行训练,所述交叉验证单元(3)与舆情监控单元(4)对接,所述舆情监控单元(4)用于监控并采集感兴趣舆情数据,并利用预测模型进行阶段性预测,所述舆情监控单元(4)与对比分析单元(5)对接,所述对比分析单元(5)用于根据阶段性预测结构,与历史发生的舆情时间进行相似度对比,获取历史参照。
5.根据权利要求4所述的基于人工智能交叉验证的舆情分析系统,其特征在于:所述历史研究单元(2)包括历史舆情分类模块(6)、舆情收集模块(7)和结构化数据存储模块(8),所述历史舆情分类模块(6)与舆情收集模块(7)对接,所述舆情收集模块(7)与结构化数据存储模块(8)对接。
6.根据权利要求5所述的基于人工智能交叉验证的舆情分析系统,其特征在于:所述历史舆情分类模块(6)用于针对历史发生的舆情事件进行分类,并针对不同分类的舆情事件进行阶段分类;
所述舆情收集模块(7)用于采集舆情事件相关结构化数据;
所述结构化数据存储模块(8)用于将采集的相关结构化数据代入到阶段分类中进行存储,获取结构化数据。
7.根据权利要求4所述的基于人工智能交叉验证的舆情分析系统,其特征在于:所述交叉验证单元(3)包括时间序列数据整理模块(9)、演变模型构建模块(10)和训练测试模块(11),所述时间序列数据整理模块(9)与演变模型构建模块(10)对接,所述演变模型构建模块(10)与训练测试模块(11)对接。
8.根据权利要求7所述的基于人工智能交叉验证的舆情分析系统,其特征在于:所述时间序列数据整理模块(9)用于对历史研究单元(2)中存储的结构化数据按照时间顺序进行排序;
所述演变模型构建模块(10)用于构建预测模型,并根据训练结果对预测模型进行优化调整;
所述训练测试模块(11)用于选择数据时间标记靠前的数据作为训练集,将时间标记靠后的数据作为验证集,将训练集导入到预测模型中,获取结果后,与验证集进行对比,对阶段性演变精准性进行判断。
9.根据权利要求4所述的基于人工智能交叉验证的舆情分析系统,其特征在于:所述舆情监控单元(4)包括数据采集模块(12)、时序归纳模块(13)和测试推演模块(14);
所述数据采集模块(12)用于对互联网进行感兴趣舆情监控,在出现感兴趣舆情时,采集带有时间标记的相关舆情数据;
所述时序归纳模块(13)用于按照时间标记对采集的相关舆情数据进行排序整理;
所述测试推演模块(14)用于将时序归纳模块(13)整理的数据导入到预测模型中,获取舆情发展预测结果。
10.根据权利要求4所述的基于人工智能交叉验证的舆情分析系统,其特征在于:所述对比分析单元(5)包括演变对比模块(15)和处理分析模块(16);
所述演变对比模块(15)用于设定相似度对比标准,将舆情发展预测结果和舆情数据变化与历史舆情事件进行对比后,筛选出超出相似对比标准的历史舆情实践作为历史参照;
所述处理分析模块(16)用于根据历史参照对应的历史舆情事件进行资料检索,作为舆情辅助分析资料。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310018161.2A CN115935073A (zh) | 2023-01-06 | 2023-01-06 | 基于人工智能交叉验证的舆情分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310018161.2A CN115935073A (zh) | 2023-01-06 | 2023-01-06 | 基于人工智能交叉验证的舆情分析方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115935073A true CN115935073A (zh) | 2023-04-07 |
Family
ID=86554196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310018161.2A Pending CN115935073A (zh) | 2023-01-06 | 2023-01-06 | 基于人工智能交叉验证的舆情分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115935073A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078008A (zh) * | 2023-08-16 | 2023-11-17 | 平安科技(深圳)有限公司 | 舆情风险演变路径预测方法、装置、服务器及存储介质 |
-
2023
- 2023-01-06 CN CN202310018161.2A patent/CN115935073A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078008A (zh) * | 2023-08-16 | 2023-11-17 | 平安科技(深圳)有限公司 | 舆情风险演变路径预测方法、装置、服务器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245981B (zh) | 一种基于手机信令数据的人群类型识别方法 | |
CN111709575A (zh) | 基于c-lstm的学业成绩预测方法 | |
CN104036360B (zh) | 一种基于磁卡考勤行为的用户数据处理系统及处理方法 | |
CN110532398B (zh) | 基于多任务联合神经网络模型的家族图谱自动构建方法 | |
CN110929797A (zh) | 一种人员能力量化评估方法 | |
CN110909542B (zh) | 智能语义串并分析方法及系统 | |
CN110889092A (zh) | 一种基于轨道交易数据的短时大型活动周边轨道站点客流量预测方法 | |
Patni et al. | Air quality prediction using artificial neural networks | |
CN115935073A (zh) | 基于人工智能交叉验证的舆情分析方法及系统 | |
CN115545473A (zh) | 一种基于lstm的生活垃圾投放趋势智能预测方法 | |
CN103425748B (zh) | 一种文档资源建议词的挖掘方法和装置 | |
CN109145685A (zh) | 基于集成学习的果蔬高光谱品质检测方法 | |
CN113537336A (zh) | 基于XGBoost的短临雷雨大风的预测方法 | |
CN106503050B (zh) | 一种基于大数据进行阅读文章推荐的方法与系统 | |
CN112417286A (zh) | 区域性文化产业集聚的影响因素分析方法和系统 | |
CN112529533A (zh) | 一种基于大数据的简历推送方法 | |
CN114417020B (zh) | 一种产业链图谱构建系统及方法 | |
CN115130872A (zh) | 一种基于深度学习判断的用工风险评估系统 | |
CN113641918B (zh) | 一种基于大数据的区域空气环境质量监测系统及方法 | |
CN111667697A (zh) | 异常车辆识别方法和装置、计算机可读存储介质 | |
CN104809253A (zh) | 互联网数据分析系统 | |
CN114443930A (zh) | 一种新闻舆情智能监测分析方法、系统及计算机存储介质 | |
CN113222471A (zh) | 一种基于新媒体数据的资产风控方法及设备 | |
CN113888318A (zh) | 风险检测方法及系统 | |
CN113449923A (zh) | 一种多模型标的物行情预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |