CN111475706B - 一种全天候自动检测重要消息的ai分析预警方法 - Google Patents
一种全天候自动检测重要消息的ai分析预警方法 Download PDFInfo
- Publication number
- CN111475706B CN111475706B CN202010237297.9A CN202010237297A CN111475706B CN 111475706 B CN111475706 B CN 111475706B CN 202010237297 A CN202010237297 A CN 202010237297A CN 111475706 B CN111475706 B CN 111475706B
- Authority
- CN
- China
- Prior art keywords
- information
- important
- hot spot
- messages
- sensitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种全天候自动检测重要消息的AI分析预警方法,包括第三方平台数据收集系统、热点信息分类系统和重要信息判定处理系统;所述第三方平台数据收集系统利用代码后台收集主流社交媒体、主流纸质媒体和传统电视媒体的热点消息,转化成文字信息进行统一存储;所述热点信息分类系统对热点信息的涉及领域进行初步分类,提取关键信息并统计热点信息的出现频率;所述重要信息判定处理系统对重点信息进行全天候地分析,当消息重要程度达到设置阈值时进行预警。本发明利用AI技术自动地对第三方数据平台的热点消息进行统计,结合阈值设置以及重要领域针对性筛选,保证对重要敏感消息的实时传播。
Description
技术领域
本发明涉及一种人工智能技术,尤其是一种全天候自动检测重要消息的AI分析预警方法。
背景技术
随着网络媒体和小视频平台等新媒体的不断发展,中国网民数量大增,通过互联网平台和传统电视平台浏览获知新闻的方式逐渐走入人们的生活。在推荐算法的辅助下,用户在浏览新闻时,除了主动获取的内容,更多浏览到的是软件推荐的感兴趣分区中的新闻,这使得用户接受的信息广度受到了限制。与此同时,受到地域范围的影响,即使身处一个地球村内,也很难及时、真实地了解另一个国家和地区的真实情况,从而无法对热点话题的局势做出更为全面的判断。
目前国内的大多数互联网主流媒体通过所有用户点击量生成热点新闻榜,如新浪微博的热搜;而传统媒体如新闻联播等电视界面,《人民日报》、《参考消息》等纸质媒介也会挑选出每日新闻供读者阅读。这些新闻消息都是重要信息,但并非每一个用户都有时间阅读,及时阅读到相应的消息,也未必在当下对其重要性做出重要判断。
针对这种重要热点消息错失的现象,需要使用算法对这些热点信息进行全天候地整合分析,提取出当中敏感的信息进行汇总,并在必须的时刻全面推送给网民。若有重要消息,则搜集网络平台相关分析,做出消息分析报表,为用户提前一步预测。
发明内容
发明目的:提供一种全天候自动检测重要消息的AI分析预警方法,以解决上述问题。
技术方案:一种全天候自动检测重要消息的AI分析预警方法,包括第三方平台数据收集系统、热点信息分类系统和重要信息判定处理系统,利用AI技术自动地对第三方数据平台的热点消息进行统计,结合阈值设置以及重要领域针对性筛选,保证对重要敏感消息的实时传播;
第三方平台数据收集系统,在选定好指定领域后,利用代码在后台收集主流社交媒体、主流纸质媒体和传统电视媒体的在指定领域出现的热点消息,转化成文字信息进行统一存储;
热点信息分类系统,将自动收集的热点信息进行语义分析,提炼出关键字信息存在所述指定领域的条目下,当消息内容的重复率达到90%的时候,视为重复信息进行标注,出现频率为较强的作为预备重要信息进行记录;
重要信息判定处理系统,包括判定单元、针对性搜索单元和预测预警单元,对重点信息进行全天候地分析,当消息重要程度达到设置阈值时进行预警,直接给用户发送通知并推送该信息的介绍报告,具体步骤为:
步骤1、判定热点信息的重要程度;
步骤11、获取所述热点信息分类系统中的预备重要信息,获取该消息对应的领域,根据该信息存储的条目和对应领域,提取划分重要消息的指标阈值;
步骤12、比对所述预备重要信息的搜索实况和指标阈值,判定该信息的重要程度;
步骤13、如果信息被判定为重要信息,则进行下一步骤,否则退出所述重要信息判定处理系统;
步骤2、完善重要信息的针对性搜索,根据该信息中的关键词在各个网络平台进行针对性搜索,主要检索内容为各个平台上的非官方信息,特别是非活跃用户发布的信息,保证信息素材的完整性;
步骤3、确认信息的重要程度,直接给用户发送通知并推送该消息的介绍报告。
根据本发明的一个方面,所述第三方平台数据收集系统将主流媒体的热点信息进行统一收集,新闻类文字热点信息进行直接归类存储,视频类热点信息先转化成对应的文字再进行存储,同时保存原视频的链接信息。
根据本发明的一个方面,所述热点信息分类系统针对热点消息出现的频率划分敏感程度,针对不同社交媒体和主流媒体的热点排行前100进行内容获取之后,以5、10、20和50为四个不同级别的指标,当判定为重复的消息频率分别达标后,依次标记为普通、较强、强和极强。
根据本发明的一个方面,所述热点信息分类系统将热点消息分成敏感类和非敏感类两种,非敏感类消息主要为娱乐热点新闻,此类消息不进行进一步的分类和整理;敏感类消息分成时事、医疗和基础建设三小类,针对不同分类均有对应的知识数据库,保证在出现不同区域的敏感消息时可以及时做出系统反应,进行消息比对。
根据本发明的一个方面,所述热点信息分类系统中的敏感类消息,不同分类的知识数据库中会顺序存储必要的关键词,例如,医疗类中会重点提取“传染性”和“潜伏期”等关键词,从而分析热点信息的敏感程度,敏感程度高的优先进入系统分析和处理。
根据本发明的一个方面,所述重要信息判定处理系统对于重要信息结合广泛搜索的内容,生成该信息的介绍报告后,进行平台用户无差别推送,将敏感信息及时地传达给用户,从而维护用户的生命健康、经济财产等安全。
一种关联词联控的报告生成方法,为了避免人为判断、时间和地域限制等因素对敏感信息传播造成的阻碍,需要在基于主流媒体提取的数据中获取敏感信息后直接快速地生成敏感信息关联的报告并推送给广大用户,具体步骤如下:
步骤1、对确认重要的信息数据进行关键词提取,获取第三方媒体报道中的关联报道,剔除重复内容后进行信息整合,完成基础介绍和标注重点的报告;
步骤2、通过关键词提取,在后台数据库进行敏感事件的应对措施搜寻,完成基础防御手册,并标注针对性原因,完善防御指向;
步骤3、丰富敏感信息的相关事件补充,达到敏感信息的重要性强调,提高预警效果。
根据本发明的一个方面,所述基础防御手册通过整合历史新闻事件,丰富敏感信息相关内容的可读性和参照性,对医疗、经济和重大社会事件有较高指向性,可以在敏感信息曝光初期作为基础防御保护用户。
有益效果:本发明能够全天候对第三方媒体平台上的热点信息进行监控,有效排除人为判断、时间、地域限制等因素,及时检索并对敏感信息做出应有的重视,作为每个用户的智囊团,维护用户的生命健康、经济财产等安全。
附图说明
图1是本发明的监控流程示意图。
图2是本发明的敏感消息预测预警示意图。
具体实施方式
如图1所示,在该实施例中,一种全天候自动检测重要消息的AI分析预警方法,包括第三方平台数据收集系统、热点信息分类系统和重要信息判定处理系统,利用AI技术自动地对第三方数据平台的热点消息进行统计,结合阈值设置以及重要领域针对性筛选,保证对重要敏感消息的实时传播;
第三方平台数据收集系统,在选定好指定领域后,利用代码在后台收集主流社交媒体、主流纸质媒体和传统电视媒体的在指定领域出现的热点消息,转化成文字信息进行统一存储;
热点信息分类系统,将自动收集的热点信息进行语义分析,提炼出关键字信息存在所述指定领域的条目下,当消息内容的重复率达到90%的时候,视为重复信息进行标注,出现频率为较强的作为预备重要信息进行记录;
重要信息判定处理系统,包括判定单元、针对性搜索单元和预测预警单元,对重点信息进行全天候地分析,当消息重要程度达到设置阈值时进行预警,直接给用户发送通知并推送该信息的介绍报告,具体步骤为:
步骤1、判定热点信息的重要程度;
步骤11、获取所述热点信息分类系统中的预备重要信息,获取该消息对应的领域,根据该信息存储的条目和对应领域,提取划分重要消息的指标阈值;
步骤12、比对所述预备重要信息的搜索实况和指标阈值,判定该信息的重要程度;
步骤13、如果信息被判定为重要信息,则进行下一步骤,否则退出所述重要信息判定处理系统;
步骤2、完善重要信息的针对性搜索,根据该信息中的关键词在各个网络平台进行针对性搜索,主要检索内容为各个平台上的非官方信息,特别是非活跃用户发布的信息,保证信息素材的完整性;
步骤3、确认信息的重要程度,直接给用户发送通知并推送该消息的介绍报告。
在进一步的实施例中,如图2所示,所述第三方平台数据收集系统将主流媒体的热点信息进行统一收集,新闻类文字热点信息进行直接归类存储,视频类热点信息先转化成对应的文字再进行存储,同时保存原视频的链接信息。
在进一步的实施例中,所述热点信息分类系统针对热点消息出现的频率划分敏感程度,针对不同社交媒体和主流媒体的热点排行前100进行内容获取之后,以5、10、20和50为四个不同级别的指标,当判定为重复的消息频率分别达标后,依次标记为普通、较强、强和极强。
在进一步的实施例中,所述热点信息分类系统将热点消息分成敏感类和非敏感类两种,非敏感类消息主要为娱乐热点新闻,此类消息不进行进一步的分类和整理;敏感类消息分成时事、医疗和基础建设三小类,针对不同分类均有对应的知识数据库,保证在出现不同区域的敏感消息时可以及时做出系统反应,进行消息比对。
在进一步的实施例中,所述热点信息分类系统中的敏感类消息,不同分类的知识数据库中会顺序存储必要的关键词,例如,医疗类中会重点提取“传染性”和“潜伏期”等关键词,从而分析热点信息的敏感程度,敏感程度高的优先进入系统分析和处理。
在进一步的实施例中,所述重要信息判定处理系统对于重要信息结合广泛搜索的内容,生成该信息的介绍报告后,进行平台用户无差别推送,将敏感信息及时地传达给用户,从而维护用户的生命健康、经济财产等安全。
一种关联词联控的报告生成方法,为了避免人为判断、时间和地域限制等因素对敏感信息传播造成的阻碍,需要在基于主流媒体提取的数据中获取敏感信息后直接快速地生成敏感信息关联的报告并推送给广大用户,具体步骤如下:
步骤1、对确认重要的信息数据进行关键词提取,获取第三方媒体报道中的关联报道,剔除重复内容后进行信息整合,完成基础介绍和标注重点的报告;
步骤2、通过关键词提取,在后台数据库进行敏感事件的应对措施搜寻,完成基础防御手册,并标注针对性原因,完善防御指向;
步骤3、丰富敏感信息的相关事件补充,达到敏感信息的重要性强调,提高预警效果。
在进一步的实施例中,所述基础防御手册通过整合历史新闻事件,丰富敏感信息相关内容的可读性和参照性,对医疗、经济和重大社会事件有较高指向性,可以在敏感信息曝光初期作为基础防御保护用户。
在更进一步的实施例中,敏感医疗信息的历史事件总结在提取关键字的同时,需要按照事件线进行数据总结,从而一定程度上归纳病毒、传染源、传播方式等的演化方式。
总之,本发明具有以下优点:后台对主流网络媒体和传统电视媒体进行热点消息采集后,转化成文字信息进行统一存储;通过热点消息分类系统对热点信息进行敏感和非敏感类的基础分类,针对敏感信息重点关注并判定敏感级别;确认信息敏感且影响程度高时,在平台上以关键词为指引搜集敏感信息的相关内容并进一步生成报告,对用户进行预警。该发明能够有效排除人为判断、时间、地域限制等因素,及时检索并对敏感信息做出应有的重视,作为每个用户的智囊团,维护用户的生命健康、经济财产等安全。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
Claims (8)
1.一种全天候自动检测重要消息的AI分析预警方法,包括第三方平台数据收集系统、热点信息分类系统和重要信息判定处理系统,利用AI技术自动地对第三方数据平台的热点消息进行统计,结合阈值设置以及重要领域针对性筛选,保证对重要敏感消息的实时传播;
第三方平台数据收集系统,在选定好指定领域后,利用代码在后台收集主流社交媒体、主流纸质媒体和传统电视媒体的在指定领域出现的热点消息,转化成文字信息进行统一存储;
热点信息分类系统,将自动收集的热点信息进行语义分析,提炼出关键字信息存在所述指定领域的条目下,当消息内容的重复率达到90%的时候,视为重复信息进行标注,出现频率为较强的作为预备重要信息进行记录;
重要信息判定处理系统,其特征在于,包括判定单元、针对性搜索单元和预测预警单元,对重点信息进行全天候地分析,当消息重要程度达到设置阈值时进行预警,直接给用户发送通知并推送该信息的介绍报告,具体步骤为:
步骤1、判定热点信息的重要程度,具体包括:
步骤11、获取所述热点信息分类系统中的预备重要信息,获取该消息对应的领域,根据该信息存储的条目和对应领域,提取划分重要消息的指标阈值;
步骤12、比对所述预备重要信息的搜索实况和指标阈值,判定该信息的重要程度;
步骤13、如果信息被判定为重要信息,则进行下一步骤,否则退出所述重要信息判定处理系统;
步骤2、完善重要信息的针对性搜索,根据该信息中的关键词在各个网络平台进行针对性搜索,主要检索内容为各个平台上的非官方信息;
步骤3、确认信息的重要程度,直接给用户发送通知并推送该消息的介绍报告。
2.根据权利要求1所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,所述第三方平台数据收集系统将主流媒体的热点信息进行统一收集,新闻类文字热点信息进行直接归类存储,视频类热点信息先转化成对应的文字再进行存储,同时保存原视频的链接信息。
3.根据权利要求1所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,所述热点信息分类系统针对热点消息出现的频率划分敏感程度,针对不同社交媒体和主流媒体的热点排行前100进行内容获取之后,以5、10、20和50为四个不同级别的指标,当判定为重复的消息频率分别达标后,依次标记为普通、较强、强和极强。
4.根据权利要求1所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,所述热点信息分类系统将热点消息分成敏感类和非敏感类两种,非敏感类消息主要为娱乐热点新闻,此类消息不进行进一步的分类和整理;敏感类消息分成时事、医疗和基础建设三小类,针对不同分类均有对应的知识数据库,保证在出现不同区域的敏感消息时可以及时做出系统反应,进行消息比对。
5.根据权利要求1所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,所述热点信息分类系统中的敏感类消息,不同分类的知识数据库中会顺序存储必要的关键词,分析热点信息的敏感程度,敏感程度高的优先进入系统分析和处理。
6.根据权利要求1所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,所述重要信息判定处理系统对于重要信息结合广泛搜索的内容,生成该信息的介绍报告后,进行平台用户无差别推送,将敏感信息及时地传达给用户。
7.根据权利要求1所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,还包括关联词联控的报告生成步骤,在基于主流媒体提取的数据中获取敏感信息后直接快速地生成敏感信息关联的报告并推送给广大用户,具体步骤如下:
步骤1、对确认重要的信息数据进行关键词提取,获取第三方媒体报道中的关联报道,剔除重复内容后进行信息整合,完成基础介绍和标注重点的报告;
步骤2、通过关键词提取,在后台数据库进行敏感事件的应对措施搜寻,完成基础防御手册,并标注针对性原因,完善防御指向;
步骤3、丰富敏感信息的相关事件补充,达到敏感信息的重要性强调,提高预警效果。
8.根据权利要求7所述的一种全天候自动检测重要消息的AI分析预警方法,其特征在于,所述基础防御手册通过整合历史新闻事件,丰富敏感信息相关内容的可读性和参照性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010237297.9A CN111475706B (zh) | 2020-03-30 | 2020-03-30 | 一种全天候自动检测重要消息的ai分析预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010237297.9A CN111475706B (zh) | 2020-03-30 | 2020-03-30 | 一种全天候自动检测重要消息的ai分析预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111475706A CN111475706A (zh) | 2020-07-31 |
CN111475706B true CN111475706B (zh) | 2023-04-25 |
Family
ID=71749257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010237297.9A Active CN111475706B (zh) | 2020-03-30 | 2020-03-30 | 一种全天候自动检测重要消息的ai分析预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111475706B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112784077A (zh) * | 2021-03-17 | 2021-05-11 | 陕西省大数据集团有限公司 | 一种分类提取数据资产价值方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408157A (zh) * | 2014-12-05 | 2015-03-11 | 四川诚品电子商务有限公司 | 一种网络舆情漏斗式数据采集分析推送系统及方法 |
CN109101597B (zh) * | 2018-07-31 | 2019-08-06 | 中电传媒股份有限公司 | 一种电力新闻数据采集系统 |
CN109376231A (zh) * | 2018-09-29 | 2019-02-22 | 杭州凡闻科技有限公司 | 一种媒体热点跟踪方法及系统 |
CN110263238B (zh) * | 2019-06-21 | 2021-10-15 | 浙江华坤道威数据科技有限公司 | 一种基于大数据的舆情聆听系统 |
-
2020
- 2020-03-30 CN CN202010237297.9A patent/CN111475706B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111475706A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Atkinson et al. | Near real time information mining in multilingual news | |
Yi et al. | Eliminating noisy information in web pages for data mining | |
Firan et al. | Bringing order to your photos: event-driven classification of flickr images based on social knowledge | |
Alsaedi et al. | Arabic event detection in social media | |
Mawudeku et al. | Global public health intelligence network (GPHIN) | |
KR101801138B1 (ko) | 빅데이터 기반 식품 안전 데이터 분석 장치, 그 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
Rossi et al. | Detecting political bots on Twitter during the 2019 Finnish parliamentary election | |
CN112256880A (zh) | 文本识别方法和装置、存储介质及电子设备 | |
Rachunok et al. | Is the data suitable? the comparison of keyword versus location filters in crisis informatics using twitter data | |
CN111475706B (zh) | 一种全天候自动检测重要消息的ai分析预警方法 | |
Verbeke et al. | Critical news reading with Twitter? Exploring data-mining practices and their impact on societal discourse | |
Ramachandran et al. | Event detection from Twitter–a survey | |
CN103580952A (zh) | 一种网络监控系统 | |
Best | Open source intelligence | |
Nourbakhsh et al. | Newsworthy rumor events: A case study of twitter | |
Sukel et al. | Multimodal classification of urban micro-events | |
Binsar et al. | Mining of Social Media on Covid-19 Big Data Infodemic in Indonesia | |
Scannell | 41 Managing Data from Social Media: The Indigenous Tweets Project | |
López-Ramírez et al. | Geographical aggregation of microblog posts for LDA topic modeling | |
SAJID et al. | A new paradigm for waste classification based on YOLOv5 | |
Beliga et al. | Natural language processing and statistic: the first six months of the COVID-19 infodemic in Croatia | |
Zhao et al. | A system to manage and mine microblogging data | |
Sulaiman et al. | Language-specific gaps in identifying early epidemic signals–a case study of the Malay language | |
CN114896522B (zh) | 多平台信息疫情风险评估方法及装置 | |
Nobili et al. | An OSINT platform to analyse violence against workers in public trasportation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 211100 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute Address before: 211100 floor 3, building 3, No. 266, Chuangyan Road, Jiangning District, Nanjing City, Jiangsu Province Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES |
|
GR01 | Patent grant | ||
GR01 | Patent grant |