CN110990748B - 一种国别舆情数据采集与发布系统 - Google Patents
一种国别舆情数据采集与发布系统 Download PDFInfo
- Publication number
- CN110990748B CN110990748B CN201911310429.XA CN201911310429A CN110990748B CN 110990748 B CN110990748 B CN 110990748B CN 201911310429 A CN201911310429 A CN 201911310429A CN 110990748 B CN110990748 B CN 110990748B
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- event
- national
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种国别舆情数据采集与发布系统,包括数据采集单元、数据处理单元和数据展示单元;数据采集单元包括媒体数据采集单元和智库数据采集单元;数据处理单元用于对数据采集单元采集的数据进行处理;数据展示单元用于将数据处理单元处理后的数据展示给用户使用;数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。本发明能够实时在线采集指定国家的主要媒体和智库数据,将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
Description
技术领域
本发明属于数据库领域,尤其涉及一种国别舆情数据采集与发布系统。
背景技术
国情指一个国家的社会性质、政治、经济、文化等方面的基本情况和特点。也特指一个国家某一时期的基本情况和特点。了解其他国家的国情有助于两国间的经济发展、文化交流、旅游发展及政治交流等。了解他国国情不仅对企业,还对政府的发展决策有着重大的意义。现有技术中,缺少一种能够直观简洁地查询他国国情的数据库系统。
发明内容
本发明的目的在于,针对现有技术的不足,提出一种国别舆情数据采集与发布系统,能够实时在线采集指定国家的主要媒体和智库数据,将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
一种国别舆情数据采集与发布系统,包括数据采集单元、数据处理单元和数据展示单元;数据采集单元包括媒体数据采集单元和智库数据采集单元;数据处理单元用于对数据采集单元采集的数据进行处理;数据展示单元用于将数据处理单元处理后的数据展示给用户使用;数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。
数据采集单元采用基于DOCKER容器的分布式微服务结构的数据采集框架。
数据处理单元采用AI领域的NLP/NLU技术对数据进行处理。
国情概览单元采用GIS技术展示数据,国情概览单元的数据采用NOSQL数据库进行分布式分片存储。
事件分析单元用于对指定事件构建检测与跟踪机制,对突发事件进行持续的跟踪与监视,事件的检测与跟踪通过单遍聚类算法和Kleinberg算法实现。关于事件关联方的关系检测则通过知识图谱来实现,使用Bi-LSTM-CRF模型处理媒体报道文本数据,从中抽取命名实体,命名实体包括相关的人物、组织机构、时间和地点,采用卷积神经网络模型与远程监督的方法抽取命名实体的关系,利用抽取的命名实体与关系,采用图数据库技术构建事件关联方的相应知识图谱。
信息分析及智库文章单元采用spring boot和 spring cloud的方式构建,采取spring cloud的云管理工具对整个系统进行管理,整个系统全部被部署在以spring cloud为基础的云端服务器中。
本发明的有益效果:能够实时在线采集指定国家的主要媒体和智库数据,将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
附图说明
图1是本发明系统框图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
一种国别舆情数据采集与发布系统,包括数据采集单元、数据处理单元和数据展示单元;数据采集单元包括媒体数据采集单元和智库数据采集单元;数据处理单元用于对数据采集单元采集的数据进行处理;数据展示单元用于将数据处理单元处理后的数据展示给用户使用;数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。
数据采集单元采用基于DOCKER容器的分布式微服务结构的数据采集框架。
数据处理单元采用AI领域的NLP/NLU技术对数据进行处理。
国情概览单元采用GIS技术展示数据,国情概览单元的数据采用NOSQL数据库进行分布式分片存储。国情概览单元左侧展示选定国家的全景地图,右侧展示国情数据概览,系统第一次进入时默认显示中东欧地区的政体概览。在左侧地图上点击任意国家首都的点后,地图上会显示该国最基本国情,右侧国情数据概览上会展示国名、省份、经济、地理、历史、文化、社团、政党、政体、民族、外交、宗教和交通信息。
事件分析单元用于对指定事件构建检测与跟踪机制,对突发事件进行持续的跟踪与监视,事件的检测与跟踪通过单遍聚类算法和Kleinberg算法实现。关于事件关联方的关系检测则通过知识图谱来实现,使用Bi-LSTM-CRF模型处理媒体报道文本数据,从中抽取命名实体,命名实体包括相关的人物、组织机构、时间和地点,采用卷积神经网络模型与远程监督的方法抽取命名实体的关系,利用抽取的命名实体与关系,采用图数据库技术构建事件关联方的相应知识图谱。事件分析单元中,展示了所跟踪与监视的事件的事件名称、事件标签、事件简介、事件发展关键节点、事件关系图和最新发展。
信息分析及智库文章单元采用spring boot和 spring cloud的方式构建,采取spring cloud的云管理工具对整个系统进行管理,整个系统全部被部署在以spring cloud为基础的云端服务器中。信息分析及智库文章单元通过选择国家及键入关键字,可查询相关媒体信息,点击进入信息列表可查看详细媒体信息内容。
本发明能够实时在线采集中东欧17个国家的主要媒体和智库数据,将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种国别舆情数据采集与发布系统,其特征在于,包括数据采集单元、数据处理单元和数据展示单元;数据采集单元包括媒体数据采集单元和智库数据采集单元;数据处理单元用于对数据采集单元采集的数据进行处理;数据展示单元用于将数据处理单元处理后的数据展示给用户使用;数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元;所述数据采集单元采用基于DOCKER容器的分布式微服务结构的数据采集框架;
国情概览单元采用GIS技术展示数据,国情概览单元的数据采用NOSQL数据库进行分布式分片存储,国情概览单元左侧展示选定国家的全景地图,右侧展示国情数据概览,系统第一次进入时默认显示中东欧地区的政体概览,在左侧地图上点击任意国家首都的点后,地图上会显示该国最基本国情,右侧国情数据概览上会展示国名、省份、经济、地理、历史、文化、社团、政党、政体、民族、外交、宗教和交通信息;
事件分析单元用于对指定事件构建检测与跟踪机制,对突发事件进行持续的跟踪与监视,事件分析单元还用于检测事件关联方的关系,通过知识图谱实现,展示了所跟踪与监视的事件名称、事件标签、事件简介、事件发展关键节点、事件关系图和最新发展;
所述知识图谱的构建方式为,使用Bi-LSTM-CRF模型处理媒体数据采集单元所采集的数据,采用卷积神经网络模型与远程监督的方法抽取命名实体的关系,利用抽取的实体与关系,采用图数据库技术构建事件关联方的知识图谱;
所述信息分析及智库文章单元通过选择国家及键入关键字,查询相关媒体信息,点击进入信息列表查看详细媒体信息内容。
2.根据权利要求1所述的一种国别舆情数据采集与发布系统,其特征在于,所述数据处理单元采用AI领域的NLP/NLU技术对数据进行处理。
3.根据权利要求1所述的一种国别舆情数据采集与发布系统,其特征在于,所述检测与跟踪通过单遍聚类算法和Kleinberg算法实现。
4.根据权利要求1所述的一种国别舆情数据采集与发布系统,其特征在于,所述信息分析及智库文章单元采用spring boot 和spring cloud的方式构建,采取spring cloud的云管理工具对整个系统进行管理,整个系统全部被部署在以spring cloud为基础的云端服务器中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911310429.XA CN110990748B (zh) | 2019-12-18 | 2019-12-18 | 一种国别舆情数据采集与发布系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911310429.XA CN110990748B (zh) | 2019-12-18 | 2019-12-18 | 一种国别舆情数据采集与发布系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110990748A CN110990748A (zh) | 2020-04-10 |
CN110990748B true CN110990748B (zh) | 2023-06-27 |
Family
ID=70095494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911310429.XA Active CN110990748B (zh) | 2019-12-18 | 2019-12-18 | 一种国别舆情数据采集与发布系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110990748B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105339979A (zh) * | 2013-07-22 | 2016-02-17 | 哈利伯顿能源服务公司 | 管理海关信息 |
CN107203641A (zh) * | 2017-06-19 | 2017-09-26 | 北京易华录信息技术股份有限公司 | 一种互联网交通舆情信息采集和处理的方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8335526B2 (en) * | 2009-12-14 | 2012-12-18 | At&T Intellectual Property I, Lp | Location and time specific mobile participation platform |
US20120179692A1 (en) * | 2011-01-12 | 2012-07-12 | Alexandria Investment Research and Technology, Inc. | System and Method for Visualizing Sentiment Assessment from Content |
CN104281608A (zh) * | 2013-07-08 | 2015-01-14 | 上海锐英软件技术有限公司 | 基于微博的突发事件分析方法 |
CN107783973B (zh) * | 2016-08-24 | 2022-02-25 | 慧科讯业有限公司 | 基于行业知识图谱数据库对互联网媒体事件进行监测的方法、装置和系统 |
US20180089717A1 (en) * | 2016-09-28 | 2018-03-29 | Robert L. Morin | Digital Content Management and Delivery System for Digital Electronic Displays |
US20190197074A1 (en) * | 2017-12-21 | 2019-06-27 | Octraves Technology Sdn Bhd | Big data analysis platform for travel and tourism |
CN108364124B (zh) * | 2018-01-26 | 2022-01-07 | 天津中科智能识别产业技术研究院有限公司 | 基于大数据的国际产能合作风险评估与决策服务系统 |
CN108647265B (zh) * | 2018-04-28 | 2021-08-27 | 新疆熙菱信息技术股份有限公司 | 基于多平台数据交互式系统 |
CN110362660B (zh) * | 2019-07-23 | 2023-06-09 | 重庆邮电大学 | 一种基于知识图谱的电子产品质量自动检测方法 |
-
2019
- 2019-12-18 CN CN201911310429.XA patent/CN110990748B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105339979A (zh) * | 2013-07-22 | 2016-02-17 | 哈利伯顿能源服务公司 | 管理海关信息 |
CN107203641A (zh) * | 2017-06-19 | 2017-09-26 | 北京易华录信息技术股份有限公司 | 一种互联网交通舆情信息采集和处理的方法 |
Non-Patent Citations (3)
Title |
---|
Visual processing of geographic and environmental information in the basque country: Two basque case studies;Segura Alvaro, et al.;《GeaSpatial Visual Analytics for Environmental Security》;全文 * |
基于知识图谱的国内网络舆情研究可视化分析;苏楠; 张璇; 杨红岗; 李睿;《情报杂志》;第31卷(第10期);全文 * |
舆情智库的建设与价值探讨;吴娴;;《中国传媒科技》(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110990748A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8620624B2 (en) | Event identification in sensor analytics | |
CN103593349B (zh) | 感应网络环境下移动位置分析方法 | |
CN105117484A (zh) | 一种互联网舆情监测方法和系统 | |
CN102915346A (zh) | 面向物联网智能感知的数据索引建立与查询方法 | |
CN105246033A (zh) | 一种基于终端定位的人群状态监测方法和监测装置 | |
WO2005029365A2 (en) | Surveillance, monitoring and real-time events platform | |
CN113487251B (zh) | 基于一键式遥感的自然灾害预警与应急响应方法与系统 | |
CN109993661B (zh) | 一种保险理赔数据分析方法和系统 | |
CN104933136B (zh) | 基于海量车牌自动识别数据的动态拼车方法和系统 | |
Ding et al. | Massive heterogeneous sensor data management in the Internet of Things | |
CN103605771A (zh) | 一种智能化辅助决策和维护系统及其运行方法 | |
CN116483810A (zh) | 一种基于公安大数据处理技术指南的数据治理方法 | |
CN113886596A (zh) | 基于城市要素和多灾害融合的韧性城市知识图谱构建方法 | |
CN114429364A (zh) | 业务数据管理方法和装置、存储介质及电子设备 | |
CN114238388A (zh) | 一种基于多协议的异构数据收集及检索系统 | |
CN112632405A (zh) | 一种推荐方法、装置、设备及存储介质 | |
CN111104449A (zh) | 基于地理空间画像挖掘的多源城市时空标准地址融合方法 | |
CN112181940A (zh) | 全国工商大数据处理系统的构建方法 | |
Wei et al. | Enhancing local live tweet stream to detect news | |
Askari et al. | Taxi demand prediction using an LSTM-based deep sequence model and points of interest | |
CN112363996B (zh) | 用于建立电网知识图谱的物理模型的方法及系统和介质 | |
CN112052280B (zh) | 一种基于时空数据的实有人口分析方法及系统 | |
CN110990748B (zh) | 一种国别舆情数据采集与发布系统 | |
CN114297516A (zh) | 一种基于知识图谱的事件发现与展现方法及系统 | |
CN110928922B (zh) | 一种基于大数据挖掘的公共政策分析模型部署方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |