CN110990748A - 一种国别舆情数据采集与发布系统 - Google Patents

一种国别舆情数据采集与发布系统 Download PDF

Info

Publication number
CN110990748A
CN110990748A CN201911310429.XA CN201911310429A CN110990748A CN 110990748 A CN110990748 A CN 110990748A CN 201911310429 A CN201911310429 A CN 201911310429A CN 110990748 A CN110990748 A CN 110990748A
Authority
CN
China
Prior art keywords
data
unit
data acquisition
national
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911310429.XA
Other languages
English (en)
Other versions
CN110990748B (zh
Inventor
陈泽勇
张治同
姚松
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Dippmann Information Technology Co Ltd
Original Assignee
Chengdu Dippmann Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Dippmann Information Technology Co Ltd filed Critical Chengdu Dippmann Information Technology Co Ltd
Priority to CN201911310429.XA priority Critical patent/CN110990748B/zh
Publication of CN110990748A publication Critical patent/CN110990748A/zh
Application granted granted Critical
Publication of CN110990748B publication Critical patent/CN110990748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种国别舆情数据采集与发布系统，包括数据采集单元、数据处理单元和数据展示单元；数据采集单元包括媒体数据采集单元和智库数据采集单元；数据处理单元用于对数据采集单元采集的数据进行处理；数据展示单元用于将数据处理单元处理后的数据展示给用户使用；数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。本发明能够实时在线采集指定国家的主要媒体和智库数据，将这些采集的文本数据处理后以用户友好的方式展现给用户使用。

Description

一种国别舆情数据采集与发布系统
技术领域
本发明属于数据库领域，尤其涉及一种国别舆情数据采集与发布系统。
背景技术
国情指一个国家的社会性质、政治、经济、文化等方面的基本情况和特点。也特指一个国家某一时期的基本情况和特点。了解其他国家的国情有助于两国间的经济发展、文化交流、旅游发展及政治交流等。了解他国国情不仅对企业，还对政府的发展决策有着重大的意义。现有技术中，缺少一种能够直观简洁地查询他国国情的数据库系统。
发明内容
本发明的目的在于，针对现有技术的不足，提出一种国别舆情数据采集与发布系统，能够实时在线采集指定国家的主要媒体和智库数据，将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
一种国别舆情数据采集与发布系统，包括数据采集单元、数据处理单元和数据展示单元；数据采集单元包括媒体数据采集单元和智库数据采集单元；数据处理单元用于对数据采集单元采集的数据进行处理；数据展示单元用于将数据处理单元处理后的数据展示给用户使用；数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。
数据采集单元采用基于DOCKER容器的分布式微服务结构的数据采集框架。
数据处理单元采用AI领域的NLP/NLU技术对数据进行处理。
国情概览单元采用GIS技术展示数据，国情概览单元的数据采用NOSQL数据库进行分布式分片存储。
事件分析单元用于对指定事件构建检测与跟踪机制，对突发事件进行持续的跟踪与监视，事件的检测与跟踪通过单遍聚类算法和Kleinberg算法实现。关于事件关联方的关系检测则通过知识图谱来实现，使用Bi-LSTM-CRF模型处理媒体报道文本数据，从中抽取命名实体，命名实体包括相关的人物、组织机构、时间和地点，采用卷积神经网络模型与远程监督的方法抽取命名实体的关系，利用抽取的命名实体与关系，采用图数据库技术构建事件关联方的相应知识图谱。
信息分析及智库文章单元采用spring boot和 spring cloud的方式构建，采取spring cloud的云管理工具对整个系统进行管理，整个系统全部被部署在以spring cloud为基础的云端服务器中。
本发明的有益效果：能够实时在线采集指定国家的主要媒体和智库数据，将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
附图说明
图1是本发明系统框图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
一种国别舆情数据采集与发布系统，包括数据采集单元、数据处理单元和数据展示单元；数据采集单元包括媒体数据采集单元和智库数据采集单元；数据处理单元用于对数据采集单元采集的数据进行处理；数据展示单元用于将数据处理单元处理后的数据展示给用户使用；数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。
数据采集单元采用基于DOCKER容器的分布式微服务结构的数据采集框架。
数据处理单元采用AI领域的NLP/NLU技术对数据进行处理。
国情概览单元采用GIS技术展示数据，国情概览单元的数据采用NOSQL数据库进行分布式分片存储。国情概览单元左侧展示选定国家的全景地图，右侧展示国情数据概览，系统第一次进入时默认显示中东欧地区的政体概览。在左侧地图上点击任意国家首都的点后，地图上会显示该国最基本国情，右侧国情数据概览上会展示国名、省份、经济、地理、历史、文化、社团、政党、政体、民族、外交、宗教和交通信息。
事件分析单元用于对指定事件构建检测与跟踪机制，对突发事件进行持续的跟踪与监视，事件的检测与跟踪通过单遍聚类算法和Kleinberg算法实现。关于事件关联方的关系检测则通过知识图谱来实现，使用Bi-LSTM-CRF模型处理媒体报道文本数据，从中抽取命名实体，命名实体包括相关的人物、组织机构、时间和地点，采用卷积神经网络模型与远程监督的方法抽取命名实体的关系，利用抽取的命名实体与关系，采用图数据库技术构建事件关联方的相应知识图谱。事件分析单元中，展示了所跟踪与监视的事件的事件名称、事件标签、事件简介、事件发展关键节点、事件关系图和最新发展。
信息分析及智库文章单元采用spring boot和 spring cloud的方式构建，采取spring cloud的云管理工具对整个系统进行管理，整个系统全部被部署在以spring cloud为基础的云端服务器中。信息分析及智库文章单元通过选择国家及键入关键字，可查询相关媒体信息，点击进入信息列表可查看详细媒体信息内容。
本发明能够实时在线采集中东欧17个国家的主要媒体和智库数据，将这些采集的文本数据处理后以用户友好的方式展现给用户使用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种国别舆情数据采集与发布系统，其特征在于，包括数据采集单元、数据处理单元和数据展示单元；数据采集单元包括媒体数据采集单元和智库数据采集单元；数据处理单元用于对数据采集单元采集的数据进行处理；数据展示单元用于将数据处理单元处理后的数据展示给用户使用；数据展示单元包括国情概览单元、事件分析单元和信息分析及智库文章单元。
2.根据权利要求1所述的一种国别舆情数据采集与发布系统，其特征在于，所述数据采集单元采用基于DOCKER容器的分布式微服务结构的数据采集框架。
3.根据权利要求1所述的一种国别舆情数据采集与发布系统，其特征在于，所述数据处理单元采用AI领域的NLP/NLU技术对数据进行处理。
4.根据权利要求1所述的一种国别舆情数据采集与发布系统，其特征在于，所述国情概览单元采用GIS技术展示数据，国情概览单元的数据采用NOSQL数据库进行分布式分片存储。
5.根据权利要求1所述的一种国别舆情数据采集与发布系统，其特征在于，所述事件分析单元用于对指定事件构建检测与跟踪机制，对突发事件进行持续的跟踪与监视。
6.根据权利要求5所述的一种国别舆情数据采集与发布系统，其特征在于，所述检测与跟踪通过单遍聚类算法和Kleinberg算法实现。
7.根据权利要求5所述的一种国别舆情数据采集与发布系统，其特征在于，事件分析单元还用于检测事件关联方的关系，通过知识图谱实现。
8.根据权利要求7所述的一种国别舆情数据采集与发布系统，其特征在于，所述知识图谱的构建方式为，使用Bi-LSTM-CRF模型处理媒体数据采集单元所采集的数据，采用卷积神经网络模型与远程监督的方法抽取命名实体的关系，利用抽取的实体与关系，采用图数据库技术构建事件关联方的知识图谱。
9.根据权利要求1所述的一种国别舆情数据采集与发布系统，其特征在于，所述信息分析及智库文章单元采用spring boot 和spring cloud的方式构建，采取spring cloud的云管理工具对整个系统进行管理，整个系统全部被部署在以spring cloud为基础的云端服务器中。
CN201911310429.XA 2019-12-18 2019-12-18 一种国别舆情数据采集与发布系统 Active CN110990748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911310429.XA CN110990748B (zh) 2019-12-18 2019-12-18 一种国别舆情数据采集与发布系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911310429.XA CN110990748B (zh) 2019-12-18 2019-12-18 一种国别舆情数据采集与发布系统

Publications (2)

Publication Number Publication Date
CN110990748A true CN110990748A (zh) 2020-04-10
CN110990748B CN110990748B (zh) 2023-06-27

Family

ID=70095494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911310429.XA Active CN110990748B (zh) 2019-12-18 2019-12-18 一种国别舆情数据采集与发布系统

Country Status (1)

Country Link
CN (1) CN110990748B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110143776A1 (en) * 2009-12-14 2011-06-16 Shankaranarayanan Nemmara K Location and Time Specific Mobile Participation Platform
US20120179692A1 (en) * 2011-01-12 2012-07-12 Alexandria Investment Research and Technology, Inc. System and Method for Visualizing Sentiment Assessment from Content
CN104281608A (zh) * 2013-07-08 2015-01-14 上海锐英软件技术有限公司 基于微博的突发事件分析方法
CN105339979A (zh) * 2013-07-22 2016-02-17 哈利伯顿能源服务公司 管理海关信息
CN107203641A (zh) * 2017-06-19 2017-09-26 北京易华录信息技术股份有限公司 一种互联网交通舆情信息采集和处理的方法
CN107783973A (zh) * 2016-08-24 2018-03-09 慧科讯业有限公司 基于行业知识图谱数据库对互联网媒体事件进行监测的方法、装置和系统
US20180089717A1 (en) * 2016-09-28 2018-03-29 Robert L. Morin Digital Content Management and Delivery System for Digital Electronic Displays
CN108364124A (zh) * 2018-01-26 2018-08-03 天津中科智能识别产业技术研究院有限公司 基于大数据的国际产能合作风险评估与决策服务系统
CN108647265A (zh) * 2018-04-28 2018-10-12 新疆熙菱信息技术股份有限公司 基于多平台数据交互式系统
US20190197074A1 (en) * 2017-12-21 2019-06-27 Octraves Technology Sdn Bhd Big data analysis platform for travel and tourism
CN110362660A (zh) * 2019-07-23 2019-10-22 重庆邮电大学 一种基于知识图谱的电子产品质量自动检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110143776A1 (en) * 2009-12-14 2011-06-16 Shankaranarayanan Nemmara K Location and Time Specific Mobile Participation Platform
US20120179692A1 (en) * 2011-01-12 2012-07-12 Alexandria Investment Research and Technology, Inc. System and Method for Visualizing Sentiment Assessment from Content
CN104281608A (zh) * 2013-07-08 2015-01-14 上海锐英软件技术有限公司 基于微博的突发事件分析方法
CN105339979A (zh) * 2013-07-22 2016-02-17 哈利伯顿能源服务公司 管理海关信息
CN107783973A (zh) * 2016-08-24 2018-03-09 慧科讯业有限公司 基于行业知识图谱数据库对互联网媒体事件进行监测的方法、装置和系统
US20180089717A1 (en) * 2016-09-28 2018-03-29 Robert L. Morin Digital Content Management and Delivery System for Digital Electronic Displays
CN107203641A (zh) * 2017-06-19 2017-09-26 北京易华录信息技术股份有限公司 一种互联网交通舆情信息采集和处理的方法
US20190197074A1 (en) * 2017-12-21 2019-06-27 Octraves Technology Sdn Bhd Big data analysis platform for travel and tourism
CN108364124A (zh) * 2018-01-26 2018-08-03 天津中科智能识别产业技术研究院有限公司 基于大数据的国际产能合作风险评估与决策服务系统
CN108647265A (zh) * 2018-04-28 2018-10-12 新疆熙菱信息技术股份有限公司 基于多平台数据交互式系统
CN110362660A (zh) * 2019-07-23 2019-10-22 重庆邮电大学 一种基于知识图谱的电子产品质量自动检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEGURA ALVARO, ET AL.: "Visual processing of geographic and environmental information in the basque country: Two basque case studies", 《GEASPATIAL VISUAL ANALYTICS FOR ENVIRONMENTAL SECURITY》 *
吴娴;: "舆情智库的建设与价值探讨", 《中国传媒科技》, no. 09 *
苏楠; 张璇; 杨红岗; 李睿: "基于知识图谱的国内网络舆情研究可视化分析", 《情报杂志》, vol. 31, no. 10 *

Also Published As

Publication number Publication date
CN110990748B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
Balbin et al. Predictive analytics on open big data for supporting smart transportation services
Phillips et al. Using social media to predict the future: a systematic literature review
CN110866642A (zh) 安全监控方法、装置、电子设备和计算机可读存储介质
Bauman et al. Using social sensors for detecting emergency events: a case of power outages in the electrical utility industry
EP2052318A2 (en) Global disease surveillance platform, and corresponding system and method
Al-Janabi A proposed framework for analyzing crime data set using decision tree and simple k-means mining algorithms
CN103605771A (zh) 一种智能化辅助决策和维护系统及其运行方法
CN116483810A (zh) 一种基于公安大数据处理技术指南的数据治理方法
Qiao et al. Computational approach to detecting and predicting occupy protest events
Ding et al. Massive heterogeneous sensor data management in the Internet of Things
Prathap Geospatial crime analysis and forecasting with machine learning techniques
Sakai et al. Real-time analysis application for identifying bursty local areas related to emergency topics
Wei et al. Enhancing local live tweet stream to detect news
Memon et al. Harvesting covert networks: a case study of the iMiner database
Shan et al. Social media-based urban disaster recovery and resilience analysis of the Henan deluge
CN111861830B (zh) 一种情报云平台
Kurkcu et al. Crowdsourcing incident information for disaster response using twitter
CN117371531A (zh) 一种碳政策知识图谱构建系统
CN110990748A (zh) 一种国别舆情数据采集与发布系统
CN110928922A (zh) 一种基于大数据挖掘的公共政策分析模型部署方法及其系统
Sakai et al. Identifying bursty areas of emergency topics in geotagged tweets using density-based spatiotemporal clustering algorithm
Shohan et al. Crime Prediction using Machine Learning with a Novel Crime Dataset
CN116028467A (zh) 智能服务大数据建模方法、系统、存储介质及计算机设备
Afyouni et al. E-ware: a big data system for the incremental discovery of spatio-temporal events from microblogs
Vidal-Filho et al. Qualitative analysis of volunteered geographic information in a spatially enabled society project

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant