CN109086301A - 一种基于云计算的数据管理平台 - Google Patents
一种基于云计算的数据管理平台 Download PDFInfo
- Publication number
- CN109086301A CN109086301A CN201810638389.0A CN201810638389A CN109086301A CN 109086301 A CN109086301 A CN 109086301A CN 201810638389 A CN201810638389 A CN 201810638389A CN 109086301 A CN109086301 A CN 109086301A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- service
- management
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于云计算的数据管理平台，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；本发明形成信息资源的统一采集、统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，形成平台相应的技术和管理规范，保障政务信息资源的有效服务利用；同时通过标准的云平台技术下的交换共享服务模式，实现政务数据在公共云平台上的统一存储、统一维护和灵活服务，提升政务现有数据的安全存储和高效使用能力，更加深入的进行数据挖掘等工作，创造更多的价值。
Description
技术领域
本发明涉及云计算技术领域，具体涉及一种基于云计算的数据管理平台。
背景技术
电子政务公共平台数据管理技术是结合云计算、大数据的管理技术特征，同时规范公共平台数据管理核心要素，并兼顾和引导传统数据管理技术逐步转化为云数据管理技术。公共平台管理技术设计应涵盖数据全生命周期管理，包括数据采集管理、数据存储管理、数据服务等过程的管理。但是西安哟的电子政务公共平台数据管理的建设并没有实现信息资源的统一采集管理，统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，不能保障政务信息资源的有效服务利用。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种基于云计算的数据管理平台。
本发明解决上述问题的技术方案为：一种基于云计算的数据管理平台，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；
所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统，包括政务业务应用、物联网应用、互联网应用和移动应用；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除，在采集过程中，依照数据提供周期及使用周期的不同，提供不同频次的数据采集调度，为提高采集效率，通过多通道分时复用数据采集、多通道同步数据采集、分布式数据采集这几种采集技术；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控，所述任务监控模块监控采集任务执行情况，实时了解任务执行时间、采集数据量、采集数据大小、空间使用情况和内存使用情况；所述异常监控模块战队采集过程中的异常情况，能提供异常情况预警，包括采集任务执行失败、采集节点状态异常、网络情况异常；所述采集统计管理模块对采集过程和采集结构进行统计，包括：采集任务运行情况统计、采集任务资源使用情况统计、采集任务异常事件统计，并将各统计信息以不同图标方式展示；
所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，包括存储状态监控、对基础软硬件进行状态监控和性能监控，包括节点信息、文件数据块分析、文件历史操作、数据块操作历史、文件数据块排名，所述存储备份模块支持集中控制云环境多节点数据并行备份；
所述数据支撑服务模块包括资源目录服务模块、共享交换服务模块、数据集成服务模块以及数据处理服务模块，所述资源目录服务模块包括目录编目、目录注册、目录发布、目录查询和目录维护功能，所述共享交换服务模块包括交换桥接、前置交换、交换传输和交换管理功能，共享交换服务模块在上述功能的基础上实现政务云平台内部应用系统间及政务云平台内部、外部应用系统间的交换服务，所述数据集成服务模块包括数据抽取服务、数据转换服务、数据加载服务、ETL开发配置服务和ETF监控管理服务功能，帮助用户将批量异构的数据集成到统一的存储管理系统中，以便完成进一步的数据挖掘和分析，所述数据处理服务模块包括数据分析服务和数据展现服务功能，所述数据分析服务根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务，所诉数据展现服务通过统一的数据门户提供数据展现服务有关功能，数据门户提供统一的数据展现服务管理，将各类数据以图片、图像、地图、动画的方式展现数据。
本发明具有有益效果：
本发明提供了一种基于云计算的数据管理平台，形成信息资源的统一采集、统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，形成平台相应的技术和管理规范，保障政务信息资源的有效服务利用；同时通过标准的云平台技术下的交换共享服务模式，实现政务数据在公共云平台上的统一存储、统一维护和灵活服务，提升政务现有数据的安全存储和高效使用能力，更加深入的进行数据挖掘等工作，创造更多的价值。
具体实施方式
下面具体实施方式对本发明作进一步的说明。
一种基于云计算的数据管理平台，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；
所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统，包括政务业务应用、物联网应用、互联网应用和移动应用，采集对象管理模块的功能包括：(1)提供采集对象的属性描述功能，所有介入的数据源需要有唯一标识、所述单位、数据内容、数据类型、更新频率、访问方式、同心机制；(2)提供组织功能，可按用户的组织机构、业务应用等不同方式进行分类管理；(3)提供对采集对象的查询、检索功能；(4)提供生命周期控制功能，包括采集对象的注册、发布、使用授权、变更、注销，支持数据源管理模型的拓展功能，以便使用多种新型的信息存取方式；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除，在采集过程中，依照数据提供周期及使用周期的不同，提供不同频次的数据采集调度，为提高采集效率，通过多通道分时复用数据采集、多通道同步数据采集、分布式数据采集这几种采集技术；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控，所述任务监控模块监控采集任务执行情况，实时了解任务执行时间、采集数据量、采集数据大小、空间使用情况和内存使用情况；所述异常监控模块战队采集过程中的异常情况，能提供异常情况预警，包括采集任务执行失败、采集节点状态异常、网络情况异常；所述采集统计管理模块对采集过程和采集结构进行统计，包括：采集任务运行情况统计、采集任务资源使用情况统计、采集任务异常事件统计，并将各统计信息以不同图标方式展示；
所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，包括存储状态监控、对基础软硬件进行状态监控和性能监控，包括节点信息、文件数据块分析、文件历史操作、数据块操作历史、文件数据块排名，所述存储备份模块支持集中控制云环境多节点数据并行备份；
所述数据支撑服务模块包括资源目录服务模块、共享交换服务模块、数据集成服务模块以及数据处理服务模块，所述资源目录服务模块包括目录编目、目录注册、目录发布、目录查询和目录维护功能，所述共享交换服务模块包括交换桥接、前置交换、交换传输和交换管理功能，共享交换服务模块在上述功能的基础上实现政务云平台内部应用系统间及政务云平台内部、外部应用系统间的交换服务，所述数据集成服务模块包括数据抽取服务、数据转换服务、数据加载服务、ETL开发配置服务和ETF监控管理服务功能，帮助用户将批量异构的数据集成到统一的存储管理系统中，以便完成进一步的数据挖掘和分析，所述数据处理服务模块包括数据分析服务和数据展现服务功能，所述数据分析服务根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务，所诉数据展现服务通过统一的数据门户提供数据展现服务有关功能，数据门户提供统一的数据展现服务管理，将各类数据以图片、图像、地图、动画的方式展现数据。
本发明提供了一种基于云计算的数据管理平台，形成信息资源的统一采集、统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，形成平台相应的技术和管理规范，保障政务信息资源的有效服务利用；同时通过标准的云平台技术下的交换共享服务模式，实现政务数据在公共云平台上的统一存储、统一维护和灵活服务，提升政务现有数据的安全存储和高效使用能力，更加深入的进行数据挖掘等工作，创造更多的价值。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (3)
1.一种基于云计算的数据管理平台，其特征在于，包括数据管理采集模块、数据管理存储模块以及数据支撑服务模块；
所述数据管理采集模块包括采集对象管理模块、采集过程管理模块、采集监控管理模块以及采集统计管理模块，所述采集对象管理模块的采集数据源涵盖在平台内外部署的所有应用系统；所述采集过程管理模块通过绑定方式对数据提供者和使用者进行关联和管理，提供数据生产方与使用方一对一、一对多、多对多的绑定功能，提供绑定生成、绑定变更、绑定解除；所述采集监控管理模块包括状态监控模块、任务监控模块和异常监控模块，所述状态监控模块监控采集过程中的所有信息，包括采集对象监控、采集对象运行状态和负载情况监控；所述采集统计管理模块对采集过程和采集结构进行统计；
所述数据管理存储模块包括存储管理模块、存储调度模块、存储监控模块以及存储备份模块，所述存储管理模块通过集群、分布式文件系统和网格计算基数，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种存储服务，并提供更大更强更好的数据访问功能，所述存储调度模块在存储调度管理过程中，根据任务需求和调度模型提供不同的云服务动态调度机制，所述存储监控模块在存储过程中对存储的所有活动进行监控和管理，所述存储备份模块支持集中控制云环境多节点数据并行备份；
所述数据支撑服务模块包括资源目录服务模块、共享交换服务模块、数据集成服务模块以及数据处理服务模块，所述资源目录服务模块包括目录编目、目录注册、目录发布、目录查询和目录维护功能，所述共享交换服务模块包括交换桥接、前置交换、交换传输和交换管理功能，共享交换服务模块在上述功能的基础上实现政务云平台内部应用系统间及政务云平台内部、外部应用系统间的交换服务，所述数据集成服务模块包括数据抽取服务、数据转换服务、数据加载服务、ETL开发配置服务和ETF监控管理服务功能，所述数据分析服务根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务，所诉数据展现服务通过统一的数据门户提供数据展现服务有关功能，数据门户提供统一的数据展现服务管理。
2.如权利要求1所述的一种基于云计算的数据管理平台，其特征在于，所述采集对象管理模块的功能包括：(1)提供采集对象的属性描述功能；(2)提供组织功能；(4)提供生命周期控制功能。
3.如权利要求1所述的一种基于云计算的数据管理平台，其特征在于，所述采集统计管理模块包括：采集任务运行情况统计、采集任务资源使用情况统计、采集任务异常事件统计，并将各统计信息以不同图标方式展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810638389.0A CN109086301A (zh) | 2018-06-20 | 2018-06-20 | 一种基于云计算的数据管理平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810638389.0A CN109086301A (zh) | 2018-06-20 | 2018-06-20 | 一种基于云计算的数据管理平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109086301A true CN109086301A (zh) | 2018-12-25 |
Family
ID=64840060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810638389.0A Pending CN109086301A (zh) | 2018-06-20 | 2018-06-20 | 一种基于云计算的数据管理平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086301A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815382A (zh) * | 2018-12-29 | 2019-05-28 | 中国科学院计算技术研究所 | 大规模网络数据的感知与获取方法和系统 |
| CN110096586A (zh) * | 2019-04-15 | 2019-08-06 | 广州市友达电子科技有限公司 | 云平台数据管理系统 |
| CN110825716A (zh) * | 2019-06-04 | 2020-02-21 | 中国人民解放军92493部队参谋部 | 数据全生命周期管理系统、方法及介质 |
| CN111309986A (zh) * | 2020-03-17 | 2020-06-19 | 广州佳航信息技术有限公司 | 大数据采集与共享系统 |
| CN112261108A (zh) * | 2020-10-16 | 2021-01-22 | 江苏奥工信息技术有限公司 | 一种基于大数据共享服务的集群管理平台 |
| CN112333222A (zh) * | 2019-08-05 | 2021-02-05 | 中润普达(深圳)大数据技术有限公司 | 一种基于大数据的云计算服务系统 |
| CN112732774A (zh) * | 2020-12-16 | 2021-04-30 | 北京航天智造科技发展有限公司 | 基于边缘计算的智能生产检测系统及方法 |
| WO2022141287A1 (zh) * | 2020-12-30 | 2022-07-07 | 西门子（中国）有限公司 | 数据管理和查询方法、装置、服务网格系统、计算设备 |
-
2018
- 2018-06-20 CN CN201810638389.0A patent/CN109086301A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815382A (zh) * | 2018-12-29 | 2019-05-28 | 中国科学院计算技术研究所 | 大规模网络数据的感知与获取方法和系统 |
| CN110096586A (zh) * | 2019-04-15 | 2019-08-06 | 广州市友达电子科技有限公司 | 云平台数据管理系统 |
| CN110825716A (zh) * | 2019-06-04 | 2020-02-21 | 中国人民解放军92493部队参谋部 | 数据全生命周期管理系统、方法及介质 |
| CN112333222A (zh) * | 2019-08-05 | 2021-02-05 | 中润普达(深圳)大数据技术有限公司 | 一种基于大数据的云计算服务系统 |
| CN111309986A (zh) * | 2020-03-17 | 2020-06-19 | 广州佳航信息技术有限公司 | 大数据采集与共享系统 |
| CN112261108A (zh) * | 2020-10-16 | 2021-01-22 | 江苏奥工信息技术有限公司 | 一种基于大数据共享服务的集群管理平台 |
| CN112732774A (zh) * | 2020-12-16 | 2021-04-30 | 北京航天智造科技发展有限公司 | 基于边缘计算的智能生产检测系统及方法 |
| WO2022141287A1 (zh) * | 2020-12-30 | 2022-07-07 | 西门子（中国）有限公司 | 数据管理和查询方法、装置、服务网格系统、计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086301A (zh) | 一种基于云计算的数据管理平台 | |
| CN110099099B (zh) | 针对地面信息港的空间信息微服务封装及服务集成方法 | |
| US9276959B2 (en) | Client-configurable security options for data streams | |
| US9858322B2 (en) | Data stream ingestion and persistence techniques | |
| Patti et al. | IoT platform for Smart Cities: Requirements and implementation case studies | |
| Peng et al. | Hadoopwatch: A first step towards comprehensive traffic forecasting in cloud computing | |
| CN111327681A (zh) | 一种基于Kubernetes的云计算数据平台构建方法 | |
| CN101694709B (zh) | 一种面向服务的分布式工作流管理系统 | |
| CN107861859A (zh) | 一种基于微服务架构的日志管理方法及系统 | |
| Koulouzis et al. | Time‐critical data management in clouds: Challenges and a Dynamic Real‐Time Infrastructure Planner (DRIP) solution | |
| CN105094982A (zh) | 一种多星遥感数据处理系统 | |
| CN103930875A (zh) | 用于加速业务数据处理的软件虚拟机 | |
| CN101908178A (zh) | 应用于数据交换的中间件及数据交换方法 | |
| CN101196832B (zh) | 一种面向照明异构设备的资源代理器 | |
| CN109067841A (zh) | 基于ZooKeeper的服务限流方法、系统、服务器及存储介质 | |
| Satoh | A framework for data processing at the edges of networks | |
| Shin et al. | Optimal dynamic control of resources in a distributed system | |
| Del Cid et al. | Middleware for resource sharing in multi-purpose wireless sensor networks | |
| CN107861983A (zh) | 面向高速遥感影像处理的遥感影像存储系统 | |
| CN110457307A (zh) | 元数据管理系统、用户集群创建方法、装置、设备和介质 | |
| CN107682222A (zh) | 一种信息监控方法、装置及系统 | |
| Padulano et al. | Leveraging an open source serverless framework for high energy physics computing | |
| CN108334603A (zh) | 一种大数据互动交换系统 | |
| KR20190078745A (ko) | 에너지 IoT TOC 플랫폼 분산처리 시스템 | |
| Boulekrouche et al. | An intelligent ETL grid-based solution to enable spatial data warehouse deployment in cyber physical system context |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181225 |