CN110266533A - 大数据平台管理系统 - Google Patents
大数据平台管理系统 Download PDFInfo
- Publication number
- CN110266533A CN110266533A CN201910527509.4A CN201910527509A CN110266533A CN 110266533 A CN110266533 A CN 110266533A CN 201910527509 A CN201910527509 A CN 201910527509A CN 110266533 A CN110266533 A CN 110266533A
- Authority
- CN
- China
- Prior art keywords
- service
- big data
- platform
- module
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种大数据平台管理系统，包括大数据收集处理模块、应用支撑服务模块、云基础设施模块和平台管理模块，通过对各个数据中心的数据进行汇总、建模、分析和呈现，并针对大数据分析处理平台做出综合评估并定制的各类视图，为用户直观展现所关心各类指标，实现各个数据中心的互联互通和信息交互，实现大数据的自动化汇总、建模、分析和呈现，充分展示了大数据信息。
Description
技术领域
本发明涉及大数据处理技术领域，特别涉及一种大数据平台管理系统。
背景技术
随着技术的不断发展，智慧城市被赋予了新的含义和要求。智慧城市的含义是运用先进的技术和手段感测、分析、整合城市运行核心系统的各项关键信息，实现城市智慧式管理和运行，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。而在对城市内各种需求做出响应，意味着需要处理大量的信息和数据，才能保证城市有效运行。传统的城市信息和数据的处理大多靠人手记录、整理和分析，这样的工作量巨大，出错率高、信息封闭，不符合智慧城市的要求。
目前，城市内的各个政府部门、机关单位和企事业单位等均逐步采用数字信息管理，用于不断迎合智慧城市的需求，达到数字化、信息化管理的效果，但是，不同政府部门、机关单位和企事业单位之间的数据遵循不规范、不统一的管理标准和流程，难以实现城市内各部门互通互联，数据信息难以共享。
发明内容
本发明要解决的技术问题是提供一种能充分展示大数据信息的系统。
为解决上述技术问题，本发明提供一种大数据平台管理系统，包括：
大数据收集处理模块，其收集各类安全和社会数据，并据此形成大数据分析处理平台；
应用支撑服务模块，其通过服务接口向上层应用提供统一高效的数据和应用服务，支撑上层业务应用快速开发，构建基于云计算技术的服务支撑平台；
云基础设施模块，其通过在服务器上部署虚拟化软件，将硬件资源虚拟化，从而使一台物理服务器可以承担多台服务器的工作，为用户提供一个功能完整、标准开放、方便集成的基础设施服务层；
平台管理模块，其包括服务运营组件和运维保障组件，
所述服务运营组件实现对云计算和大数据分析处理平台的服务接入、编排和自动化发放，并通过虚拟数据中心模型，将云服务分权分域地提供给租户使用；
所述运维保障组件为管理员提供统一的运维平台，通过运维平台对上述的大数据收集处理模块、云基础设施模块、基础数据服务层的运维信息进行统一汇总、建模、分析、呈现，并针对大数据分析处理平台做出综合评估并定制的各类视图，为用户直观展现所关心各类指标。
优选地，还包括信息安全模块，其根据层次分为网络安全、主机安全、虚拟化安全、应用安全(平台)和数据安全多个安全层级，以及配套的安全管理和流程，确保提供安全的云环境。
优选地，所述信息安全模块的每个安全层级包括安全隔离，可信、可控制，可审计、可恢复的设计原则，以及配置管理、用户管理、安全加固、安全审计、漏洞管理等管理方法。
优选地，所述大数据收集模块在收集各类安全和社会数据后，先形成原始库，原始库经过分析形成主题库，主题库再进一步根据业务需求整理为面向业务的专题库，从而形成大数据分析处理平台。
优选地，所述应用支撑服务模块包括标准的服务模型和访问接口，使业务开发者能够快速构建应用服务，获取大数据分析处理的能力。
优选地，所述云基础设施模块通过向上提供物理机、虚拟主机、虚拟存储、虚拟网络等服务能力，来为用户提供一个功能完整、标准开放、方便集成的基础设施服务层。
优选地，所述云基础设施模块随着应用系统负载变化，动态改变资源分配的规模，以快速适应应用系统的扩容需求，实现弹性资源分配能力。
优选地，所述服务运营组件包括对于虚拟数据中心模型和用户角色权限的管理，在此基础上实现对云计算和大数据分析处理平台的服务接入、编排和自动化发放。
优选地，所述服务运营组件围绕服务生命周期管理，进一步提供服务目录、服务申请审批、服务自动化部署、服务自助使用控制台等功能。
优选地，所述大数据收集处理模块、云基础设施模块、基础数据服务层的运维信息包括告警、性能、日志、拓扑和流量。
本发明具有以下有益效果：本发明通过对各个数据中心的数据进行汇总、建模、分析和呈现，并针对大数据分析处理平台做出综合评估并定制的各类视图，为用户直观展现所关心各类指标，实现各个数据中心的互联互通和信息交互，实现大数据的自动化汇总、建模、分析和呈现，充分展示了大数据信息。
附图说明
图1是大数据平台管理系统的示意图。
具体实施方式
大数据平台管理系统如图1所示，包括大数据收集处理模块、应用支撑服务模块、云基础设施模块、平台管理模块和信息安全模块。
大数据收集处理模块收集各类安全和社会数据，在收集各类安全和社会数据后，先根据数据形成原始库，原始库经过分析后形成主题库，主题库再进一步根据业务需求整理为面向业务的专题库，从而形成大数据分析处理平台；大数据收集处理模块具有细粒度的权限管理模型和可视化运维能力，从而确保大数据分析处理平台具备良好的安全性和可维护性。
应用支撑服务模块在数据统一存储和管理的基础上，通过服务接口向上层应用提供统一高效的数据和应用服务，支撑上层业务应用快速开发，构建基于云计算技术的服务支撑平台，实现应用和服务松耦合，同时服务可进行积木式叠加，满足业务应用开发的灵活需求。为了提升开发人员使用大数据分析处理平台进行业务实现的便利性，可以将基础通用的大数据分析业务抽象到应用支撑服务模块，其包括标准的服务模型和访问接口，使业务开发者能够快速构建应用服务，获取大数据分析处理的能力。
云基础设施模块通过在服务器上部署虚拟化软件，将硬件资源虚拟化，从而使一台物理服务器可以承担多台服务器的工作，通过向上提供物理机、虚拟主机、虚拟存储、虚拟网络等服务能力，来为用户提供一个功能完整、标准开放、方便集成的基础设施服务层，并随着应用系统负载变化，动态改变资源分配的规模，以快速适应应用系统的扩容需求，实现弹性资源分配能力。
平台管理模块包括服务运营组件和运维保障组件。服务运营组件包括对于虚拟数据中心模型和用户角色权限的管理，在此基础上实现对云计算和大数据分析处理平台的服务接入、编排和自动化发放，并通过虚拟数据中心模型，将云服务分权分域地提供给租户使用；服务运营组件还围绕服务生命周期管理，进一步提供服务目录、服务申请审批、服务自动化部署、服务自助使用控制台等功能。运维保障组件以业务为中心，实现端到端的事务可视化，确保业务的服务水平，其为管理员提供统一的运维平台，通过运维平台对上述的大数据收集处理模块、云基础设施模块、基础数据服务层的运维信息(如告警、性能、日志、拓扑、流量等)进行统一汇总、建模、分析、呈现，并针对大数据分析处理平台做出综合评估并定制的各类视图，为用户直观展现所关心各类指标。
信息安全模块根据层次分为网络安全、主机安全、虚拟化安全、应用安全(平台)和数据安全多个安全层级，以及配套的安全管理和流程，确保提供安全的云环境，每个安全层级包括安全隔离，可信、可控制，可审计、可恢复的设计原则，以及配置管理、用户管理、安全加固、安全审计、漏洞管理等管理方法。
平台管理系统架构设计要实现网络基础设施和数据综合服务、流程服务、基于统一门户的应用服务等多层次服务功能；同时为消除垂直业务系统之间彼此隔离所造成的“信息孤岛”，要求数据中心能够实现对各业务应用系统的数据以多种手段获取，并在数据中心共享库中进行整合，实现业务应用之间数据的横向连通；为实现不同业务协同及相关应用系统互联互通，要求数据中心提供应用系统流程管理和整合手段；要求在数据中心数据利用层提供先进的分析手段和工具，并能够以不同的方式进行统计报表的输出、数据展示、分析、挖掘，使数据成为可用的信息，最大限度的发挥这些数据的作用，提高数据的综合利用程度。
Claims (10)
1.大数据平台管理系统，其特征是，包括：
大数据收集处理模块，其收集各类安全和社会数据，并据此形成大数据分析处理平台；
应用支撑服务模块，其通过服务接口向上层应用提供统一高效的数据和应用服务，支撑上层业务应用快速开发，构建基于云计算技术的服务支撑平台；
云基础设施模块，其通过在服务器上部署虚拟化软件，将硬件资源虚拟化，从而使一台物理服务器可以承担多台服务器的工作，为用户提供一个功能完整、标准开放、方便集成的基础设施服务层；
平台管理模块，其包括服务运营组件和运维保障组件，
所述服务运营组件实现对云计算和大数据分析处理平台的服务接入、编排和自动化发放，并通过虚拟数据中心模型，将云服务分权分域地提供给租户使用；
所述运维保障组件为管理员提供统一的运维平台，通过运维平台对上述的大数据收集处理模块、云基础设施模块、基础数据服务层的运维信息进行统一汇总、建模、分析、呈现，并针对大数据分析处理平台做出综合评估并定制的各类视图，为用户直观展现所关心各类指标。
2.根据权利要求1所述的大数据平台管理系统，其特征是：还包括信息安全模块，其根据层次分为网络安全、主机安全、虚拟化安全、应用安全(平台)和数据安全多个安全层级，以及配套的安全管理和流程，确保提供安全的云环境。
3.根据权利要求2所述的大数据平台管理系统，其特征是：所述信息安全模块的每个安全层级包括安全隔离，可信、可控制，可审计、可恢复的设计原则，以及配置管理、用户管理、安全加固、安全审计、漏洞管理等管理方法。
4.根据权利要求1所述的大数据平台管理系统，其特征是：所述大数据收集模块在收集各类安全和社会数据后，先形成原始库，原始库经过分析形成主题库，主题库再进一步根据业务需求整理为面向业务的专题库，从而形成大数据分析处理平台。
5.根据权利要求1所述的大数据平台管理系统，其特征是：所述应用支撑服务模块包括标准的服务模型和访问接口，使业务开发者能够快速构建应用服务，获取大数据分析处理的能力。
6.根据权利要求1所述的大数据平台管理系统，其特征是：所述云基础设施模块通过向上提供物理机、虚拟主机、虚拟存储、虚拟网络等服务能力，来为用户提供一个功能完整、标准开放、方便集成的基础设施服务层。
7.根据权利要求1或6所述的大数据平台管理系统，其特征是：所述云基础设施模块随着应用系统负载变化，动态改变资源分配的规模，以快速适应应用系统的扩容需求，实现弹性资源分配能力。
8.根据权利要求1所述的大数据平台管理系统，其特征是：所述服务运营组件包括对于虚拟数据中心模型和用户角色权限的管理，在此基础上实现对云计算和大数据分析处理平台的服务接入、编排和自动化发放。
9.根据权利要求1或8所述的大数据平台管理系统，其特征是：所述服务运营组件围绕服务生命周期管理，进一步提供服务目录、服务申请审批、服务自动化部署、服务自助使用控制台等功能。
10.根据权利要求1所述的大数据平台管理系统，其特征是：所述大数据收集处理模块、云基础设施模块、基础数据服务层的运维信息包括告警、性能、日志、拓扑和流量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910527509.4A CN110266533A (zh) | 2019-06-18 | 2019-06-18 | 大数据平台管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910527509.4A CN110266533A (zh) | 2019-06-18 | 2019-06-18 | 大数据平台管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110266533A true CN110266533A (zh) | 2019-09-20 |
Family
ID=67919050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910527509.4A Pending CN110266533A (zh) | 2019-06-18 | 2019-06-18 | 大数据平台管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110266533A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968398A (zh) * | 2019-11-27 | 2020-04-07 | 郭博颖 | 一种基于机器学习和大数据处理的互动系统 |
| CN111737272A (zh) * | 2020-06-02 | 2020-10-02 | 脑谷人工智能研究院(南京)有限公司 | 一种可交互展示各类指标的大数据自动化管理平台 |
| CN111970113A (zh) * | 2020-08-12 | 2020-11-20 | 深圳市宗泰电机有限公司 | 一种企业微信处理管理大数据平台构架 |
| CN112118250A (zh) * | 2020-09-15 | 2020-12-22 | 北京通付盾人工智能技术有限公司 | 一种基于零信任技术的模块化数据分析方法 |
| CN112255959A (zh) * | 2020-10-30 | 2021-01-22 | 合肥未来计算机技术开发有限公司 | 一种基于大数据的智能化建筑安全管理系统 |
| CN112487045A (zh) * | 2020-10-20 | 2021-03-12 | 广西盛源行大数据科技有限公司 | 一种基于大数据的管理平台 |
| CN113568759A (zh) * | 2021-09-27 | 2021-10-29 | 睿至科技集团有限公司 | 一种基于云计算的大数据处理方法及其系统 |
| CN114518934A (zh) * | 2021-12-31 | 2022-05-20 | 安徽海豚新媒体产业发展有限公司 | 一种统一运维平台架构系统 |
| CN115499494A (zh) * | 2022-11-08 | 2022-12-20 | 恒丰银行股份有限公司 | 一种基于服务化的云资源智能分配方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104010025A (zh) * | 2014-03-06 | 2014-08-27 | 西安邮电大学 | 一种信息化公共平台实施架构 |
| CN105389766A (zh) * | 2015-12-17 | 2016-03-09 | 北京中科云集科技有限公司 | 一种基于云平台的智慧城市管理方法及系统 |
| CN105976110A (zh) * | 2016-05-05 | 2016-09-28 | 云神科技投资股份有限公司 | 一种智慧城市管理的方法及系统 |
| US20180046551A1 (en) * | 2016-08-15 | 2018-02-15 | International Business Machines Corporation | Recovery log analytics with a big data management platform |
| CN109754219A (zh) * | 2018-12-24 | 2019-05-14 | 广东科源智能科技股份有限公司 | 一种基于城市管理的大数据管理及分析平台系统 |
-
2019
- 2019-06-18 CN CN201910527509.4A patent/CN110266533A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104010025A (zh) * | 2014-03-06 | 2014-08-27 | 西安邮电大学 | 一种信息化公共平台实施架构 |
| CN105389766A (zh) * | 2015-12-17 | 2016-03-09 | 北京中科云集科技有限公司 | 一种基于云平台的智慧城市管理方法及系统 |
| CN105976110A (zh) * | 2016-05-05 | 2016-09-28 | 云神科技投资股份有限公司 | 一种智慧城市管理的方法及系统 |
| US20180046551A1 (en) * | 2016-08-15 | 2018-02-15 | International Business Machines Corporation | Recovery log analytics with a big data management platform |
| CN109754219A (zh) * | 2018-12-24 | 2019-05-14 | 广东科源智能科技股份有限公司 | 一种基于城市管理的大数据管理及分析平台系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968398A (zh) * | 2019-11-27 | 2020-04-07 | 郭博颖 | 一种基于机器学习和大数据处理的互动系统 |
| CN111737272A (zh) * | 2020-06-02 | 2020-10-02 | 脑谷人工智能研究院(南京)有限公司 | 一种可交互展示各类指标的大数据自动化管理平台 |
| CN111970113A (zh) * | 2020-08-12 | 2020-11-20 | 深圳市宗泰电机有限公司 | 一种企业微信处理管理大数据平台构架 |
| CN112118250A (zh) * | 2020-09-15 | 2020-12-22 | 北京通付盾人工智能技术有限公司 | 一种基于零信任技术的模块化数据分析方法 |
| CN112487045A (zh) * | 2020-10-20 | 2021-03-12 | 广西盛源行大数据科技有限公司 | 一种基于大数据的管理平台 |
| CN112255959A (zh) * | 2020-10-30 | 2021-01-22 | 合肥未来计算机技术开发有限公司 | 一种基于大数据的智能化建筑安全管理系统 |
| CN112255959B (zh) * | 2020-10-30 | 2021-09-21 | 合肥未来计算机技术开发有限公司 | 一种基于大数据的智能化建筑安全管理系统 |
| CN113568759A (zh) * | 2021-09-27 | 2021-10-29 | 睿至科技集团有限公司 | 一种基于云计算的大数据处理方法及其系统 |
| CN114518934A (zh) * | 2021-12-31 | 2022-05-20 | 安徽海豚新媒体产业发展有限公司 | 一种统一运维平台架构系统 |
| CN115499494A (zh) * | 2022-11-08 | 2022-12-20 | 恒丰银行股份有限公司 | 一种基于服务化的云资源智能分配方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110266533A (zh) | 大数据平台管理系统 | |
| CN112685385B (zh) | 一种用于智慧城市建设的大数据平台 | |
| CN104463492B (zh) | 一种电力系统云仿真平台的运营管理方法 | |
| CN102882986B (zh) | 物联网知识产权一站式云服务系统 | |
| CN104796270B (zh) | 在云应用的问题诊断中推荐可疑组件的方法及装置 | |
| CN109471846A (zh) | 一种基于云日志分析的云上用户行为审计系统及方法 | |
| CN112560244A (zh) | 一种基于Docker的虚拟仿真实验系统及方法 | |
| CN102684970B (zh) | 瘦客户端环境提供系统、服务器和瘦客户端环境管理方法 | |
| CN109889358B (zh) | 一种3d可视化it监控管理系统 | |
| CN107680017A (zh) | 一种智慧校园统一管理平台系统 | |
| CN105843182A (zh) | 一种基于oms的电力调度事故预案系统及方法 | |
| CN103763117A (zh) | 服务和运营管理系统 | |
| CN106228340A (zh) | 施工图数字化审查系统 | |
| CN106575253A (zh) | 用于分布式系统中的故障分析的视觉工具 | |
| CN106663041A (zh) | 从系统故障恢复基于云的服务的易用性 | |
| Alam et al. | Recent developments in cloud based systems: state of art | |
| CN113535846B (zh) | 一种大数据平台及其构建方法 | |
| CN103746862A (zh) | 基于移动互联网的hse管理运行监控和诊断方法 | |
| CN110119341B (zh) | 一种idc设备管控系统 | |
| CN110308926A (zh) | 软件信息展示方法、装置、计算机装置及计算机存储介质 | |
| CN106412094A (zh) | 一种以公有云方式组织管理分散资源的方法 | |
| CN117540936A (zh) | 一种用于基层社会治理的多源数据处理方法及系统 | |
| CN115687307A (zh) | 一种数据采集系统及数据采集方法 | |
| Park et al. | An Approach for Reconstructing Applications to Develop Container‐Based Microservices | |
| Alkhalid et al. | Towards efficient software deployment in the cloud using requirements decomposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |
|
| RJ01 | Rejection of invention patent application after publication |