CN109656993A - 一种分布式环境下的海量数据存储与计算系统 - Google Patents

一种分布式环境下的海量数据存储与计算系统 Download PDF

Info

Publication number
CN109656993A
CN109656993A CN201811482475.3A CN201811482475A CN109656993A CN 109656993 A CN109656993 A CN 109656993A CN 201811482475 A CN201811482475 A CN 201811482475A CN 109656993 A CN109656993 A CN 109656993A
Authority
CN
China
Prior art keywords
application service
service layer
core application
computing system
mass data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811482475.3A
Other languages
English (en)
Inventor
欧家祥
代湘蓉
张俊玮
黄宇
丁超
王蓝苓
王扬
胡厚鹏
李航峰
宋强
杨婧
王俊融
安江
吴才远
林晓庆
付卿卿
文良文
余飞娅
唐贤敏
石云晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN201811482475.3A priority Critical patent/CN109656993A/zh
Publication of CN109656993A publication Critical patent/CN109656993A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Abstract

本发明公开了一种分布式环境下的海量数据存储与计算系统，所述分布式环境下对采集系统中海量数据的存储与计算系统包括，运行框架，为分布式计算、内存计算提供运行支撑；核心应用服务层，用于提供平台服务；管理控制台，为核心应用服务层提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层中各组件的运行情况。以解决现有技术平台结构可扩展性较差，对数据操作存在困难的问题。

Description

一种分布式环境下的海量数据存储与计算系统
技术领域
本发明涉及计算机领域，尤其涉及一种分布式环境下的海量数据存储与计算系统。
背景技术
现有的电采集系统的海量数据的存储与计算平台，平台结构可扩展性较差，对数据操作困难。
发明内容
本发明要解决的技术问题是：提供一种分布式环境下的海量数据存储与计算系统，以解决现有技术平台结构可扩展性较差，对数据操作存在困难的问题。
本发明的技术方案是：一种分布式环境下的海量数据存储与计算系统，所述分布式环境下对采集系统中海量数据的存储与计算系统包括，
运行框架，为分布式计算、内存计算提供运行支撑；
核心应用服务层，用于提供平台服务；
管理控制台，为核心应用服务层提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层中各组件的运行情况。
进一步地，所述核心应用服务层包括集成封装，集成封装包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。
进一步地，所述核心应用服务层包括服务访问代理，服务访问代理包括Socket、Webservice和RESTful交互方式。
进一步地，所述核心应用服务层包括数据导入接口。
进一步地，所述核心应用服务层包括查询接口。
进一步地，所述核心应用服务层包括访问权限控制器。
本发明的有益效果是：
与现有技术相比，本发明通过使用运行框架，为分布式计算、内存计算提供运行支撑；核心应用服务层，用于提供平台服务；管理控制台，为核心应用服务层提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层中各组件的运行情况。平台可扩展性大大增强，且对数据更加容易操作。
附图说明
图1为本发明的结构示意图；
图中：1运行框架、2核心运用服务层、201集成封装、202服务访问代理、203数据导入接口、204查询接口、205访问权限控制器、3管理控制台。
具体实施方式
下面结合附图及具体的实施例对发明进行进一步介绍：
参考图1，一种分布式环境下的海量数据存储与计算系统，所述分布式环境下对采集系统中海量数据的存储与计算系统包括，
运行框架1，为分布式计算、内存计算提供运行支撑；
核心应用服务层2，用于提供平台服务；
管理控制台3，为核心应用服务层2提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层2中各组件的运行情况。
使得平台可扩展性大大增强，且对数据更加容易操作。
进一步地，所述核心应用服务层2包括集成封装201，集成封装201包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。
进一步地，所述核心应用服务层2包括服务访问代理202，服务访问代理202包括Socket、Webservice和RESTful交互方式。
进一步地，所述核心应用服务层2包括数据导入接口203。使外界数据导入更加简单。
进一步地，所述核心应用服务层2包括查询接口204。使查询数据更加简单。
进一步地，所述核心应用服务层2包括访问权限控制器205。使各项活动都受控，避免没有权限的人越权操作。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种分布式环境下的海量数据存储与计算系统，其特征在于：所述分布式环境下对采集系统中海量数据的存储与计算系统包括，
运行框架（1），为分布式计算、内存计算提供运行支撑；
核心应用服务层（2），用于提供平台服务；
管理控制台（3），为核心应用服务层（2）提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层（2）中各组件的运行情况。
2.根据权利要求1所述的分布式环境下的海量数据存储与计算系统，其特征在于：所述核心应用服务层（2）包括集成封装（201），集成封装（201）包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。
3.根据权利要求1所述的分布式环境下的海量数据存储与计算系统，其特征在于：所述核心应用服务层（2）包括服务访问代理（202），服务访问代理（202）包括Socket、Webservice和RESTful交互方式。
4.根据权利要求1所述的分布式环境下的海量数据存储与计算系统，其特征在于：所述核心应用服务层（2）包括数据导入接口（203）。
5.根据权利要求1所述的分布式环境下的海量数据存储与计算系统，其特征在于：所述核心应用服务层（2）包括查询接口（204）。
6.根据权利要求1所述的分布式环境下的海量数据存储与计算系统，其特征在于：所述核心应用服务层（2）包括访问权限控制器（205）。
CN201811482475.3A 2018-12-05 2018-12-05 一种分布式环境下的海量数据存储与计算系统 Pending CN109656993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811482475.3A CN109656993A (zh) 2018-12-05 2018-12-05 一种分布式环境下的海量数据存储与计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811482475.3A CN109656993A (zh) 2018-12-05 2018-12-05 一种分布式环境下的海量数据存储与计算系统

Publications (1)

Publication Number Publication Date
CN109656993A true CN109656993A (zh) 2019-04-19

Family

ID=66111938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811482475.3A Pending CN109656993A (zh) 2018-12-05 2018-12-05 一种分布式环境下的海量数据存储与计算系统

Country Status (1)

Country Link
CN (1) CN109656993A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917038A (zh) * 2012-10-10 2013-02-06 江苏物联网研究发展中心 基于云计算的医疗物联网远程服务系统
CN102982408A (zh) * 2012-11-05 2013-03-20 中国电力科学研究院 一种基于云计算的规模化电动汽车运行监控平台
CN104679608A (zh) * 2015-02-09 2015-06-03 广州杰赛科技股份有限公司 一种基础设施虚拟化平台构建方法及其镜像管理结构
CN106980669A (zh) * 2017-03-23 2017-07-25 珠海格力电器股份有限公司 一种数据的存储、获取方法及装置
CN107341205A (zh) * 2017-06-23 2017-11-10 国网上海市电力公司 一种基于大数据平台的智能配用电系统
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN107864222A (zh) * 2017-12-14 2018-03-30 北京航天测控技术有限公司 一种基于PaaS平台的工业大数据计算架构

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917038A (zh) * 2012-10-10 2013-02-06 江苏物联网研究发展中心 基于云计算的医疗物联网远程服务系统
CN102982408A (zh) * 2012-11-05 2013-03-20 中国电力科学研究院 一种基于云计算的规模化电动汽车运行监控平台
CN104679608A (zh) * 2015-02-09 2015-06-03 广州杰赛科技股份有限公司 一种基础设施虚拟化平台构建方法及其镜像管理结构
CN106980669A (zh) * 2017-03-23 2017-07-25 珠海格力电器股份有限公司 一种数据的存储、获取方法及装置
CN107341205A (zh) * 2017-06-23 2017-11-10 国网上海市电力公司 一种基于大数据平台的智能配用电系统
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN107864222A (zh) * 2017-12-14 2018-03-30 北京航天测控技术有限公司 一种基于PaaS平台的工业大数据计算架构

Similar Documents

Publication Publication Date Title
CN104753930B (zh) 基于安全网关的云桌面管理系统及其安全访问控制方法
CN103618752B (zh) 一种虚拟机远程桌面安全访问系统及方法
CN103036946B (zh) 一种用于云平台处理文件备份任务的方法和系统
CN104951694B (zh) 一种管理虚拟机的隔离方法及装置
EP2993864A1 (en) Public and private hybrid distributed cloud storage system and cloud storage method
CN105991734B (zh) 一种云平台管理方法及系统
CN106575243A (zh) 管理程序托管的虚拟机取证
CN104756132B (zh) 虚拟化硬件单调计数器
CN102667803B (zh) 用于根据所分配的权限信息运行虚拟机的方法和设备
CN107402891A (zh) 确定共享虚拟内存页面管理模式的方法和相关设备
CN103763369B (zh) 一种基于san存储系统的多重权限分配方法
CN202918339U (zh) 一种基于云计算的运载火箭地面测发控系统
CN103366135A (zh) 在存储云中由租户驱动的安全系统与方法
CN108667867A (zh) 数据存储方法及装置
CN105468989A (zh) 基于Linux内核监控的云存储配额管理方法
CN107895113A (zh) 一种支持hadoop多集群的细粒度数据权限控制方法及系统
CN108037978A (zh) 一种基于虚拟化技术的计算资源管理方法
CN104767741A (zh) 一种基于轻型虚拟机的计算服务分离与安全保护系统
CN104091130A (zh) 企业数据管理平台中的权限控制方法
CN102664894B (zh) 一种基于云计算的软件提供系统及方法
CN108537684A (zh) 一种智慧社区综合服务平台
CN108170510A (zh) 一种基于虚拟化技术的计算资源管理系统
CN105141589B (zh) 一种多实例的token共享与维护的方法及系统
CN115248799A (zh) 一种大数据数仓多租户管理的系统及方法
CN109656993A (zh) 一种分布式环境下的海量数据存储与计算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419

RJ01 Rejection of invention patent application after publication