CN102891896A - 用于物联网海量存储的云计算基础架构系统 - Google Patents

用于物联网海量存储的云计算基础架构系统 Download PDF

Info

Publication number
CN102891896A
CN102891896A CN2012103972716A CN201210397271A CN102891896A CN 102891896 A CN102891896 A CN 102891896A CN 2012103972716 A CN2012103972716 A CN 2012103972716A CN 201210397271 A CN201210397271 A CN 201210397271A CN 102891896 A CN102891896 A CN 102891896A
Authority
CN
China
Prior art keywords
data storage
storage pool
cloud
subsystem
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103972716A
Other languages
English (en)
Other versions
CN102891896B (zh
Inventor
葛浩栋
陈曙东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai state core Internet of things Technology Co., Ltd.
Original Assignee
Jiangsu IoT Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu IoT Research and Development Center filed Critical Jiangsu IoT Research and Development Center
Priority to CN201210397271.6A priority Critical patent/CN102891896B/zh
Publication of CN102891896A publication Critical patent/CN102891896A/zh
Application granted granted Critical
Publication of CN102891896B publication Critical patent/CN102891896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种用于物联网海量存储的云计算基础架构系统，其特征在于：包括云操作系统及应用接口、云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池、计算与存储资源虚拟化模块、集群系统；所述云操作系统及应用接口与云计算子系统、云文件子系统相连接，云计算子系统与计算资源池相连接，云文件子系统与大数据存储池、小数据存储池相连接，计算与存储资源虚拟化模块与计算资源池、大数据存储池、小数据存储池及集群系统相连接。

Description

用于物联网海量存储的云计算基础架构系统
技术领域
本发明涉及云计算基础架构系统，具体涉及一种用于物联网海量存储的云计算基础架构系统。
背景技术
现如今，运用物联网技术的各种智慧城市应用，时刻都有着大量的数据产生。在应用为牵引的物联网产业的不断发展过程中，其所产生的海量数据的量级也从TB级急剧增加到PB级别，另外物联网海量数据的多并发、实效性、密集型等特点，也使得常规的云计算基础架构系统难以维持现状应对需求。
发明内容
本发明针对以上技术问题，提供一种具有可以高效存储的物联网海量数据的云计算基础架构系统，整个系统可以对用户提供弹性化的计算和存储资源，数据存储容量大，满足了物联网海量数据的存储需求和计算需求。
本发明采用的技术方案是：
一种用于物联网海量存储的云计算基础架构系统，包括云操作系统及应用接口、云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池、计算与存储资源虚拟化模块、集群系统；
所述云操作系统及应用接口与云计算子系统、云文件子系统相连接，云计算子系统与计算资源池相连接，云文件子系统与大数据存储池、小数据存储池相连接，计算与存储资源虚拟化模块与计算资源池、大数据存储池、小数据存储池及集群系统相连接；
本架构系统的底层由一个或者多个集群系统构成，当存在多个集群系统时，各集群系统之间有心跳线连接，通过心跳线来判定集群系统是否正常运行。
所述集群系统包括一台或者多台物理服务器，每台物理服务器使用现有的主流操作系统，所述物理服务器共同构成本架构系统的硬件物理层；
所述计算与存储资源虚拟化模块对集群系统的计算与存储资源进行虚拟化，使之形成一个逻辑上的计算资源池和数据存储池，数据存储池分为大数据存储池和小数据存储池；通过计算与存储资源虚拟化模块，整个系统可以对用户提供弹性化的计算和存储资源。
所述云计算子系统负责对计算资源池进行计算资源的分配及管理，并且包括对集群系统的故障处理、网络故障处理、计算资源负载平衡和节点配置；
所述云文件子系统负责存储资源的分配及管理，并包括数据安全、数据存储索引的管理引及物联网大数据、物联网小数据的分类管理。
所述云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池和计算与存储资源虚拟化模块构成本架构系统的软件核心层，通过软件核心层对于硬件物理层的封装，实现计算与存储资源对于用户的透明操作；
所述云操作系统及应用接口层通过软件核心层来对底层的硬件物理层进行各项操作，为用户提供应用的支撑平台，如计算应用、存储应用及各类云应用。
本发明有以下优点：
数据存储容量大，由于集群系统可以扩展许多个，从而提供了强大的数据存储扩展能力。通过计算与存储资源虚拟化模块，整个系统可以对用户提供弹性化的计算和存储资源。
对数据根据阀值判断其大小，分开存储在大数据存储池、小数据存储池，能实现高效的数据操作。
附图说明
图1是本发明的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，一种用于物联网海量存储的云计算基础架构系统，包括云操作系统及应用接口、云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池、计算与存储资源虚拟化模块、集群系统；
所述云操作系统及应用接口与云计算子系统、云文件子系统相连接，云计算子系统与计算资源池相连接，云文件子系统与大数据存储池、小数据存储池相连接，计算与存储资源虚拟化模块与计算资源池、大数据存储池、小数据存储池及集群系统相连接；
本架构系统的底层由一个或者多个集群系统构成，当存在多个集群系统时，各集群系统之间有心跳线连接，通过心跳线来判定集群系统是否正常运行。
所述集群系统包括一台或者多台物理服务器，每台物理服务器使用现有的主流操作系统，所述物理服务器共同构成本架构系统的硬件物理层；
所述计算与存储资源虚拟化模块对集群系统的计算与存储资源进行虚拟化，使之形成一个逻辑上的计算资源池和数据存储池，数据存储池分为大数据存储池和小数据存储池；通过计算与存储资源虚拟化模块，整个系统可以对用户提供弹性化的计算和存储资源。
所述云计算子系统负责对计算资源池进行计算资源的分配及管理，并且包括对集群系统的故障处理、网络故障处理、计算资源负载平衡和节点配置；
所述云文件子系统负责存储资源的分配及管理，并包括数据安全、数据存储索引的管理引及物联网大数据、物联网小数据的分类管理；物联网应用所产生的海量数据根据大小规模，分别存放在大数据存储池与小数据存储池。云文件子系统会设定一个数据大小阀值，大数据存储池的数据管理及数据读取存放机制可以对超过这个大小阀值的数据，实行高效的数据操作。小数据存储池的数据管理及数据读取存放机制可以对低于这个大小阀值的数据，实行高效的数据操作。
所述云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池和计算与存储资源虚拟化模块构成本架构系统的软件核心层，通过软件核心层对于硬件物理层的封装，实现计算与存储资源对于用户的透明操作；
所述云操作系统及应用接口层通过软件核心层来对底层的硬件物理层进行各项操作，为用户提供应用的支撑平台，如计算应用、存储应用及各类云应用。云操作系统及应用接口层也使用户和应用程序在云操作系统上看到的只是一台逻辑形式上的资源可以弹性分配与伸缩的大型计算机。

Claims (2)

1. 一种用于物联网海量存储的云计算基础架构系统，其特征在于：包括云操作系统及应用接口、云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池、计算与存储资源虚拟化模块及集群系统；
所述云操作系统及应用接口与云计算子系统、云文件子系统相连接，云计算子系统与计算资源池相连接，云文件子系统与大数据存储池、小数据存储池相连接，计算与存储资源虚拟化模块与计算资源池、大数据存储池、小数据存储池及集群系统相连接；
所述集群系统包括一台或者多台物理服务器，每台物理服务器使用现有的主流操作系统，所述物理服务器共同构成本架构系统的硬件物理层；
所述计算与存储资源虚拟化模块对集群系统的计算与存储资源进行虚拟化，使之形成一个逻辑上的计算资源池和数据存储池，数据存储池分为大数据存储池和小数据存储池；
所述云计算子系统负责对计算资源池进行计算资源的分配及管理，并且包括对集群系统的故障处理、网络故障处理、计算资源负载平衡和节点配置；
所述云文件子系统负责存储资源的分配及管理，并包括数据安全、数据存储索引的管理引及物联网大数据、物联网小数据的分类管理；
所述云计算子系统、云文件子系统、计算资源池、大数据存储池、小数据存储池和计算与存储资源虚拟化模块构成本架构系统的软件核心层，通过软件核心层对于硬件物理层的封装，实现计算与存储资源对于用户的透明操作；
所述云操作系统及应用接口层通过软件核心层来对底层的硬件物理层进行各项操作，为用户提供应用的支撑平台，包括计算应用、存储应用及云应用。
2.如权利要求1所述的用于物联网海量存储的云计算基础架构系统，其特征在于：所述集群系统是一个或者多个集群系统，当存在多个集群系统时，各集群系统之间有心跳线连接，通过心跳线来判定集群系统是否正常运行。
CN201210397271.6A 2012-10-18 2012-10-18 用于物联网海量存储的云计算基础架构系统 Active CN102891896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210397271.6A CN102891896B (zh) 2012-10-18 2012-10-18 用于物联网海量存储的云计算基础架构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210397271.6A CN102891896B (zh) 2012-10-18 2012-10-18 用于物联网海量存储的云计算基础架构系统

Publications (2)

Publication Number Publication Date
CN102891896A true CN102891896A (zh) 2013-01-23
CN102891896B CN102891896B (zh) 2014-12-10

Family

ID=47535257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210397271.6A Active CN102891896B (zh) 2012-10-18 2012-10-18 用于物联网海量存储的云计算基础架构系统

Country Status (1)

Country Link
CN (1) CN102891896B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428008A (zh) * 2013-08-28 2013-12-04 浙江大学 面向多用户群的大数据分发策略
CN103973791A (zh) * 2014-05-08 2014-08-06 江苏物联网研究发展中心 物联网快速统一存储系统
CN104615701A (zh) * 2015-01-27 2015-05-13 深圳市融创天下科技有限公司 基于视频云平台的智慧城市嵌入式大数据可视化引擎集群
CN105049178A (zh) * 2015-07-23 2015-11-11 柳州易旺科技有限公司 一种多用户信息筛选方法
CN105187514A (zh) * 2015-08-14 2015-12-23 深圳市云舒网络技术有限公司 云端应用程序的管理方法及其系统
CN105681443A (zh) * 2016-01-28 2016-06-15 安徽四创电子股份有限公司 一种基于大数据的云计算架构方法及系统
CN106209821A (zh) * 2016-07-07 2016-12-07 何钟柱 基于可信云计算的信息安全大数据管理系统
CN106385460A (zh) * 2016-10-21 2017-02-08 高道华 一种物联网的可编程架构
CN106452952A (zh) * 2016-09-29 2017-02-22 华为技术有限公司 一种检测集群系统通信状态的方法及网关集群
CN109408458A (zh) * 2018-09-07 2019-03-01 安徽恒科信息技术有限公司 一种大数据存储管理平台
CN109542206A (zh) * 2018-10-19 2019-03-29 天津易华录信息技术有限公司 一种低能耗数据中心
CN110266821A (zh) * 2019-07-19 2019-09-20 南京世竹软件科技有限公司 一种物联网监测大数据的存储系统
CN110365780A (zh) * 2019-07-19 2019-10-22 南京世竹软件科技有限公司 一种用于物联网存储的云计算基础架构系统
WO2020192649A1 (zh) * 2019-03-27 2020-10-01 上海德衡数据科技有限公司 一种数据中心管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222490A (zh) * 2007-12-07 2008-07-16 中国科学院计算技术研究所 一种网络服务器系统及方法
WO2009105594A2 (en) * 2008-02-20 2009-08-27 Hewlett-Packard Development Company, L.P. Method and system for implementing a virtual storage pool in a virtual environment
CN102333103A (zh) * 2010-07-12 2012-01-25 戴元顺 云存储系统
US20120096149A1 (en) * 2010-10-13 2012-04-19 Sash Sunkara Cloud federation in a cloud computing environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222490A (zh) * 2007-12-07 2008-07-16 中国科学院计算技术研究所 一种网络服务器系统及方法
WO2009105594A2 (en) * 2008-02-20 2009-08-27 Hewlett-Packard Development Company, L.P. Method and system for implementing a virtual storage pool in a virtual environment
CN102333103A (zh) * 2010-07-12 2012-01-25 戴元顺 云存储系统
US20120096149A1 (en) * 2010-10-13 2012-04-19 Sash Sunkara Cloud federation in a cloud computing environment

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428008A (zh) * 2013-08-28 2013-12-04 浙江大学 面向多用户群的大数据分发策略
CN103428008B (zh) * 2013-08-28 2016-08-10 浙江大学 面向多用户群的大数据分发方法
CN103973791B (zh) * 2014-05-08 2017-10-20 江苏物联网研究发展中心 物联网快速统一存储系统
CN103973791A (zh) * 2014-05-08 2014-08-06 江苏物联网研究发展中心 物联网快速统一存储系统
CN104615701A (zh) * 2015-01-27 2015-05-13 深圳市融创天下科技有限公司 基于视频云平台的智慧城市嵌入式大数据可视化引擎集群
CN104615701B (zh) * 2015-01-27 2018-04-06 融创天下（上海）科技发展有限公司 基于视频云平台的智慧城市嵌入式大数据可视化引擎集群
CN105049178A (zh) * 2015-07-23 2015-11-11 柳州易旺科技有限公司 一种多用户信息筛选方法
CN105187514A (zh) * 2015-08-14 2015-12-23 深圳市云舒网络技术有限公司 云端应用程序的管理方法及其系统
CN105187514B (zh) * 2015-08-14 2019-02-01 深圳市云舒网络技术有限公司 云端应用程序的管理方法及其系统
CN105681443A (zh) * 2016-01-28 2016-06-15 安徽四创电子股份有限公司 一种基于大数据的云计算架构方法及系统
CN106209821A (zh) * 2016-07-07 2016-12-07 何钟柱 基于可信云计算的信息安全大数据管理系统
CN106452952A (zh) * 2016-09-29 2017-02-22 华为技术有限公司 一种检测集群系统通信状态的方法及网关集群
CN106452952B (zh) * 2016-09-29 2019-11-22 华为技术有限公司 一种检测集群系统通信状态的方法及网关集群
CN106385460A (zh) * 2016-10-21 2017-02-08 高道华 一种物联网的可编程架构
CN109408458A (zh) * 2018-09-07 2019-03-01 安徽恒科信息技术有限公司 一种大数据存储管理平台
CN109542206A (zh) * 2018-10-19 2019-03-29 天津易华录信息技术有限公司 一种低能耗数据中心
WO2020192649A1 (zh) * 2019-03-27 2020-10-01 上海德衡数据科技有限公司 一种数据中心管理系统
US11431827B2 (en) 2019-03-27 2022-08-30 Shanghai Data Center Science Co., Ltd Data center management system
CN110266821A (zh) * 2019-07-19 2019-09-20 南京世竹软件科技有限公司 一种物联网监测大数据的存储系统
CN110365780A (zh) * 2019-07-19 2019-10-22 南京世竹软件科技有限公司 一种用于物联网存储的云计算基础架构系统

Also Published As

Publication number Publication date
CN102891896B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
CN102891896B (zh) 用于物联网海量存储的云计算基础架构系统
CN102402399B (zh) 带有非对称存储器的系统中的虚拟机存储器管理
CN103180830A (zh) 中央处理器资源分配方法和计算节点
CN101778005B (zh) 复杂网络配置方法和系统
CN102404412A (zh) 云计算数据中心节能方法及系统
Tsai et al. Two-tier multi-tenancy scaling and load balancing
CN107967180B (zh) 基于numa虚拟化环境下资源全局亲和度网络优化方法和系统
CN103279330A (zh) 一种基于虚拟机GPU计算下的MapReduce并行编程模型
Ma et al. Distributed load balancing allocation of virtual machine in cloud data center
CN103019861A (zh) 虚拟机分配方法及装置
CN103441918A (zh) 一种自组织集群服务器系统及其自组织方法
Chen et al. Tology-aware optimal data placement algorithm for network traffic optimization
CN104598316A (zh) 一种存储资源分配方法及装置
CN103793525A (zh) 基于局部迭代的MapReduce模型的图结点的权威值计算方法
Jiang et al. Energy efficient VM placement heuristic algorithms comparison for cloud with multidimensional resources
CN104360982A (zh) 一种基于可重构芯片技术的主机系统目录结构实现方法和系统
Yang et al. K-Means Method for Grouping in Hybrid MapReduce Cluster.
CN114996003A (zh) 一种云服务部署方法、装置、电子设备及存储介质
CN202856795U (zh) 用于物联网存储的云计算基础架构系统
CN102420850A (zh) 一种资源调度方法及系统
Chandrasekaran et al. Load balancing of virtual machine resources in cloud using genetic algorithm
CN103209219A (zh) 一种分布式集群文件系统
CN104298537A (zh) 电力信息通信虚拟化环境资源模型
US9069594B1 (en) Burst buffer appliance comprising multiple virtual machines
CN104050189B (zh) 页面共享处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171013

Address after: 201600 room 108, building 4, No. 455, research Exhibition Road, Shanghai, Songjiang District, -85

Patentee after: Shanghai state core Internet of things Technology Co., Ltd.

Address before: 214135 Jiangsu New District of Wuxi City Linghu Road No. 200 China Sensor Network International Innovation Park C building 4 floor

Patentee before: Jiangsu Internet of Things Research & Develoment Co., Ltd.

TR01 Transfer of patent right