CN102882983B - 一种云存储系统中提升并发访问性能的数据快速存储方法 - Google Patents

一种云存储系统中提升并发访问性能的数据快速存储方法 Download PDF

Info

Publication number
CN102882983B
CN102882983B CN201210403644.6A CN201210403644A CN102882983B CN 102882983 B CN102882983 B CN 102882983B CN 201210403644 A CN201210403644 A CN 201210403644A CN 102882983 B CN102882983 B CN 102882983B
Authority
CN
China
Prior art keywords
data
storage server
server
data storage
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210403644.6A
Other languages
English (en)
Other versions
CN102882983A (zh
Inventor
张真
刘志明
赵庆福
蒋文佼
袁高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Innovative Data Technologies Inc
Original Assignee
NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd filed Critical NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Priority to CN201210403644.6A priority Critical patent/CN102882983B/zh
Publication of CN102882983A publication Critical patent/CN102882983A/zh
Application granted granted Critical
Publication of CN102882983B publication Critical patent/CN102882983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云存储系统中提升并发访问性能的数据快速存储方法,包括元数据服务器、数据存储服务器以及客户端,所述元数据服务器与客户端之间只进行控制信号的传输,不进行存储数据流的传输;客户端与存储服务器之间进行存储数据流传输;将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上;单个数据文件的读写并发进行。

Description

一种云存储系统中提升并发访问性能的数据快速存储方法
技术领域
本发明涉及一种云计算平台的计算机软件技术领域,特别是一种云存储系统中提升并发访问性能的数据快速存储方法。
背景技术
现代计算机在社会生活中扮演着非常重要的角色,随着信息技术的发展,越来越大的集群应用系统投入到使用中,不同用户间需要实现统一存储、资源共享,这对数据存储系统提出了新的要求,不同用户可能在同一时间对同一个数据进行访问,探求一种对数据读写并发性以及网络流量的分担协调的机制,对现代大型集群满足多用户、高并发的访问需求具有重要的现实意义。
现有技术的云平台存储都是串行存储方法,无法应对多客户的密集海量存储读写需求。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种云存储系统中提升并发访问性能的数据快速存储方法。
为了解决上述技术问题,本发明公开了一种云存储系统中提升并发访问性能的数据快速存储方法,包括元数据服务器、数据存储服务器以及客户端,所述元数据服务器与客户端之间只进行控制信号的传输,不进行存储数据流的传输;
客户端与存储服务器之间进行存储数据流传输;
将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上;
单个数据文件读写并发进行。
本发明所述方法中,客户端写数据时,数据被分成各个数据块,写每个写数据块根据以下步骤进行操作,并行的向数据存储服务器写数据块:
(1)客户端向元数据服务器发起数据写请求;
(2)元数据服务器根据其管理的数据存储服务器的工作和使用情况,根据负载均衡的方法计算目的数据存储服务器,在目的数据存储服务器上创建新的数据块;
(3)目的数据存储服务器的数据块创建成功,将结果返回给元数据服务器;
(4)元数据服务器备份并同步此数据信息,并将目的存储服务器信息返回给客户端;
(5)客户端根据得到的目的存储服务器信息,向对应目的存储节点发出数据写请求,并向目的存储服务器发送数据;
(6)目的存储节点接收数据并存储到对应数据块,同时也向其他存储服务器备份;
(7)当本地数据写入以及备份完成后,目的存储节点将完成信息返回给客户端;
(8)客户端收到完成信息后,即完成数据的写入。
本发明所述方法中,客户端读数据时,读请求被分成多个读数据块,每个读数据块根据以下步骤进行操作,并行的从数据存储服务器读数据块:
(1)客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引,并向元数据服务器发起数据读请求;
(2)元数据服务器返回该数据块所在的数据存储服务器的列表,数据存储服务器列表包括每个数据存储服务器的地址和序号;
(3)客户端向读写请求数最少的数据存储服务器发送读数据块请求;
(4)数据存储服务器从本地文件系统读出数据块,并返回数据块给客户端。
本发明所述方法中,负载均衡算法为:遍历所有数据存储服务器列表,数据存储服务器列表包括每个数据存储服务器的地址,分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子,加权因子取值范围0.0~1.0,加权因子与数据存储服务器的当前权值之和构成新的权值,对所有数据存储服务器权重进行排序,把负载最小的数据存储服务器排列在列表前面,然后返回可用数据存储服务器的地址,其权值减1。
有益效果:本方法从提高作为大量用户数据存储支撑的云存储系统的高速并发访问性能方面出发,提出一种能满足多用户、高并发访问的需求的方法,给现实应用调用提供方便、高性能的存储支撑。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和其他方面的优点将会变得更加清楚。
图1是云存储系统客户端向系统中快速写数据的流程图。
图2为云存储系统客户端快速读存储数据流程图。
图3为本发明一个具体实施例示意图。
具体实施方式
本发明采用了控制信号流与存储数据流分离的技术,本发明有一种特有的读写机制:客户端在访问云存储系统时,首先访问元数据服务器节点,获取将要与之进行交互的存储服务器信息,然后直接访问这些存储服务器完成数据存取。云存储系统的这种设计方法实现了控制信号流和存储数据流的分离。
客户端与元数据服务器之间只有控制信号流,而无存储数据流,这样就极大地降低了元数据服务器的负载,使之不成为系统性能的一个瓶颈。客户端与存储服务器之间直接传输存储数据流,同时由于数据文件被分成多个数据块进行分布式存储,客户端可以同时访问多个存储服务器,从而使得整个系统的I/O高度并行,系统整体性能得到提高。
通常情况下,系统的整体吞吐率与存储服务器的数量呈正比。
下面详细的介绍一下本发明云存储系统的实际读写过程。云存储系统客户端向系统中写数据的流程如图1所示,包括以下步骤:
1)        云存储系统客户端把数据写请求分成多个块;
2)        云存储系统客户端向元数据服务器发起数据写请求;
3)        元数据服务器根据其管理的数据存储服务器的工作和使用情况,根据负载均衡的方法计算目的数据存储服务器,在目的数据存储服务器上创建一些新的数据块;目的数据存储服务器创建成功,将结果返回给元数据服务器;
4)        元数据服务器备份并同步此数据信息到备份元数据服务器;
5)        元数据服务器将目的存储服务器信息返回给客户端;
6)        客户端根据得到的目的存储服务器信息,向对应目的存储节点发出数据写请求,并向目的存储服务器发送数据;
7)        目的存储节点接收数据并存储到对应数据块,同时也向其他存储服务器备份;
8)        当本地数据写入以及备份完成后,目的存储节点将完成信息返回给客户端,即完成数据的写入;
云存储系统客户端读存储数据流程图2所示,包括以下步骤:
1)        云存储系统客户端把读数据请求分成多个块数据读请求;
2)        云存储系统客户端计算块索引,并向元数据服务器发起数据读请求;
3)        元数据服务器返回该数据库块所在的数据存储服务器的列表;
4)        客户端向读写请求数最少的数据存储服务器发送读数据块请求;
5)        数据存储服务器从本地文件系统读出数据块,并返回数据块给客户端;
总的来说,云存储系统的控制信号流和存储数据流是分离的,一方面降低了元数据服务的负担,使得其处理能力更强,另一方面将数据读写的负担分担到各存储节点,使得系统的整体性能得到了提高,与节点数目成正相关。
本发明采用负载自动均衡技术,云存储系统采用中心服务器模式来管理整个云存储文件系统,所有元数据均保存在元数据服务器上,文件则划分为多个数据块存储在不同的存储服务器上。
元数据服务器维护了一个统一的命名空间,同时掌握整个系统内存储服务器的使用情况,当客户端向元数据服务器发送数据读写的请求时,元数据服务器根据存储服务器的磁盘使用、网络负担等情况,选择负担最轻的存储服务器对外提供服务,自动进行均衡负载。
在云存储系统中,客户端主要进行的是文件的写、读等操作。写时,元数据服务器根据负载均衡算法选择存储服务器集群中当前性能最优的存储服务器节点,如果仅限于此,当遇到高并发读同一文件时,则存储该份文件的存储服务器必然会超载甚至崩溃,解决方案是:元数据服务控制数据存储服务器复制多个副本,元数据服务维护副本列表,客户端根据与数据存储服务器交互次数统计,向最少访问次数的数据存储服务器读取数据块。
另外,当有某一个存储服务器因为机器故障或者其他原因造成离线时,元数据服务器会将此机器自动屏蔽掉,不再将此存储服务器提供给客户端使用,同时存储在此存储服务器上的数据也会自动的备份到其他可用的存储服务器上,自动屏蔽存储服务器故障对系统的影响。包括以下步骤:
1)        元数据服务器周期性的与数据存储服务器发送消息,感知对方是否离线;
2)        元数据服务器根据感知情况检测数据存储服务器是否长期离线;
3)        元数据服务器把所有保存在该数据存储服务器的副本置为无效;
4)        元数据服务器向负载较轻的数据存储服务器发送复制数据块消息;
5)        数据存储服务器从其它可用的副本数据存储服务器复制一个新副本;
实施例
具体实施如图3所示,云存储由主备元数据服务器和多台数据存储服务器以及若干访问客户端组成,客户端读写过程如下实施。
客户端写数据时对数据进行分块,块可以分成不同的大小,下面取块大小64M进行说明。写数据时请求包括offset(相对文件起始位置的偏移量)、size(当前写数据的大小) 和data(当前请求的实际数据)等字段,客户端计算块索引、block编号以及block内部偏移量,计算过程如下:
1)        根据chnum = offset>>26得到总共需读的块数目,根据该数目启动后续多个写数据块线程并行读取请求数据块;
2)        根据indx = (offset>>26),计算块索引位置,发送消息给元数据服务器,元数据服务器根据索引创建一个新的插槽,并记录新块的元数据信息;
3)        根据chunkoffset = (offset&0x3FFFFFF)计算出该数据块所在数据存储服务器块的偏移量;
客户端读数据时对读数据进行分块,块可以分成不同的大小,下面取块大小64M进行说明。读数据时请求包括offset(相对文件起始位置的偏移量)、size(当前读数据的大小)和buff(当前读请求的实际返回的数据)等字段,处理过程如下:
1)        根据size>>26得到总共需读的块数目,根据该数目启动后续多个读数据块线程并行读取请求数据块;
2)        根据indx = (offset>>26),计算块索引位置,发送消息给元数据服务器,元数据服务器根据索引位置,返回该数据块所在的数据存储服务器列表;
3)        根据chunkoffset = (offset&0x3FFFFFF)计算出该数据块所在数据存储服务器块的偏移量。
本发明提供了一种云存储系统的数据存储方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种云存储系统中提升并发访问性能的数据快速存储方法,所述云存储系统包括元数据服务器、数据存储服务器以及客户端,其特征在于,所述元数据服务器与客户端之间只进行控制信号的传输,不进行存储数据流的传输;
客户端与数据存储服务器之间进行存储数据流传输;
将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上;
单个数据文件读写并发进行;
客户端写数据时,数据被分成各个数据块,写每个数据块根据以下步骤进行操作,并行的向数据存储服务器写数据块:
(1)客户端向元数据服务器发起数据写请求;
(2)元数据服务器根据其管理的数据存储服务器的工作和使用情况,根据负载均衡的方法计算目的数据存储服务器,在目的数据存储服务器上创建新的数据块;
(3)目的数据存储服务器的数据块创建成功,将结果返回给元数据服务器;
(4)元数据服务器备份并同步此数据信息,并将目的数据存储服务器信息返回给客户端;
(5)客户端根据得到的目的数据存储服务器信息,向对应目的数据存储服务器发出数据写请求,并向目的数据存储服务器发送数据;
(6)目的数据存储服务器接收数据并存储到对应数据块,同时也向其他数据存储服务器备份;
(7)当本地数据写入以及备份完成后,目的数据存储服务器将完成信息返回给客户端;
(8)客户端收到完成信息后,即完成数据的写入;
客户端读数据时,读请求被分成多个读数据块,每个读数据块根据以下步骤进行操作,并行的从数据存储服务器读数据块:
(11)客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引,并向元数据服务器发起数据读请求;
(12)元数据服务器返回该数据块所在的数据存储服务器的列表,数据存储服务器列表包括每个数据存储服务器的地址和序号;
(13)客户端向读写请求数最少的数据存储服务器发送读数据块请求;
(14)数据存储服务器从本地文件系统读出数据块,并返回数据块给客户端。
2.根据权利要求1所述的一种云存储系统中提升并发访问性能的数据快速存储方法,其特征在于,
负载均衡的方法为:遍历所有数据存储服务器列表,数据存储服务器列表包括每个数据存储服务器的地址,分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子,加权因子取值范围0.0~1.0,加权因子与数据存储服务器的当前权值之和构成新的权值,对所有数据存储服务器权重进行排序,把负载最小的数据存储服务器排列在列表前面,然后返回可用数据存储服务器的地址,其权值减1。
CN201210403644.6A 2012-10-22 2012-10-22 一种云存储系统中提升并发访问性能的数据快速存储方法 Active CN102882983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210403644.6A CN102882983B (zh) 2012-10-22 2012-10-22 一种云存储系统中提升并发访问性能的数据快速存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210403644.6A CN102882983B (zh) 2012-10-22 2012-10-22 一种云存储系统中提升并发访问性能的数据快速存储方法

Publications (2)

Publication Number Publication Date
CN102882983A CN102882983A (zh) 2013-01-16
CN102882983B true CN102882983B (zh) 2015-06-10

Family

ID=47484125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210403644.6A Active CN102882983B (zh) 2012-10-22 2012-10-22 一种云存储系统中提升并发访问性能的数据快速存储方法

Country Status (1)

Country Link
CN (1) CN102882983B (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167026B (zh) * 2013-02-06 2016-05-18 数码辰星科技发展(北京)有限公司 一种云存储环境数据处理方法、系统及设备
CN103324577B (zh) * 2013-06-08 2016-04-06 北京航空航天大学 基于最小化io访问冲突和文件分条的大规模分条文件分配系统
CN103312825B (zh) * 2013-07-10 2016-08-10 中国人民解放军国防科学技术大学 一种数据分布存储方法和装置
CN103607418B (zh) * 2013-07-25 2016-12-28 上海和辰信息技术有限公司 基于云服务数据特征的大规模数据分割系统及分割方法
CN104780190A (zh) * 2014-01-13 2015-07-15 北京兆维电子(集团)有限责任公司 数据读写控制方法及装置
CN103729470A (zh) * 2014-01-20 2014-04-16 刘强 一种基于不同云存储端的安全存储方法
CN103763383B (zh) * 2014-01-27 2017-07-07 西安雷迪信息技术有限公司 一体化云存储系统及其存储方法
CN103812934B (zh) * 2014-01-28 2017-02-15 浙江大学 基于云存储系统的遥感数据发布方法
CN104850548B (zh) * 2014-02-13 2018-05-22 中国移动通信集团山西有限公司 一种实现大数据平台输入/输出处理的方法及系统
CN104023246B (zh) * 2014-04-28 2018-01-30 深圳英飞拓科技股份有限公司 一种视频数据私有云存储系统和视频数据私有云存储方法
CN104050015B (zh) * 2014-06-27 2018-01-19 国家计算机网络与信息安全管理中心 一种虚拟机镜像存储分发的系统
CN104111804B (zh) * 2014-06-27 2017-10-31 暨南大学 一种分布式文件系统
WO2016051512A1 (ja) * 2014-09-30 2016-04-07 株式会社日立製作所 分散型ストレージシステム
CN104580439B (zh) * 2014-12-30 2020-01-03 深圳创新科技术有限公司 一种云存储系统中使数据均匀分布的方法
CN104580437A (zh) * 2014-12-30 2015-04-29 创新科存储技术(深圳)有限公司 一种云存储客户端及其高效数据访问方法
CN104796496A (zh) * 2015-05-12 2015-07-22 国网智能电网研究院 一种基于云存储的负载均衡计算方法
CN105227643A (zh) * 2015-09-11 2016-01-06 武汉思捷云信息科技有限公司 一种基于云存储平台面向视频监控的存储融合系统及方法
CN105227683B (zh) * 2015-11-11 2018-10-19 中国建设银行股份有限公司 一种ldap集群数据同步方法及系统
CN107181773B (zh) * 2016-03-09 2020-12-25 阿里巴巴集团控股有限公司 分布式存储系统的数据存储及数据管理方法、设备
CN106021381A (zh) * 2016-05-11 2016-10-12 北京搜狐新媒体信息技术有限公司 一种云存储服务系统的数据访问/存储方法及装置
CN106302659A (zh) * 2016-08-02 2017-01-04 合肥奇也信息科技有限公司 一种基于云存储系统中提升访问数据快速存储方法
CN106131227A (zh) * 2016-08-31 2016-11-16 浪潮(北京)电子信息产业有限公司 负载平衡方法、元数据服务器系统及负载平衡系统
CN106569739A (zh) * 2016-10-09 2017-04-19 南京中新赛克科技有限责任公司 一种数据写入优化的方法
US10447763B2 (en) * 2016-12-08 2019-10-15 Nanning Fugui Precision Industrial Co., Ltd. Distributed storage method and system
CN106775499B (zh) * 2017-02-07 2019-02-05 无锡华云数据技术服务有限公司 一种对公共存储空间进行合理化暴露的方法、暴露控制系统及一种云存储系统
CN106991134B (zh) * 2017-03-13 2019-04-05 人和未来生物科技(长沙)有限公司 一种基于对象存储的大型数据云存储方法
CN108632305B (zh) * 2017-03-16 2021-05-25 杭州海康威视数字技术股份有限公司 云存储系统、媒体数据存储方法及系统
CN109257403B (zh) * 2017-07-14 2022-01-18 杭州海康威视数字技术股份有限公司 数据存储方法及设备、分布式存储系统
CN109309694A (zh) * 2017-07-27 2019-02-05 杭州海康威视数字技术股份有限公司 一种数据存储的方法和系统
CN107508901B (zh) * 2017-09-04 2020-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN108052284B (zh) * 2017-12-08 2020-11-06 北京奇虎科技有限公司 一种分布式数据存储方法及装置
CN108287664A (zh) * 2018-01-02 2018-07-17 江苏科海智能系统有限公司 一种基于nvm存储设备的快速大数据系统及其设计方法
CN108540382B (zh) * 2018-02-28 2020-08-18 北京交通大学 一种网络内容存储系统及其路由方法
CN108574730A (zh) * 2018-03-20 2018-09-25 深圳智达机械技术有限公司 一种基于云计算的公路隧道结构智能监测系统
CN108574729A (zh) * 2018-03-20 2018-09-25 深圳众厉电力科技有限公司 一种智能变电站云系统
CN108491167B (zh) * 2018-03-29 2020-12-04 重庆大学 一种工业过程工况数据快速随机分布存储方法
CN108733516A (zh) * 2018-05-25 2018-11-02 浙江工商大学 多云安全存储动态平衡备份方法及系统
CN108848141A (zh) * 2018-05-31 2018-11-20 郑州云海信息技术有限公司 一种服务器数据访问的响应方法以及相关方法和相关装置
CN109240624A (zh) * 2018-09-29 2019-01-18 郑州云海信息技术有限公司 一种数据处理方法和装置
CN109815174A (zh) * 2018-12-13 2019-05-28 创新科软件技术(深圳)有限公司 一种多磁盘并发访问方法和装置
CN109887576A (zh) * 2019-01-29 2019-06-14 中国人民解放军总医院 一种医学数据分布式存储方法及系统
CN112099728B (zh) * 2019-06-18 2022-09-16 华为技术有限公司 一种执行写操作、读操作的方法及装置
CN112698783A (zh) * 2019-10-22 2021-04-23 北京金山云网络技术有限公司 对象存储方法、装置及系统
CN111182026B (zh) * 2019-11-27 2023-05-12 广西金慕联行数字科技有限公司 一种智能云盒子
CN111124280A (zh) * 2019-11-29 2020-05-08 浪潮电子信息产业股份有限公司 一种数据追加写入方法、装置及电子设备和存储介质
CN111209263A (zh) * 2020-01-14 2020-05-29 中国建设银行股份有限公司 数据存储方法、装置、设备及存储介质
CN112100146B (zh) * 2020-09-21 2021-06-29 重庆紫光华山智安科技有限公司 一种高效的纠删分布式存储写入方法、系统、介质及终端
CN112667150A (zh) * 2020-12-07 2021-04-16 沈阳飞机设计研究所扬州协同创新研究院有限公司 一种航空电子系统数据的远程存储方法
CN116561089B (zh) * 2023-07-10 2023-09-19 成都泛联智存科技有限公司 数据同步方法、装置、客户端和计算机可读存储介质
CN116991332B (zh) * 2023-09-26 2023-12-15 长春易加科技有限公司 一种智慧工厂大规模数据存储和分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法
CN102523258A (zh) * 2011-11-30 2012-06-27 广东电子工业研究院有限公司 一种面向云操作系统的数据存储架构及其负载均衡方法
CN102546823A (zh) * 2012-02-18 2012-07-04 南京云创存储科技有限公司 一种云存储系统的文件存储管理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7685126B2 (en) * 2001-08-03 2010-03-23 Isilon Systems, Inc. System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储系统及其实现方法
CN102523258A (zh) * 2011-11-30 2012-06-27 广东电子工业研究院有限公司 一种面向云操作系统的数据存储架构及其负载均衡方法
CN102546823A (zh) * 2012-02-18 2012-07-04 南京云创存储科技有限公司 一种云存储系统的文件存储管理系统

Also Published As

Publication number Publication date
CN102882983A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
CN102882983B (zh) 一种云存储系统中提升并发访问性能的数据快速存储方法
Lakshman et al. Cassandra: a decentralized structured storage system
US8370672B2 (en) Reducing power consumption of distributed storage systems
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
CN103246616B (zh) 一种长短周期访问频度的全局共享缓存替换方法
CN104965850B (zh) 一种基于开源技术的数据库高可用实现方法
CN103139302B (zh) 考虑负载均衡的实时副本调度方法
CN106066896B (zh) 一种应用感知的大数据重复删除存储系统及方法
US20160212203A1 (en) Multi-site heat map management
JP6225262B2 (ja) 分散データグリッドにおいてデータを同期させるためにパーティションレベルジャーナリングをサポートするためのシステムおよび方法
CN105549905A (zh) 一种多虚拟机访问分布式对象存储系统的方法
CN101594309B (zh) 集群系统中内存资源的管理方法、设备及网络系统
Zhao et al. Hycache+: Towards scalable high-performance caching middleware for parallel file systems
KR20200061393A (ko) 리소스 스케줄링 방법, 스케줄링 서버, 클라우드 컴퓨팅 시스템, 및 저장 매체
CN104750757B (zh) 一种基于HBase的数据存储方法和设备
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及系统
CN113377868A (zh) 一种基于分布式kv数据库的离线存储系统
CN102984256B (zh) 一种基于授权方式的元数据的处理方法和系统
CN111984696A (zh) 一种新型数据库和方法
CN103294167A (zh) 一种基于数据行为的低能耗集群存储复制装置和方法
CN105849715A (zh) 数据中心中的有效资源利用
US10802748B2 (en) Cost-effective deployments of a PMEM-based DMO system
CN108073472A (zh) 一种基于热度感知的内存纠删码分布方法
CN113672169A (zh) 流处理系统的数据读写方法和流处理系统
JP5691306B2 (ja) 情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: Everwise road in Qinhuai District of Nanjing City, Jiangsu province 210000 No. 6 Baixia Nanjing high tech Industrial Park, building four, building 9 layer A

Patentee after: NANJING YUNCHUANG BIG DATA TECHNOLOGY CO., LTD.

Address before: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 1 Baixia High-tech Industrial Park incubator building, 1 floor

Patentee before: Nanjing Innovative Cloud Storage Technology Co., Ltd.