CN102882983A - 一种云存储系统中提升并发访问性能的数据快速存储方法 - Google Patents
一种云存储系统中提升并发访问性能的数据快速存储方法 Download PDFInfo
- Publication number
- CN102882983A CN102882983A CN2012104036446A CN201210403644A CN102882983A CN 102882983 A CN102882983 A CN 102882983A CN 2012104036446 A CN2012104036446 A CN 2012104036446A CN 201210403644 A CN201210403644 A CN 201210403644A CN 102882983 A CN102882983 A CN 102882983A
- Authority
- CN
- China
- Prior art keywords
- data
- storage server
- server
- client
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云存储系统中提升并发访问性能的数据快速存储方法，包括元数据服务器、数据存储服务器以及客户端，所述元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；客户端与存储服务器之间进行存储数据流传输；将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上；单个数据文件的读写并发进行。
Description
技术领域
本发明涉及一种云计算平台的计算机软件技术领域，特别是一种云存储系统中提升并发访问性能的数据快速存储方法。
背景技术
现代计算机在社会生活中扮演着非常重要的角色，随着信息技术的发展，越来越大的集群应用系统投入到使用中，不同用户间需要实现统一存储、资源共享，这对数据存储系统提出了新的要求，不同用户可能在同一时间对同一个数据进行访问，探求一种对数据读写并发性以及网络流量的分担协调的机制，对现代大型集群满足多用户、高并发的访问需求具有重要的现实意义。
现有技术的云平台存储都是串行存储方法，无法应对多客户的密集海量存储读写需求。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种云存储系统中提升并发访问性能的数据快速存储方法。
为了解决上述技术问题，本发明公开了一种云存储系统中提升并发访问性能的数据快速存储方法，包括元数据服务器、数据存储服务器以及客户端，所述元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；
客户端与存储服务器之间进行存储数据流传输；
将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上；
单个数据文件读写并发进行。
本发明所述方法中，客户端写数据时，数据被分成各个数据块，写每个写数据块根据以下步骤进行操作，并行的向数据存储服务器写数据块：
（1）客户端向元数据服务器发起数据写请求；
（2）元数据服务器根据其管理的数据存储服务器的工作和使用情况，根据负载均衡的方法计算目的数据存储服务器，在目的数据存储服务器上创建新的数据块；
（3）目的数据存储服务器的数据块创建成功，将结果返回给元数据服务器；
（4）元数据服务器备份并同步此数据信息，并将目的存储服务器信息返回给客户端；
（5）客户端根据得到的目的存储服务器信息，向对应目的存储节点发出数据写请求，并向目的存储服务器发送数据；
（6）目的存储节点接收数据并存储到对应数据块，同时也向其他存储服务器备份；
（7）当本地数据写入以及备份完成后，目的存储节点将完成信息返回给客户端；
（8）客户端收到完成信息后，即完成数据的写入。
本发明所述方法中，客户端读数据时，读请求被分成多个读数据块，每个读数据块根据以下步骤进行操作，并行的从数据存储服务器读数据块：
（1）客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引，并向元数据服务器发起数据读请求；
（2）元数据服务器返回该数据块所在的数据存储服务器的列表，数据存储服务器列表包括每个数据存储服务器的地址和序号；
（3）客户端向读写请求数最少的数据存储服务器发送读数据块请求；
（4）数据存储服务器从本地文件系统读出数据块，并返回数据块给客户端。
本发明所述方法中，负载均衡算法为：遍历所有数据存储服务器列表，数据存储服务器列表包括每个数据存储服务器的地址，分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子，加权因子取值范围0.0~1.0，加权因子与数据存储服务器的当前权值之和构成新的权值，对所有数据存储服务器权重进行排序，把负载最小的数据存储服务器排列在列表前面，然后返回可用数据存储服务器的地址，其权值减1。
有益效果：本方法从提高作为大量用户数据存储支撑的云存储系统的高速并发访问性能方面出发，提出一种能满足多用户、高并发访问的需求的方法，给现实应用调用提供方便、高性能的存储支撑。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和其他方面的优点将会变得更加清楚。
图1是云存储系统客户端向系统中快速写数据的流程图。
图2为云存储系统客户端快速读存储数据流程图。
图3为本发明一个具体实施例示意图。
具体实施方式
本发明采用了控制信号流与存储数据流分离的技术，本发明有一种特有的读写机制：客户端在访问云存储系统时，首先访问元数据服务器节点，获取将要与之进行交互的存储服务器信息，然后直接访问这些存储服务器完成数据存取。云存储系统的这种设计方法实现了控制信号流和存储数据流的分离。
客户端与元数据服务器之间只有控制信号流，而无存储数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与存储服务器之间直接传输存储数据流，同时由于数据文件被分成多个数据块进行分布式存储，客户端可以同时访问多个存储服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。
通常情况下，系统的整体吞吐率与存储服务器的数量呈正比。
下面详细的介绍一下本发明云存储系统的实际读写过程。云存储系统客户端向系统中写数据的流程如图1所示，包括以下步骤：
1) 云存储系统客户端把数据写请求分成多个块；
2) 云存储系统客户端向元数据服务器发起数据写请求；
3) 元数据服务器根据其管理的数据存储服务器的工作和使用情况，根据负载均衡的方法计算目的数据存储服务器，在目的数据存储服务器上创建一些新的数据块；目的数据存储服务器创建成功，将结果返回给元数据服务器；
4) 元数据服务器备份并同步此数据信息到备份元数据服务器；
5) 元数据服务器将目的存储服务器信息返回给客户端；
6) 客户端根据得到的目的存储服务器信息，向对应目的存储节点发出数据写请求，并向目的存储服务器发送数据；
7) 目的存储节点接收数据并存储到对应数据块，同时也向其他存储服务器备份；
8) 当本地数据写入以及备份完成后，目的存储节点将完成信息返回给客户端，即完成数据的写入；
云存储系统客户端读存储数据流程图2所示，包括以下步骤：
1) 云存储系统客户端把读数据请求分成多个块数据读请求；
2) 云存储系统客户端计算块索引，并向元数据服务器发起数据读请求；
3) 元数据服务器返回该数据库块所在的数据存储服务器的列表；
4) 客户端向读写请求数最少的数据存储服务器发送读数据块请求；
5) 数据存储服务器从本地文件系统读出数据块，并返回数据块给客户端；
总的来说，云存储系统的控制信号流和存储数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。
本发明采用负载自动均衡技术，云存储系统采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则划分为多个数据块存储在不同的存储服务器上。
元数据服务器维护了一个统一的命名空间，同时掌握整个系统内存储服务器的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据存储服务器的磁盘使用、网络负担等情况，选择负担最轻的存储服务器对外提供服务，自动进行均衡负载。
在云存储系统中，客户端主要进行的是文件的写、读等操作。写时，元数据服务器根据负载均衡算法选择存储服务器集群中当前性能最优的存储服务器节点，如果仅限于此，当遇到高并发读同一文件时，则存储该份文件的存储服务器必然会超载甚至崩溃，解决方案是：元数据服务控制数据存储服务器复制多个副本，元数据服务维护副本列表，客户端根据与数据存储服务器交互次数统计，向最少访问次数的数据存储服务器读取数据块。
另外，当有某一个存储服务器因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此存储服务器提供给客户端使用，同时存储在此存储服务器上的数据也会自动的备份到其他可用的存储服务器上，自动屏蔽存储服务器故障对系统的影响。包括以下步骤：
1) 元数据服务器周期性的与数据存储服务器发送消息，感知对方是否离线；
2) 元数据服务器根据感知情况检测数据存储服务器是否长期离线；
3) 元数据服务器把所有保存在该数据存储服务器的副本置为无效；
4) 元数据服务器向负载较轻的数据存储服务器发送复制数据块消息；
5) 数据存储服务器从其它可用的副本数据存储服务器复制一个新副本；
实施例
具体实施如图3所示，云存储由主备元数据服务器和多台数据存储服务器以及若干访问客户端组成，客户端读写过程如下实施。
客户端写数据时对数据进行分块，块可以分成不同的大小，下面取块大小64M进行说明。写数据时请求包括offset（相对文件起始位置的偏移量）、size（当前写数据的大小） 和data（当前请求的实际数据）等字段，客户端计算块索引、block编号以及block内部偏移量，计算过程如下：
1) 根据chnum = offset>>26得到总共需读的块数目，根据该数目启动后续多个写数据块线程并行读取请求数据块；
2) 根据indx = (offset>>26)，计算块索引位置，发送消息给元数据服务器，元数据服务器根据索引创建一个新的插槽，并记录新块的元数据信息；
3) 根据chunkoffset = (offset&0x3FFFFFF)计算出该数据块所在数据存储服务器块的偏移量;
客户端读数据时对读数据进行分块，块可以分成不同的大小，下面取块大小64M进行说明。读数据时请求包括offset（相对文件起始位置的偏移量）、size（当前读数据的大小）和buff（当前读请求的实际返回的数据）等字段，处理过程如下：
1) 根据size>>26得到总共需读的块数目，根据该数目启动后续多个读数据块线程并行读取请求数据块；
2) 根据indx = (offset>>26)，计算块索引位置，发送消息给元数据服务器，元数据服务器根据索引位置，返回该数据块所在的数据存储服务器列表；
3) 根据chunkoffset = (offset&0x3FFFFFF)计算出该数据块所在数据存储服务器块的偏移量。
本发明提供了一种云存储系统的数据存储方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (4)
1.一种云存储系统中提升并发访问性能的数据快速存储方法，包括元数据服务器、数据存储服务器以及客户端，其特征在于，所述元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；
客户端与存储服务器之间进行存储数据流传输；
将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上；
单个数据文件读写并发进行。
2.根据权利要求1所述的一种云存储系统中提升并发访问性能的数据快速存储方法，其特征在于，客户端写数据时，数据被分成各个数据块，写每个写数据块根据以下步骤进行操作，并行的向数据存储服务器写数据块：
（1）客户端向元数据服务器发起数据写请求；
（2）元数据服务器根据其管理的数据存储服务器的工作和使用情况，根据负载均衡的方法计算目的数据存储服务器，在目的数据存储服务器上创建新的数据块；
（3）目的数据存储服务器的数据块创建成功，将结果返回给元数据服务器；
（4）元数据服务器备份并同步此数据信息，并将目的存储服务器信息返回给客户端；
（5）客户端根据得到的目的存储服务器信息，向对应目的存储节点发出数据写请求，并向目的存储服务器发送数据；
（6）目的存储节点接收数据并存储到对应数据块，同时也向其他存储服务器备份；
（7）当本地数据写入以及备份完成后，目的存储节点将完成信息返回给客户端；
（8）客户端收到完成信息后，即完成数据的写入。
3.根据权利要求1所述的一种云存储系统中提升并发访问性能的数据快速存储方法，其特征在于，客户端读数据时，读请求被分成多个读数据块，每个读数据块根据以下步骤进行操作，并行的从数据存储服务器读数据块：
（1）客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引，并向元数据服务器发起数据读请求；
（2）元数据服务器返回该数据块所在的数据存储服务器的列表，数据存储服务器列表包括每个数据存储服务器的地址和序号；
（3）客户端向读写请求数最少的数据存储服务器发送读数据块请求；
（4）数据存储服务器从本地文件系统读出数据块，并返回数据块给客户端。
4.根据权利要求2或3所述的一种云存储系统中提升并发访问性能的数据快速存储方法，其特征在于，
负载均衡算法为：遍历所有数据存储服务器列表，数据存储服务器列表包括每个数据存储服务器的地址，分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子，加权因子取值范围0.0~1.0，加权因子与数据存储服务器的当前权值之和构成新的权值，对所有数据存储服务器权重进行排序，把负载最小的数据存储服务器排列在列表前面，然后返回可用数据存储服务器的地址，其权值减1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210403644.6A CN102882983B (zh) | 2012-10-22 | 2012-10-22 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210403644.6A CN102882983B (zh) | 2012-10-22 | 2012-10-22 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102882983A true CN102882983A (zh) | 2013-01-16 |
| CN102882983B CN102882983B (zh) | 2015-06-10 |
Family
ID=47484125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210403644.6A Active CN102882983B (zh) | 2012-10-22 | 2012-10-22 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102882983B (zh) |
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103167026A (zh) * | 2013-02-06 | 2013-06-19 | 数码辰星科技发展（北京）有限公司 | 一种云存储环境数据处理方法、系统及设备 |
| CN103312825A (zh) * | 2013-07-10 | 2013-09-18 | 中国人民解放军国防科学技术大学 | 一种数据分布存储方法和装置 |
| CN103324577A (zh) * | 2013-06-08 | 2013-09-25 | 北京航空航天大学 | 基于最小化io访问冲突和文件分条的大规模分条文件分配系统 |
| CN103607418A (zh) * | 2013-07-25 | 2014-02-26 | 上海和辰信息技术有限公司 | 基于云服务数据特征的大规模数据分割系统及分割方法 |
| CN103729470A (zh) * | 2014-01-20 | 2014-04-16 | 刘强 | 一种基于不同云存储端的安全存储方法 |
| CN103763383A (zh) * | 2014-01-27 | 2014-04-30 | 西安雷迪维护系统设备有限公司 | 一体化云存储系统及其存储方法 |
| CN103812934A (zh) * | 2014-01-28 | 2014-05-21 | 浙江大学 | 基于云存储系统的遥感数据发布方法 |
| CN104023246A (zh) * | 2014-04-28 | 2014-09-03 | 深圳英飞拓科技股份有限公司 | 一种视频数据私有云存储系统和视频数据私有云存储方法 |
| CN104050015A (zh) * | 2014-06-27 | 2014-09-17 | 国家计算机网络与信息安全管理中心 | 一种虚拟机镜像存储分发系统 |
| CN104111804A (zh) * | 2014-06-27 | 2014-10-22 | 暨南大学 | 一种分布式文件系统 |
| CN104580439A (zh) * | 2014-12-30 | 2015-04-29 | 创新科存储技术（深圳）有限公司 | 一种云存储系统中使数据均匀分布的方法 |
| CN104580437A (zh) * | 2014-12-30 | 2015-04-29 | 创新科存储技术（深圳）有限公司 | 一种云存储客户端及其高效数据访问方法 |
| CN104780190A (zh) * | 2014-01-13 | 2015-07-15 | 北京兆维电子(集团)有限责任公司 | 数据读写控制方法及装置 |
| CN104796496A (zh) * | 2015-05-12 | 2015-07-22 | 国网智能电网研究院 | 一种基于云存储的负载均衡计算方法 |
| CN104850548A (zh) * | 2014-02-13 | 2015-08-19 | 中国移动通信集团山西有限公司 | 一种实现大数据平台输入/输出处理的方法及系统 |
| CN105227643A (zh) * | 2015-09-11 | 2016-01-06 | 武汉思捷云信息科技有限公司 | 一种基于云存储平台面向视频监控的存储融合系统及方法 |
| CN105227683A (zh) * | 2015-11-11 | 2016-01-06 | 中国建设银行股份有限公司 | 一种ldap集群数据同步方法及系统 |
| CN106021381A (zh) * | 2016-05-11 | 2016-10-12 | 北京搜狐新媒体信息技术有限公司 | 一种云存储服务系统的数据访问/存储方法及装置 |
| CN106030501A (zh) * | 2014-09-30 | 2016-10-12 | 株式会社日立制作所 | 分布式存储系统 |
| CN106131227A (zh) * | 2016-08-31 | 2016-11-16 | 浪潮(北京)电子信息产业有限公司 | 负载平衡方法、元数据服务器系统及负载平衡系统 |
| CN106302659A (zh) * | 2016-08-02 | 2017-01-04 | 合肥奇也信息科技有限公司 | 一种基于云存储系统中提升访问数据快速存储方法 |
| CN106569739A (zh) * | 2016-10-09 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种数据写入优化的方法 |
| CN106775499A (zh) * | 2017-02-07 | 2017-05-31 | 无锡华云数据技术服务有限公司 | 一种对公共存储空间进行合理化暴露的方法、暴露控制系统及一种云存储系统 |
| CN106991134A (zh) * | 2017-03-13 | 2017-07-28 | 人和未来生物科技（长沙）有限公司 | 一种基于对象存储的大型数据云存储方法 |
| CN107181773A (zh) * | 2016-03-09 | 2017-09-19 | 阿里巴巴集团控股有限公司 | 分布式存储系统的数据存储及数据管理方法、设备 |
| CN107508901A (zh) * | 2017-09-04 | 2017-12-22 | 北京京东尚科信息技术有限公司 | 分布式数据处理方法、装置、服务器和系统 |
| CN108052284A (zh) * | 2017-12-08 | 2018-05-18 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108200112A (zh) * | 2016-12-08 | 2018-06-22 | 南宁富桂精密工业有限公司 | 分布式存储方法及系统 |
| CN108287664A (zh) * | 2018-01-02 | 2018-07-17 | 江苏科海智能系统有限公司 | 一种基于nvm存储设备的快速大数据系统及其设计方法 |
| CN108491167A (zh) * | 2018-03-29 | 2018-09-04 | 重庆大学 | 一种工业过程工况数据快速随机分布存储方法 |
| CN108540382A (zh) * | 2018-02-28 | 2018-09-14 | 北京交通大学 | 一种网络内容存储系统及其路由方法 |
| WO2018166415A1 (zh) * | 2017-03-16 | 2018-09-20 | 杭州海康威视数字技术股份有限公司 | 云存储系统、媒体数据存储方法及系统 |
| CN108574729A (zh) * | 2018-03-20 | 2018-09-25 | 深圳众厉电力科技有限公司 | 一种智能变电站云系统 |
| CN108574730A (zh) * | 2018-03-20 | 2018-09-25 | 深圳智达机械技术有限公司 | 一种基于云计算的公路隧道结构智能监测系统 |
| CN108733516A (zh) * | 2018-05-25 | 2018-11-02 | 浙江工商大学 | 多云安全存储动态平衡备份方法及系统 |
| CN108848141A (zh) * | 2018-05-31 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种服务器数据访问的响应方法以及相关方法和相关装置 |
| CN109240624A (zh) * | 2018-09-29 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据处理方法和装置 |
| CN109257403A (zh) * | 2017-07-14 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 数据存储方法及设备、分布式存储系统 |
| WO2019020084A1 (zh) * | 2017-07-27 | 2019-01-31 | 杭州海康威视数字技术股份有限公司 | 一种数据存储的方法和系统 |
| CN109815174A (zh) * | 2018-12-13 | 2019-05-28 | 创新科软件技术（深圳）有限公司 | 一种多磁盘并发访问方法和装置 |
| CN109887576A (zh) * | 2019-01-29 | 2019-06-14 | 中国人民解放军总医院 | 一种医学数据分布式存储方法及系统 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN111182026A (zh) * | 2019-11-27 | 2020-05-19 | 武汉常恒科技有限公司 | 一种智能云盒子 |
| CN111209263A (zh) * | 2020-01-14 | 2020-05-29 | 中国建设银行股份有限公司 | 数据存储方法、装置、设备及存储介质 |
| CN112100146A (zh) * | 2020-09-21 | 2020-12-18 | 重庆紫光华山智安科技有限公司 | 一种高效的纠删分布式存储写入方法、系统、介质及终端 |
| CN112099728A (zh) * | 2019-06-18 | 2020-12-18 | 华为技术有限公司 | 一种执行写操作、读操作的方法及装置 |
| CN112667150A (zh) * | 2020-12-07 | 2021-04-16 | 沈阳飞机设计研究所扬州协同创新研究院有限公司 | 一种航空电子系统数据的远程存储方法 |
| CN112698783A (zh) * | 2019-10-22 | 2021-04-23 | 北京金山云网络技术有限公司 | 对象存储方法、装置及系统 |
| CN116561089A (zh) * | 2023-07-10 | 2023-08-08 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
| CN116991332A (zh) * | 2023-09-26 | 2023-11-03 | 长春易加科技有限公司 | 一种智慧工厂大规模数据存储和分析方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033308A1 (en) * | 2001-08-03 | 2003-02-13 | Patel Sujal M. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储系统及其实现方法 |
| CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作系统的数据存储架构及其负载均衡方法 |
| CN102546823A (zh) * | 2012-02-18 | 2012-07-04 | 南京云创存储科技有限公司 | 一种云存储系统的文件存储管理系统 |
-
2012
- 2012-10-22 CN CN201210403644.6A patent/CN102882983B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033308A1 (en) * | 2001-08-03 | 2003-02-13 | Patel Sujal M. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储系统及其实现方法 |
| CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作系统的数据存储架构及其负载均衡方法 |
| CN102546823A (zh) * | 2012-02-18 | 2012-07-04 | 南京云创存储科技有限公司 | 一种云存储系统的文件存储管理系统 |
Cited By (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103167026A (zh) * | 2013-02-06 | 2013-06-19 | 数码辰星科技发展（北京）有限公司 | 一种云存储环境数据处理方法、系统及设备 |
| CN103167026B (zh) * | 2013-02-06 | 2016-05-18 | 数码辰星科技发展（北京）有限公司 | 一种云存储环境数据处理方法、系统及设备 |
| CN103324577A (zh) * | 2013-06-08 | 2013-09-25 | 北京航空航天大学 | 基于最小化io访问冲突和文件分条的大规模分条文件分配系统 |
| CN103324577B (zh) * | 2013-06-08 | 2016-04-06 | 北京航空航天大学 | 基于最小化io访问冲突和文件分条的大规模分条文件分配系统 |
| CN103312825A (zh) * | 2013-07-10 | 2013-09-18 | 中国人民解放军国防科学技术大学 | 一种数据分布存储方法和装置 |
| CN103312825B (zh) * | 2013-07-10 | 2016-08-10 | 中国人民解放军国防科学技术大学 | 一种数据分布存储方法和装置 |
| CN103607418A (zh) * | 2013-07-25 | 2014-02-26 | 上海和辰信息技术有限公司 | 基于云服务数据特征的大规模数据分割系统及分割方法 |
| CN104780190A (zh) * | 2014-01-13 | 2015-07-15 | 北京兆维电子(集团)有限责任公司 | 数据读写控制方法及装置 |
| CN103729470A (zh) * | 2014-01-20 | 2014-04-16 | 刘强 | 一种基于不同云存储端的安全存储方法 |
| CN103763383B (zh) * | 2014-01-27 | 2017-07-07 | 西安雷迪信息技术有限公司 | 一体化云存储系统及其存储方法 |
| CN103763383A (zh) * | 2014-01-27 | 2014-04-30 | 西安雷迪维护系统设备有限公司 | 一体化云存储系统及其存储方法 |
| CN103812934A (zh) * | 2014-01-28 | 2014-05-21 | 浙江大学 | 基于云存储系统的遥感数据发布方法 |
| CN103812934B (zh) * | 2014-01-28 | 2017-02-15 | 浙江大学 | 基于云存储系统的遥感数据发布方法 |
| CN104850548B (zh) * | 2014-02-13 | 2018-05-22 | 中国移动通信集团山西有限公司 | 一种实现大数据平台输入/输出处理的方法及系统 |
| CN104850548A (zh) * | 2014-02-13 | 2015-08-19 | 中国移动通信集团山西有限公司 | 一种实现大数据平台输入/输出处理的方法及系统 |
| CN104023246A (zh) * | 2014-04-28 | 2014-09-03 | 深圳英飞拓科技股份有限公司 | 一种视频数据私有云存储系统和视频数据私有云存储方法 |
| CN104023246B (zh) * | 2014-04-28 | 2018-01-30 | 深圳英飞拓科技股份有限公司 | 一种视频数据私有云存储系统和视频数据私有云存储方法 |
| CN104111804A (zh) * | 2014-06-27 | 2014-10-22 | 暨南大学 | 一种分布式文件系统 |
| CN104111804B (zh) * | 2014-06-27 | 2017-10-31 | 暨南大学 | 一种分布式文件系统 |
| CN104050015A (zh) * | 2014-06-27 | 2014-09-17 | 国家计算机网络与信息安全管理中心 | 一种虚拟机镜像存储分发系统 |
| CN106030501B (zh) * | 2014-09-30 | 2020-02-07 | 株式会社日立制作所 | 系统、方法以及分布式存储系统 |
| CN106030501A (zh) * | 2014-09-30 | 2016-10-12 | 株式会社日立制作所 | 分布式存储系统 |
| CN104580439A (zh) * | 2014-12-30 | 2015-04-29 | 创新科存储技术（深圳）有限公司 | 一种云存储系统中使数据均匀分布的方法 |
| CN104580437A (zh) * | 2014-12-30 | 2015-04-29 | 创新科存储技术（深圳）有限公司 | 一种云存储客户端及其高效数据访问方法 |
| CN104796496A (zh) * | 2015-05-12 | 2015-07-22 | 国网智能电网研究院 | 一种基于云存储的负载均衡计算方法 |
| CN105227643A (zh) * | 2015-09-11 | 2016-01-06 | 武汉思捷云信息科技有限公司 | 一种基于云存储平台面向视频监控的存储融合系统及方法 |
| CN105227683A (zh) * | 2015-11-11 | 2016-01-06 | 中国建设银行股份有限公司 | 一种ldap集群数据同步方法及系统 |
| CN107181773B (zh) * | 2016-03-09 | 2020-12-25 | 阿里巴巴集团控股有限公司 | 分布式存储系统的数据存储及数据管理方法、设备 |
| CN107181773A (zh) * | 2016-03-09 | 2017-09-19 | 阿里巴巴集团控股有限公司 | 分布式存储系统的数据存储及数据管理方法、设备 |
| CN106021381A (zh) * | 2016-05-11 | 2016-10-12 | 北京搜狐新媒体信息技术有限公司 | 一种云存储服务系统的数据访问/存储方法及装置 |
| CN106302659A (zh) * | 2016-08-02 | 2017-01-04 | 合肥奇也信息科技有限公司 | 一种基于云存储系统中提升访问数据快速存储方法 |
| CN106131227A (zh) * | 2016-08-31 | 2016-11-16 | 浪潮(北京)电子信息产业有限公司 | 负载平衡方法、元数据服务器系统及负载平衡系统 |
| CN106569739A (zh) * | 2016-10-09 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种数据写入优化的方法 |
| CN108200112B (zh) * | 2016-12-08 | 2021-04-20 | 南宁富桂精密工业有限公司 | 分布式存储方法及系统 |
| CN108200112A (zh) * | 2016-12-08 | 2018-06-22 | 南宁富桂精密工业有限公司 | 分布式存储方法及系统 |
| CN106775499B (zh) * | 2017-02-07 | 2019-02-05 | 无锡华云数据技术服务有限公司 | 一种对公共存储空间进行合理化暴露的方法、暴露控制系统及一种云存储系统 |
| CN106775499A (zh) * | 2017-02-07 | 2017-05-31 | 无锡华云数据技术服务有限公司 | 一种对公共存储空间进行合理化暴露的方法、暴露控制系统及一种云存储系统 |
| CN106991134A (zh) * | 2017-03-13 | 2017-07-28 | 人和未来生物科技（长沙）有限公司 | 一种基于对象存储的大型数据云存储方法 |
| CN106991134B (zh) * | 2017-03-13 | 2019-04-05 | 人和未来生物科技（长沙）有限公司 | 一种基于对象存储的大型数据云存储方法 |
| WO2018166415A1 (zh) * | 2017-03-16 | 2018-09-20 | 杭州海康威视数字技术股份有限公司 | 云存储系统、媒体数据存储方法及系统 |
| CN108632305B (zh) * | 2017-03-16 | 2021-05-25 | 杭州海康威视数字技术股份有限公司 | 云存储系统、媒体数据存储方法及系统 |
| CN108632305A (zh) * | 2017-03-16 | 2018-10-09 | 杭州海康威视数字技术股份有限公司 | 云存储系统、媒体数据存储方法及系统 |
| CN109257403B (zh) * | 2017-07-14 | 2022-01-18 | 杭州海康威视数字技术股份有限公司 | 数据存储方法及设备、分布式存储系统 |
| CN109257403A (zh) * | 2017-07-14 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 数据存储方法及设备、分布式存储系统 |
| WO2019020084A1 (zh) * | 2017-07-27 | 2019-01-31 | 杭州海康威视数字技术股份有限公司 | 一种数据存储的方法和系统 |
| CN109309694A (zh) * | 2017-07-27 | 2019-02-05 | 杭州海康威视数字技术股份有限公司 | 一种数据存储的方法和系统 |
| CN107508901A (zh) * | 2017-09-04 | 2017-12-22 | 北京京东尚科信息技术有限公司 | 分布式数据处理方法、装置、服务器和系统 |
| CN108052284B (zh) * | 2017-12-08 | 2020-11-06 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| WO2019109538A1 (zh) * | 2017-12-08 | 2019-06-13 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108052284A (zh) * | 2017-12-08 | 2018-05-18 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108287664A (zh) * | 2018-01-02 | 2018-07-17 | 江苏科海智能系统有限公司 | 一种基于nvm存储设备的快速大数据系统及其设计方法 |
| CN108540382B (zh) * | 2018-02-28 | 2020-08-18 | 北京交通大学 | 一种网络内容存储系统及其路由方法 |
| CN108540382A (zh) * | 2018-02-28 | 2018-09-14 | 北京交通大学 | 一种网络内容存储系统及其路由方法 |
| CN108574729A (zh) * | 2018-03-20 | 2018-09-25 | 深圳众厉电力科技有限公司 | 一种智能变电站云系统 |
| CN108574730A (zh) * | 2018-03-20 | 2018-09-25 | 深圳智达机械技术有限公司 | 一种基于云计算的公路隧道结构智能监测系统 |
| CN108491167A (zh) * | 2018-03-29 | 2018-09-04 | 重庆大学 | 一种工业过程工况数据快速随机分布存储方法 |
| CN108491167B (zh) * | 2018-03-29 | 2020-12-04 | 重庆大学 | 一种工业过程工况数据快速随机分布存储方法 |
| CN108733516A (zh) * | 2018-05-25 | 2018-11-02 | 浙江工商大学 | 多云安全存储动态平衡备份方法及系统 |
| CN108848141A (zh) * | 2018-05-31 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种服务器数据访问的响应方法以及相关方法和相关装置 |
| CN109240624A (zh) * | 2018-09-29 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据处理方法和装置 |
| CN109815174A (zh) * | 2018-12-13 | 2019-05-28 | 创新科软件技术（深圳）有限公司 | 一种多磁盘并发访问方法和装置 |
| CN109887576A (zh) * | 2019-01-29 | 2019-06-14 | 中国人民解放军总医院 | 一种医学数据分布式存储方法及系统 |
| CN112099728B (zh) * | 2019-06-18 | 2022-09-16 | 华为技术有限公司 | 一种执行写操作、读操作的方法及装置 |
| CN112099728A (zh) * | 2019-06-18 | 2020-12-18 | 华为技术有限公司 | 一种执行写操作、读操作的方法及装置 |
| CN112698783A (zh) * | 2019-10-22 | 2021-04-23 | 北京金山云网络技术有限公司 | 对象存储方法、装置及系统 |
| CN111182026A (zh) * | 2019-11-27 | 2020-05-19 | 武汉常恒科技有限公司 | 一种智能云盒子 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN111209263A (zh) * | 2020-01-14 | 2020-05-29 | 中国建设银行股份有限公司 | 数据存储方法、装置、设备及存储介质 |
| CN112100146B (zh) * | 2020-09-21 | 2021-06-29 | 重庆紫光华山智安科技有限公司 | 一种高效的纠删分布式存储写入方法、系统、介质及终端 |
| CN112100146A (zh) * | 2020-09-21 | 2020-12-18 | 重庆紫光华山智安科技有限公司 | 一种高效的纠删分布式存储写入方法、系统、介质及终端 |
| CN112667150A (zh) * | 2020-12-07 | 2021-04-16 | 沈阳飞机设计研究所扬州协同创新研究院有限公司 | 一种航空电子系统数据的远程存储方法 |
| CN116561089A (zh) * | 2023-07-10 | 2023-08-08 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
| CN116561089B (zh) * | 2023-07-10 | 2023-09-19 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
| CN116991332A (zh) * | 2023-09-26 | 2023-11-03 | 长春易加科技有限公司 | 一种智慧工厂大规模数据存储和分析方法 |
| CN116991332B (zh) * | 2023-09-26 | 2023-12-15 | 长春易加科技有限公司 | 一种智慧工厂大规模数据存储和分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102882983B (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102882983B (zh) | 一种云存储系统中提升并发访问性能的数据快速存储方法 | |
| US9292389B2 (en) | Prioritizing data reconstruction in distributed storage systems | |
| JP5006348B2 (ja) | 応答出力キャッシュに対するマルチキャッシュ協調 | |
| CN103246616B (zh) | 一种长短周期访问频度的全局共享缓存替换方法 | |
| Fu et al. | A scalable inline cluster deduplication framework for big data protection | |
| CN101997823B (zh) | 一种分布式文件系统及其数据访问方法 | |
| US20160212203A1 (en) | Multi-site heat map management | |
| US20200081867A1 (en) | Independent evictions from datastore accelerator fleet nodes | |
| CN108900626B (zh) | 一种云环境下数据存储方法、装置及系统 | |
| CN112162846B (zh) | 事务处理方法、设备及计算机可读存储介质 | |
| CN108183947A (zh) | 分布式缓存方法及系统 | |
| CN104572505B (zh) | 一种保证海量数据缓存最终一致性的系统及方法 | |
| CN109697016A (zh) | 用于改进容器的存储性能的方法和装置 | |
| CN102984280A (zh) | 针对社交类云存储网络应用的数据备份系统和方法 | |
| CN108519856B (zh) | 基于异构Hadoop集群环境下的数据块副本放置方法 | |
| CN106648464A (zh) | 基于云存储的多节点混合块缓存数据读写方法及系统 | |
| CN103491155A (zh) | 一种实现移动计算和获取移动数据的云计算方法及系统 | |
| CN104750757B (zh) | 一种基于HBase的数据存储方法和设备 | |
| CN106302659A (zh) | 一种基于云存储系统中提升访问数据快速存储方法 | |
| CN110083306A (zh) | 一种分布式对象存储系统及存储方法 | |
| CN107992354B (zh) | 用于降低内存负载的方法以及装置 | |
| CN112799597A (zh) | 面向流数据处理的分级存储容错方法 | |
| CN108153759B (zh) | 一种分布式数据库的数据传输方法、中间层服务器及系统 | |
| US10802748B2 (en) | Cost-effective deployments of a PMEM-based DMO system | |
| CN104951475B (zh) | 分布式文件系统和实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP03 | Change of name, title or address |
Address after: Everwise road in Qinhuai District of Nanjing City, Jiangsu province 210000 No. 6 Baixia Nanjing high tech Industrial Park, building four, building 9 layer A Patentee after: NANJING YUNCHUANG BIG DATA TECHNOLOGY CO., LTD. Address before: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 1 Baixia High-tech Industrial Park incubator building, 1 floor Patentee before: Nanjing Innovative Cloud Storage Technology Co., Ltd. |