CN101854388B - 一种集群存储中并行访问大量小文件的方法及系统 - Google Patents
一种集群存储中并行访问大量小文件的方法及系统 Download PDFInfo
- Publication number
- CN101854388B CN101854388B CN201010178387.1A CN201010178387A CN101854388B CN 101854388 B CN101854388 B CN 101854388B CN 201010178387 A CN201010178387 A CN 201010178387A CN 101854388 B CN101854388 B CN 101854388B
- Authority
- CN
- China
- Prior art keywords
- cluster
- rear end
- server node
- storage
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 44
- 238000012546 transfer Methods 0.000 claims description 17
- 239000013307 optical fiber Substances 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 9
- 238000013461 design Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种集群存储中并行访问大量小文件的方法及系统，该方法包括：对写入的小文件进行缓冲；将缓冲的多个小文件合并为一个临时文件；将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。该方法可以有效地提高集群文件系统服务的响应时间和速度，提升数据整体的单位时间数据读写次数、吞吐量。
Description
技术领域
本发明涉及一种集群存储中并行访问大量小文件的方法及系统，通常用于大规模海量数据的存储以及读写应用中。
背景技术
随着金融、石油、电信、生产等网络应用和电子商务的不断发展，各个站点的访问量越来越大，数据规模也随之不断的扩大，对文件访问，特别是网络应用中的大量小文件的并行访问性能问题就越来越突出，例如处理用户的订单太慢，图片显示滞后等一系列问题，会严重影响到用户的正常使用。
通常的企业数据应用建立在盘阵上，因此如何为组织和访问这些数据提供一种方法，使其应用在整个应用系统中，能够提高数据读写的性能，是目前业务量急剧增加面临的挑战。
发明内容
本发明要解决的技术问题是，提供一种集群存储中并行访问大量小文件的方法及系统，可以有效提高集群文件系统服务的响应时间和速度，提升数据整体的单位时间数据读写次数(Operations Per Second，简称OPS)、吞吐量。
为了解决上述技术问题，本发明提出一种集群存储中并行访问大量小文件的系统，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：
所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备推送至集群中的各元数据服务器节点和各数据服务器节点；
所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储；
所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储；
所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储用以存储数据对象的磁盘阵列；
所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。
进一步地，上述系统还可具有以下特点：
所述应用主机集群，是通过条带化处理将所述合并得到的文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点。
进一步地，上述系统还可具有以下特点：
所述应用主机集群，用以在检测到缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；在接收到所述元数据服务器集群发送的存储控制命令后，将其缓存的所述临时文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点，并清空缓存；
所述元数据服务器集群，还用以对所述应用主机集群的缓存进行统一管理，当检测到缓存中的所述临时文件的大小的总和达到一第二预设值时，向所述应用主机集群发送存储控制命令，以及将集群中各元数据服务器节点接收到的所述临时文件的元数据存储至其后端存储中；
所述数据服务器集群，用以将集群中各数据服务器节点接收到的所述临时文件的数据对象存储至其后端存储中。
进一步地，上述系统还可具有以下特点：
所述元数据服务器集群，用以为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；
所述数据服务器集群，用以为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。
进一步地，上述系统还可具有以下特点：
元数据服务器节点的后端存储与前端元数据服务器经光纤连接以进行数据传输；
数据服务器节点的后端存储与前端数据服务器经光纤连接以进行数据传输。
为了解决上述技术问题，本发明还提出一种集群存储中并行访问大量小文件的方法，包括：
对写入的小文件进行缓冲；
将缓冲的多个小文件合并为一个临时文件；
将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。
进一步地，上述方法还可具有以下特点：
采用条带化处理将所述临时文件的元数据和数据对象存储至元数据服务器和数据服务器的后端存储中。
进一步地，上述方法还可具有以下特点：
当缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；
当缓存的所述临时文件的大小的总和达到一第二预设值时，将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。
进一步地，上述方法还可具有以下特点：
为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；
为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。
进一步地，上述方法还可具有以下特点：
元数据的后端存储与前端元数据服务器经光纤进行数据传输；
数据的后端存储与前端数据服务器经光纤进行数据传输。
本发明提供的一种集群存储中并行访问大量小文件的方法及系统，可以有效提高集群文件系统服务的响应时间和速度，提升数据的整体OPS、吞吐量，从而满足当前的金融、石油、电信、生产等领域的网络应用和电子商务不断增长的数据需求，能大幅改善已有系统的性能，有效应对日益增长的用户对响应时间面临的挑战。
附图说明
图1是本发明实施例一种集群存储中并行访问大量小文件的系统方框图；
图2是本发明实施例一种集群存储中并行访问大量小文件的系统示意图；
图3是本发明实施例一种集群存储中并行访问大量小文件的方法流程图；
图4是本发明应用实例一种集群存储中并行访问大量小文件的方法流程示意图。
具体实施方式
下面将结合附图来详细说明本发明实施方式。
参见图1，该图示出了本发明实施例一种集群存储中并行访问大量小文件的系统，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：
所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备推送至集群中的各元数据服务器节点和各数据服务器节点。
所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储。
所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储。
所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储用以存储数据对象的磁盘阵列。
所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。
较佳地，在本发明实施例中，还设计采用优化的条带化处理方式，以进一步提高系统吞吐量，提高响应时间和速度，包括：
所述应用主机集群，可以通过条带化处理将所述合并得到的文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点。
较佳地，在本发明实施例中，还设计一种存储方式，以进一步提高系统吞吐量，提高响应时间和速度，包括：
所述应用主机集群，可以在检测到缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；在接收到所述元数据服务器集群发送的存储控制命令后，将其缓存的所述临时文件的元数据和数据对象经所述高速互联设备推送到集群中的各元数据服务器节点和各数据服务器节点，并清空缓存。所述元数据服务器集群，还用以对所述应用主机集群的缓存进行统一管理，当检测到缓存中的所述临时文件的大小的总和达到一第二预设值时，向所述应用主机集群发送存储控制命令，以及将集群中各元数据服务器节点接收到的所述临时文件的元数据存储至其后端存储中。所述数据服务器集群，用以将集群中各数据服务器节点接收到的所述临时文件的数据对象存储至其后端存储中。
较佳地，在本发明实施例中，还设计为元数据服务器节点和数据服务器节点动态添加后端存储，以增强系统的可扩展性；和/或设计在节点级为数据提供冗余机制，以保证集群文件系统数据的安全性，包括：
所述元数据服务器集群，可以为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；所述数据服务器集群，可以为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。
较佳地，在本发明实施例中，还设计采用光纤传输实现前端服务器与其后端存储之间的数据传输，以提高数据交换效率，包括：
元数据服务器节点的后端存储与前端元数据服务器经光纤连接以进行数据传输。数据服务器节点的后端存储与前端数据服务器经光纤连接以进行数据传输。
参见图2，该图示出了本发明实施例一种集群存储中并行访问大量小文件的系统示意图，其中集群中的各元数据服务器具有一共享的后端存储，集群中的各数据服务器分别具有一后端存储，当然，在另一实施例中，也可以根据需要动态添加后端存储。应用主机集群为客户端提供文件系统接口，缓存写入的小文件，将多个缓存的小文件合并为一个临时文件，然后将所述临时文件的元数据和数据对象经所述高速互联设备推送至集群中的各元数据服务器节点和各数据服务器节点，再由元数据服务器集群将集群中的各元数据服务器节点接收到的所述临时文件的元数据保存至所述共享的后端存储中，由数据服务器集群将集群中的各数据服务器节点接收到的所述临时文件的数据对象保存至各数据服务器的后端存储中。采用该方案可以有效地提高系统吞吐量，提高处理速度。
参见图3，该图示出了本发明实施例一种集群存储中并行访问大量小文件的方法，包括步骤：
步骤S301：对写入的小文件进行缓冲；
步骤S302：将缓冲的多个小文件合并为一个临时文件；
步骤S303：将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。
较佳地，在本发明实施例中，还可以设计采用优化的条带化处理方式，以进一步提高系统吞吐量，提高响应时间和速度，包括：采用条带化处理将所述临时文件的元数据和数据对象存储至元数据服务器和数据服务器的后端存储中。
较佳地，在本发明实施例中，还设计一种存储方式，以进一步提高系统吞吐量，提高响应时间和速度，包括：
当缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；
当缓存的所述临时文件的大小的总和达到一第二预设值时，将所述临时文件的元数据和数据对象存储至元数据服务器节点和数据服务器节点的后端存储中。
较佳地，在本发明实施例中，还设计为元数据服务器节点和数据服务器节点动态添加后端存储，以增强系统的可扩展性；和/或设计在节点级为数据提供冗余机制，以保证集群文件系统数据的安全性，包括：
为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。
较佳地，在本发明实施例中，还设计采用光纤传输实现前端服务器与其后端存储之间的数据传输，以提高数据交换效率，包括：
元数据的后端存储与前端元数据服务器经光纤进行数据传输。数据的后端存储与前端数据服务器经光纤进行数据传输。
参见图4，下面将以一具体应用实例来进一步说明本发明实施方案。
在一个典型的集群存储环境里，如果是小文件读写的典型应用，例如在执行写小文件操作，会产生一个文件写I/O，首先会调用应用主机操作系统提供的标准文件I/O接口——write()，应用主机软件模块有一个叫做Sliper的层，来与Linux VFS提供的那些接口挂钩。当对文件的写操作到达Sliper层时，也就到达了访问集群文件系统的入口了。Sliper层提供了一系列的方法，将VFS标准函数转换成对集群文件的操作函数，在这个实例中就是写函数。
向集群文件系统写一个文件时，Sliper层首先判断这个文件的大小，如果是小文件，则会暂时将其数据压入位于应用主机的缓存中的堆栈，同时建立该文件的元数据，保存到其上的一个散列表中。元数据服务器会定时轮询各个应用主机，如果所有应用主机的缓存中小文件大小之和的规模超过了临界值，就建立一个大文件的元数据，同时向各个应用服务器发出I/O传输指令，启动应用服务器与数据服务器的I/O传输。
当应用主机接收到由元数据服务器发出的I/O传输指令后，将缓存的堆栈转换成一个数据集，再拆分成多个块(block)，根据预先设置好的条带参数，分别将各个块传输到对应的数据服务器上。
当数据服务器接收到应用主机传输过来的数据块后，顺着数据服务器软件协议栈往上走，首先调用块分配器模块：根据应用主机那边传递过来的请求类型激活一系列的函数。粗略地来说，主要有两种请求类型，锁相关请求和数据相关请求。前者被传递给Lock module(分布式集群文件锁管理器)模块，而后者会进入Block filter。Block filter是一个用来让数据服务器软件协议栈与普通操作系统协议栈建立联系的模块，其定义了一个统一的API来将一个集群文件系统特定的请求翻译成对后端特定文件系统的请求。通过了这一系列的转换，对一个数据块ext4。当然，也可以支持其他文件系统来作为后端的文件系统。
在进行数据传输的同时，元数据也通过相似的方式存储到了元数据服务器后端的磁盘上。
采用本发明上述实施方案，在此类高端集群存储上应用海量数据系统，能够使此类小文件读写性能提高30％，能够极大地缓解客户端应用增加时对数据读写时间响应降低而面临的挑战。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种集群存储中并行访问大量小文件的系统，其特征在于，包括应用主机集群、元数据服务器集群、数据服务器集群、后端存储和高速互联设备，其中：
所述应用主机集群，用以为客户端提供文件系统接口，在检测到有小文件写入时，缓存所述小文件，将多个缓存的小文件合并为一个临时文件，将所述临时文件的元数据和数据对象经所述高速互联设备分别推送至集群中的各元数据服务器节点和各数据服务器节点；具体地，所述应用主机集群用以在检测到缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；在接收到所述元数据服务器集群发送的存储控制命令后，将其缓存的所述临时文件的元数据和数据对象经所述高速互联设备分别推送到集群中的各元数据服务器节点和各数据服务器节点，并清空缓存；
所述元数据服务器集群，用以管理集群中各元数据服务器节点的后端存储；还用以对所述应用主机集群的缓存进行统一管理，当检测到缓存中的所述临时文件的大小的总和达到一第二预设值时，向所述应用主机集群发送存储控制命令，以及将集群中各元数据服务器节点接收到的所述临时文件的元数据存储至其后端存储中；
所述数据服务器集群，用以管理集群中各数据服务器节点的后端存储；具体地，所述数据服务器集群用以将集群中各数据服务器节点接收到的所述临时文件的数据对象存储至其后端存储中；
所述后端存储，包括元数据服务器节点的后端存储和数据服务器节点的后端存储，所述元数据服务器节点的后端存储为用以存储元数据的磁盘阵列，所述数据服务器节点的后端存储为用以存储数据对象的磁盘阵列；
所述高速互联设备，用以实现集群中各服务器节点之间数据通信的数据包的高速交换。
2.如权利要求1所述的系统，其特征在于：
所述应用主机集群，是通过条带化处理将所述合并得到的文件的元数据和数据对象经所述高速互联设备分别推送到集群中的各元数据服务器节点和各数据服务器节点。
3.如权利要求1所述的系统，其特征在于：
所述元数据服务器集群，用以为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；
所述数据服务器集群，用以为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。
4.如权利要求1所述的系统，其特征在于：
元数据服务器节点的后端存储与前端元数据服务器经光纤连接以进行数据传输；
数据服务器节点的后端存储与前端数据服务器经光纤连接以进行数据传输。
5.一种采用如权利要求1所述集群存储中并行访问大量小文件的系统的集群存储中并行访问大量小文件的方法，其特征在于：
对写入的小文件进行缓冲；
将缓冲的多个小文件合并为一个临时文件；
将所述临时文件的元数据和数据对象分别存储至元数据服务器节点和数据服务器节点的后端存储中。
6.如权利要求5所述的方法，其特征在于：
采用条带化处理将所述临时文件的元数据和数据对象分别存储至元数据服务器和数据服务器的后端存储中。
7.如权利要求5或6所述的方法，其特征在于：
当缓存的小文件的大小的总和达到一第一预设值时，将所述缓存的小文件合并成一个临时文件，存放在缓存中；
当缓存的所述临时文件的大小的总和达到一第二预设值时，将所述临时文件的元数据和数据对象分别存储至元数据服务器节点和数据服务器节点的后端存储中。
8.如权利要求5所述的方法，其特征在于：
为集群中各元数据服务器节点添加一个或者多个后端存储和/或分别设置所述元数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别；
为集群中各数据服务器节点添加一个或者多个后端存储和/或分别设置所述数据服务器节点的一个或者多个后端存储中存储的磁盘阵列的RAID级别。
9.如权利要求5所述的方法，其特征在于：
元数据的后端存储与前端元数据服务器经光纤进行数据传输；
数据的后端存储与前端数据服务器经光纤进行数据传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010178387.1A CN101854388B (zh) | 2010-05-17 | 2010-05-17 | 一种集群存储中并行访问大量小文件的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010178387.1A CN101854388B (zh) | 2010-05-17 | 2010-05-17 | 一种集群存储中并行访问大量小文件的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101854388A CN101854388A (zh) | 2010-10-06 |
| CN101854388B true CN101854388B (zh) | 2014-06-04 |
Family
ID=42805652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010178387.1A Active CN101854388B (zh) | 2010-05-17 | 2010-05-17 | 一种集群存储中并行访问大量小文件的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101854388B (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104617A (zh) * | 2010-11-30 | 2011-06-22 | 厦门雅迅网络股份有限公司 | 一种网站运营系统存储海量图片数据的方法 |
| CN102567427B (zh) * | 2010-12-30 | 2014-06-11 | 中国移动通信集团公司 | 一种对象数据处理方法及装置 |
| CN102355596B (zh) * | 2011-10-11 | 2013-08-28 | 浪潮电子信息产业股份有限公司 | 一种适用于视频服务的缓存服务器部署方法 |
| CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作系统的数据存储架构及其负载均衡方法 |
| CN103678293B (zh) * | 2012-08-29 | 2020-03-03 | 百度在线网络技术（北京）有限公司 | 一种数据存储方法及装置 |
| CN103841135B (zh) * | 2012-11-22 | 2018-06-22 | 腾讯科技（深圳）有限公司 | 文件加速下载方法及装置 |
| CN103108047A (zh) * | 2013-02-06 | 2013-05-15 | 浪潮电子信息产业股份有限公司 | 一种对象存储系统元数据缓存的优化方法 |
| CN104142937B (zh) * | 2013-05-07 | 2018-02-13 | 深圳中兴网信科技有限公司 | 一种分布式数据存取方法、装置和系统 |
| CN103605726B (zh) * | 2013-11-15 | 2017-11-14 | 中安消技术有限公司 | 一种小文件的存取方法、系统及控制节点和存储节点 |
| CN103716413B (zh) * | 2014-01-13 | 2017-01-11 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统中海量小文件io操作传输提速方法 |
| CN104850548B (zh) * | 2014-02-13 | 2018-05-22 | 中国移动通信集团山西有限公司 | 一种实现大数据平台输入/输出处理的方法及系统 |
| CN104216988A (zh) * | 2014-09-04 | 2014-12-17 | 天津大学 | 分布式大数据的ssd磁盘和hdd磁盘混合存储方法 |
| CN105630810B (zh) * | 2014-10-30 | 2019-05-21 | 曙光信息产业股份有限公司 | 一种对于海量小文件在分布式存储系统中上载的方法 |
| CN104536908B (zh) * | 2014-11-05 | 2017-12-29 | 中安威士（北京）科技有限公司 | 一种面向单机的海量小记录高效存储管理方法 |
| CN105739912A (zh) * | 2014-12-11 | 2016-07-06 | 北京北方微电子基地设备工艺研究中心有限责任公司 | 半导体设备中实时数据的存储方法及系统 |
| CN104778270A (zh) * | 2015-04-24 | 2015-07-15 | 成都汇智远景科技有限公司 | 一种用于多文件的存储方法 |
| WO2016192025A1 (en) | 2015-06-01 | 2016-12-08 | SZ DJI Technology Co., Ltd. | Systems and methods for memory architecture |
| CN105262680A (zh) * | 2015-10-21 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种应用于云存储系统的多线程nas网关 |
| CN105302496A (zh) * | 2015-11-23 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统的读写性能优化框架及方法 |
| CN105511802B (zh) * | 2015-11-24 | 2018-06-05 | 北京达沃时代科技股份有限公司 | 写缓存的方法和装置以及磁盘缓存区的同步方法和装置 |
| CN105573668B (zh) * | 2015-12-11 | 2018-10-12 | 浪潮(北京)电子信息产业有限公司 | 一种数据存储方法及装置 |
| CN107247714B (zh) * | 2016-06-01 | 2018-02-27 | 国家电网公司 | 一种基于分布式存储技术的小文件存取系统的存取方法 |
| CN107844258A (zh) * | 2016-09-18 | 2018-03-27 | 中国移动通信集团公司 | 数据处理方法、客户端、节点服务器及分布式文件系统 |
| CN106453649A (zh) * | 2016-11-29 | 2017-02-22 | 珠海市魅族科技有限公司 | 文件传输方法及装置 |
| CN107168651B (zh) * | 2017-05-19 | 2020-09-25 | 苏州浪潮智能科技有限公司 | 一种小文件聚合存储处理方法 |
| CN109558073A (zh) * | 2018-10-25 | 2019-04-02 | 深圳点猫科技有限公司 | 一种基于教育系统的磁盘延长寿命的方法及电子设备 |
| CN110018997B (zh) * | 2019-03-08 | 2021-07-23 | 中国农业科学院农业信息研究所 | 一种基于hdfs的海量小文件存储优化方法 |
| CN112346907B (zh) * | 2019-08-09 | 2022-12-30 | 上海爱数信息技术股份有限公司 | 一种基于异构对象存储的数据备份恢复方法及系统 |
| CN110633261A (zh) * | 2019-09-02 | 2019-12-31 | 恩亿科(北京)数据科技有限公司 | 一种图片存储方法、图片查询方法及装置 |
| CN110555001B (zh) * | 2019-09-05 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、终端及介质 |
| CN111240591A (zh) * | 2020-01-03 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种存储设备的操作请求处理方法及相关装置 |
| CN111338570B (zh) * | 2020-02-16 | 2022-07-22 | 苏州浪潮智能科技有限公司 | 一种并行文件系统io优化方法与系统 |
| CN111581017B (zh) * | 2020-04-14 | 2021-07-13 | 上海爱数信息技术股份有限公司 | 一种现代应用的备份恢复系统及方法 |
| CN111581016B (zh) * | 2020-04-14 | 2021-05-18 | 上海爱数信息技术股份有限公司 | 一种现代应用的副本数据管理系统及方法 |
| CN112597104B (zh) * | 2021-01-11 | 2023-07-04 | 武汉飞骥永泰科技有限公司 | 小文件性能优化方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804831A (zh) * | 2005-01-13 | 2006-07-19 | 陈翌 | 网络缓存管理的系统和方法 |
| CN1976283A (zh) * | 2005-12-01 | 2007-06-06 | 国际商业机器公司 | 合并关于备份存储装置中的文件的元数据的系统和方法 |
| CN101114915A (zh) * | 2007-08-23 | 2008-01-30 | 华为技术有限公司 | 一种话单合并及保存缓冲队列状态的方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7412433B2 (en) * | 2002-11-19 | 2008-08-12 | International Business Machines Corporation | Hierarchical storage management using dynamic tables of contents and sets of tables of contents |
| US7464124B2 (en) * | 2004-11-19 | 2008-12-09 | International Business Machines Corporation | Method for autonomic data caching and copying on a storage area network aware file system using copy services |
| CN101452465A (zh) * | 2007-12-05 | 2009-06-10 | 高德软件有限公司 | 大批量文件数据存放和读取方法 |
| CN101556557B (zh) * | 2009-05-14 | 2011-03-23 | 浙江大学 | 一种基于对象存储设备的对象文件组织方法 |
-
2010
- 2010-05-17 CN CN201010178387.1A patent/CN101854388B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804831A (zh) * | 2005-01-13 | 2006-07-19 | 陈翌 | 网络缓存管理的系统和方法 |
| CN1976283A (zh) * | 2005-12-01 | 2007-06-06 | 国际商业机器公司 | 合并关于备份存储装置中的文件的元数据的系统和方法 |
| CN101114915A (zh) * | 2007-08-23 | 2008-01-30 | 华为技术有限公司 | 一种话单合并及保存缓冲队列状态的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101854388A (zh) | 2010-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101854388B (zh) | 一种集群存储中并行访问大量小文件的方法及系统 | |
| US10649953B2 (en) | Blockchain-based data migration method and apparatus | |
| US11782783B2 (en) | Method and apparatus to neutralize replication error and retain primary and secondary synchronization during synchronous replication | |
| JP6106901B2 (ja) | 分散ファイルストレージシステムにおけるデータ処理の方法およびデバイス | |
| CN102024044B (zh) | 分布式文件系统 | |
| CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
| US11593016B2 (en) | Serializing execution of replication operations | |
| CN110209535B (zh) | 用于分布式数据库系统的快速崩溃恢复 | |
| CN101997918B (zh) | 异构san环境中的海量存储资源按需分配的实现方法 | |
| US10725691B1 (en) | Dynamic recycling algorithm to handle overlapping writes during synchronous replication of application workloads with large number of files | |
| CN110019280B (zh) | 用于分布式数据库系统的系统范围检查点避免 | |
| US9880933B1 (en) | Distributed in-memory buffer cache system using buffer cache nodes | |
| CN101566927B (zh) | 存储系统和存储控制器以及数据缓存方法 | |
| CN101789976B (zh) | 嵌入式网络存储系统及其方法 | |
| CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及系统 | |
| CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
| CN100452046C (zh) | 一种海量文件的存储方法及系统 | |
| CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
| CN102821111A (zh) | 文件云存储实时同步方法 | |
| CN101916289A (zh) | 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法 | |
| CN102982182A (zh) | 一种数据存储规划方法及装置 | |
| CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
| CN103647850A (zh) | 一种分布式版本控制系统的数据处理方法、设备及系统 | |
| CN109783018A (zh) | 一种数据存储的方法及装置 | |
| CN103473258A (zh) | 云存储文件系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201111 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Patentee after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 100085 Beijing, Haidian District on the road to information on the ground floor, building 2-1, No. 1, C Patentee before: Inspur (Beijing) Electronic Information Industry Co.,Ltd. |
|
| TR01 | Transfer of patent right |