CN104142937A - 一种分布式数据存取方法、装置和系统 - Google Patents
一种分布式数据存取方法、装置和系统 Download PDFInfo
- Publication number
- CN104142937A CN104142937A CN201310164831.8A CN201310164831A CN104142937A CN 104142937 A CN104142937 A CN 104142937A CN 201310164831 A CN201310164831 A CN 201310164831A CN 104142937 A CN104142937 A CN 104142937A
- Authority
- CN
- China
- Prior art keywords
- file
- data volume
- merged
- described file
- thresholding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013500 data storage Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式数据存取方法、装置和系统，其中，分布式数据存储方法包括：小文件处理模块接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS。本发明能够在大量存储小文件时，节省占用主节点的内存，提高HDFS存取数据的效率。
Description
技术领域
本发明涉及数据存取技术，尤其涉及一种分布式数据存取方法、装置和系统。
背景技术
在当前的分布式存储体系中，一般采用Hadoop作为存储技术，所述Hadoop是一种开源的分布式系统基础架构。Hadoop分布式文件系统(HadoopDistributed File System，HDFS)中存储的每个文件需要与一个块(Block)对应，HDFS中的主节点(NameNode)需要为每个文件和其对应的块建立缓存映射。HDFS中存储的文件数量越多，需要建立的缓存映射就越多，占用的主节点的内存越多。
由此，HDFS只适合存储大文件(例如数据量大于64M的文件)，当HDFS存储大量小文件(例如数据量小于64M的文件)，如图片、文档等仅有几M甚至几十K的小文件时，需要建立大量的缓存映射，由此会极大的占用主节点的内存，导致HDFS存取数据的效率大大降低。
发明内容
有鉴于此，本发明的主要目的在于提供一种分布式数据存取方法、装置和系统，能够在大量存储小文件时，节省占用主节点的内存，提高HDFS存取数据的效率。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供的一种分布式数据存储方法，所述方法包括：
小文件处理模块接收客户端上传的文件；
当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；
当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS。
较佳地，所述将所述文件保存在本地系统之后，所述方法还包括：
记录所述文件的数据量。
较佳地，将各文件进行合并之后，所述方法还包括：
记录各文件在合并后的大文件中的位置。
较佳地，所述将合并后的大文件发给HDFS之后，所述方法还包括：
将本地系统中已经进行合并的各文件删除，并将被删除文件对应的状态标识标记为已合并。
本发明提供的一种分布式数据读取方法，所述方法包括：
小文件处理模块根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；
当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；
当所述文件未被合并，从本地系统中读取所述文件；
当所述文件被合并，从Hadoop分布式文件系统HDFS中读取所述文件。
较佳地，所述判断所述文件的数据量是否小于预设的数据量门限为：
根据数据量记录信息，判断所述文件的数据量是否小于预设的数据量门限。
较佳地，所述从Hadoop分布式文件系统HDFS中读取所述文件为：
从HDFS中读取包含所述文件的大文件，根据位置记录信息从大文件中读取所述文件；
较佳地，所述判断所述文件是否被合并为，
根据所述文件对应的状态标识判断所述文件是否被合并，当所述状态标识为未合并表示所述文件未被合并；当所述状态标识为已合并表示所述文件被合并。
本发明提供的一种小文件处理模块，所述模块包括：
文件接收单元，用于接收客户端上传的文件；
文件存储单元，用于当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS。
本发明提供的一种小文件处理模块，所述模块包括：
数据量判断单元，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；
状态判断单元，用于当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；
文件读取单元，当所述文件未被合并，从本地系统中读取所述文件；
当所述文件被合并，从Hadoop分布式文件系统HDFS中读取所述文件。
本发明提供的一种分布式数据存取系统，所述系统包括：
小文件处理模块，用于接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS；
本地系统，用于保存数据量小于预设的数据量门限的文件；
HDFS，用于保存合并后的大文件。
本发明提供的一种分布式数据存取系统，所述读取包括：
小文件处理模块，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；当所述文件未被合并，从本地系统中读取所述文件；当所述文件被合并，从Hadoop分布式文件系统HDFS中读取所述文件；
本地系统，用于保存数据量小于预设的数据量门限的文件；
HDFS，用于保存合并后的大文件。
由上可知，本发明的技术方案包括：小文件处理模块接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS。由此，通过将小文件保存在本地系统，将合并后的大文件发给HDFS保存，可以减少缓存映射的建立数量，从而能够在大量存储小文件时，节省占用主节点的内存，提高HDFS存取数据的效率。
附图说明
图1为本发明分布式数据存储方法的实现流程示意图；
图2为本发明分布式数据读取方法的实现流程示意图；
图3为本发明提供的一种小文件处理模块的结构示意图；
图4为本发明提供的另一种小文件处理模块的结构示意图；
图5为本发明分布式数据存取系统的结构示意图；
图6为本发明分布式数据存储方法的第一实施例的实现流程示意图；
图7为本发明分布式数据读取方法的第一实施例的实现流程示意图。
具体实施方式
本发明提供的一种分布式数据存储方法，如图1所示，所述方法包括：
步骤101、小文件处理模块接收客户端上传的文件；
这里，所述小文件处理模块是在客户端和HDFS之间增加的一个装置，所述小文件处理模块可以异步处理小文件合并。
步骤102、当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；
这里，所述数据量门限可以是64M，也可以根据实际情况设置。
所述本地系统是指HDFS之外的存储空间。
步骤103、当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS。
这里，所述合并门限可以是64M，也可以根据实际情况设置。
优选的，所述将所述文件保存在本地系统之后，所述方法还可以包括：
记录所述文件的数据量。
这里，数据量记录信息可以保存在数据库中。
优选的，将各文件进行合并之后，所述方法还可以包括：
记录各文件在合并后的大文件中的位置。
这里，所述位置记录信息可以保存在数据库中。
优选的，所述将合并后的大文件发给HDFS之后，所述方法还可以包括：
将本地系统中已经进行合并的各文件删除，并将被删除文件对应的状态标识标记为已合并。
这里，文件的状态标识可以保存在数据库中。
本发明提供的一种分布式数据读取方法，如图2所示，所述方法包括：
步骤201、小文件处理模块根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；
步骤202、当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；
步骤203、当所述文件未被合并，从本地系统中读取所述文件；
步骤204、当所述文件被合并，从HDFS中读取所述文件。
优选的，所述判断所述文件的数据量是否小于预设的数据量门限可以为：
根据数据量记录信息，判断所述文件的数据量是否小于预设的数据量门限。
优选的，所述从HDFS中读取所述文件可以为：
从HDFS中读取包含所述文件的大文件，根据位置记录信息从大文件中读取所述文件；
优选的，所述判断所述文件是否被合并可以为，
根据所述文件对应的状态标识判断所述文件是否被合并，当所述状态标识为未合并表示所述文件未被合并；当所述状态标识为已合并表示所述文件被合并。
本发明提供的一种小文件处理模块，如图3所示，所述模块包括：
文件接收单元，用于接收客户端上传的文件；
文件存储单元，用于当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS。
本发明提供的一种小文件处理模块，如图4所示，所述模块包括：
数据量判断单元，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；
状态判断单元，用于当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；
文件读取单元，当所述文件未被合并，从本地系统中读取所述文件；
当所述文件被合并，从HDFS中读取所述文件。
本发明提供的一种分布式数据存取系统，如图5所示，所述系统包括：
小文件处理模块，用于接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS；
本地系统，用于保存数据量小于预设的数据量门限的文件；
HDFS，用于保存合并后的大文件。
本发明提供的一种分布式数据存取系统，如图5所示，所述读取包括：
小文件处理模块，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；当所述文件未被合并，从本地系统中读取所述文件；当所述文件被合并，从HDFS中读取所述文件；
本地系统，用于保存数据量小于预设的数据量门限的文件；
HDFS，用于保存合并后的大文件。
下面结合图6对本发明提供的一种分布式数据存储方法的第一实施例进行介绍。
步骤601、小文件处理模块接收客户端上传的文件；
步骤602、判断所述文件的数据量是否小于预设的数据量门限，当所述文件的数据量小于预设的数据量门限时，进入步骤603；当所述文件的数据量大于等于预设的数据量门限时，进入步骤606；
步骤603、将所述文件保存在本地系统；
这里，还需要在数据库中记录所述文件的数据量。
步骤604、当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给HDFS；
这里，还需要在数据库中记录各文件在合并后的大文件中的位置。
步骤605、将本地系统中已经进行合并的各文件删除，并将被删除文件对应的状态标识标记为已合并，结束本次流程。
步骤606、将所述文件发给HDFS，结束本次流程。
上述步骤604和步骤605可以采用异步机制实现。
下面结合图7对本发明提供的一种分布式数据读取方法的第一实施例进行介绍。
步骤701、小文件处理模块根据客户端发来的文件读取请求；
步骤702、判断所述文件的数据量是否小于预设的数据量门限，当所述文件的数据量小于预设的数据量门限时，进入步骤703；当所述文件的数据量大于等于预设的数据量门限时，进入步骤706；
这里，可以根据数据库中保存的数据量记录信息，判断所述文件的数据量是否小于预设的数据量门限。
步骤703、判断所述文件是否被合并，当所述文件未被合并，进入步骤704；当所述文件被合并，进入步骤705；
这里，可以根据数据库中保存的所述文件对应的状态标识判断所述文件是否被合并，当所述状态标识为未合并表示所述文件未被合并；当所述状态标识为已合并表示所述文件被合并。
步骤704、从本地系统中读取所述文件，结束本次流程；
步骤705、从HDFS中读取包含所述文件的大文件，根据数据库中保存的位置记录信息从大文件中读取所述文件，结束本次流程；
步骤706、从HDFS中读取所述文件，结束本次流程。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (12)
1.一种分布式数据存储方法，其特征在于，所述方法包括：
小文件处理模块接收客户端上传的文件；
当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；
当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS。
2.根据权利要求1所述的方法，其特征在于，所述将所述文件保存在本地系统之后，所述方法还包括：
记录所述文件的数据量。
3.根据权利要求1所述的方法，其特征在于，将各文件进行合并之后，所述方法还包括：
记录各文件在合并后的大文件中的位置。
4.根据权利要求1所述的方法，其特征在于，所述将合并后的大文件发给HDFS之后，所述方法还包括：
将本地系统中已经进行合并的各文件删除，并将被删除文件对应的状态标识标记为已合并。
5.一种分布式数据读取方法，其特征在于，所述方法包括：
小文件处理模块根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；
当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；
当所述文件未被合并，从本地系统中读取所述文件；
当所述文件被合并，从Hadoop分布式文件系统HDFS中读取所述文件。
6.根据权利要求5所述的方法，其特征在于，所述判断所述文件的数据量是否小于预设的数据量门限为：
根据数据量记录信息，判断所述文件的数据量是否小于预设的数据量门限。
7.根据权利要求5所述的方法，其特征在于，所述从Hadoop分布式文件系统HDFS中读取所述文件为：
从HDFS中读取包含所述文件的大文件，根据位置记录信息从大文件中读取所述文件。
8.根据权利要求5所述的方法，其特征在于，所述判断所述文件是否被合并为，
根据所述文件对应的状态标识判断所述文件是否被合并，当所述状态标识为未合并表示所述文件未被合并；当所述状态标识为已合并表示所述文件被合并。
9.一种小文件处理模块，其特征在于，所述模块包括：
文件接收单元，用于接收客户端上传的文件；
文件存储单元，用于当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS。
10.一种小文件处理模块，其特征在于，所述模块包括：
数据量判断单元，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；
状态判断单元，用于当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；
文件读取单元，当所述文件未被合并，从本地系统中读取所述文件；
当所述文件被合并，从Hadoop分布式文件系统HDFS中读取所述文件。
11.一种分布式数据存取系统，其特征在于，所述系统包括：
小文件处理模块，用于接收客户端上传的文件；当判定所述文件的数据量小于预设的数据量门限时，将所述文件保存在本地系统；当本地系统存储的各文件的数据量之和达到预设的合并门限时，将各文件进行合并，并将合并后的大文件发给Hadoop分布式文件系统HDFS；
本地系统，用于保存数据量小于预设的数据量门限的文件；
HDFS，用于保存合并后的大文件。
12.一种分布式数据存取系统，其特征在于，所述读取包括：
小文件处理模块，用于根据客户端发来的文件读取请求，判断所述文件的数据量是否小于预设的数据量门限；当所述文件的数据量小于预设的数据量门限时，判断所述文件是否被合并；当所述文件未被合并，从本地系统中读取所述文件；当所述文件被合并，从Hadoop分布式文件系统HDFS中读取所述文件；
本地系统，用于保存数据量小于预设的数据量门限的文件；
HDFS，用于保存合并后的大文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310164831.8A CN104142937B (zh) | 2013-05-07 | 2013-05-07 | 一种分布式数据存取方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310164831.8A CN104142937B (zh) | 2013-05-07 | 2013-05-07 | 一种分布式数据存取方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104142937A true CN104142937A (zh) | 2014-11-12 |
| CN104142937B CN104142937B (zh) | 2018-02-13 |
Family
ID=51852111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310164831.8A Expired - Fee Related CN104142937B (zh) | 2013-05-07 | 2013-05-07 | 一种分布式数据存取方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104142937B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049524A (zh) * | 2015-08-13 | 2015-11-11 | 浙江鹏信信息科技股份有限公司 | 一种基于hdfs的大规模数据集装载的方法 |
| CN105653592A (zh) * | 2016-01-28 | 2016-06-08 | 浪潮软件集团有限公司 | 一种基于hdfs的小文件合并工具和方法 |
| CN106126536A (zh) * | 2016-06-15 | 2016-11-16 | 北京皮尔布莱尼软件有限公司 | 一种数据缓存的自动选择方法及系统 |
| CN106843770A (zh) * | 2017-01-23 | 2017-06-13 | 北京思特奇信息技术股份有限公司 | 一种分布式文件系统中小文件数据存储、读取方法及装置 |
| CN106855861A (zh) * | 2015-12-09 | 2017-06-16 | 北京金山安全软件有限公司 | 一种文件合并方法、装置及电子设备 |
| CN107329410A (zh) * | 2017-06-23 | 2017-11-07 | 唐山钢铁集团微尔自动化有限公司 | 一种工业过程控制的快速数据存储方法 |
| CN108287869A (zh) * | 2017-12-20 | 2018-07-17 | 江苏省公用信息有限公司 | 一种基于快速存储设备的海量小文件解决方法 |
| CN108614837A (zh) * | 2016-12-13 | 2018-10-02 | 杭州海康威视数字技术股份有限公司 | 文件存储和检索的方法及装置 |
| CN110633261A (zh) * | 2019-09-02 | 2019-12-31 | 恩亿科(北京)数据科技有限公司 | 一种图片存储方法、图片查询方法及装置 |
| CN112241396A (zh) * | 2020-10-27 | 2021-01-19 | 浪潮云信息技术股份公司 | 基于Spark的对Delta进行小文件合并的方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452465A (zh) * | 2007-12-05 | 2009-06-10 | 高德软件有限公司 | 大批量文件数据存放和读取方法 |
| US20100228709A1 (en) * | 2009-03-06 | 2010-09-09 | International Business Machines Corporation | Dynamically redirecting a target location during a file i/o operation |
| CN101854388A (zh) * | 2010-05-17 | 2010-10-06 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储中并行访问大量小文件的方法及系统 |
| CN102332027A (zh) * | 2011-10-15 | 2012-01-25 | 西安交通大学 | 一种基于Hadoop的海量非独立小文件关联存储方法 |
-
2013
- 2013-05-07 CN CN201310164831.8A patent/CN104142937B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452465A (zh) * | 2007-12-05 | 2009-06-10 | 高德软件有限公司 | 大批量文件数据存放和读取方法 |
| US20100228709A1 (en) * | 2009-03-06 | 2010-09-09 | International Business Machines Corporation | Dynamically redirecting a target location during a file i/o operation |
| CN101854388A (zh) * | 2010-05-17 | 2010-10-06 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储中并行访问大量小文件的方法及系统 |
| CN102332027A (zh) * | 2011-10-15 | 2012-01-25 | 西安交通大学 | 一种基于Hadoop的海量非独立小文件关联存储方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049524A (zh) * | 2015-08-13 | 2015-11-11 | 浙江鹏信信息科技股份有限公司 | 一种基于hdfs的大规模数据集装载的方法 |
| CN105049524B (zh) * | 2015-08-13 | 2019-02-05 | 浙江鹏信信息科技股份有限公司 | 一种基于hdfs的大规模数据集装载的方法 |
| CN106855861A (zh) * | 2015-12-09 | 2017-06-16 | 北京金山安全软件有限公司 | 一种文件合并方法、装置及电子设备 |
| CN105653592A (zh) * | 2016-01-28 | 2016-06-08 | 浪潮软件集团有限公司 | 一种基于hdfs的小文件合并工具和方法 |
| CN106126536A (zh) * | 2016-06-15 | 2016-11-16 | 北京皮尔布莱尼软件有限公司 | 一种数据缓存的自动选择方法及系统 |
| CN108614837B (zh) * | 2016-12-13 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 文件存储和检索的方法及装置 |
| CN108614837A (zh) * | 2016-12-13 | 2018-10-02 | 杭州海康威视数字技术股份有限公司 | 文件存储和检索的方法及装置 |
| CN106843770A (zh) * | 2017-01-23 | 2017-06-13 | 北京思特奇信息技术股份有限公司 | 一种分布式文件系统中小文件数据存储、读取方法及装置 |
| CN107329410A (zh) * | 2017-06-23 | 2017-11-07 | 唐山钢铁集团微尔自动化有限公司 | 一种工业过程控制的快速数据存储方法 |
| CN108287869A (zh) * | 2017-12-20 | 2018-07-17 | 江苏省公用信息有限公司 | 一种基于快速存储设备的海量小文件解决方法 |
| CN110633261A (zh) * | 2019-09-02 | 2019-12-31 | 恩亿科(北京)数据科技有限公司 | 一种图片存储方法、图片查询方法及装置 |
| CN112241396A (zh) * | 2020-10-27 | 2021-01-19 | 浪潮云信息技术股份公司 | 基于Spark的对Delta进行小文件合并的方法及系统 |
| CN112241396B (zh) * | 2020-10-27 | 2023-05-23 | 浪潮云信息技术股份公司 | 基于Spark的对Delta进行小文件合并的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104142937B (zh) | 2018-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104142937A (zh) | 一种分布式数据存取方法、装置和系统 | |
| CN103136109B (zh) | 一种具有压缩功能的固态存储系统ftl写入及读取方法 | |
| CN104969168B (zh) | 具有用于分级写入的nvram的持久性存储装置 | |
| CN102158349B (zh) | 一种日志管理装置及方法 | |
| CN105677742B (zh) | 一种存储文件的方法及装置 | |
| CN103440206B (zh) | 一种固态硬盘及其混合映射方法 | |
| CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
| CN105094709A (zh) | 一种固态盘存储系统的动态数据压缩方法 | |
| CN104268088A (zh) | 车载dvr硬盘数据存储方法 | |
| CN109582598B (zh) | 一种基于外部存储实现高效查找哈希表的预处理方法 | |
| CN107562644A (zh) | 一种固态硬盘映射表的压缩方法 | |
| CN114968102B (zh) | 一种数据缓存方法、装置、系统、计算机设备及存储介质 | |
| CN108664577B (zh) | 一种基于flash空闲区的文件管理方法及系统 | |
| CN103136215A (zh) | 存储系统的数据读写方法和装置 | |
| CN104298697A (zh) | 一种fat32格式的数据文件管理系统 | |
| CN103778120A (zh) | 全局文件标识生成方法、生成装置及相应的分布式文件系统 | |
| JP2018129074A5 (ja) | ストレージシステム、およびストレージシステムの制御方法 | |
| CN103617008B (zh) | 车载视频监控终端的双sd卡多媒体文件存储系统及方法 | |
| CN101465145B (zh) | 记录设备 | |
| CN103455391B (zh) | 一种动态调整的数据保护的装置和方法 | |
| CN109918324A (zh) | 一种适用于NVMe命名空间配置的双接口架构 | |
| CN102722456A (zh) | 闪存存储设备的数据写入方法和闪存存储设备 | |
| CN104102552A (zh) | 一种消息处理方法及装置 | |
| CN106776374B (zh) | 一种基于fpga的高效数据缓冲方法 | |
| CN105138277A (zh) | 一种固态盘阵列的缓存管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180213 |