CN106843770A - 一种分布式文件系统中小文件数据存储、读取方法及装置 - Google Patents

一种分布式文件系统中小文件数据存储、读取方法及装置 Download PDF

Info

Publication number
CN106843770A
CN106843770A CN201710058679.3A CN201710058679A CN106843770A CN 106843770 A CN106843770 A CN 106843770A CN 201710058679 A CN201710058679 A CN 201710058679A CN 106843770 A CN106843770 A CN 106843770A
Authority
CN
China
Prior art keywords
data
layer
hierarchical cache
data block
small documents
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710058679.3A
Other languages
English (en)
Inventor
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201710058679.3A priority Critical patent/CN106843770A/zh
Publication of CN106843770A publication Critical patent/CN106843770A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明涉及一种分布式文件系统中小文件数据存储、读取方法及装置，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块，当向分布式文件系统中写入数据时，先将数据写入分级缓存层，利用分级缓存层的轻量级缓存功能减小对持久层磁盘的压力，然后由异步提交缓存模块从分级缓存层中读取小文件数据，存储到数据持久层，这样可以降低小文件数据持久化的响应时间，从而提高分布式文件系统中小文件数据的存储效率。

Description

一种分布式文件系统中小文件数据存储、读取方法及装置
技术领域
本发明涉及数据存储、读取技术领域，具体涉及一种分布式文件系统中小文件数据存储、读取方法及装置。
背景技术
海量小文件存储(简称LOSF，lots of small files)出现后，就一直是业界的难题。通过对若干分布式存储系统的调研、测试与使用，与其它分布式系统相比，海量小文件存储更侧重于解决两个问题：(1)海量小文件的元数据信息组织与管理；(2)海量小文件的读写速率。
小文件访问具有访问频率高、访问量大的特性，传统文件系统中小文件的访问对主机磁盘的压力较大，分布式文件系统以集群形式对外提供服务，但是小文件的存储性能仍然受网络时延和磁盘响应速度的影响。
发明内容
本发明提供了一种分布式文件系统中小文件数据存储、读取方法及装置，能够提高分布式文件系统中小文件数据的存储效率。
本发明解决上述技术问题的技术方案如下：一种分布式文件系统中小文件数据存储方法，包括：
S1a，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块；
S2a，当向分布式文件系统中写入小文件数据时，先将所述小文件数据写入分级缓存层；
S3a，当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块从分级缓存层中读取小文件数据，写入数据持久层；
S4a，当异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。
本发明的有益效果为：在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块，当向分布式文件系统中写入小文件数据时，先将小文件数据写入分级缓存层，利用缓存层的轻量级缓存功能减小对持久层磁盘的压力，然后由异步提交缓存模块从分级缓存层中读取小文件数据，存储到数据持久层，这样可以降低小文件数据持久化的响应时间，从而提高分布式文件系统中小文件数据的存储效率。
另一方面，本发明提供了一种分布式文件系统中小文件数据读取方法，包括：
S1b，当分布式文件系统接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；
S2b，若存在，则从分级缓存层中读取对应的小文件数据返回，若不存在，则从数据持久层中读取对应的小文件数据返回。
本发明的有益效果为：当从分布式文件系统中读取小文件数据时，先从分级缓存层中读取，当读取失败时，再从数据持久层中读取小文件数据，减轻了数据持久层的压力，加快了小文件数据读取的效率。
再一方面，提供了一种分布式文件系统中小文件数据存储装置，包括数据写入模块、异步提交缓存模块和清除模块；
所述数据写入模块，用于当向分布式文件系统中写入小文件数据时，先向分级缓存层中写入小文件数据；
所述异步提交缓存模块，用于当分级缓存层中的小文件数据量达到预设量时，从分级缓存层中读取小文件数据，写入数据持久层；
所述清除模块，用于当所述异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。
又一方面，还提供了一种分布式文件系统中小文件数据读取装置，包括：
判断模块，用于接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；
数据读取模块，用于若分级缓存层中存在对应的小文件数据，则从分级缓存层中读取对应的小文件数据返回，若否，则从数据持久层中读取对应的小文件数据返回。
附图说明
图1为本发明一个实施例的分布式文件系统中小文件数据存储方法流程图；
图2为本发明另一个实施例的分布式文件系统中小文件数据存储方法流程图；
图3为本发明一个实施例的分布式文件系统中小文件数据读取方法流程图；
图4为本发明另一个实施例的分布式文件系统中小文件数据读取方法流程图；
图5为本发明一个实施例的分布式文件系统中小文件数据存储装置框图示意图；
图6为本发明另一个实施例的分布式文件系统中小文件数据存储装置框图示意图；
图7为本发明一个实施例的分布式文件系统中小文件数据读取装置框图示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参见图1，为实施例1的一种分布式文件系统中小文件数据存储方法，包括：
S1a，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块；
S2a，当向分布式文件系统中写入小文件数据时，先将所述小文件数据写入分级缓存层；
S3a，当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块从分级缓存层中读取小文件数据，写入数据持久层；
S4a，当异步提交模块将小文件数据向数据持久层写入成功后，清除分级缓存层中对应的小文件数据。文件数据的大小在1MB以内的通常称为小文件数据，在分布式文件系统中，小文件数据的写入和访问频率高，访问量大，对磁盘压力很大，因此，在本实施例中，将分布式内存作为分级缓存层，并增加异步提交缓存模块，小文件存储时，先将小文件写到分级缓存层，利用分级缓存层的轻量级缓存功能减小对数据持久层磁盘的压力，当文件存储完成后，由异步提交缓存模块从分级缓存层中读取小文件数据，将小文件数据存储到数据持久层，实现了小文件异步提交机制，降低了小文件持久化数据的响应时间，提高了分布式小文件中的存储效率。
参见图2，为实施例2的一种分布式文件系统中小文件数据存储方法，包括：
S1a，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块；
S21a，以数据块为单位向分布式文件系统中写入小文件数据时，查找分级缓存层中是否存在文件缓存信息，若存在，执行步骤S22a，若不存在，则创建文件缓存信息，执行步骤S22a；
S22a，根据需要写入的数据块，从文件缓存信息中查找是否存在对应的缓存数据块索引信息，若存在，则在分级缓存层中更新缓存数据块；若不存在，则创建缓存数据块索引信息，并将数据块存储到分级缓存层中；
S3a，当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块读取分级缓存层中的数据块，写入数据持久层代理层，由数据持久层代理层通过通信网络将数据块写入数据持久层。
本实施例在分布式文件系统中将分布式内存库DMDB作为分级缓存层，并在分布式文件系统中增加异步提交缓存模块，Hbase作为数据持久层，Sbase作为数据持久层Hbase的代理。当外部客户端通过分布式文件系统提供的接口向分布式文件系统中写入小文件数据时，分布式文件系统获取路由信息，分别连接到DMDB和Sbase，分布式文件接口和分布式内存库DMDB均通过Sbase连接到Hbase。当分布式文件系统接收到外部数据写入请求时，首先在DMDB中创建元数据信息，并通过Sbase向Hbase发出打开文件请求，打开对应的Hbase表，作为数据持久层。通常，外部客户端以数据块为单位将数据写入分布式文件系统中，当分布式文件系统接收到数据写入请求时，判断分级缓存中是否存在文件缓存信息，其中，文件缓存信息中包括文件索引信息和缓存数据块索引信息，当分级缓存层中存在文件缓存信息时，读取文件缓存信息，若分级缓存层中不存在文件缓存信息，则创建文件缓存信息。随后判断文件缓存信息中是否存在缓存数据块索引信息，若存在，则根据请求写入的数据块，直接更新缓存数据块，若不存在缓存数据块索引信息，则先创建缓存数据块索引信息，然后将请求写入的数据块存储到分级缓存层中。
当分级缓存层中小文件数据的数据量达到预设量时，比如，本实施例设定为1M，即当分级缓存层中的小文件数据的数据量达到1M时，由异步提交缓存模块从分级缓存层中读取小文件数据，在读取分级缓存层中的数据时，同样是以数据块为单位进行读取。异步提交缓存模块将从分级缓存层读取的数据块先提交给数据持久层代理Sbase中，然后由Sbase通过网络通信将数据块提交给数据持久层Hbase中，向数据持久层提交数据完毕后，删除分级缓存层中对应的小文件数据。当请求写入的小文件数据写入分布式文件系统后，关闭分布式文件系统的写通道，并更新分布式文件系统中分级缓存层中的文件缓存信息和缓存数据信息。至此，本实施例的分布式文件系统中小文件数据的存储过程结束，采用分布式内存作为分级缓存层，并增加异步提交缓存模块，小文件存储时，先将小文件写到分级缓存层，利用分级缓存层的轻量级缓存功能减小对数据持久层磁盘的压力，当文件存储完成后，由异步提交缓存模块从分级缓存层中读取小文件数据，将小文件数据存储到数据持久层，实现了小文件异步提交机制，降低了小文件持久化数据的响应时间，提高了分布式小文件中的存储效率。
参见图3，为实施例3的一种分布式文件系统中小文件数据读取方法，包括：
S1b，当分布式文件系统接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的数据；
S2b，若存在，则从分级缓存层中读取对应的数据返回，若不存在，则从数据持久层中读取对应的数据返回。
当采用上述实施例1和实施例2提供的方法进行了分布式文件系统中小文件数据存储，本实施例对分布式文件系统中的小文件数据进行读取。当分布式文件系统接收到外部客户端的数据读取请求时，先从分级缓存层中读取对应的小文件数据，如果分级缓存层中不存在对应的小文件数据，再从数据持久层中读取对应的小文件数据返回给外部客户端，如果分级缓存层中有对应的小文件数据，则直接从分级缓存层中读取对应的小文件数据返回给外部客户端。本实施例中当从分布式文件系统中读取小文件数据时，先从分级缓存层中读取，当读取失败时，再从数据持久层中读取数据，减轻了数据持久层的压力，加快了小文件数据读取的效率。
参见图4，为实施例4的一种分布式文件系统中小文件数据读取方法，包括：
S11b，当接收到数据读取请求时，判断分级缓存层中是否存在对应的缓存数据块索引信息，若不存在，则从数据持久层中读取对应的数据块返回，若存在，执行S12b；
S12b，加载对应的缓存数据块索引信息，并根据缓存数据块索引信息查找分级缓存层中是否存在对应的数据块，若存在，则从分级缓存层中读取对应的数据块返回，若不存在，则从数据持久层中读取对应的数据块返回。
当分布式文件系统接收到外部客户端的数据读取请求时，先判断分级缓存层中是否存在对应的缓存数据块索引信息，若不存在，则表明分级缓存层中没有对应的数据块，那么就从数据持久层中读取对应的数据块返回给外部客户端；若分级缓存层中存在数据块索引信息，则根据缓存数据块索引信息查找分级缓存层中是否存在对应的数据块，若存在，表明分级缓存层中存在对应的数据块，则从分级缓存层中读取对应的数据块返回给外部客户端，若分级缓存层中不存在对应的缓存数据块，表明分级缓存没有对应的数据块，则从数据持久层中读取对应的数据块返回给外部客户端。本实施例中当从分布式文件系统中读取小文件数据时，先从分级缓存层中读取，当读取失败时，再从数据持久层中读取数据，减轻了数据持久层的压力，加快了小文件数据读取的效率。
参见图5，为实施例5的一种分布式文件系统中小文件数据存储装置，包括数据写入模块51、异步提交缓存模块52和清除模块53。
数据写入模块51，用于当向分布式文件系统中写入小文件数据时，先向分级缓存层中写入小文件数据；
异步提交缓存模块52，用于当分级缓存层中的小文件数据的数据量达到预设量时，从分级缓存层中读取小文件数据，写入数据持久层；
清除模块53，用于当所述异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。
参见图6，为实施例6的一种分布式文件系统中小文件数据存储装置，包括数据写入模块61、异步提交缓存模块62和清除模块63，其中，数据写入模块61包括第一查找单元611、第一创建单元612、第二查找单元613、更新单元614和第二创建单元615。
所述第一查找单元611，用于当以数据块为单位向分布式文件系统中写入数据时，在分级缓存层中查找是否存在文件缓存信息，若存在，调用第二查找单元613；若不存在，调用第一创建单元612；
第一创建单元612，用于创建文件缓存信息，调用第二查找单元612；
所述第二查找单元613，用于根据需要写入的数据块，从文件缓存信息中查找是否存在对应的缓存数据块索引信息，若存在，调用更新单元614，若不存在，调用第二创建单元615；
所述第二创建单元615，用于创建缓存数据块索引信息，并将数据块存储到分级缓存层中；
所述更新单元614，用于在分级缓存层中更新缓存数据块。
其中的异步提交缓存模块63，具体用于当分级缓存层中的数据量达到预设量时，读取分级缓存层中的数据块，写入数据持久层代理层，以便由数据持久层代理层通过通信网络将数据块写入数据持久层。
参见图7，为实施例7的一种分布式文件系统中小文件数据读取装置，包括判断模块71和数据读取模块72。
判断模块71，用于接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；
数据读取模块72，用于若分级缓存层中存在对应的小文件数据，则从分级缓存层中读取对应的小文件数据返回，若否，则从数据持久层中读取对应的小文件数据返回。
其中，所述判断模块71，具体用于当接收到数据读取请求时，判断分级缓存层中是否存在对应的缓存数据块索引信息；还用于当分级缓存层中存在对应的缓存数据块索引信息时，加载对应的缓存数据块索引信息，并根据缓存数据块索引信息查找分级缓存层中是否存在对应的数据块；
所述数据读取模块72，用于当判断模块71判断出分级缓存层中不存在对应的缓存数据块索引信息时，从数据持久层中读取对应的数据块返回；还用于当判断模块判断出分级缓存层中存在对应的数据块，从分级缓存层中读取对应的数据块返回，否则，从数据持久层读取对应的数据块返回。
本发明提供的一种分布式文件系统中小文件存储、读取方法及装置，数据存储的过程中，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块，当向分布式文件系统中写入数据时，先将数据写入分级缓存层，利用缓存层的轻量级缓存功能减小对持久层磁盘的压力，然后由异步提交缓存模块从缓存层中读取小文件数据，存储到数据持久层，这样可以降低小文件持久化数据的响应时间，从而提高分布式文件系统中小文件的存储效率；当从分布式文件系统中读取小文件数据的过程中，先从分级缓存层中读取，当读取失败时，再从数据持久层中读取数据，减轻了数据持久层的压力，加快了小文件数据读取的效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式文件系统中小文件数据存储方法，其特征在于，包括：
S1a，在分布式文件系统中，将分布式内存库作为分级缓存层，并增加异步提交缓存模块；
S2a，当向分布式文件系统中写入小文件数据时，将所述小文件数据写入分级缓存层；
S3a，当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块从分级缓存层中读取小文件数据，写入数据持久层；
S4a，当异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。
2.如权利要求1所述的分布式文件系统中小文件数据存储方法，其特征在于，所述步骤S2a具体包括：
S21a，以数据块为单位向分布式文件系统中写入小文件数据时，查找分级缓存层中是否存在文件缓存信息，若存在，执行步骤S22a，若不存在，则创建文件缓存信息，执行步骤S22a；
S22a，根据需要写入的数据块，从文件缓存信息中查找是否存在对应的缓存数据块索引信息，若存在，则在分级缓存层中更新缓存数据块；若不存在，则创建缓存数据块索引信息，并将数据块存储到分级缓存层中。
3.如权利要求2所述的分布式文件系统中小文件数据存储方法，其特征在于，所述步骤S3a具体包括：
当分级缓存层中的小文件数据量达到预设量时，由异步提交缓存模块读取分级缓存层中的数据块，写入数据持久层代理层，由数据持久层代理层通过通信网络将数据块写入数据持久层。
4.一种分布式文件系统中小文件数据读取方法，其特征在于，包括：
S1b，当分布式文件系统接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；
S2b，若存在，则从分级缓存层中读取对应的小文件数据返回，若不存在，则从数据持久层中读取对应的小文件数据返回。
5.如权利要求4所述的分布式文件系统中小文件数据读取方法，其特征在于，所述步骤S1b具体包括：
S11b，当接收到数据读取请求时，判断分级缓存层中是否存在对应的缓存数据块索引信息，若不存在，则从数据持久层中读取对应的数据块返回，若存在，执行S12b；
S12b，加载对应的缓存数据块索引信息，并根据缓存数据块索引信息查找分级缓存层中是否存在对应的数据块，若存在，则从分级缓存层中读取对应的数据块返回，若不存在，则从数据持久层中读取对应的数据块返回。
6.一种分布式文件系统中小文件数据存储装置，其特征在于，包括数据写入模块、异步提交缓存模块和清除模块；
所述数据写入模块，用于当向分布式文件系统中写入小文件数据时，向分布式文件系统中的分级缓存层中写入小文件数据；
所述异步提交缓存模块，用于当分级缓存层中的小文件数据量达到预设量时，从分级缓存层中读取小文件数据，写入数据持久层；
所述清除模块，用于当所述异步提交缓存模块向数据持久层中提交小文件数据成功后，清除分级缓存层中对应的小文件数据。
7.如权利要求6所述的分布式文件系统中小文件数据存储装置，其特征在于，所述数据写入模块包括第一查找单元、第二查找单元、更新单元、第一创建单元和第二创建单元；
所述第一查找单元，用于当以数据块为单位向分布式文件系统中写入小文件数据时，在分级缓存层中查找是否存在文件缓存信息，若存在，调用第二查找单元；若不存在，调用第一创建单元；
第一创建单元，用于创建文件缓存信息，调用第二查找单元；
所述第二查找单元，用于根据需要写入的数据块，从文件缓存信息中查找是否存在对应的缓存数据块索引信息，若存在，调用更新单元，若不存在，调用第二创建单元；
所述第二创建单元，用于创建缓存数据块索引信息，并将数据块存储到分级缓存层中；
所述更新单元，用于在分级缓存层中更新缓存数据块。
8.如权利要求7所述的分布式文件系统中小文件数据存储装置，其特征在于，所述异步提交缓存模块具体用于：
当分级缓存层中的小文件数据量达到预设量时，读取分级缓存层中的数据块，写入数据持久层代理层，由数据持久层代理层通过通信网络将数据块写入数据持久层。
9.一种分布式文件系统中小文件数据读取装置，其特征在于，包括：
判断模块，用于当接收到数据读取请求时，根据数据读取请求判断分级缓存层中是否存在对应的小文件数据；
数据读取模块，用于若分级缓存层中存在对应的小文件数据，则从分级缓存层中读取对应的小文件数据返回，若否，则从数据持久层中读取对应的小文件数据返回。
10.如权利要求9所述的分布式文件系统中小文件数据读取装置，其特征在于，
所述判断模块具体用于当接收到数据读取请求时，判断分级缓存层中是否存在对应的缓存数据块索引信息；还用于当分级缓存层中存在对应的缓存数据块索引信息时，加载对应的缓存数据块索引信息，并根据缓存数据块索引信息查找分级缓存层中是否存在对应的数据块；
所述数据读取模块，用于当判断模块判断出分级缓存层中不存在对应的缓存数据块索引信息时，从数据持久层中读取对应的数据块返回；还用于当判断模块判断出分级缓存层中存在对应的数据块，从分级缓存层中读取对应的数据块返回，否则，从数据持久层读取对应的数据块返回。
CN201710058679.3A 2017-01-23 2017-01-23 一种分布式文件系统中小文件数据存储、读取方法及装置 Pending CN106843770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710058679.3A CN106843770A (zh) 2017-01-23 2017-01-23 一种分布式文件系统中小文件数据存储、读取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710058679.3A CN106843770A (zh) 2017-01-23 2017-01-23 一种分布式文件系统中小文件数据存储、读取方法及装置

Publications (1)

Publication Number Publication Date
CN106843770A true CN106843770A (zh) 2017-06-13

Family

ID=59121867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710058679.3A Pending CN106843770A (zh) 2017-01-23 2017-01-23 一种分布式文件系统中小文件数据存储、读取方法及装置

Country Status (1)

Country Link
CN (1) CN106843770A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656701A (zh) * 2017-09-26 2018-02-02 郑州云海信息技术有限公司 小文件读加速方法、系统、装置及计算机可读存储介质
CN109144429A (zh) * 2018-09-17 2019-01-04 智恒科技股份有限公司 一种基于缓冲池的水务设备数据采集方法及装置
CN109743377A (zh) * 2018-12-27 2019-05-10 杭州当虹科技股份有限公司 一种基于http的小文件读写优化方法
CN109992212A (zh) * 2019-04-10 2019-07-09 苏州浪潮智能科技有限公司 一种数据写入方法和一种数据读取方法
CN110221987A (zh) * 2019-05-05 2019-09-10 福建天泉教育科技有限公司 系统应急情况下的数据存储方法、存储介质
CN111208946A (zh) * 2020-01-06 2020-05-29 北京同有飞骥科技股份有限公司 支持kb级别小文件并发io的数据持久化方法及系统
CN112000287A (zh) * 2020-08-14 2020-11-27 北京浪潮数据技术有限公司 一种io请求处理装置、方法、设备及可读存储介质
CN112115170A (zh) * 2020-09-18 2020-12-22 苏州浪潮智能科技有限公司 一种元数据缓存方法、系统、设备以及介质
CN112114753A (zh) * 2020-09-17 2020-12-22 杭州海康威视系统技术有限公司 一种数据写入方法、装置及设备
CN113849119A (zh) * 2020-08-28 2021-12-28 京东科技控股股份有限公司 存储方法、存储装置和计算机可读存储介质
CN115657954A (zh) * 2022-11-01 2023-01-31 昆仑数智科技有限责任公司 数据处理方法及装置
CN116048424A (zh) * 2023-03-07 2023-05-02 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020315A (zh) * 2013-01-10 2013-04-03 中国人民解放军国防科学技术大学 一种基于主从分布式文件系统的海量小文件存储方法
CN103838830A (zh) * 2014-02-18 2014-06-04 广东亿迅科技有限公司 一种HBase数据库的数据管理方法及系统
CN104142937A (zh) * 2013-05-07 2014-11-12 深圳中兴网信科技有限公司 一种分布式数据存取方法、装置和系统
CN104850640A (zh) * 2015-05-26 2015-08-19 华北电力大学（保定） 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
CN105005617A (zh) * 2015-07-21 2015-10-28 领航动力信息系统有限公司 一种时间序列数据的存储方法及装置
CN105893424A (zh) * 2015-12-04 2016-08-24 乐视网信息技术（北京）股份有限公司 一种服务器端数据存储设备及方法
CN106066890A (zh) * 2016-06-16 2016-11-02 上海天玑科技股份有限公司 一种分布式高性能数据库一体机系统
CN106156065A (zh) * 2015-03-30 2016-11-23 华为技术有限公司 一种文件持久化方法、删除方法以及相关装置
CN106156278A (zh) * 2016-06-24 2016-11-23 努比亚技术有限公司 一种数据库数据读写方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020315A (zh) * 2013-01-10 2013-04-03 中国人民解放军国防科学技术大学 一种基于主从分布式文件系统的海量小文件存储方法
CN104142937A (zh) * 2013-05-07 2014-11-12 深圳中兴网信科技有限公司 一种分布式数据存取方法、装置和系统
CN103838830A (zh) * 2014-02-18 2014-06-04 广东亿迅科技有限公司 一种HBase数据库的数据管理方法及系统
CN106156065A (zh) * 2015-03-30 2016-11-23 华为技术有限公司 一种文件持久化方法、删除方法以及相关装置
CN104850640A (zh) * 2015-05-26 2015-08-19 华北电力大学（保定） 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
CN105005617A (zh) * 2015-07-21 2015-10-28 领航动力信息系统有限公司 一种时间序列数据的存储方法及装置
CN105893424A (zh) * 2015-12-04 2016-08-24 乐视网信息技术（北京）股份有限公司 一种服务器端数据存储设备及方法
CN106066890A (zh) * 2016-06-16 2016-11-02 上海天玑科技股份有限公司 一种分布式高性能数据库一体机系统
CN106156278A (zh) * 2016-06-24 2016-11-23 努比亚技术有限公司 一种数据库数据读写方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656701A (zh) * 2017-09-26 2018-02-02 郑州云海信息技术有限公司 小文件读加速方法、系统、装置及计算机可读存储介质
CN109144429A (zh) * 2018-09-17 2019-01-04 智恒科技股份有限公司 一种基于缓冲池的水务设备数据采集方法及装置
CN109743377A (zh) * 2018-12-27 2019-05-10 杭州当虹科技股份有限公司 一种基于http的小文件读写优化方法
CN109992212A (zh) * 2019-04-10 2019-07-09 苏州浪潮智能科技有限公司 一种数据写入方法和一种数据读取方法
CN110221987A (zh) * 2019-05-05 2019-09-10 福建天泉教育科技有限公司 系统应急情况下的数据存储方法、存储介质
CN111208946A (zh) * 2020-01-06 2020-05-29 北京同有飞骥科技股份有限公司 支持kb级别小文件并发io的数据持久化方法及系统
CN112000287A (zh) * 2020-08-14 2020-11-27 北京浪潮数据技术有限公司 一种io请求处理装置、方法、设备及可读存储介质
CN112000287B (zh) * 2020-08-14 2022-06-17 北京浪潮数据技术有限公司 一种io请求处理装置、方法、设备及可读存储介质
CN113849119A (zh) * 2020-08-28 2021-12-28 京东科技控股股份有限公司 存储方法、存储装置和计算机可读存储介质
CN112114753A (zh) * 2020-09-17 2020-12-22 杭州海康威视系统技术有限公司 一种数据写入方法、装置及设备
CN112115170A (zh) * 2020-09-18 2020-12-22 苏州浪潮智能科技有限公司 一种元数据缓存方法、系统、设备以及介质
CN112115170B (zh) * 2020-09-18 2022-12-06 苏州浪潮智能科技有限公司 一种元数据缓存方法、系统、设备以及介质
CN115657954A (zh) * 2022-11-01 2023-01-31 昆仑数智科技有限责任公司 数据处理方法及装置
CN116048424A (zh) * 2023-03-07 2023-05-02 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质
CN116048424B (zh) * 2023-03-07 2023-06-06 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106843770A (zh) 一种分布式文件系统中小文件数据存储、读取方法及装置
EP3482309B1 (en) Key-value storage system including a resource-efficient index
CN102629247B (zh) 一种数据处理方法、装置和系统
CN108829344A (zh) 数据存储方法、装置及存储介质
CN109800185B (zh) 一种数据存储系统中的数据缓存方法
CN1848849B (zh) 复制目录修改的方法和装置
CN109086388A (zh) 区块链数据存储方法、装置、设备及介质
CN110109915A (zh) 用于管理哈希表的方法、设备和计算机程序产品
US20100274795A1 (en) Method and system for implementing a composite database
CN107003814A (zh) 存储系统中的有效元数据
CN102955792A (zh) 一种实时全文搜索引擎事务处理的实现方法
US11314719B2 (en) Method for implementing change data capture in database management system
CN109767274B (zh) 一种对海量发票数据进行关联存储的方法及系统
CN109445685A (zh) 一种用户态文件系统处理方法
CN110109868A (zh) 用于索引文件的方法、装置和计算机程序产品
KR20200056357A (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
CN107133183B (zh) 一种基于tcmu虚拟块设备的缓存数据访问方法及系统
CN107766258A (zh) 内存存储方法与装置、内存查询方法与装置
KR101806394B1 (ko) 모바일 dbms환경에서 트랜잭션에 특화된 색인 캐시의 구조를 갖는 데이터 처리 방법
CN106649530B (zh) 云详单查询管理系统及方法
CN108647280A (zh) 一种存储通讯信息的方法和装置
CN100487697C (zh) 一种应用改进的哈希方法进行查找的方法
KR970014063A (ko) 팩스메일 서비스를 겸하는 음성우편장치 및 그 서비스 방법
CN108804571B (zh) 一种数据存储方法、装置以及设备
CN110658999B (zh) 一种信息更新方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613