CN107229427A - 一种文件存储方法、系统及计算机存储介质 - Google Patents

一种文件存储方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN107229427A
CN107229427A CN201710480364.8A CN201710480364A CN107229427A CN 107229427 A CN107229427 A CN 107229427A CN 201710480364 A CN201710480364 A CN 201710480364A CN 107229427 A CN107229427 A CN 107229427A
Authority
CN
China
Prior art keywords
file
data block
object storage
file system
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710480364.8A
Other languages
English (en)
Other versions
CN107229427B (zh
Inventor
江汛洋
葛利亚
王静
李道兵
许式伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Original Assignee
SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd filed Critical SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Priority to CN201710480364.8A priority Critical patent/CN107229427B/zh
Publication of CN107229427A publication Critical patent/CN107229427A/zh
Priority to PCT/CN2018/079683 priority patent/WO2018233331A1/zh
Application granted granted Critical
Publication of CN107229427B publication Critical patent/CN107229427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种文件存储方法、系统及计算机存储介质，该方法包括：在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作；将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务；在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件；在文件系统层中设置循环回收任务；循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将数据块删除且标记数据块地址为对象存储。融合文件系统与对象存储的分级存储方法，达到既能支持乱序读写，又能拥有对象存储的优势，即低成本、易分发并发访问、支持海量存储。

Description

一种文件存储方法、系统及计算机存储介质
技术领域
本发明涉及存储技术领域，更具体的说，涉及一种文件存储方法、系统及计算机存储介质。
背景技术
对象存储拥有低成本、易分发并发访问、支持海量存储的特点，但不支持随机写，目前许多软件仍对存储系统有乱序读写的需求，文件系统能支持乱序读写。
发明内容
本发明所要解决的技术问题是提供一种能支持乱序读写又具有对象存储优点的文件存储方法、系统及计算机存储介质。
本发明的目的是通过以下技术方案来实现的：
一种文件存储方法，包括：
在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作；
将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务；
在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件；
在文件系统层中设置循环回收任务；所述循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将所述数据块删除且标记所述数据块地址为对象存储。
进一步的，还包括：
在文件系统层中设置循环重传任务；
所述循环重传任务包括：按第二预设周期获取文件系统中未同步到对象存储中的数据块，并根据数据块生成同步任务，并将所述同步任务加入对象存储队列中。
进一步的，所述对数据块进行乱序写操作包括：
如果文件的数据块在文件系统层中，则直接进行写入；
如果文件的数据块在对象存储中，则将所述数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
进一步的，所述根据操作指令将多个数据块按预设顺序拼成文件包括：
如果文件数据块在对象存储中且未过期，则用于拼接文件；
如果文件数据块在文件系统层完成覆盖写入，则将文件数据块重新上传到对象存储中；
如果文件数据块在对象存储中但已过期，则从对象存储中按偏移读取数据块，并将所述数据块下载到文件系统，再重新上传形成数据块。
进一步的，还包括：
在文件系统层中，进行文件乱序读操作时，如果文件在文件系统中，则直接从文件系统读取数据块形成文件。
一种文件存储系统，包括：
处理模块：用于在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作；
同步模块，用于将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务；
拼接模块，用于在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件；
回收器，用于在文件系统层中执行循环回收任务，所述循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将所述数据块删除且标记所述数据块地址为对象存储。进一步的，所述处理模块还用于在文件系统层中设置循环重传任务；所述循环重传任务包括：按第二预设周期获取文件系统中未同步到对象存储中的数据块，并根据数据块生成同步任务，并将所述同步任务加入对象存储队列中。
进一步的，所述处理模块还用于如果文件的数据块在文件系统层中，则直接进行写入；所述处理模块还用于如果文件的数据块在对象存储中，则将所述数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
进一步的，所述拼接模块还用于如果文件数据块在对象存储中且未过期，则用于拼接文件；
所述拼接模块还用如果文件数据块在文件系统层完成覆盖写入，则将文件数据块重新上传到对象存储中；
所述拼接模块还用如果文件数据块在对象存储中但已过期，则从对象存储中按偏移读取数据块，并将所述数据块下载到文件系统，再重新上传形成数据块。
进一步的，所述处理模块还用于在文件系统层中，进行文件乱序读操作时，如果文件在文件系统中，则直接从文件系统读取数据块形成文件。
一种计算机存储介质，所述计算机存储介质可存储有程序，所述程序执行包括上述任一项所述的步骤。
本发明由于在文件系统层，将文件进行分块形成多个数据块，并对数据块进行乱序写操作；然后将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务；在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件，在文件系统层中设置循环回收任务；循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将数据块删除且标记所述数据块地址为对象存储。融合文件系统与对象存储的分级存储方法，达到既能支持乱序读写，又能拥有对象存储的优势，即低成本、易分发并发访问、支持海量存储。循环回收任务能在文件系统层维护大量文件合理的转移给对象存储。
附图说明
图1是本发明实施例的一种文件存储方法的流程图；
图2是本发明实施例的一种文件存储系统的框图；
图3是本发明实施例的文件系统层写入过程的流程示意图；
图4是本发明实施例的一种文件存储系统的示意图。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图和较佳的实施例对本发明作进一步说明。
如图1所示，一种文件存储方法，该文件存储方法包括步骤S110-S140。其中：
S110：在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作。
具体的，在文件系统层，对文件进行切块分片形成多个数据块，每个数据块大小可以由系统设定，也可以由用户指定。在文件系统层，支持对文件进行乱序写操作，文件单次写操作将被拆成对多个数据块的写操作。
S120：将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务。在对象存储层，可以将多个文件按顺序拼接成一个大文件。对象存储中文件由于按顺序存储，所以可很方便支持按某偏移量读取部分数据。对象存储层支持分块上传与分块拼接成单个文件，但不支持乱序写操作。对象层存储数据主要用于归档、分发。在文件系统层中维护一个数据块同步到对象存储队列Q，写入或修改数据后，向同步队列加入任务并合并重复任务，按第一预设周期执行队列任务。第一预设周期的时间可以根据系统自动设定，也可以用户自己设定。
S130：在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件。
该操作指令可以为将多个数据块拼接成文件的指令。当用户在文件系统层触发对文件的close/sync操作时将在对象存储中触发数据块拼接成文件任务。
S140：在文件系统层中设置循环回收任务；所述循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将所述数据块删除且标记所述数据块地址为对象存储。
文件系统层运行一个循环回收任务，将已同步到对象存储的数据按周期、策略进行回收，当从文件系统层读取数据时再从对象存储拉取。有了循环回收任务，可以在文件系统层维护大量文件的压缩合理的转移给对象存储。在文件系统层中启动一个循环回收任务，按预设策略获取文件系统中已同步到对象存储中且满足用户设定条件的文件，并文件删除且标记文件地址为对象存储。预设策略可以是用户指定策略，如修改日期及使用频次等。
本实施例融合文件系统与对象存储的分级存储方法，达到既能支持乱序读写，又能拥有对象存储的优势，即低成本、易分发并发访问、支持海量存储。本实施例将乱序写落在文件系统、读取主要落在对象存储的存储结构。循环回收任务能在文件系统层维护大量文件合理的转移给对象存储。
可选地，该文件存储方法还包括：在文件系统层中设置循环重传任务；该循环重传任务包括：按第二预设周期获取文件系统中未同步到对象存储中的数据块，并根据数据块生成同步任务，并将所述同步任务加入对象存储队列中。
在文件系统层中启动一个循环重传任务，按周期获取文件系统中未同步到对象存储中的文件，并根据文件生成同步任务加入同步队列Q中。
具体的，其中对数据块进行乱序写操作包括：
如果文件的数据块在文件系统层中，则直接进行写入；
如果文件的数据块在对象存储中，则将所述数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
在文件系统层中，进行乱序读写时，如果文件已在文件系统层则直接进行写入，如果在对象存储中，则将文件相应数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
具体的，其中根据操作指令将多个数据块按预设顺序拼成文件包括：
如果文件数据块在对象存储中且未过期，则用于拼接文件；
如果文件数据块在文件系统层完成覆盖写入，则将文件数据块重新上传到对象存储中；
如果文件数据块在对象存储中但已过期，则从对象存储中按偏移读取数据块，并将所述数据块下载到文件系统，再重新上传形成数据块。
最终用户触发拼接文件时，根据此时文件的大小确定文件数据块数量，并逐一判断所有数据块是否已在对象存储中，且有效，此时按需从磁盘中读取、从对象存储中重新下载、直接从内存读取并重新上传数据块。所需用于拼接文件数据块分四种情况：
情况一：文件数据块已在对象存储中且未过期可继续用于拼接文件则重用，即从磁盘中读取。
情况二：文件数据块在文件系统层完成覆盖写则重新上传到对象存储中，从对象存储中重新下载，还可以设置版本变量，具体包括，每个文件数据块有两个版本变量，一个是文件内容版本，文件数据块刚创建时为零，后续每次更新递增，另一个是文件数据块上传版本，每次数据块上传后，上传该版本号设置为文件内容版本号，该情况下，检查文件内容版本和上传版本是否一致，不一致则重传。
情况三：文件数据块已在对象存储中但已过期，则从对象存储按偏移读取下载到文件系统再重新上传形成块。
情况四，如果数据块未上传过，则触发上传。如果拼接文件过程中失败则终止拼接，等待由重传模块再次触发拼接。
对文件执行truncate操作时，更新本地文件系统中的文件大小，并更新truncate大小边界相应的数据块，并递增其文件内容版本，如此，在触发对象存储中文件拼接阶段才能正确体现truncate文件。可选地，该文件存储方法还包括：在文件系统层中，进行文件乱序读操作时，如果文件在文件系统中，则直接从文件系统读取数据块形成文件。
在文件系统层中，进行乱序读时，如果文件在文件系统中，则直接从文件系统读取，根据用户配置连续读取一定量数据块减少网络请求量。
如图2所示，将文件A分成几个数据块文件A块1、文件A块2等，文件B也分成几个数据块文件B块1、文件B块2。
然后将数据块分别通过文件写入模块增加进同步队列Q，或通过循环重传模块进入同步队列Q。
同步队列Q中的数据块存入对象存储，并组合成文件A、文件B。
其中，文件系统可直接从对象存储乱序读取数据，并将文件数据块存储到文件系统层。
其中，按策略回收文件模块可以将文件系统中的数据块进行回收。
如图3所示，文件系统层写入过程包括：向文件系统层随机写入数据。
文件写入内容被拆成面向多个数据块的写入。
如果面向数据块写为覆盖写数据，则覆盖写，如果面向数据块写为新数据块下的追加写，则追加写；
如果为覆盖写，则判断相应数据块是否在文件系统层中，如果不在系统层中，则从对象存储层中读取数据块数据并存储在文件存储层，然后则将数据写入文件系统层磁盘中。如果在系统层中，则将数据写入文件系统层磁盘中。
如果为追加写，则将数据写入文件系统层磁盘中。
本发明的另一优选实施例，如图4所示，一种文件存储系统200，包括处理模块210、同步模块220、拼接模块230和回收器240。
处理模块210用于在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作。
具体的，在文件系统层，处理模块210对文件进行切块分片形成多个数据块，每个数据块大小可以由系统设定，也可以由用户指定。在文件系统层，支持对文件进行乱序写操作，文件单次写操作将被拆成对多个数据块的写操作。
同步模块220用于将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务。
同步模块220在文件系统层中维护一个数据块同步到对象存储队列Q，写入或修改数据后，向同步队列加入任务并合并重复任务，按第一预设周期执行队列任务。第一预设周期的时间可以根据系统自动设定，也可以用户自己设定。
拼接模块230用于在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件。
该操作指令可以为将多个数据块拼接成文件的指令。当用户在文件系统层触发对文件的close/sync操作时，拼接模块230将在对象存储中触发数据块拼接成文件任务。
回收器240，用于在文件系统层中执行循环回收任务，所述循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将所述数据块删除且标记所述数据块地址为对象存储。
文件系统层运行一个回收器240，回收器240将已同步到对象存储的数据按周期、策略进行回收，当从文件系统层读取数据时再从对象存储拉取。有了回收器，可以在文件系统层维护大量文件的压缩合理的转移给对象存储。在文件系统层中启动一个循环回收任务，按预设策略获取文件系统中已同步到对象存储中且满足用户设定条件的文件，并文件删除且标记文件地址为对象存储。预设策略可以是用户指定策略，如修改日期及使用频次等。
可选地，处理模块还用于在文件系统层中设置循环重传任务；所述循环重传任务包括：按第二预设周期获取文件系统中未同步到对象存储中的数据块，并根据数据块生成同步任务，并将所述同步任务加入对象存储队列中。
可选地，处理模块还用于如果文件的数据块在文件系统层中，则直接进行写入；如果文件的数据块在对象存储中，则将所述数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
在文件系统层中，进行乱序读写时，如果文件已在文件系统层则直接进行写入，如果在对象存储中，则将文件相应数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
可选地，拼接模块还用于如果文件数据块在对象存储中且未过期，则用于拼接文件；如果文件数据块在文件系统层完成覆盖写入，则将文件数据块重新上传到对象存储中；如果文件数据块在对象存储中但已过期，则从对象存储中按偏移读取数据块，并将所述数据块下载到文件系统，再重新上传形成数据块。
最终用户触发拼接文件时，根据此时文件的大小确定文件数据块数量，并逐一判断所有数据块是否已在对象存储中，且有效，此时按需从磁盘中读取、从对象存储中重新下载、直接从内存读取并重新上传数据块。所需用于拼接文件数据块分四种情况：
情况一：文件数据块已在对象存储中且未过期可继续用于拼接文件则重用，即从磁盘中读取。
情况二：文件数据块在文件系统层完成覆盖写则重新上传到对象存储中，从对象存储中重新下载，还可以设置版本变量，具体包括，每个文件数据块有两个版本变量，一个是文件内容版本，文件数据块刚创建时为零，后续每次更新递增，另一个是文件数据块上传版本，每次数据块上传后，上传该版本号设置为文件内容版本号，该情况下，检查文件内容版本和上传版本是否一致，不一致则重传。
情况三：文件数据块已在对象存储中但已过期，则从对象存储按偏移读取下载到文件系统再重新上传形成块。
情况四，如果数据块未上传过，则触发上传。如果拼接文件过程中失败则终止拼接，等待由重传模块再次触发拼接。
对文件执行truncate操作时，更新本地文件系统中的文件大小，并更新truncate大小边界相应的数据块，并递增其文件内容版本，如此，在触发对象存储中文件拼接阶段才能正确体现truncate文件。
可选地，处理模块还用于在文件系统层中，进行文件乱序读操作时，如果文件在文件系统中，则直接从文件系统读取数据块形成文件。
在文件系统层中，进行乱序读时，如果文件在文件系统中，则直接从文件系统读取，根据用户配置连续读取一定量数据块减少网络请求量。
本发明的另一优选实施例，一种计算机存储介质，所述计算机存储介质可存储有程序，所述程序执行包括上述任一项所述的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种文件存储方法，包括：
在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作；
将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务；
在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件；
在文件系统层中设置循环回收任务；所述循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将所述数据块删除且标记所述数据块地址为对象存储。
2.如权利要求1所述的一种文件存储方法，其特征在于，还包括：
在文件系统层中设置循环重传任务；
所述循环重传任务包括：按第二预设周期获取文件系统中未同步到对象存储中的数据块，并根据数据块生成同步任务，并将所述同步任务加入对象存储队列中。
3.如权利要求1所述的一种文件存储方法，其特征在于，所述对数据块进行乱序写操作包括：
如果文件的数据块在文件系统层中，则直接进行写入；
如果文件的数据块在对象存储中，则将所述数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
4.如权利要求3所述的一种文件存储方法，其特征在于，所述根据操作指令将多个数据块按预设顺序拼成文件包括：
如果文件数据块在对象存储中且未过期，则用于拼接文件；
如果文件数据块在文件系统层完成覆盖写入，则将文件数据块重新上传到对象存储中；
如果文件数据块在对象存储中但已过期，则从对象存储中按偏移读取数据块，并将所述数据块下载到文件系统，再重新上传形成数据块。
5.如权利要求1所述的一种文件存储方法，其特征在于，还包括：
在文件系统层中，进行文件乱序读操作时，如果文件在文件系统中，则直接从文件系统读取数据块形成文件。
6.一种文件存储系统，其特征在于，包括：
处理模块：用于在文件系统层，将文件进行分块形成多个数据块，对数据块进行乱序写操作；
同步模块，用于将数据块同步到对象存储队列，如果数据块的数据发生变化，则在对象存储队列增加任务，按第一预设周期循环执行对象存储队列内的任务；
拼接模块，用于在对象存储层，根据操作指令将多个数据块按预设顺序拼接成文件；
回收器，用于在文件系统层中执行循环回收任务，所述循环回收任务包括：按预设策略回收文件系统中已同步到对象存储中且满足预设条件的数据块，并将所述数据块删除且标记所述数据块地址为对象存储。
7.如权利要求6所述的一种文件存储系统，其特征在于，所述处理模块还用于在文件系统层中设置循环重传任务；所述循环重传任务包括：按第二预设周期获取文件系统中未同步到对象存储中的数据块，并根据数据块生成同步任务，并将所述同步任务加入对象存储队列中。
8.如权利要求6所述的一种文件存储系统，其特征在于，所述处理模块还用于如果文件的数据块在文件系统层中，则直接进行写入；所述处理模块还用于如果文件的数据块在对象存储中，则将所述数据块从对象存储中读取并存储到文件系统中，再进行覆盖写入。
9.如权利要求8所述的一种文件存储系统，其特征在于，所述拼接模块还用于如果文件数据块在对象存储中且未过期，则用于拼接文件；
所述拼接模块还用如果文件数据块在文件系统层完成覆盖写入，则将文件数据块重新上传到对象存储中；
所述拼接模块还用如果文件数据块在对象存储中但已过期，则从对象存储中按偏移读取数据块，并将所述数据块下载到文件系统，再重新上传形成数据块。
10.如权利要求6所述的一种文件存储系统，其特征在于，所述处理模块还用于在文件系统层中，进行文件乱序读操作时，如果文件在文件系统中，则直接从文件系统读取数据块形成文件。
11.一种计算机存储介质，其特征在于，所述计算机存储介质可存储有程序，所述程序执行包括如权利要求1-5中任一项所述的步骤。
CN201710480364.8A 2017-06-22 2017-06-22 一种文件存储方法、系统及计算机存储介质 Active CN107229427B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710480364.8A CN107229427B (zh) 2017-06-22 2017-06-22 一种文件存储方法、系统及计算机存储介质
PCT/CN2018/079683 WO2018233331A1 (zh) 2017-06-22 2018-03-20 一种文件存储方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710480364.8A CN107229427B (zh) 2017-06-22 2017-06-22 一种文件存储方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN107229427A true CN107229427A (zh) 2017-10-03
CN107229427B CN107229427B (zh) 2019-10-18

Family

ID=59936588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710480364.8A Active CN107229427B (zh) 2017-06-22 2017-06-22 一种文件存储方法、系统及计算机存储介质

Country Status (2)

Country Link
CN (1) CN107229427B (zh)
WO (1) WO2018233331A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233331A1 (zh) * 2017-06-22 2018-12-27 上海七牛信息技术有限公司 一种文件存储方法、系统及计算机存储介质
CN116048424A (zh) * 2023-03-07 2023-05-02 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722506A (zh) * 2009-12-29 2012-10-10 华为数字技术（成都）有限公司 数据存储方法及设备
US20130031069A1 (en) * 2011-07-28 2013-01-31 International Business Machines Corporation Allowing writes to complete without obtaining a write lock to a file
CN106021536A (zh) * 2016-05-27 2016-10-12 成都索贝数码科技股份有限公司 一种基于fics对象存储的数据插入方法与系统
US20160378653A1 (en) * 2015-06-25 2016-12-29 Vmware, Inc. Log-structured b-tree for handling random writes
CN106406981A (zh) * 2016-09-18 2017-02-15 深圳市深信服电子科技有限公司 一种读、写磁盘数据的方法及虚拟机监视器
CN106776967A (zh) * 2016-12-05 2017-05-31 哈尔滨工业大学（威海） 基于时序聚合算法的海量小文件实时存储方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747663B2 (en) * 2008-03-05 2010-06-29 Nec Laboratories America, Inc. System and method for content addressable storage
CN103077245A (zh) * 2013-01-18 2013-05-01 浪潮电子信息产业股份有限公司 一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法
US10191914B2 (en) * 2015-03-31 2019-01-29 EMC IP Holding Company LLC De-duplicating distributed file system using cloud-based object store
CN107229427B (zh) * 2017-06-22 2019-10-18 上海七牛信息技术有限公司 一种文件存储方法、系统及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722506A (zh) * 2009-12-29 2012-10-10 华为数字技术（成都）有限公司 数据存储方法及设备
US20130031069A1 (en) * 2011-07-28 2013-01-31 International Business Machines Corporation Allowing writes to complete without obtaining a write lock to a file
US20160378653A1 (en) * 2015-06-25 2016-12-29 Vmware, Inc. Log-structured b-tree for handling random writes
CN106021536A (zh) * 2016-05-27 2016-10-12 成都索贝数码科技股份有限公司 一种基于fics对象存储的数据插入方法与系统
CN106406981A (zh) * 2016-09-18 2017-02-15 深圳市深信服电子科技有限公司 一种读、写磁盘数据的方法及虚拟机监视器
CN106776967A (zh) * 2016-12-05 2017-05-31 哈尔滨工业大学（威海） 基于时序聚合算法的海量小文件实时存储方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233331A1 (zh) * 2017-06-22 2018-12-27 上海七牛信息技术有限公司 一种文件存储方法、系统及计算机存储介质
CN116048424A (zh) * 2023-03-07 2023-05-02 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质
CN116048424B (zh) * 2023-03-07 2023-06-06 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2018233331A1 (zh) 2018-12-27
CN107229427B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN101208671B (zh) 管理消息队列
US9141630B2 (en) Fat directory structure for use in transaction safe file system
US10592873B2 (en) Edit transactions for blockchains
CN104657158B (zh) 一种业务系统中业务处理的方法和装置
CN106502699A (zh) 一种应用页面处理方法、装置及系统
CN103760966A (zh) 一种实现图形缓冲的方法
US20170344478A1 (en) Storing log records in a non-volatile memory
CN109445861A (zh) 系统启动方法、装置、计算机装置及存储介质
CN104765576B (zh) 一种数据存储方法和数据存储装置
CN107066349A (zh) 一种集群文件系统数据保护的方法及系统
CN105589887A (zh) 分布式文件系统的数据处理方法及分布式文件系统
CN106933493A (zh) 用于缓存盘阵列扩容的方法及设备
CN107678883A (zh) 一种基于存储系统的集群恢复方法及设备
CN109492049A (zh) 用于区块链网络的数据处理、区块生成及同步方法
CN111506253A (zh) 一种分布式存储系统及其存储方法
CN107229427A (zh) 一种文件存储方法、系统及计算机存储介质
CN106339387A (zh) 一种数据库集群中新增服务器的数据同步方法及装置
CN106919620B (zh) 单页面处理方法及装置
CN104636218B (zh) 数据恢复方法及装置
CN104462342B (zh) 数据库快照同步处理方法及装置
CN106776150A (zh) 一种获取事务日志转储文件信息的方法及设备
KR101604222B1 (ko) 영상 기록 장치 및 일시적 네트워크 장애 발생시 영상 기록 방법
CN106339176A (zh) 中间文件处理方法、客户端、服务器和系统
CN107741965B (zh) 数据库同步处理方法、装置、计算设备及计算机存储介质
CN108958974A (zh) 一种快照方法、装置、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant