CN103778222A - 一种分布式文件系统存储文件的方法及系统 - Google Patents
一种分布式文件系统存储文件的方法及系统 Download PDFInfo
- Publication number
- CN103778222A CN103778222A CN201410030845.5A CN201410030845A CN103778222A CN 103778222 A CN103778222 A CN 103778222A CN 201410030845 A CN201410030845 A CN 201410030845A CN 103778222 A CN103778222 A CN 103778222A
- Authority
- CN
- China
- Prior art keywords
- file
- band
- property parameters
- strategy
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000003044 adaptive effect Effects 0.000 claims abstract description 57
- 230000001105 regulatory effect Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000002699 waste material Substances 0.000 description 5
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件系统存储文件的方法，包括：采集文件的属性参数；根据文件的属性参数，生成调整条带的自适应策略；根据自适应策略，来调整条带的大小，并在条带中存储文件。本发明通过建立一种根据写入文件的大小，产生自适应策略机制来动态地调整条带，从而提高了分布式文件系统的性能及其适应性，并且拓宽了分布式文件系统的应用范围。
Description
技术领域
本发明涉及分布式文件系统技术，尤其涉及一种分布式文件系统存储文件的方法及系统。
背景技术
通过一组松散集成的计算机软件和硬件连接起计算机分布式系统，计算机分布式系统通过高度紧密地协作来完成相关计算工作。目前，由于个人及企业数据的爆炸式增长，部署在集群上的分布式文件系统也越来越多，其容量也越来越大。并且由于系统应用的千差万别，其文件的读写特征和大小等也是千差万别，这给分布式文件系统造成了很大的压力。
目前，一般的分布式文件系统都是基于固定的可调整的条带，在文件写入分布式文件系统之前，条带是固定的。其中，条带（strip）是把连续的数据分割成相同大小的数据块，把每段数据分别写入到阵列中的不同磁盘上的方法。被写入条带的文件可以分割成多块数据对象，这些数据对象可以存储在条带中。但是，由于目前条带大小是固定的，会存在一个较小容量的数据对象占据较大条带的问题，从而造成了磁盘空间的浪费。并且会降低分布系文件系统的性能。
发明内容
为了解决上述技术问题，本发明提供了一种分布式文件系统存储文件的方法及系统，能够自适应地动态调整条带大小，避免磁盘空间的浪费，从而提高分布式文件系统的性能及其适应性，并且拓宽分布式文件系统的应用范围。
为了达到本发明的目的，本发明提供了一种分布式文件系统存储文件的方法，包括：
采集文件的属性参数；
根据文件的属性参数，生成调整条带的自适应策略；
根据所述自适应策略，来调整条带的大小，并在条带中存储文件。
优选地，所述采集文件的属性参数包括：周期性地采集所述文件属性参数；或者，按照需求来触发地采集所述文件的属性参数。
优选地，其中所述文件属性参数至少包括：文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。
优选地，所述生成自适应策略至少包括：统计文件属性参数，根据自适应算法，查找与数据对象容量相匹配的条带；如果存在相匹配的条带，则在该条带中存储该数据对象；否则继续运行自适应算法，查找可以割裂或合并的条带，所述割裂或合并后的条带容量与数据对象的容量匹配。
优选地，所述调整条带的大小是指通过调用文件系统接口来调整条带。
本发明还提供一种分布式文件系统存储文件的系统，包括：
文件属性参数采集设备，用于采集文件的属性参数，并将所述文件的属性参数发送给自适应策略引擎设备；
自适应策略引擎设备，用于根据所述文件的属性参数，生成调整条带的自适应策略，并将所述自适应策略传递给策略执行设备；
策略执行设备，用于执行所述自适应策略，以动态地调整条带的大小，并在条带中存储文件。
优选地，所述文件的属性参数采集设备用于：周期性地采集所述文件的属性参数；或者，按照需求来触发地采集所述文件的属性参数。
优选地，其中所述文件属性参数至少包括文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。
优选地，所述自适应策略引擎设备用于：统计文件属性参数，根据自适应算法，查找与数据对象容量相匹配的条带；.如果存在相匹配的条带，则在该条带中存储该数据对象；否则继续运行自适应算法，查找可以割裂或合并的条带，所述割裂或合并后的条带容量与数据对象的容量匹配。
优选地，所述策略执行设备，用于通过调用文件系统接口来调整条带。
本发明方案通过采集文件的属性参数；根据文件的属性参数，生成调整条带的自适应策略；根据所述自适应策略，来调整条带的大小，并在条带中存储文件，从而解决了按需存放文件以减少存储空间的浪费，并提高了存储空间的可利用率。并且能够自适应地动态调整条带大小，避免磁盘空间的浪费，从而提高分布式文件系统的性能及其适应性，并且拓宽分布式文件系统的应用范围。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明分布式文件系统存储文件的方法的流程图；
图2为本发明分布式文件系统存储文件的系统的示意图；
图3为本发明自适应调整条带功能的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明分布式文件系统存储文件的方法的流程图，如图1所示，包括：
步骤102：采集需要存储的文件的文件属性参数。
本步骤中，首先获取文件，其中，获得的文件可以是因特网、局域网中的网络资源，也可以是下载到本地、或可以下载到分布式系统中的任意一个或多个节点中的数据。其次，对获得的文件采集相应的文件属性参数，其中，文件属性参数至少包括文件块的大小、读写的比重、文件读写属性参数、读写频率。优选地，在采集文件属性参数时，可以周期性地采集文件的属性参数，也可以动态地按需采集文件属性参数。这些文件属性参数可以存储在任意节点中的存储单元中，也可以存储在本地内存中。然后，在一个时间段的文件属性参数采集完毕后或，按照需求所采集的文件属性参数完毕后，将这些文件属性参数以参数形式传递给自适应策略的相关函数，然后在开始采集下一阶段的文件属性参数。
步骤104：根据采集到的文件属性参数，生成调整条带的自适应策略。
本步骤中，在收到一个时间段的文件属性参数后，根据这些属性参数数据产生一个动态调整条带的自适应策略。同时，删除经过了计算处理的文件属性参数。优选地，将所采集到的属性参数作为输入，通过特定的可调节的自适应算法，生成相应的策略。并且此算法可以根据实际的应用调整。其中所述自适应策略至少包括：根据文件的数量和大小，来确定策略；例如，大量小文件情况下，则将该文件存储在小条带中，大量大文件下，则将文件存储在条带。
优选地，自适应算法的输入为文件属性参数，即文件块的大小、读写的比重、文件读写属性参数、读写频率。在数据库中，存储了每个节点中所有空余条带的信息。在算法中设置阈值t，并初始化该阈值，以及初始化自适应函数。其中，该自适应函数为逼近匹配函数，即根据文件属性参数提供的信息，通过迭代的方式找出最合适的条带。然后调用分布式系统的接口函数对条带进行割裂或合并。并将数据库中更改上述条带的信息。
优选地，自适应策略至少包括：利用自适应算法来分配条带的大小，并对连续的条带进行合并。进一步地，根据对象文件的大小，来调整条带，例如，对于较小的对象文件，而条带较大，如果将对象文件存储到该条带中则会浪费该条带的存储空间，所以此时可以根据自适应算法将该条带割裂为两个或多个条带，其中割裂好的条带需要符合分布式系统对条带大小的要求。还可以根据最小均方误差算法（LMS）算法，通过调用分布式系统的相关接口，来对分布式系统中的条带进行模拟拟合，以查找最适用于该文件大小的条带。
然而对于较大的数据文件，首先需要将其分解为合适大小的数据对象文件。然后根据该数据对象文件的大小，利用LMS算法来拟合数据库中的条带，通过迭代的方式找出最佳的条带，调整该条带，并用来存储该对象文件。
步骤106：根据生成的自适应策略调整条带的大小，并在条带中存储文件。
本步骤中进一步，根据用LMS算法来拟合数据库中的条带，通过迭代的方式找出最佳的条带来存储该数据对象文件。通过调用分布式文件系统的接口，对条带进行调整。其中该分布式文件系统的接口根据不同的文件系统而不同。然后在调整过的条带中存储该数据对象。并且，以此将该文件的所有数据对象文件存储在分布式系统中的一个或多个节点中的条带中。
本发明的方法还包括：统计文件属性参数，自适应策略将文件的一个对象存储到大小合适的一个条带中；而文件的剩余对象则存储到任意节点中的一个或多个条带中。其中文件属性参数至少包括：文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。
优选地，根据对象的大小，查找合适大小的条带，若没有合适的条带，则可以将较大的条带割裂，其割裂后的条带可以适合该对象。通过调用文件系统接口来调整条带。
图2为本发明系统的示意图，其包括文件属性参数采集设备，用于采集文件属性参数，并将文件属性参数发送给自适应策略引擎设备；自适应策略引擎设备，用于根据文件属性参数，生成调整条带的自适应策略，并将自适应策略传递给策略执行设备；策略执行设备，用于执行自适应策略，以动态地调整条带的大小，并在条带中存储文件。
具体地，文件属性参数采集设备用于：周期性地采集文件属性参数；或者，动态的按照需求来采集文件属性参数。
具体地，其中文件属性参数至少包括文件块的大小、读写比重、读写属性参数、读写频率。
具体地，自适应策略引擎设备用于：利用自适应算法调整条带的大小。
具体地，策略执行设备用于：调整分布式系统中的任意一个或多个节点中的条带大小。
实施例1如图3所示，其具体实施方式如下：
本发明所提供的自适应地调整条带功能，包含三大模块组：文件属性参数采集器、自适应策略引擎和策略执行器。通过这三个模块的相互配合，共同实现自适应的动态调整条带的步骤。其具体实现步骤如下所示：
文件属性参数采集器负责在文件写入分布式文件系统的过程中，采集文件的各种属性参数，如块大小、读写的比重、读写的频率、文件名称等等属性参数。然后文件属性参数采集器将这些属性参数有机的保存起来，作为后续的自适应策略引擎的输入。文件的属性参数采集器在采集文件属性参数的时候，可以周期性地采集文件属性参数，或者按需采集文件属性参数。这些属性参数可以写入分布式节点中的存储设备，也可以保留在内存里。然后，当一个时间段的属性参数采集完毕后，将这些属性参数传递给自适应策略引擎后，在开始采集下一阶段的文件属性参数。
自适应策略引擎在收到一个时间段的属性参数后，将属性参数存入数据库中。该文件可以分为多个对象，需要把这些对象存储在多个条带中，其中这些条带可以分布于不同的节点中。首先利用自适应算法，来查找合适的条带，调整条带以存储对象。如果查找到合适的条带，则将该对象存储在该合适的条带中。但是，如果在所有的节点中都未查找到合适的条带，则利用LMS对所有节点中的条带的大小进行拟合，例如，可以将较大的条带割裂成两个相对合适的条带，其中一个条带来存储该对象。总之，可以根据对象文件的大小，来调整条带。又例如，对于较大的文件，而条带较小，可以根据自适应算法将合适的条带与相邻的条带进行合并，以存储该文件。其中割裂好的条带、或者合并好的条带需要符合分布式系统对条带大小的要求。也就是说根据LMS算法，通过调用分布式系统的相关接口，来对分布式系统中的条带进行模拟拟合，以查找最适用于该文件大小的条带，若查找不到合适的条带，则对条带进行割裂或者合并。
其中条带的属性参数（例如条带的大小，位置，及其与该条带相邻的其它条带）被存储在数据库中。每次为文件分配条带后，都需要更改数据库中相应的属性参数。并且每次释放条带时，也需要相应地更改数据库中的相关属性参数。调整条带需要调用分布式文件系统的接口，根据不同的文件系统而不同。
将上述动态调整条带的策略传递给策略执行器。同时，这些经过计算的文件属性参数已经过时，将这些信息删除。
策略执行器在收到自适应策略引擎发出的策略后，根据这些策略来执行相应的调整条带的具体工作。直到策略执行器再次收到不同的策略的时候，再次执行新的策略，否则就不执行。其中策略执行器通过调用分布式文件系统的接口，来实现调整条带的目的。
实施例2
周期性地采集文件的属性参数，或动态地按需采集文件属性参数。基于文件属性参数来统计文件特征，其具体特征至少包括，在一个固定的时间周期T内，统计所有写入文件夹的文件的特征，这里的特征包括文件大小，文件读写的频率，文件类型等。
将在T时间内收集到的特征数据，输入到策略引擎产生器中。策略引擎产生器根据这些数据产生预测的调整策略。策略引擎产生器根据指定的条件来产生调整策略。其中该指定的条件至少包括：在T时间内写入文件的频率和大小符合指定的特征。如，1M的文件写入频率达到80%以上。
策略引擎产生器产生调整策略后，将该调整策略跟目前文件系统条带作对比。如果目前文件系统中的条带分布情况与调整策略相同，则不需要调整。如果目前文件系统中的条带分布情况与调整策略不相同，则需要调用文件系统文件系统接口来调整条带。其中修改条带的文件系统接口的示例如下：
例如，在lustre文件系统中，以接口#lfs setstripe为示例，将系统条带调整为4M的执行命令如下。通过在linux系统中执行如下命令：lfs setstripe-s 4M-i 0 -c 1/mnt/lustre，将系统条带调整为4M。又例如，将系统条带调整为64k，可以在linux系统中执行如下命令：lfs setstripe -s 64k -i 0 -c 1/mnt/lustre。
另外，条带的大小不是任意的，一般系统都会有默认的一些选项。如lustre的条带大小为64K，128K，256k，512K，1M，4M。
通过以上的步骤，动态调整条带，从而使得不同的应用可以获得比较合适的条带，从而加快应用的读写速度，提高分布式文件系统的使用效率，同时也扩大了分布式文件系统的适用范围。
本领域的技术人员应该明白，上述的本发明实施例所提供的装置的各组成部分，以及方法中的各步骤，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但该的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种分布式文件系统存储文件的方法，其特征在于，包括：
采集文件的属性参数；
根据文件的属性参数，生成调整条带的自适应策略；
根据所述自适应策略，来调整条带的大小，并在条带中存储文件。
2.根据权利要求1所述的方法，其特征在于，所述采集文件的属性参数包括：周期性地采集所述文件属性参数；或者，
按照需求来触发地采集所述文件的属性参数。
3.根据权利要求2所述的方法，其特征在于，其中所述文件属性参数至少包括：文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。
4.根据权利要求1所述的方法，其特征在于，所述生成自适应策略至少包括：
统计文件属性参数，根据自适应算法，查找与数据对象容量相匹配的条带；如果存在相匹配的条带，则在该条带中存储该数据对象；否则继续运行自适应算法，查找可以割裂或合并的条带，所述割裂或合并后的条带容量与数据对象的容量匹配。
5.根据权利要求1所述的方法，其特征在于，所述调整条带的大小是指通过调用文件系统接口来调整条带。
6.一种分布式文件系统存储文件的系统，其特征在于，包括：
文件属性参数采集设备，用于采集文件的属性参数，并将所述文件的属性参数发送给自适应策略引擎设备；
自适应策略引擎设备，用于根据所述文件的属性参数，生成调整条带的自适应策略，并将所述自适应策略传递给策略执行设备；
策略执行设备，用于执行所述自适应策略，以动态地调整条带的大小，并在条带中存储文件。
7.根据权利要求6所述的系统，其特征在于，所述文件的属性参数采集设备用于：周期性地采集所述文件的属性参数；或者，
按照需求来触发地采集所述文件的属性参数。
8.根据权利要求7所述的系统，其特征在于，其中所述文件属性参数至少包括文件块的大小、和/或文件块的数量、和/或读写比重、和/或读写属性、和/或读写频率。
9.根据权利要求6所述的系统，其特征在于，所述自适应策略引擎设备用于：统计文件属性参数，根据自适应算法，查找与数据对象容量相匹配的条带；如果存在相匹配的条带，则在该条带中存储该数据对象；否则继续运行自适应算法，查找可以割裂或合并的条带，所述割裂或合并后的条带容量与数据对象的容量匹配。
10.根据权利要求6所述的系统，其特征在于，所述策略执行设备，用于通过调用文件系统接口来调整条带。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410030845.5A CN103778222A (zh) | 2014-01-22 | 2014-01-22 | 一种分布式文件系统存储文件的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410030845.5A CN103778222A (zh) | 2014-01-22 | 2014-01-22 | 一种分布式文件系统存储文件的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103778222A true CN103778222A (zh) | 2014-05-07 |
Family
ID=50570457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410030845.5A Pending CN103778222A (zh) | 2014-01-22 | 2014-01-22 | 一种分布式文件系统存储文件的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103778222A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229720A (zh) * | 2017-05-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种Lustre文件管理的方法、装置及系统 |
| CN107357878A (zh) * | 2017-07-06 | 2017-11-17 | 成都睿胜科技有限公司 | 可伸缩式微型文件系统及其实现方法 |
| WO2019061132A1 (zh) * | 2017-09-28 | 2019-04-04 | 深圳清华大学研究院 | 混合文件系统架构、文件存储、动态迁移及其应用 |
| CN109726145A (zh) * | 2018-12-29 | 2019-05-07 | 杭州宏杉科技股份有限公司 | 一种数据存储空间的分配方法、装置及电子设备 |
| CN110109886A (zh) * | 2018-02-01 | 2019-08-09 | 中兴通讯股份有限公司 | 分布式文件系统的文件存储方法及分布式文件系统 |
| CN110308875A (zh) * | 2019-06-27 | 2019-10-08 | 深信服科技股份有限公司 | 数据读写方法、装置、设备及计算机可读存储介质 |
| WO2020125362A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳先进技术研究院 | 文件系统及数据布局方法 |
-
2014
- 2014-01-22 CN CN201410030845.5A patent/CN103778222A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229720A (zh) * | 2017-05-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种Lustre文件管理的方法、装置及系统 |
| CN107357878A (zh) * | 2017-07-06 | 2017-11-17 | 成都睿胜科技有限公司 | 可伸缩式微型文件系统及其实现方法 |
| WO2019061132A1 (zh) * | 2017-09-28 | 2019-04-04 | 深圳清华大学研究院 | 混合文件系统架构、文件存储、动态迁移及其应用 |
| CN111095233A (zh) * | 2017-09-28 | 2020-05-01 | 深圳清华大学研究院 | 混合文件系统架构、文件存储、动态迁移及其应用 |
| US10810169B1 (en) * | 2017-09-28 | 2020-10-20 | Research Institute Of Tsinghua University In Shenzhen | Hybrid file system architecture, file storage, dynamic migration, and application thereof |
| CN111095233B (zh) * | 2017-09-28 | 2023-09-26 | 深圳清华大学研究院 | 混合文件系统架构、文件存储、动态迁移及其应用 |
| CN110109886A (zh) * | 2018-02-01 | 2019-08-09 | 中兴通讯股份有限公司 | 分布式文件系统的文件存储方法及分布式文件系统 |
| WO2020125362A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳先进技术研究院 | 文件系统及数据布局方法 |
| CN109726145A (zh) * | 2018-12-29 | 2019-05-07 | 杭州宏杉科技股份有限公司 | 一种数据存储空间的分配方法、装置及电子设备 |
| CN109726145B (zh) * | 2018-12-29 | 2021-02-26 | 杭州宏杉科技股份有限公司 | 一种数据存储空间的分配方法、装置及电子设备 |
| CN110308875A (zh) * | 2019-06-27 | 2019-10-08 | 深信服科技股份有限公司 | 数据读写方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103778222A (zh) | 一种分布式文件系统存储文件的方法及系统 | |
| CN103345514B (zh) | 大数据环境下的流式数据处理方法 | |
| CN103995855B (zh) | 存储数据的方法和装置 | |
| CN105511801B (zh) | 数据存储的方法和装置 | |
| CN103152395A (zh) | 一种分布式文件系统的存储方法及装置 | |
| US9135572B2 (en) | Method and arrangement for processing data | |
| CN103559300B (zh) | 数据的查询方法和查询装置 | |
| US10747665B2 (en) | Cost-based garbage collection scheduling in a distributed storage environment | |
| CN102985909A (zh) | 为良好分格的对象提供高扩展性网络存储的方法和设备 | |
| CN104408163A (zh) | 一种数据分级存储方法和装置 | |
| CN104270412A (zh) | 一种基于Hadoop分布式文件系统的三级缓存方法 | |
| CN106066818B (zh) | 一种提高重复数据删除备份系统恢复性能的数据布局方法 | |
| CN108763572A (zh) | 一种实现Apache Solr读写分离的方法和装置 | |
| CN104572862A (zh) | 一种海量数据存储访问方法及系统 | |
| CN107426315A (zh) | 一种基于BP神经网络的分布式缓存系统Memcached的改进方法 | |
| CN108427736A (zh) | 一种用于查询数据的方法 | |
| CN107704620A (zh) | 一种档案管理的方法、装置、设备和存储介质 | |
| CN103077127B (zh) | 一种确定数据迁移对象的方法和装置 | |
| CN104462095A (zh) | 一种查询语句公共部分的提取方法及装置 | |
| CN103327118A (zh) | 一种针对云计算中web应用的智能虚拟机集群缩放方法及系统 | |
| CN109445693A (zh) | 一种数据压缩方法和装置 | |
| CN106933882B (zh) | 一种大数据增量计算方法和装置 | |
| CN105488180A (zh) | 一种数据存储方法及系统 | |
| CN105045906A (zh) | 投放信息点击率的预估方法和装置 | |
| CN104794158A (zh) | 一种界标窗口下域名数据重复检测快速索引方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140507 |
|
| RJ01 | Rejection of invention patent application after publication |