CN103064902A - Hdfs中数据的存储方法、读取方法及存储系统、读取系统 - Google Patents
Hdfs中数据的存储方法、读取方法及存储系统、读取系统 Download PDFInfo
- Publication number
- CN103064902A CN103064902A CN2012105502202A CN201210550220A CN103064902A CN 103064902 A CN103064902 A CN 103064902A CN 2012105502202 A CN2012105502202 A CN 2012105502202A CN 201210550220 A CN201210550220 A CN 201210550220A CN 103064902 A CN103064902 A CN 103064902A
- Authority
- CN
- China
- Prior art keywords
- cold
- data
- hot
- check code
- data blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种HDFS中数据存储方法和系统、读取方法和读取系统，其中所述存储方法包括通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，将所述冷热值与设定的判别阈值比较；若所述冷热值不大于所述判别阈值，则文件数据块为冷数据；将所述冷数据的文件数据块分为n块，并算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n;将所述n个数据块和m个校验编码块存储；所述存储方法和系统可实现对冷热数据进行区分，对冷数据进行区别存储，降低HDFS中的冷数据存储成本；所述读取方法和系统，可实现对冷热数据进行区分并对冷数据进行区别读取和恢复，从而可减少冷数据读取和恢复的时间和成本。
Description
技术领域
本发明涉及数据存储和读取领域，特别地，涉及一种HDFS中数据的存储和读取方法及存储和读取系统。
背景技术
Hadoop是由Apache基金主导的集群分布式项目，主要包含两个核心模块：Map/Reduce编程模式和HDFS（Hadoop distributed File System）分布式文件系统。其中，HDFS主要通过文件数据块的多备份机制（通常为三份）、心跳机制等来实现数据的高可用性、集群扩展性、数据的高速读写等特性。由于HDFS的上述特性，目前，以HDFS为基础构建云存储的知名企业多达近千家。
在热数据的存储和读写上，HDFS的存储机制不存在任何问题，但是在冷数据的存储和读写上，由于该存储机制未考虑到对冷、热数据的区分存储，因此，会由于冷数据存储占用太多的硬盘容量而存在经济成本偏高的问题。例如，假设硬盘的成本是1元/G,按照HDFS的存储机制其成本就需要3元/G, 存储1TB的数据就需要3*1024=3072元，存储1PB的数据就需要3*1024*1024=3145728元，也就是说，每降低1份存储备份块PB级的存储就将节约100多万。
由此可知，需要本领域技术人员迫切解决的一个技术问题就是：如何解决现有技术的HDFS中冷热数据的检测、区分及区别存储和读取冷数据，以降低HDFS中冷数据存储和读取成本高的问题。
发明内容
本发明所要解决的技术问题是提供在HDFS中可区分冷热数据且可对冷数据进行区别存储的方法和系统及对冷数据进行区别读取的方法和系统。
本发明提供一种HDFS中数据的存储方法，其包括如下步骤：通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；若所述冷热值不大于所述判别阈值，则所述文件数据块为冷数据；将所述冷数据的文件数据块分为n块，并计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；将所述n个数据块和m个校验编码块进行存储。
优选的，所述冷热判别机制包括通过检测机制获得的各文件数据块的冷热判别参数值建立数据冷热链表，根据所述参数值计算出所述冷热链表中各文件数据块的冷热值；所述冷热判别机制也可包括通过读取各文件数据块中的包含数据冷热判别参数的配置文件，以获取各文件数据块的冷热判别参数值，根据所述参数值计算出所述各文件数据块的冷热值。
优选的，所述校验编码块为RS校验编码块，所述RS校验编码块是通过范德门矩阵计算得到的。
优选的，所述冷数据的文件备份块为一个。
本发明还提供了一种与HDFS中数据的存储方法相对应的读取方法，其包括如下步骤：通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；若所述冷热值不大于所述判别阈值，则所述文件数据块为冷数据；对所述冷数据中的n个文件数据块进行读取；计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；若读取失败，则根据校验编码原则选取m’个文件数据块进行编码恢复；其中，m’?[m,n]。
优选的，所述校验编码块为RS校验编码块，且所述RS校验编码块是通过范德门矩阵计算得到的。
本发明还提供了一种与本发明的HDFS中数据的存储方法相对应的存储系统，其包括：比较单元，用于通过数据冷热判别机制获得HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；判别单元，用于当所述冷热值不大于所述判别阈值时，将所述文件数据块判别为冷数据；冷数据划分单元，用于将所述冷数据的文件数据块分为n块，并计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；冷数据存储单元，用于将所述n个数据块和m个校验编码块进行存储。
优选的，所述比较单元包括检测子单元，用于通过检测机制获得的各文件数据块的冷热判别参数值建立数据冷热链表，根据所述参数值计算出所述冷热链表中各文件数据块的冷热值；所述比较单元也可包括参数获取子单元，用于读取各文件数据块中的包含冷热判别参数的配置文件，以获取各文件数据块的冷热判别参数值，根据所述参数值计算出所述各文件数据块的冷热值。
优选的，所述校验编码块为RS校验编码块，所述RS校验编码块是通过范德门矩阵计算得到的。
优选的，所述冷数据的文件备份块为一个。
本发明同时还提供了一种与上述HDFS中数据的存储系统相对应的读取系统，其包括；比较单元，用于通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；判别单元，用于当所述冷热值不大于所述判别阈值时，将所述文件数据块判别为冷数据；冷数据读取单元，用于对所述冷数据中的n个文件数据块进行读取；校验编码计算单元，用于计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；数据恢复单元，用于当冷数据读取失败，则根据校验编码原则选取m’个文件数据块进行编码恢复；其中，m’?[m,n]。
优选的，所述校验编码块为RS校验编码块，且所述RS校验编码块是通过范德门矩阵计算得到的。
本发明提供的 HDFS中数据的存储方法和存储系统，实现对冷热数据进行区分，并对冷数据进行区别存储，可明显降低现有HDFS中的冷数据存储成本高的问题，尤其对于PB级以上数据的存储，会大大降低HDFS中冷数据的存储成本；同时本发明提供的HDFS中数据的读取方法和读取系统，可实现对冷热数据进行区分，并对冷数据进行区别读取和恢复，从而可减少冷数据读取和恢复的时间，同时，通过编码原则尤其是RS编码原则进行数据恢复，可明显降低文件数据块的丢失数量。
附图说明
图1是本发明的HDFS中数据的存储方法实施例的流程图；
图2是本发明的HDFS中数据的读取方法实施例的流程图；
图3是本发明的HDFS中数据的存储系统实施例的示意图；
图4是本发明的HDFS中数据的读取系统实施例的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的HDFS中数据的存储方法实施例的流程图，包括：步骤S11，通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；步骤S12，若所述冷热值不大于所述判别阈值，则所述文件数据块为冷数据；步骤S13，将所述冷数据的文件数据块分为n块，并计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；步骤S14，将所述n个数据块和m个校验编码块进行存储。
通过本发明的HDFS中数据的存储方法，可实现对冷热数据进行区分，并对冷数据进行区别存储，可明显降低现有HDFS中的冷数据存储成本高的问题，尤其对于PB级以上数据的存储，会大大降低HDFS中冷数据的存储成本。
其中，在步骤S11中，根据系统和用户需求，可自由选择使用不同的数据冷热判别机制。优选的，所述数据冷热判别机制可以是通过检测机制获得的各文件数据块的冷热判别参数值建立数据冷热链表，所述冷热判别参数值包括数据存储和读取频率值、数据存储和读取时间等值，根据所述参数值计算出所述冷热链表中各文件数据块的冷热值；所述数据冷热判别机制也可以是通过读取各文件数据块中的包含数据冷热判别参数的配置文件，例如HCFile.properties，以获取各文件数据块的冷热判别参数值，根据所述参数值计算出所述各文件数据块的冷热值。
其中，所述校验编码可选择多种方式，比如RS编码（Reed-Solomon,里所编码），LT码，Raptor码等，但本发明优选实施例中选择使用的RS编码，虽然其需要建立比较长的RS编码，但其总体效能要优于其他编码方式。优选的，RS编码块是通过范德门矩阵计算得到的。
特别的，所述冷数据的文件备份块设置为一个，同时增加一定的RS校验编码块，其中校验编码块的数量m小于文件数据块的数量n，因此，所述冷数据的备份因子为1+m/n，小于HDFS中默认的备份因子3，从而可降低冷数据备份的份数，进而降低冷数据存储成本。
参见图2，示出了与上述HDFS中数据的存储方法相对应的数据读取方法实施例的流程图，其包括：步骤S21，通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；步骤S22，若所述冷热值不大于所述判别阈值，则所述文件数据块为冷数据；步骤S23，对所述冷数据中的n个文件数据块进行合并读取；步骤S24，计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；步骤S25，若读取失败，则根据校验编码原则选取m’个文件数据块进行编码恢复；其中，m’?[m,n]。
其中，所述校验编码可选择多种方式，比如RS编码（Reed-Solomon,里所编码），LT码，Raptor码等，但本发明优选实施例中选择使用的RS编码，虽然其需要建立比较长的RS编码，但其总体效能要优于其他编码方式。优选的，RS编码块是通过范德门矩阵计算得到的。
其中，由于进行RS编码恢复的文件数据块为m’块且m’?[m,n],由此可知，文件数据块最多允许丢失m块。
通过本发明的HDFS中数据的读取方法，可实现对冷热数据进行区分，并对冷数据进行区别读取和恢复，通过编码原则尤其是RS编码原则进行数据恢复，可明显降低文件数据块的丢失数量。
参见图3，示出了与上述HDFS中数据的存储方法相对应的数据存储系统实施例的示意图，其包括：比较单元31，用于通过数据冷热判别机制获得HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；判别单元32，用于当所述冷热值不大于所述判别阈值时，将所述文件数据块判别为冷数据；冷数据划分单元33，将所述冷数据的文件数据块分为n块，并计算出所述n 个数据块对应的m个校验码块，其中，m，n为正整数，且m＜n；冷数据存储单元34，用于将所述n个数据块和m个校验编码块进行存储。
其中，所述校验编码可选择多种方式，比如RS编码（Reed-Solomon,里所编码），LT码，Raptor码等，但本发明优选实施例中选择使用的RS编码，虽然其需要建立比较长的RS编码，但其总体效能要优于其他编码方式。优选的，RS编码块是通过范德门矩阵计算得到的。
通过本发明的HDFS中数据的存储系统，可实现对冷热数据进行区分，并对冷数据进行区别存储，可明显降低现有HDFS中的冷数据存储成本高的问题，尤其对于PB级以上数据的存储，会大大降低HDFS中冷数据的存储成本。
其中，根据系统和用户需求，可选择配置不同的比较模块，优选的，所述比较单元31可包括检测子单元(图中未示)，用于通过检测机制获得的各文件数据块的冷热判别参数值建立数据冷热链表，所述冷热判别参数值包括数据存储和读取频率值、数据存储和读取时间等值，根据所述参数值计算出所述冷热链表中各文件数据块的冷热值；所述比较单元也可以包括参数获取子单元，用于读取各文件数据块中的包含冷热判别参数的配置文件，例如HCFile.properties，以获取各文件数据块的冷热判别参数值，根据所述参数值计算出所述各文件数据块的冷热值。
优选的，所述冷数据的文件备份块设置为一个，同时增加一定的RS校验编码块，其中校验编码块的数量m小于文件数据块的数量n，因此，所述冷数据的备份因子为1+m/n，小于HDFS中默认的备份因子3，从而可降低冷数据备份的份数，进而降低冷数据存储成本。
参见图4，示出了与上述HDFS中数据的的读取方法相对应的数据读取系统实施例的示意图，包括：比较单元41，用于通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；判别单元42，用于当所述冷热值不大于所述判别阈值时，将所述文件数据块判别为冷数据；冷数据读取单元43，用于对所述冷数据中的n个文件数据块进行读取；校验编码计算单元44，用于计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；数据恢复单元45，用与当冷数据读取失败，则根据校验编码原则选取m’个文件数据块进行编码恢复；其中，m’?[m,n]。
其中，所述校验编码可选择多种方式，比如RS编码（Reed-Solomon,里所编码），LT码，Raptor码等，但本发明优选实施例中选择使用的RS编码，虽然其需要建立比较长的RS编码，但其总体效能要优于其他编码方式。优选的，RS编码块是通过范德门矩阵计算得到的。
其中，由于进行RS编码恢复的文件数据块为m’块且m’?[m,n],由此可知，文件数据块最多允许丢失m块。
通过本发明的HDFS中数据的读取系统，可实现对冷热数据进行区分，并对冷数据进行区别读取和恢复，从而可减少冷数据读取和恢复的时间，同时，通过编码原则尤其是RS编码原则进行数据恢复，可明显降低文件数据块的丢失数量。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本发明所提供的HDFS中数据的存储方法和系统，及读取方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种HDFS中数据的存储方法，其特征在于，包括：
通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；
若所述冷热值不大于所述判别阈值，则所述文件数据块为冷数据；
将所述冷数据的文件数据块分为n块，并计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；
将所述n个数据块和m个校验编码块进行存储。
2.如权利要求1所述的方法，其特征在于，所述冷热判别机制包括通过检测机制获得的各文件数据块的冷热判别参数值建立数据冷热链表，根据所述参数值计算出所述冷热链表中各文件数据块的冷热值。
3.如权利要求1所述的方法，其特征在于，所述冷热判别机制包括通过读取各文件数据块中的包含数据冷热判别参数的配置文件，以获取各文件数据块的冷热判别参数值，根据所述参数值计算出所述各文件数据块的冷热值。
4.如权利要求1所述的方法，其特征在于，所述校验编码块为RS校验编码块。
5.如权利要求4所述的方法，其特征在于，所述RS校验编码块是通过范德门矩阵计算得到的。
6.如权利要求1至5中任一项所述的方法，其特征在于，所述冷数据的文件备份块为一个。
7.一种HDFS中数据的读取方法，其特征在于，包括：
通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；
若所述冷热值不大于所述判别阈值，则所述文件数据块为冷数据；
对所述冷数据中的n个文件数据块进行读取；
计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；
若读取失败，则根据校验编码原则选取m’个文件数据块进行编码恢复；其中，m’?[m,n]。
8.如权利要求7所述的方法，其特征在于，所述校验编码块为RS校验编码块。
9.如权利要求8所述的方法，其特征在于，所述RS校验编码块是通过范德门矩阵计算得到的。
10.一种HDFS中数据的存储系统，其特征在于，包括：
比较单元，用于通过数据冷热判别机制获得HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；
判别单元，用于当所述冷热值不大于所述判别阈值时，将所述文件数据块判别为冷数据；
冷数据划分单元，用于将所述冷数据的文件数据块分为n块，并计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；
冷数据存储单元，用于将所述n个数据块和m个校验编码块进行存储。
11.如权利要求10所述的系统，其特征在于，所述比较单元包括检测子单元，用于通过检测机制获得的各文件数据块的冷热判别参数值建立数据冷热链表，根据所述参数值计算出所述冷热链表中各文件数据块的冷热值。
12.如权利要求10所述的系统，其特征在于，所述比较单元包括参数获取子单元，用于读取各文件数据块中的包含冷热判别参数的配置文件，以获取各文件数据块的冷热判别参数值，根据所述参数值计算出所述各文件数据块的冷热值。
13.如权利要求10所述的系统，其特征在于，所述校验编码块为RS校验编码块。
14.如权利要求13所述的系统，其特征在于，所述RS校验编码块是通过范德门矩阵计算得到的。
15.如权利要求10至14中任一项所述的系统，其特征在于，所述冷数据的文件备份块为一个。
16.一种HDFS中数据的读取系统，其特征在于，包括；
比较单元，用于通过数据冷热判别机制获取HDFS中的文件数据块的冷热值，并将所述冷热值与设定的判别阈值进行比较；
判别单元，用于当所述冷热值不大于所述判别阈值时，将所述文件数据块判别为冷数据；
冷数据读取单元，用于对所述冷数据中的n个文件数据块进行读取；
校验编码计算单元，用于计算出所述n个数据块对应的m个校验编码块，其中，m，n为正整数，且m＜n；
数据恢复单元，用于当冷数据读取失败，则根据校验编码原则选取m’个文件数据块进行编码恢复；其中，m’?[m,n]。
17.如权利要求16所述的系统，其特征在于，所述校验编码块为RS校验编码块。
18.如权利要求17所述的系统，其特征在于，所述RS校验编码块是通过范德门矩阵计算得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105502202A CN103064902A (zh) | 2012-12-18 | 2012-12-18 | Hdfs中数据的存储方法、读取方法及存储系统、读取系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105502202A CN103064902A (zh) | 2012-12-18 | 2012-12-18 | Hdfs中数据的存储方法、读取方法及存储系统、读取系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103064902A true CN103064902A (zh) | 2013-04-24 |
Family
ID=48107532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012105502202A Pending CN103064902A (zh) | 2012-12-18 | 2012-12-18 | Hdfs中数据的存储方法、读取方法及存储系统、读取系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103064902A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259856A (zh) * | 2013-04-27 | 2013-08-21 | 华为技术有限公司 | 数据处理的方法、装置与系统 |
| CN104573119A (zh) * | 2015-02-05 | 2015-04-29 | 重庆大学 | 云计算中面向节能的Hadoop分布式文件系统存储策略 |
| CN104917788A (zh) * | 2014-03-11 | 2015-09-16 | 中国移动通信集团公司 | 一种数据存储方法及装置 |
| CN104935481A (zh) * | 2015-06-24 | 2015-09-23 | 华中科技大学 | 一种分布式存储下基于冗余机制的数据恢复方法 |
| CN105138422A (zh) * | 2015-08-10 | 2015-12-09 | 联想(北京)有限公司 | 控制方法及电子设备 |
| CN105956128A (zh) * | 2016-05-09 | 2016-09-21 | 南京大学 | 一种基于简单再生码的自适应编码存储容错方法 |
| CN106528608A (zh) * | 2016-09-27 | 2017-03-22 | 中国电力科学研究院 | 一种云架构下的电网gis数据冷热存储方法和系统 |
| CN106649406A (zh) * | 2015-11-04 | 2017-05-10 | 华为技术有限公司 | 一种自适应存储文件的方法和装置 |
| CN107153661A (zh) * | 2016-03-04 | 2017-09-12 | 中国移动通信集团山东有限公司 | 一种基于hdfs系统的数据的存储、读取方法及其装置 |
| CN107665224A (zh) * | 2016-07-29 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 扫描hdfs冷数据的方法、系统和装置 |
| CN107870726A (zh) * | 2016-09-26 | 2018-04-03 | 北京优朋普乐科技有限公司 | 基于冗余机制的数据存储方法和装置、服务器 |
| CN111930555A (zh) * | 2020-09-02 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于纠删码的文件处理方法、装置及计算机设备 |
| CN111966293A (zh) * | 2020-08-18 | 2020-11-20 | 北京明略昭辉科技有限公司 | 一种冷热数据分析方法及系统 |
| CN113360553A (zh) * | 2020-03-03 | 2021-09-07 | 中国移动通信集团贵州有限公司 | 一种数据冷热程度评估方法及服务器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411542A (zh) * | 2011-10-26 | 2012-04-11 | 上海文广互动电视有限公司 | 动态分级存储系统和方法 |
| US20120182891A1 (en) * | 2011-01-19 | 2012-07-19 | Youngseok Lee | Packet analysis system and method using hadoop based parallel computation |
-
2012
- 2012-12-18 CN CN2012105502202A patent/CN103064902A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120182891A1 (en) * | 2011-01-19 | 2012-07-19 | Youngseok Lee | Packet analysis system and method using hadoop based parallel computation |
| CN102411542A (zh) * | 2011-10-26 | 2012-04-11 | 上海文广互动电视有限公司 | 动态分级存储系统和方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259856A (zh) * | 2013-04-27 | 2013-08-21 | 华为技术有限公司 | 数据处理的方法、装置与系统 |
| CN104917788A (zh) * | 2014-03-11 | 2015-09-16 | 中国移动通信集团公司 | 一种数据存储方法及装置 |
| CN104573119A (zh) * | 2015-02-05 | 2015-04-29 | 重庆大学 | 云计算中面向节能的Hadoop分布式文件系统存储策略 |
| CN104573119B (zh) * | 2015-02-05 | 2017-10-27 | 重庆大学 | 云计算中面向节能的Hadoop分布式文件系统存储方法 |
| CN104935481A (zh) * | 2015-06-24 | 2015-09-23 | 华中科技大学 | 一种分布式存储下基于冗余机制的数据恢复方法 |
| CN104935481B (zh) * | 2015-06-24 | 2018-03-09 | 华中科技大学 | 一种分布式存储下基于冗余机制的数据恢复方法 |
| CN105138422B (zh) * | 2015-08-10 | 2018-09-21 | 北京联想核芯科技有限公司 | 控制方法及电子设备 |
| CN105138422A (zh) * | 2015-08-10 | 2015-12-09 | 联想(北京)有限公司 | 控制方法及电子设备 |
| US11182080B2 (en) | 2015-11-04 | 2021-11-23 | Huawei Technologies Co., Ltd. | Adaptive file storage method and apparatus |
| CN106649406A (zh) * | 2015-11-04 | 2017-05-10 | 华为技术有限公司 | 一种自适应存储文件的方法和装置 |
| CN106649406B (zh) * | 2015-11-04 | 2020-04-28 | 华为技术有限公司 | 一种自适应存储文件的方法和装置 |
| CN107153661A (zh) * | 2016-03-04 | 2017-09-12 | 中国移动通信集团山东有限公司 | 一种基于hdfs系统的数据的存储、读取方法及其装置 |
| CN105956128A (zh) * | 2016-05-09 | 2016-09-21 | 南京大学 | 一种基于简单再生码的自适应编码存储容错方法 |
| CN105956128B (zh) * | 2016-05-09 | 2019-09-17 | 南京大学 | 一种基于简单再生码的自适应编码存储容错方法 |
| CN107665224A (zh) * | 2016-07-29 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 扫描hdfs冷数据的方法、系统和装置 |
| CN107665224B (zh) * | 2016-07-29 | 2021-04-30 | 北京京东尚科信息技术有限公司 | 扫描hdfs冷数据的方法、系统和装置 |
| CN107870726A (zh) * | 2016-09-26 | 2018-04-03 | 北京优朋普乐科技有限公司 | 基于冗余机制的数据存储方法和装置、服务器 |
| CN106528608A (zh) * | 2016-09-27 | 2017-03-22 | 中国电力科学研究院 | 一种云架构下的电网gis数据冷热存储方法和系统 |
| CN106528608B (zh) * | 2016-09-27 | 2022-07-01 | 中国电力科学研究院 | 一种云架构下的电网gis数据冷热存储方法和系统 |
| CN113360553A (zh) * | 2020-03-03 | 2021-09-07 | 中国移动通信集团贵州有限公司 | 一种数据冷热程度评估方法及服务器 |
| CN111966293A (zh) * | 2020-08-18 | 2020-11-20 | 北京明略昭辉科技有限公司 | 一种冷热数据分析方法及系统 |
| CN111930555A (zh) * | 2020-09-02 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于纠删码的文件处理方法、装置及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103064902A (zh) | Hdfs中数据的存储方法、读取方法及存储系统、读取系统 | |
| CN109542342B (zh) | 元数据管理与数据重构方法、设备及存储介质 | |
| CN106445843B (zh) | 使物理页面地址相关用于软判决解码 | |
| CN105956128B (zh) | 一种基于简单再生码的自适应编码存储容错方法 | |
| CN104050097A (zh) | 在具有不同的最小可寻址数据单元大小的非易失性存储器单元之间进行选择 | |
| CN106844098A (zh) | 一种基于十字交叉纠删编码的快速数据恢复方法及系统 | |
| CN103034458B (zh) | 固态硬盘中实现独立磁盘冗余阵列的方法及装置 | |
| CN102136290A (zh) | 一种嵌入式实时视频文件存储方法 | |
| CN102270161A (zh) | 一种基于纠删码的多等级容错数据存储、读取和恢复方法 | |
| CN105138290A (zh) | 一种高性能存储池组织方法及装置 | |
| CN102841931A (zh) | 分布式文件系统的存储方法及装置 | |
| CN103473335A (zh) | 一种热点数据检测方法及装置 | |
| CN103700396A (zh) | 一种面向sram的抗seu错误累积的控制器及方法 | |
| CN104375784A (zh) | 一种降低虚拟磁盘管理复杂度的方法和装置 | |
| CN104699577A (zh) | 用于在分布式码字存储系统中定位故障管芯的计数器 | |
| CN103729149A (zh) | 一种存储数据的方法 | |
| CN110427156A (zh) | 一种基于分片的mbr的并行读方法 | |
| CN104375578A (zh) | 一种高速大容量缓存存储卡 | |
| CN104484131A (zh) | 多磁盘服务器的数据处理装置及对应的处理方法 | |
| Rosenthal | The medium-term prospects for long-term storage systems | |
| CN102262657B (zh) | 多媒体数据存储方法及系统 | |
| CN103399783A (zh) | 虚拟机的镜像文件的存储方法和装置 | |
| CN105302679A (zh) | 一种智能终端存储稳定性的检测方法及系统 | |
| CN102541677A (zh) | 提高nandflash存储设备对照表加载速度的实现方法 | |
| CN103268269A (zh) | Raid-5的数据恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130424 |
|
| RJ01 | Rejection of invention patent application after publication |