CN112799607A - 一种根据数据大小分区式存放的数据存储方法 - Google Patents

一种根据数据大小分区式存放的数据存储方法 Download PDF

Info

Publication number
CN112799607A
CN112799607A CN202110385952.XA CN202110385952A CN112799607A CN 112799607 A CN112799607 A CN 112799607A CN 202110385952 A CN202110385952 A CN 202110385952A CN 112799607 A CN112799607 A CN 112799607A
Authority
CN
China
Prior art keywords
data
time
storage
content
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110385952.XA
Other languages
English (en)
Other versions
CN112799607B (zh
Inventor
林岸华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liyang Guangdong Energy Saving Technology Co ltd
Original Assignee
Liyang Guangdong Energy Saving Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liyang Guangdong Energy Saving Technology Co ltd filed Critical Liyang Guangdong Energy Saving Technology Co ltd
Priority to CN202110385952.XA priority Critical patent/CN112799607B/zh
Publication of CN112799607A publication Critical patent/CN112799607A/zh
Application granted granted Critical
Publication of CN112799607B publication Critical patent/CN112799607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/322—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据存储技术领域，具体地说，涉及一种根据数据大小分区式存放的数据存储方法。其包括以下步骤：数据处理；网络编码；数据分配；数据备份：记录数据修改的时间和内容，将数据备份的内容和时间存储，以便后续查看不同修改时间段的文档内容，本发明存储效率高，空间利用率高，可以记录数据修改的时间和内容，以便后续查看不同修改时间段的文档内容，对比将内容修改存储存储的多次修改内容进行对比，方便随时查询数据不同时间段修改的内容，方便更直观的查看数据修改的内容。

Description

一种根据数据大小分区式存放的数据存储方法
技术领域
本发明涉及数据存储技术领域，具体地说，涉及一种根据数据大小分区式存放的数据存储方法。
背景技术
随着计算机技术、传感器技术、物联网技术的发展， 工业领域正前所未有地创造着大量数据，对于工业领域而言， 大数据带来了潜在价值的同时，也同时带来了巨大的挑战大数据的挑战之一在于如何能在数据快速产生的同时实现数据快速存储管理，这对于数据的价值挖掘有重要作用， 对于提升装备制造能力也具有重要意义；
但是目前在进行数据存储时，存储容量的利用率低，不能有效解决数据与存储器之间的矛盾，导致存储性能低，负载不均衡，并且在数据存储一些文档时，对文档进行修改存储将替换掉了修改前的内容，使修改前的内容数据丢失，导致在读取时可能忘记前期修改的内容，不能准确的对比出修改的内容，不方便对应不同时间查看修改的内容，不利于文档数据的存储，鉴于此，我们提出一种根据数据大小分区式存放的数据存储方法。
发明内容
本发明的目的在于提供一种根据数据大小分区式存放的数据存储方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供一种根据数据大小分区式存放的数据存储方法，包括以下步骤：
对数据的传输进行切片处理，过滤无用数据；
融合路由和编码的信息交换技术，在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下级节点，以便于提升数据传输的速度；
将接收的原始数据扩展编码为多个编码数据块，并将这些编码数据块分配到不同的数据存储节点上，进行分布式存储数据，用户访问数据时，使用数据接收节点从数据存储节点获取相应的编码数据块，通过计算恢复原始数据；
所述编码数据块分配包括以下步骤：
执行规则算法，将预分区所需要的数据进行采集，使数据快速均衡的存储在每一个节点上；
提供数据库访问服务，使不同类别的数据存储在不同分区；
接收数据进行分布存储，采用二叉排序树最佳适应算法，将数据分布存储在空闲区；
记录数据修改的时间和内容，将数据备份的内容和时间存储，以便后续查看不同修改时间段的文档内容，只要这些节点中有一个可以被访问，用户就可以获取原始数据文件，数据文件副本越多，数据可用性越好，可靠性越高，多数据备份不涉及编码运算，读写效率高，容错性能好；
所述数据备份包括以下步骤：
对每次更改数据的内容进行存储；
记录更改数据存储的时间；
将存储的多次修改内容进行对比，原数据和第一次修改内容进行对比，第一次修改内容和第二修改内容进行对比，以此类推更直观的查看数据多次修改内容；
根据修改内容和记录的时间查找数据文档。
作为本技术方案的进一步改进，所述切片处理包括以下步骤：
对数据存储的信息进行采集；
对存储的数据进行数据解析处理，了解数据的大小；
将解析的数据切割成小数据；
将不同类型的数据进行标准化格式处理。
作为本技术方案的进一步改进，所述对数据存储的信息进行采集包括以下步骤：
获取数据生命周期中的元数据，对元数据进行组织，然后将元数据写入数据库中；
采集数据配置情况，以便后续分区存储；
将同类型的数据进行分类。
作为本技术方案的进一步改进，所述信息交换技术采用分布式纠删码技术，所述分布式纠删码技术包括以下姿态：
姿态一、随机网络编码，网络节点对信息进行操作的系数是随机选取的；
姿态二、确定性网络编码，通过多项式时间算法计算出网络编码，多项式时间算法的步骤：
①、构造信源s至各个信宿节点1的路径簇；
②、将路径簇上的链路按照拓扑排序；
③、依次寻找各个链路的全局编码向量，使得各路径簇上最新链路的编码向量能够形成一个基，以此确保最终形成的转移矩阵满秩。
作为本技术方案的进一步改进，所述随机网络编码破译成功率计算公式为:
Figure 68232DEST_PATH_IMAGE002
其中，c为最小概率，q为编码符号域的大小，d是信宿节点的数目，
Figure 637754DEST_PATH_IMAGE004
为随机选取编 码系数的链路的数目，对于线性相关的信源，随机网络编码可以起到信息压缩的作用，此 外，随机网络编码是网络编码的分布式实现,无需事先获知整个网络的拓扑信息，尤其适用 于拓扑结构动态变化或者大规模的网络，对于存在网络节点和链路失效的网络，随机网络 编码可以利用整个网络的剩余容量来获得网络的最佳容量，从而提高多播传输的鲁棒性。
作为本技术方案的进一步改进，所述将预分区所需要的数据进行采集包括以下姿态：
姿态一、按参数名分区，将不同的参数数据按参数名划分存储；
姿态二、按时间进行分区，将同一个数据内容根据修改的时间进行划分存储。
作为本技术方案的进一步改进，所述分布式存储包括文件级存储和文件分块级存储，文件级存储是将数据小的文件进行存储，文件分块级存储是将大文件切割成多个小文件在集中存储，避免在后续搜索文件时，文件数据较大，造成卡顿损坏。
作为本技术方案的进一步改进，所述二叉排序树最佳适应算法包括以下步骤：
①、将空闲分区组建成一颗二叉排序树；
②、根据二叉排序树的性质依次查找满足调节的空闲分区，分配后重组二叉排序树，保证二叉排序树的结构不被破坏,改善现有的最佳适应算法在查找过程中的效率问题，采用二叉排序树的最佳适应算法将所有的空闲分区块按二叉排序树的性质呈树型结构连接,为进程分配内存时,根据请求,按照二叉排序树的性质,从根结点开始比较,采用递归查找,直到找到满足条件的空闲分区块，然后分配，在采用二叉排序树的最佳适应算法中，若出现两内存块容量相等时,按插入顺序,后插入结点的为先插入的内存块结点的左子树，现有6个内存分区块,排序顺序为R3、R5、R1、R6、R2、R4)且容量大小为R1 <R2 < R3 < R4 < R5<R6) ,按照该算法进行一系列的插入操作后,即可生成一颗二叉排序树，算法采用二叉排序树实现内存空闲块的管理、组织及查询，极大地提高了空闲块的分配速度,从而提高了进程的运行速度及系统的吞吐量。
与现有技术相比，本发明的有益效果：
1、该根据数据大小分区式存放的数据存储方法中，通过数据备份记录数据修改的时间和内容，将数据备份的内容和时间通过所述数据分配存储，以便后续查看不同修改时间段的文档内容，只要这些节点中有一个可以被访问，用户就可以获取原始数据文件，数据文件副本越多，数据可用性越好，可靠性越高，多数据备份不涉及编码运算，读写效率高，容错性能好，对比将内容修改存储的多次修改内容进行对比，方便随时查询数据不同时间段修改的内容，方便更直观的查看数据修改的内容。
2、该根据数据大小分区式存放的数据存储方法中，通过数据分配将网络编码接收的原始数据被扩展编码为多个编码数据块，并将这些编码数据块分配到不同的数据存储节点上，进行分布式存储数据，实现内存空闲块的管理、组织及查询，极大地提高了空闲块的分配速度,从而提高了进程的运行速度及系统的吞吐量。
附图说明
图1为实施例1的整体流程框图；
图2为实施例1的数据处理流程框图；
图3为实施例1的数据准备流程框图；
图4为实施例1的数据分配流程框图；
图5为实施例1的数据备份流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-图5所示，本实施例提供一种根据数据大小分区式存放的数据存储方法，包括以下步骤：
S1、数据处理：对数据的传输进行切片处理，过滤无用数据；
S2、网络编码：融合路由和编码的信息交换技术，在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下级节点，以便于提升数据传输的速度；
S3、数据分配：将接收的原始数据扩展编码为多个编码数据块，并将这些编码数据块分配到不同的数据存储节点上，进行分布式存储数据，用户访问数据时，使用数据接收节点从数据存储节点获取相应的编码数据块，通过计算恢复原始数据；
所述编码数据块分配包括以下步骤：
S3.1、自动化预分区：执行规则算法，将预分区所需要的数据进行采集，使数据快速均衡的存储在每一个节点上；
S3.2、服务访问：提供数据库访问服务，使不同类别的数据存储在不同分区；
S3.3、分布式存储：接收数据进行分布存储，采用二叉排序树最佳适应算法，将数据分布存储在空闲区；
S4、数据备份：记录数据修改的时间和内容，将数据备份的内容和时间存储，以便后续查看不同修改时间段的文档内容，只要这些节点中有一个可以被访问，用户就可以获取原始数据文件，数据文件副本越多，数据可用性越好，可靠性越高，多数据备份不涉及编码运算，读写效率高，容错性能好；
所述数据备份包括以下步骤：
S4.1、内容修改存储：对每次更改数据的内容进行存储；
S4.2、日期记录：记录更改数据存储的时间；
S4.3、对比：将存储的多次修改内容进行对比，原数据和第一次修改内容进行对比，第一次修改内容和第二修改内容进行对比，以此类推更直观的查看数据多次修改内容；
S4.4、数据查找：根据修改内容和记录的时间查找数据文档。
本实施例中的，所述切片处理包括以下步骤：
S1.1、数据准备：对数据存储的信息进行采集；
S1.2、数据预处理：对存储的数据进行数据解析处理，了解数据的大小；
S1.3、数据切片：将解析的数据切割成小数据；
S1.4、数据标准化：将不同类型的数据进行标准化格式处理。
具体的，所述对数据存储的信息进行采集包括以下步骤：
S1.11、元数据采集：获取数据生命周期中的元数据，对元数据进行组织，然后将元数据写入数据库中；
S1.12、配置信息采集：采集数据配置情况，以便后续分区存储；
S1.13、集群资源信息采集：将同类型的数据进行分类。
进一步的，所述信息交换技术采用分布式纠删码技术，所述分布式纠删码技术包括以下姿态：
姿态一、随机网络编码，网络节点对信息进行操作的系数是随机选取的；
姿态二、确定性网络编码，通过多项式时间算法计算出网络编码，多项式时间算法的步骤：
①、构造信源s至各个信宿节点1的路径簇；
②、将路径簇上的链路按照拓扑排序；
③、依次寻找各个链路的全局编码向量，使得各路径簇上最新链路的编码向量能够形成一个基，以此确保最终形成的转移矩阵满秩。
具体的，所述随机网络编码破译成功率计算公式为:
Figure DEST_PATH_IMAGE006
其中，c为最小概率，q为编码符号域的大小，d是信宿节点的数目，
Figure 273396DEST_PATH_IMAGE004
为随机选取编 码系数的链路的数目，对于线性相关的信源，随机网络编码可以起到信息压缩的作用，此 外，随机网络编码是网络编码的分布式实现,无需事先获知整个网络的拓扑信息，尤其适用 于拓扑结构动态变化或者大规模的网络，对于存在网络节点和链路失效的网络，随机网络 编码可以利用整个网络的剩余容量来获得网络的最佳容量，从而提高多播传输的鲁棒性。
值得说明的，所述将预分区所需要的数据进行采集包括以下姿态：
姿态一、按参数名分区，将不同的参数数据按参数名划分存储；
姿态二、按时间进行分区，将同一个数据内容根据修改的时间进行划分存储。
作为本技术方案的进一步改进，所述分布式存储包括文件级存储和文件分块级存储，文件级存储是将数据小的文件进行存储，文件分块级存储是将大文件切割成多个小文件在集中存储，避免在后续搜索文件时，文件数据较大，造成卡顿损坏。
此外，所述二叉排序树最佳适应算法包括以下步骤：
①、将空闲分区组建成一颗二叉排序树；
②、根据二叉排序树的性质依次查找满足调节的空闲分区，分配后重组二叉排序树，保证二叉排序树的结构不被破坏,改善现有的最佳适应算法在查找过程中的效率问题，采用二叉排序树的最佳适应算法将所有的空闲分区块按二叉排序树的性质呈树型结构连接,为进程分配内存时,根据请求,按照二叉排序树的性质,从根结点开始比较,采用递归查找,直到找到满足条件的空闲分区块，然后分配，在采用二叉排序树的最佳适应算法中，若出现两内存块容量相等时,按插入顺序,后插入结点的为先插入的内存块结点的左子树，现有6个内存分区块,排序顺序为R3、R5、R1、R6、R2、R4且容量大小为R1 <R2 < R3 < R4 < R5<R6 ,按照该算法进行一系列的插入操作后,即可生成一颗二叉排序树，算法采用二叉排序树实现内存空闲块的管理、组织及查询，极大地提高了空闲块的分配速度,从而提高了进程的运行速度及系统的吞吐量。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种根据数据大小分区式存放的数据存储方法，其特征在于，包括以下步骤：
对数据的传输进行切片处理，过滤无用数据；
融合路由和编码的信息交换技术，在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下级节点，以便于提升数据传输的速度；
将接收的原始数据扩展编码为多个编码数据块，并将这些编码数据块分配到不同的数据存储节点上，进行分布式存储数据，用户访问数据时，使用数据接收节点从数据存储节点获取相应的编码数据块，通过计算恢复原始数据；
所述编码数据块分配包括以下步骤：执行规则算法，将预分区所需要的数据进行采集，使数据快速均衡的存储在每一个节点上；提供数据库访问服务，使不同类别的数据存储在不同分区；接收数据进行分布存储，采用二叉排序树最佳适应算法，将数据分布存储在空闲区；
记录数据修改的时间和内容，将数据备份的内容和时间存储，以便后续查看不同修改时间段的文档内容；
所述数据备份包括以下步骤：对每次更改数据的内容进行存储；记录更改数据存储的时间；将存储的多次修改内容进行对比，原数据和第一次修改内容进行对比，第一次修改内容和第二修改内容进行对比，以此类推更直观的查看数据多次修改内容；
根据修改内容和记录的时间查找数据文档。
2.根据权利要求1所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述切片处理包括以下步骤：
对数据存储的信息进行采集；
对存储的数据进行数据解析处理，了解数据的大小；
将解析的数据切割成小数据；
将不同类型的数据进行标准化格式处理。
3.根据权利要求2所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述对数据存储的信息进行采集包括以下步骤：
获取数据生命周期中的元数据，对元数据进行组织，然后将元数据写入数据库中；
采集数据配置情况，以便后续分区存储；
将同类型的数据进行分类。
4.根据权利要求1所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述信息交换技术采用分布式纠删码技术，所述分布式纠删码技术包括以下姿态：
姿态一、随机网络编码，网络节点对信息进行操作的系数是随机选取的；
姿态二、确定性网络编码，通过多项式时间算法计算出网络编码。
5.根据权利要求4所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述随机网络编码破译成功率计算公式为:
Figure 349285DEST_PATH_IMAGE002
其中，c为最小概率，q为编码符号域的大小，d是信宿节点的数目，
Figure DEST_PATH_IMAGE004
为随机选取编码系 数的链路的数目。
6.根据权利要求1所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述将预分区所需要的数据进行采集包括以下姿态：
姿态一、按参数名分区，将不同的参数数据按参数名划分存储；
姿态二、按时间进行分区，将同一个数据内容根据修改的时间进行划分存储。
7.根据权利要求1所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述分布式存储包括文件级存储和文件分块级存储。
8.根据权利要求1所述的根据数据大小分区式存放的数据存储方法，其特征在于：所述二叉排序树最佳适应算法包括以下步骤：
①、将空闲分区组建成一颗二叉排序树；
②、根据二叉排序树的性质依次查找满足调节的空闲分区，分配后重组二叉排序树。
CN202110385952.XA 2021-04-12 2021-04-12 一种根据数据大小分区式存放的数据存储方法 Active CN112799607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110385952.XA CN112799607B (zh) 2021-04-12 2021-04-12 一种根据数据大小分区式存放的数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110385952.XA CN112799607B (zh) 2021-04-12 2021-04-12 一种根据数据大小分区式存放的数据存储方法

Publications (2)

Publication Number Publication Date
CN112799607A true CN112799607A (zh) 2021-05-14
CN112799607B CN112799607B (zh) 2021-06-22

Family

ID=75816645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110385952.XA Active CN112799607B (zh) 2021-04-12 2021-04-12 一种根据数据大小分区式存放的数据存储方法

Country Status (1)

Country Link
CN (1) CN112799607B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993163A (zh) * 2021-10-26 2022-01-28 新华三信息安全技术有限公司 一种业务处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN106844060A (zh) * 2017-03-10 2017-06-13 华中科技大学 一种基于任务负载感知的纠删码归档方法及系统
US20170364416A1 (en) * 2012-11-12 2017-12-21 Secured2 Corporation Systems and methods of transmitting data
JP2018156447A (ja) * 2017-03-17 2018-10-04 日本電気株式会社 ストレージアレイ装置、リカバリ方法、及びリカバリプログラム
CN110018783A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 一种数据存储方法、装置及系统
CN110531936A (zh) * 2019-08-29 2019-12-03 西安交通大学 基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法
CN110968255A (zh) * 2018-09-29 2020-04-07 阿里巴巴集团控股有限公司 数据处理方法、装置、存储介质以及处理器
CN112416941A (zh) * 2020-11-30 2021-02-26 肖玉连 一种基于区块链的快速数据检索方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
US20170364416A1 (en) * 2012-11-12 2017-12-21 Secured2 Corporation Systems and methods of transmitting data
CN106844060A (zh) * 2017-03-10 2017-06-13 华中科技大学 一种基于任务负载感知的纠删码归档方法及系统
JP2018156447A (ja) * 2017-03-17 2018-10-04 日本電気株式会社 ストレージアレイ装置、リカバリ方法、及びリカバリプログラム
CN110018783A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 一种数据存储方法、装置及系统
CN110968255A (zh) * 2018-09-29 2020-04-07 阿里巴巴集团控股有限公司 数据处理方法、装置、存储介质以及处理器
CN110531936A (zh) * 2019-08-29 2019-12-03 西安交通大学 基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法
CN112416941A (zh) * 2020-11-30 2021-02-26 肖玉连 一种基于区块链的快速数据检索方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRIJESH KUMAR RAI: "Adaptive erasure code based distributed storage systems", 《IEEE XPLORE》 *
李子天 等: "一种面向数据可用性和存储可靠性动态要求的自适应纠删码存储策略设计", 《小型微型计算机系统》 *
盛秀杰 等: "PetroV分布式数据存储与分析框架设计", 《石油地球物理勘探》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993163A (zh) * 2021-10-26 2022-01-28 新华三信息安全技术有限公司 一种业务处理方法及装置
CN113993163B (zh) * 2021-10-26 2023-07-25 新华三信息安全技术有限公司 一种业务处理方法及装置

Also Published As

Publication number Publication date
CN112799607B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN110413611B (zh) 数据存储、查询方法及装置
US10620830B2 (en) Reconciling volumelets in volume cohorts
US9846540B1 (en) Data durability using un-encoded copies and encoded combinations
CN108595664B (zh) 一种hadoop环境下的农业数据监控方法
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
CN113986873B (zh) 一种海量物联网数据模型化的处理、存储与共享方法
CN113535732B (zh) 面向信誉-行为关联双区块链的可验证查询优化方法
CN110018997B (zh) 一种基于hdfs的海量小文件存储优化方法
CN112380383B (zh) 一种实时视频流数据的容错索引方法
CN112799607B (zh) 一种根据数据大小分区式存放的数据存储方法
CN111813840B (zh) 一种数据处理方法、设备及存储介质
CN113656397A (zh) 一种针对时序数据的索引构建及查询的方法、装置
CN115858460A (zh) 文件存储方法及装置、文件读取方法及装置、介质及设备
CN116628274B (zh) 一种针对图数据库的数据写入方法、设备及介质
CN111291085B (zh) 层次化兴趣匹配方法、装置、计算机设备和存储介质
CN117520270A (zh) 一种hdfs小文件优化及分析处理的方法及装置
CN116975006A (zh) 基于磁盘缓存及b树索引的数据去重方法、系统及介质
CN115495462A (zh) 批量数据更新方法、装置、电子设备和可读存储介质
CN110321349B (zh) 一种面向数据起源系统的自适应数据合并存储方法
CN105830063B (zh) 协调卷组中的小卷
CN113254720A (zh) 一种基于新型存储器的存储内哈希排序构建方法
Chazapis et al. Replica-aware, multi-dimensional range queries in distributed hash tables
CN112100150B (zh) 一种数据读取方法及系统
CN105159966A (zh) 创建目录实体的方法、装置和目录实体处理系统
CN112015791A (zh) 数据处理方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant