CN107340971A - 一种数据存储与恢复架构与方法 - Google Patents

一种数据存储与恢复架构与方法 Download PDF

Info

Publication number
CN107340971A
CN107340971A CN201610271512.0A CN201610271512A CN107340971A CN 107340971 A CN107340971 A CN 107340971A CN 201610271512 A CN201610271512 A CN 201610271512A CN 107340971 A CN107340971 A CN 107340971A
Authority
CN
China
Prior art keywords
data
block
filing
block device
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610271512.0A
Other languages
English (en)
Other versions
CN107340971B (zh
Inventor
彭晶鑫
蒙晓净
杨春鑫
莫显峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI UCLOUD INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI UCLOUD INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI UCLOUD INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI UCLOUD INFORMATION TECHNOLOGY Co Ltd
Priority to CN201610271512.0A priority Critical patent/CN107340971B/zh
Publication of CN107340971A publication Critical patent/CN107340971A/zh
Application granted granted Critical
Publication of CN107340971B publication Critical patent/CN107340971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储与恢复架构，其特征在于，包括通过网络相互连接的块设备与云端设备；所述的云端设备分为接入存储层，归档存储层和元数据服务层；所述的接入存储层执行块设备的写入操作，采用固态硬盘，所述的归档存储层定期从接入存储层拉取和存储新增实时数据，采用低速硬盘；所述的元数据服务层用于存储索引信息。本发明同时公开了一种数据存储与恢复方法，其特征在于：具体包括以下步骤；501．用户通过交互方式选择块设备需要恢复数据的时间点；502．归档存储层根据时间点和块设备的标识从元数据服务层的一级索引查询到该块设备恢复到该时间点所需的所有的时间粒度。本发明的归档存储层及分片方式可以很有效的应对高吞吐IO所带来海量存储量问题。

Description

一种数据存储与恢复架构与方法
技术领域
本发明涉及计算机技术领域，尤其是涉及一种数据存储与恢复架构与方法。
背景技术
持续数据保护技术是对传统数据备份技术的一次革命性的重大突破。传统的数据备份解决方案专注在对数据的周期性备份上，因此一直伴随有备份窗口、数据一致性以及对生产系统的影响等问题。现在，持续数据保护为用户提供了新的数据保护手段，系统管理者无须关注数据的备份过程，而且仅仅当灾难发生后，简单地选择需要恢复到的时间点即可实现数据的快速恢复。
一种持续数据保护技术是按照一定的时间频率，持续的记录并备份数据变化，每次备份有一定时间窗口，需要数据恢复时，可以恢复到过去备份的时间点。
另一种持续数据保护技术是持续不间断的监控并备份数据变化，可以恢复到过去任意时间点，是真正的实时备份。
第三种持续数据保护技术对磁盘数据块的每个写操作，生成一个元数据记录该写操作的元数据，并将该元数据作为一个链表节点，该节点中除了包含数据块的块号以外，还设置前向链接，上行链接，下行链接。在此基础上，构造出二叉树。并以二叉树和元数据节点为基础，进行快照和恢复。
第一种技术方案中，只能通过备份点进行恢复，而不能恢复到任意一个时刻，从而不能做到到真正的连续数据保护。
第二种和第三种技术方案中，可以达到恢复至任意一个时刻，但是第二种技术普遍遇到数据不断增加所带来的存储和合并难题；第三种技术通过二叉树索引技术对数据的存储量有一定的减少，但是无法解决云平台环境中，海量的块设备，每个块设备海量随机IO写以及高吞吐IO所带来海量存储量问题。
发明内容
本发明的目的就是为应对云平台环境中海量的块设备海量随机IO写以及高吞吐IO所带来海量存储量问题，提供的一种数据存储与恢复架构与方法。
为实现上述目的，本发明提出一种数据存储与恢复架构，其特征在于，包括通过网络相互连接的块设备与云端设备；所述的云端设备分为接入存储层，归档存储层和元数据服务层；所述的接入存储层执行块设备的写入操作，采用固态硬盘，所述的归档存储层定期从接入存储层拉取和存储新增实时数据，采用低速硬盘；所述的元数据服务层用于存储索引信息。
所述的接入存储层执行块设备的写入操作，采用5元组方式；5元组包括：写的起始地址、写的大小、写的数据、写的顺序编号、写的时间戳。
所述的归档存储层定期从接入存储层拉取和存储新增实时数据，包括以下步骤：
301．归档存储层判断拉取的实时数据的时间间隔是否满足预设的时间粒度，若是，则执行步骤302；若否，则继续拉取实时数据；
302．归档存储层按照预设的数据块大小和时间顺序对实时数据进行分割，分割成多份独立的数据块，并按时间顺序排序；预设的数据块大小为块设备的写入操作最小单位的倍数；
303．归档存储层对所述独立数据块进行编码，生成独立数据块的编码，编码分为两部分，第一部分为位图编码，位图编码的位数为所述写入操作最小单位倍数；第二部分为独立数据块的实际数据；实际数据由多个大小为写入操作最小单位的数据组成；若位图编码中的某位的值为1，则实际数据包含该位对应的实际写入操作数据；若为位图编码中的某位的值为0，则该位无对应的实际写入操作数据；
304．归档存储层按预设的时间粒度和写的顺序编号对独立数据块的编码进行合并；若写的顺序编号大的独立数据块编码中位图编码的某位的值为1，合并完成的独立数据块的编码中的位图编码该位的值为1，并且该位所对应的实际数据为写的顺序编号大的独立数据块的编码的实际数据；若写的顺序编号大的独立数据块的编码中位图编码的某位的值为0，则只有写的顺序编号小的独立数据块的位图编码中的该位得值为1时，合并完成的独立数据块的编码的位图编码该位的值为1，并且该位所对应的实际数据为写的顺序编号小的独立数据块的编码的实际数据；
305．归档存储层按块设备的寻址范围对合并完成的数据块的编码进行分片，每个分片的寻址范围为预设的数据块大小的倍数，同一个分片包含多个独立数据块的编码，分片分布于不同的云端存储设备中；
306．归档存储层对块设备的写入数据生成两级索引，第一级索引包括块设备标识，及该块设备的数据块的编码的所有的时间粒度，其中块设备标识为键值；第二级索引包括块设备标识，一个时间粒度和该时间粒度对应的所有分片的存储位置，其中块设备标识与时间粒度为键值。
所述的归档存储层对块设备的写入数据生成两级索引，两级索引信息存储于元数据服务层。
一种数据存储与恢复方法，其特征在于：具体包括以下步骤；
501．用户通过交互方式选择块设备需要恢复数据的时间点；
502．归档存储层根据时间点和块设备的标识从一级索引查询到该块设备恢复到该时间点所需的所有的时间粒度；
503．归档存储层根据块设备标识，以及时间粒度，从二级索引查询到该时间粒度对应的所有分片的存储位置；
504．归档存储层将所有分片内的独立数据块的编码进行合并;
505．归档存储层将合并好的数据传输至块设备。
与现有技术相比，本发明的效果是积极明显的，具体地：
本发明将数据通过网络从数据块发送到云端设备。云端设备可以对数据进行分割，再次编码，合并形成任意时间粒度的数据。将任意时间粒度的数据按块设备的寻址范围进行分片，从而可以将数据分布于多个存储设备中。在恢复数据时，可根据索引获取任意恢复时刻所需要的所有时间粒度的数据块数据，可随时将分片内的独立数据块的编码进行合并。生成任意恢复时刻对应的所有数据。云端设备将存储层分为接入存储层和归档存储层，采用固态硬盘的接入存储层可以很有效地应对海量随机IO写带来的性能问题。归档存储层及分片方式可以很有效的应对高吞吐IO所带来海量存储量问题。
附图说明
图1为本发明的结构示意图；
图2为本发明的接入存储层写操作5元组示意图；
图3为本发明归档储存层拉取实时数据进行合并的流程图；
图4 为本发明的对实时数据分割成独立的数据块的示意图；
图5 为本发明归档储存层对独立数据块编码进行合并的示意图；
图6 为本发明归档存储层对数据块编码进行分片的示意图；
图7 为本发明中归档存储层生成的两级索引的示意图；
图8 为本发明数据恢复方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1所示，一种数据存储与恢复架构，其特征在于，包括通过网络相互连接的块设备与云端设备；所述的云端设备分为接入存储层，归档存储层和元数据服务层；所述的接入存储层执行块设备的写入操作，采用固态硬盘，所述的归档存储层定期从接入存储层拉取和存储新增实时数据，采用低速硬盘；所述的元数据服务层用于存储索引信息。
如图2所示，接入存储层执行块设备的写入操作，采用5元组方式，5元组包括：写的起始地址、写的大小、写的数据、写的顺序编号、写的时间戳。本实施例的5元组分别为：
写的起始地址: 5120
写的大小: 10240
写的数据: [A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A12 A13 A14 A15 A16]
写的顺序编号: 1
写的时间戳: 1501083462
如图3所示，所述的归档存储层定期从接入存储层拉取和存储新增实时数据，包括以下步骤；
301．归档存储层判断拉取的实时数据的时间间隔是否满足预设的时间粒度，若是，则执行步骤302；若否，则继续拉取实时数据；
302．图4 示出了本发明中归档储存层如何按照预设的数据块大小将实时数据分割成多份独立的数据块，归档存储层按照预设的数据块大小对实时数据进行分割，分割成多份独立的数据块，并按写的顺序编号排序；预设的数据块大小为块设备的写入操作最小单位的倍数；
303．归档存储层对所述独立数据块进行编码，生成独立数据块的编码，编码分为两部分，第一部分为位图编码，位图编码的位数为所述写入操作最小单位倍数；第二部分为独立数据块的实际数据；实际数据由多个大小为写入操作最小单位的数据组成；若位图编码中的某位的值为1，则实际数据包含该位对应的实际写入操作数据；若为位图编码中的某位的值为0，则该位无对应的实际写入操作数据；
本实施例中独立数据块的大小设定为4096， 则上述5元组可被分割和编码为：
顺序编号:1，起始地址:4096，位图:00001111，实际数据[ A1 A2 A3 A4 ]
顺序编号:1，起始地址:8192， 位图:11111111， 实际数据[ A5 A6 A7 A8 A9 A10 A11 A12 ]
顺序编号:1 起始地址:12288，位图:11110000，实际数据[ A13 A14 A15 A16 ]；
304．如图5所示，归档存储层按预设的时间粒度和写的顺序编号对独立数据块的编码进行合并；若写的顺序编号大的独立数据块编码中位图编码的某位的值为1，合并完成的独立数据块的编码中的位图编码该位的值为1，并且该位所对应的实际数据为写的顺序编号大的独立数据块的编码的实际数据；若写的顺序编号大的独立数据块的编码中位图编码的某位的值为0，则只有写的顺序编号小的独立数据块的位图编码中的该位得值为1时，合并完成的独立数据块的编码的位图编码该位的值为1，并且该位所对应的实际数据为写的顺序编号小的独立数据块的编码的实际数据。
本实施例中，多个独立数据块编码如下：
顺序编号:1，起始地址:4096，位图:00001111，实际数据[ A1 A2 A3 A4 ]
顺序编号:1， 起始地址:8192， 位图:11111111， 实际数据[ A5 A6 A7 A8 A9 A10 A11 A12 ]
顺序编号:1，起始地址:12288，位图:11110000，实际数据[ A13 A14 A15 A16 ]
顺序编号:2,起始地址:4096,位图:00000011,实际数据[ B3 B4 ]
顺序编号:2,起始地址:8192,位图:11111111,实际数据[ B5 B6 B7 B8 B9 B10 ]；
按步骤304，合并后的独立数据块编码如下：
顺序编号:2, 起始地址:4096, 位图:00001111, 实际数据[ A1 A2 B3 B4 ]
顺序编号:2, 起始地址:8192, 位图:11111111, 实际数据[ B5 B6 B7 B8 B9 B10 A11 A12 ]
顺序编号:2, 起始地址:12288, 位图:11110000, 实际数据[ A13 A14 A15 A16 ]；
305．如图6所示，归档存储层按块设备的寻址范围对合并完成的数据块的编码进行分片，每个分片的寻址范围为预设的数据块大小的倍数，同一个分片包含多个独立数据块的编码，分片分布于不同的云端存储设备中；
本实施例中块设备的寻址范围为1T， 每个分片的寻址范围为1G，则可分为1024的分片，第1个分片的寻址范围是0-1G，第2个分片的寻址范围是1-2G，第1024个分片的寻址范围是1023-1024G；
306．如图7所示，归档存储层对块设备的写入数据生成两级索引，第一级索引包括块设备标识，及该块设备的数据块的编码的所有的时间粒度，其中块设备标识为键值；第二级索引包括块设备标识，一个时间粒度和该时间粒度对应的所有分片的存储位置，其中块设备标识与时间粒度为键值。
所述的归档存储层对块设备的写入数据生成两级索引，存储于元数据服务层。
如图8所示，一种数据存储与恢复方法，其特征在于：具体包括以下步骤；
步骤501．用户通过交互方式选择块设备需要恢复数据的时间点；
步骤502．归档存储层根据时间点和块设备的标识从一级索引查询到该块设备恢复到该时间点所需的所有的时间粒度；
步骤503．归档存储层根据块设备标识，以及时间粒度，从二级索引查询到该时间粒度对应的所有分片的存储位置；
步骤504．归档存储层将所有分片内的独立数据块的编码进行合并;
步骤505．归档存储层将合并好的数据传输至块设备。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种数据存储与恢复架构，其特征在于，包括通过网络相互连接的块设备与云端设备；所述的云端设备分为接入存储层，归档存储层和元数据服务层；所述的接入存储层执行块设备的写入操作，采用固态硬盘，所述的归档存储层定期从接入存储层拉取和存储新增实时数据，采用低速硬盘；所述的元数据服务层用于存储索引信息。
2.根据权利要求1所述的一种数据存储与恢复架构，其特征在于：所述的接入存储层执行块设备的写入操作，采用5元组方式；5元组包括：写的起始地址、写的大小、写的数据、写的顺序编号、写的时间戳。
3.根据权利要求1所述的一种数据存储与恢复架构，其特征在于：所述的归档存储层定期从接入存储层拉取和存储新增实时数据，包括以下步骤：
301．归档存储层判断拉取的实时数据的时间间隔是否满足预设的时间粒度，若是，则执行步骤302；若否，则继续拉取实时数据；
302．归档存储层按照预设的数据块大小对实时数据进行分割，分割成多份独立的数据块，并按写的顺序编号排序；预设的数据块大小为块设备的写入操作最小单位的倍数；
303．归档存储层对所述独立数据块进行编码，生成独立数据块的编码，编码分为两部分，第一部分为位图编码，位图编码的位数为所述写入操作最小单位倍数；第二部分为独立数据块的实际数据；实际数据由多个大小为写入操作最小单位的数据组成；若位图编码中的某位的值为1，则实际数据包含该位对应的实际写入操作数据；若为位图编码中的某位的值为0，则该位无对应的实际写入操作数据；
304．归档存储层按预设的时间粒度和写的顺序编号对独立数据块的编码进行合并；若顺序编号大的独立数据块编码中位图编码的某位的值为1，合并完成的独立数据块的编码中的位图编码该位的值为1，并且该位所对应的实际数据为顺序编号大的独立数据块的编码的实际数据；若顺序编号大的独立数据块的编码中位图编码的某位的值为0，则只有顺序编号小的独立数据块的位图编码中的该位得值为1时，合并完成的独立数据块的编码的位图编码该位的值为1，并且该位所对应的实际数据为顺序编号小的独立数据块的编码的实际数据；
305．归档存储层按块设备的寻址范围对合并完成的数据块的编码进行分片，每个分片的寻址范围为预设的数据块大小的倍数，同一个分片包含多个独立数据块的编码，分片分布于不同的云端存储设备中；
306．归档存储层对块设备的写入数据生成两级索引，第一级索引包括块设备标识，及该块设备的数据块的编码的所有的时间粒度，其中块设备标识为键值；第二级索引包括块设备标识，一个时间粒度和该时间粒度对应的所有分片的存储位置，其中块设备标识与时间粒度为键值。
4.根据权利要求3所述的一种数据存储与恢复架构，其特征在于：所述的归档存储层对块设备的写入数据生成两级索引，存储于元数据服务层。
5.一种数据存储与恢复方法，其特征在于：具体包括以下步骤；
501．用户通过交互方式选择块设备需要恢复数据的时间点；
502．归档存储层根据时间点和块设备的标识从元数据服务层的一级索引查询到该块设备恢复到该时间点所需的所有的时间粒度；
503．归档存储层根据块设备标识，以及时间粒度，从元数据服务层的二级索引查询到该时间粒度对应的所有分片的存储位置；
504．归档存储层将所有分片内的独立数据块的编码进行合并；
505．归档存储层将合并好的数据传输至块设备。
CN201610271512.0A 2016-04-28 2016-04-28 一种数据存储与恢复架构与方法 Active CN107340971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610271512.0A CN107340971B (zh) 2016-04-28 2016-04-28 一种数据存储与恢复架构与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610271512.0A CN107340971B (zh) 2016-04-28 2016-04-28 一种数据存储与恢复架构与方法

Publications (2)

Publication Number Publication Date
CN107340971A true CN107340971A (zh) 2017-11-10
CN107340971B CN107340971B (zh) 2019-05-07

Family

ID=60221784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610271512.0A Active CN107340971B (zh) 2016-04-28 2016-04-28 一种数据存储与恢复架构与方法

Country Status (1)

Country Link
CN (1) CN107340971B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509592A (zh) * 2018-03-30 2018-09-07 贵阳朗玛信息技术股份有限公司 基于Redis的数据存储方法、读取方法及装置
CN110389855A (zh) * 2018-04-19 2019-10-29 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
CN111338843A (zh) * 2018-12-19 2020-06-26 中国移动通信集团云南有限公司 一种生产系统的数据备份方法及装置
CN112464044A (zh) * 2020-12-09 2021-03-09 上海爱数信息技术股份有限公司 一种文件数据块变化信息监控管理系统及其方法
CN114189752A (zh) * 2021-11-25 2022-03-15 杭州视在数科信息技术有限公司 一种基于对象存储服务的视频存储方案
WO2022134726A1 (zh) * 2020-12-25 2022-06-30 苏州浪潮智能科技有限公司 一种数据归档查询方法、系统、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777016A (zh) * 2010-02-08 2010-07-14 北京同有飞骥科技有限公司 一种连续数据保护系统的快照存储和数据恢复方法
CN101814045A (zh) * 2010-04-22 2010-08-25 华中科技大学 一种用于备份服务的数据组织方法
CN102012851A (zh) * 2010-12-20 2011-04-13 浪潮(北京)电子信息产业有限公司 一种持续数据保护方法及服务器
CN102523105A (zh) * 2011-11-30 2012-06-27 广东电子工业研究院有限公司 一种数据存储的故障恢复方法及其适用的数据分布架构
CN104885076A (zh) * 2012-05-10 2015-09-02 以太存储股份有限公司 分布式存储的系统和方法
CN105302668A (zh) * 2015-10-21 2016-02-03 上海爱数信息技术股份有限公司 一种优化对象存储系统中块设备数据访问性能的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777016A (zh) * 2010-02-08 2010-07-14 北京同有飞骥科技有限公司 一种连续数据保护系统的快照存储和数据恢复方法
CN101814045A (zh) * 2010-04-22 2010-08-25 华中科技大学 一种用于备份服务的数据组织方法
CN102012851A (zh) * 2010-12-20 2011-04-13 浪潮(北京)电子信息产业有限公司 一种持续数据保护方法及服务器
CN102523105A (zh) * 2011-11-30 2012-06-27 广东电子工业研究院有限公司 一种数据存储的故障恢复方法及其适用的数据分布架构
CN104885076A (zh) * 2012-05-10 2015-09-02 以太存储股份有限公司 分布式存储的系统和方法
CN105302668A (zh) * 2015-10-21 2016-02-03 上海爱数信息技术股份有限公司 一种优化对象存储系统中块设备数据访问性能的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘丽娜等: "一种云环境下基于Xen的分布式存储模式", 《信息技术与信息化》 *
周可等: "云存储技术及其应用", 《中兴通讯技术》 *
顾瑜: "云计算环境下数据保护关键技术研究", 《中国优秀博士学位论文全文数据库（电子期刊） 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509592A (zh) * 2018-03-30 2018-09-07 贵阳朗玛信息技术股份有限公司 基于Redis的数据存储方法、读取方法及装置
CN108509592B (zh) * 2018-03-30 2022-11-29 贵阳朗玛信息技术股份有限公司 基于Redis的数据存储方法、读取方法及装置
CN110389855A (zh) * 2018-04-19 2019-10-29 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
CN110389855B (zh) * 2018-04-19 2021-12-28 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
CN111338843A (zh) * 2018-12-19 2020-06-26 中国移动通信集团云南有限公司 一种生产系统的数据备份方法及装置
CN111338843B (zh) * 2018-12-19 2023-08-15 中国移动通信集团云南有限公司 一种生产系统的数据备份方法及装置
CN112464044A (zh) * 2020-12-09 2021-03-09 上海爱数信息技术股份有限公司 一种文件数据块变化信息监控管理系统及其方法
CN112464044B (zh) * 2020-12-09 2023-04-07 上海爱数信息技术股份有限公司 一种文件数据块变化信息监控管理系统及其方法
WO2022134726A1 (zh) * 2020-12-25 2022-06-30 苏州浪潮智能科技有限公司 一种数据归档查询方法、系统、存储介质及设备
CN114189752A (zh) * 2021-11-25 2022-03-15 杭州视在数科信息技术有限公司 一种基于对象存储服务的视频存储方案

Also Published As

Publication number Publication date
CN107340971B (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
US11003533B2 (en) Data processing method, system, and apparatus
CN107340971A (zh) 一种数据存储与恢复架构与方法
US11544151B2 (en) Data backup technique for backing up data to an object storage service
US10649845B2 (en) Durability-based redundancy encoded data storage
CN101488104B (zh) 一种实现高效安全存储的系统和方法
EP2908254A1 (en) Data redundancy implementation method and device
US20150331750A1 (en) Object Storage System for an Unreliable Storage Medium
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US20200004447A1 (en) System and method for combining erasure-coded protection sets
US11210183B2 (en) Memory health tracking for differentiated data recovery configurations
US11210169B2 (en) Data storage method, apparatus, and system
WO2020256796A1 (en) Efficient non-uniform object processing
CN103098035A (zh) 存储系统
CN109491832A (zh) 数据容灾方法与站点
WO2018112980A1 (zh) 存储控制器、数据处理芯片及数据处理方法
CN111771193A (zh) 用于在生产集群中备份最终一致的数据库的系统和方法
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
WO2024001494A1 (zh) 一种数据存储的方法、单节点服务器及设备
CN109117292B (zh) 一种集群存储的方法和装置及集群存储系统
US10592336B1 (en) Layered indexing for asynchronous retrieval of redundancy coded data
KR20120090320A (ko) 분산 파일 시스템에서 효율적인 자료 복구 방법
WO2019037587A1 (zh) 一种数据恢复方法及装置
CN104572987B (zh) 一种通过压缩提高简易再生码存储效率的方法和系统
CN105278881A (zh) 一种恢复ntfs文件系统gpt分区表的方法
WO2022128080A1 (en) Storing data in computer storage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200433 Room 201, 10 B, 619 Longchang Road, Yangpu District, Shanghai.

Applicant after: Excellent Polytron Technologies Inc

Address before: 200433 5, 2 building, 2539 Songhua River Road, Yangpu District, Shanghai.

Applicant before: SHANGHAI UCLOUD INFORMATION TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant