CN110324429A - 基于分布式数据存储的备份方法及备份装置 - Google Patents

基于分布式数据存储的备份方法及备份装置 Download PDF

Info

Publication number
CN110324429A
CN110324429A CN201910618272.0A CN201910618272A CN110324429A CN 110324429 A CN110324429 A CN 110324429A CN 201910618272 A CN201910618272 A CN 201910618272A CN 110324429 A CN110324429 A CN 110324429A
Authority
CN
China
Prior art keywords
data
backup
sent
disk
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910618272.0A
Other languages
English (en)
Inventor
耿倩
陈望斌
欧阳晖
黄颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910618272.0A priority Critical patent/CN110324429A/zh
Publication of CN110324429A publication Critical patent/CN110324429A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于分布式数据存储的备份方法及备份装置，方法包括：获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。本发明能够提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性，进而保证存储数据的安全可靠并提高数据备份效率。

Description

基于分布式数据存储的备份方法及备份装置
技术领域
本发明涉及分布式对象存储技术领域，具体涉及一种基于分布式数据存储的备份方法及备份装置。
背景技术
当前银行业的数据备份多采用集中式存储结构，备份系统的后端一般连接物理磁带库，使用磁带作为主要的存储介质。随着存储规模日益增大，数据备份需求也呈快速增长趋势，对备份的实效性、备份数据的可靠性、存储容量的可扩展性等都提出了新的要求。
由于磁带介质顺序读写的特性，其数据备份和恢复的速度均相对较慢；且单盘磁带容量固定，磁带库槽位数量固定，使用磁带扩容空间有限；而随着使用次数的增多，磁带、带机等部件故障率大大增加，而数据无额外保护，其数据可靠性不高。特别是对于无需离线长期保存的数据，数据的过期操作也将带来大量的磁带碎片，磁带数据全部过期前无法再被写入，使得磁带的利用率大大降低。
因此亟需一种新的数据备份方法来提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性。
发明内容
针对现有技术中的问题，本发明提供一种基于分布式数据存储的备份方法及备份装置，能够提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性，进而保证存储数据的安全可靠并提高数据备份效率。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种基于分布式数据存储的备份方法，包括：
获取目标数据；
根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；
基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
其中，所述基于预设条件应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，包括：
基于目标数据的名称、磁盘组的存储结构和磁盘组的数据分布规则，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组。
其中，所述获取目标数据包括：
接收对应的客户端发送的数据备份请求；
根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
进一步的，所述将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中之后，还包括：
在预存储的备份数据目录中生成已备份的目标数据的条目，所述已备份数据的条目用于记载已备份的目标数据的属性。
进一步的，还包括：
接收对应的客户端发送的数据恢复请求；
根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述数据恢复请求发送至该目标对象网关；
基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述数据恢复请求发送至该磁盘组中的主磁盘内，以使该主磁盘根据所述数据恢复请求读取该主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据。
进一步的，还包括：
接收对应的客户端发送的数据查询请求；
根据所述数据查询请求查询预存储的数据备份目录中是否存储所述数据查询请求对应的恢复数据的条目；
将所述数据查询请求对应的查询结果信息发送至所述客户端。
其中，所述将所述数据查询请求对应的查询结果信息发送至所述客户端，包括：
将备份数据目录中存储有恢复数据对应条目的结果信息发送至所述客户端，以使所述客户端根据该结果信息发出数据恢复请求。
其中，所述将所述数据查询请求对应的查询结果信息发送至所述客户端，包括：
将备份数据目录中未存储有恢复数据对应条目的结果信息发送至所述客户端，并向该客户端发出用于提示恢复数据不存在的提示信息。
第二方面，本发明提供一种基于分布式数据存储的备份装置，包括：
第一服务单元，用于获取目标数据；
第一负载均衡单元，用于根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；
存储单元，用于基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
其中，所述存储单元包括：
存储子单元，用于基于目标数据的名称、磁盘组的存储结构和磁盘组的数据分布规则，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组。
其中，所述第一服务单元包括：
主服务器，用于接收对应的客户端发送的数据备份请求；
介质服务器，用于根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
进一步的，还包括：
目录单元，用于在预存储的备份数据目录中生成已备份的目标数据的条目，所述已备份数据的条目用于记载已备份的目标数据的属性。
进一步的，还包括：
第二服务单元，用于接收对应的客户端发送的数据恢复请求；
第二负载均衡单元，用于根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述数据恢复请求发送至该目标对象网关；
恢复单元，用于基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述数据恢复请求发送至该磁盘组中的主磁盘内，以使该主磁盘根据所述数据恢复请求读取该主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据，以及将所述恢复数据发送至客户端。
进一步的，还包括：
接收单元，用于接收对应的客户端发送的数据查询请求；
查询单元，用于根据所述数据查询请求查询预存储的数据备份目录中是否存储所述数据查询请求对应的恢复数据的条目；
发送单元，用于将所述数据查询请求对应的查询结果信息发送至所述客户端。
其中，所述发送单元包括：
第一发送子单元，用于将备份数据目录中存储有恢复数据对应条目的结果信息发送至所述客户端，以使所述客户端根据该结果信息发出数据恢复请求。
其中，所述发送单元包括：
第二发送子单元，用于将备份数据目录中未存储有恢复数据对应条目的结果信息发送至所述客户端，并向该客户端发出用于提示恢复数据不存在的提示信息。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于分布式数据存储的备份方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于分布式数据存储的备份方法的步骤。
由上述技术方案可知，本发明提供一种基于分布式数据存储的备份方法及备份装置，通过获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中，能够提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性，进而保证存储数据的安全可靠并提高数据备份效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于分布式数据存储的备份方法的流程示意图。
图2为本发明实施例中的基于分布式数据存储的备份方法中对象网关的访问原理图。
图3为本发明实施例中的基于分布式数据存储的备份方法中对象网关的另一访问原理图。
图4为本发明实施例中的基于分布式数据存储的备份方法中步骤S101的流程示意图。
图5为本发明实施例中的基于分布式数据存储的备份方法的另一流程示意图。
图6为本发明实施例中的基于分布式数据存储的备份方法中数据恢复的流程示意图。
图7为本发明实施例中的基于分布式数据存储的备份方法中数据查询的流程示意图。
图8为本发明实施例中的基于分布式数据存储的备份装置的一种结构示意图。
图9为本发明实施例中的基于分布式数据存储的备份装置的第二种结构示意图。
图10为本发明实施例中的基于分布式数据存储的备份装置的第三种结构示意图。
图11为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于分布式数据存储的备份方法的实施例，参见图1，所述基于分布式数据存储的备份方法具体包含有如下内容：
S101：获取目标数据；
可以理解的是，目标数据是需要进行备份的数据，该数据可以是备份系统自身所存储的数据，也可以是备份系统接收的外部终端上需要备份的数据。
S102：根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；
在本步骤中，基于目标数据的名称、磁盘组的存储结构和磁盘组的数据分布规则，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组。
该对象网关是由分布式存储集群的多个对象存储网关构成对象存储网关前端接收目标数据，后端连接存储节点，各个对象网关都可以访问分布式存储节点有存储节点的磁盘数据。根据设置的轮询规则，将前端接收到的目标数据请求分发给后端各对象存储网关进行处理，有效分散对象网关的处理热点，保证系统的高可用性。
在获取目标数据之后，通过预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，能够对多个目标数据进行并行处理，提升备份的灵活性。
以处理客户端的数据备份请求为例，对本步骤进行详细说明：
如图2所示，以某对象存储网关无故障进行举例说明：
(a)接收到目标数据的数据写请求1，根据设置的轮询规则，将数据请求1交给对象网关1进行处理；
(b)接收到目标数据的数据写请求2，根据设置的轮询规则，将数据请求2交给对象网关2进行处理；
(c)接收到目标数据的数据写请求m，根据设置的轮询规则，将数据请求m交给对象网关m进行处理；
(d)接收到目标数据的数据写请求m+1，根据设置的轮询规则，将数据请求m+1交给对象网关1进行处理。
如图3所示，以某对象存储网关故障进行举例说明。
(a)接收到目标数据的数据写请求1，根据设置的轮询规则，将数据请求1交给对象网关1进行处理；
(b)确定对象网关2故障；
(c)接收到目标数据的数据写请求2，根据设置的轮询规则，将数据请求2交给对象网关3进行处理；
(d)接收到目标数据的数据写请求m-1，根据设置的轮询规则，将数据请求m交给对象网关m进行处理。
通过预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，可有效提升备份系统的架构灵活性，使得对象存储网关的调整或故障等备份管理层透明。
S103：基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
在本步骤中，磁盘组由分布式对象存储集群的存储节点组成。其中为保证数据读写性能和系统健壮性，将对象存储元数据部署在固态硬盘三副本存储池；同时，为控制整体成本，将目标数据备份在分布式存储集群的SATA磁盘纠删码存储池，配置为k+m纠删码方式，即每个存储对象将被分割为k个小的数据块，再对这些数据块进行扩展并编码形成校验块，最后将所有生成的k+m个数据块存储在对象存储集群的不同故障域中，以实现数据保护。在此配置下，m个存储节点损坏，不影响数据可用性。
从上述描述可知，本发明实施例提供的一种基于分布式数据存储的备份方法，通过获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中，能够提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性，进而保证存储数据的安全可靠并提高数据备份效率。
本实施例提供上述实施例中步骤S101的一种具体实现方法，参见图4，具体包括：
S1011：接收对应的客户端发送的数据备份请求；
S1012：根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
在本实施例中，先接收客户端发送的数据备份请求，根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
具体实施时，通过备份主服务器接收客户端发送的数据备份请求，备份主服务器通过介质服务器访问客户端，并从客户端中获取所述目标数据。
在上述实施例的基础上，参见图5，还包括：
S104：在预存储的备份数据目录中生成已备份的目标数据的条目，所述已备份数据的条目用于记载已备份的目标数据的属性。
在本实施例中，目标数据在备份成功后，在预存储的备份数据目录中记录此次备份相关信息，如备份文件名、存储单元、数据大小、备份生成日期、备份保留时间等。记录的备份相关信息形成备份数据目录中的一个条目。
在上述备份方法的实施例的基础上，还包括数据的恢复方法，参见图6，具体包括：
S201：接收对应的客户端发送的数据恢复请求；
S202：根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述数据恢复请求发送至该目标对象网关；
对步骤S201和步骤S202的详细描述，请参考上述实施例中的步骤S101和步骤S102，在此不再赘述。
S203：基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述数据恢复请求发送至该磁盘组中的主磁盘内，以使该主磁盘根据所述数据恢复请求读取该主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据。
在本步骤中，根据接收的数据恢复请求，通过目标对象网关从主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据，实现从磁盘组中获取数据恢复请求对应的恢复数据。
在上述备份方法的实施例的基础上，还包括数据的查询方法，参见图7，具体包括：
S301：接收对应的客户端发送的数据查询请求；
S302：根据所述数据查询请求查询预存储的数据备份目录中是否存储所述数据查询请求对应的恢复数据的条目；
在本步骤中，在接收到客户端发送的数据查询请求后，根据该数据查询请求在预存储的数据备份目录中查找数据查询请求对应的恢复数据的条目，并确定数据备份目录中是否存储该条目。
S303：将所述数据查询请求对应的查询结果信息发送至所述客户端。
在本步骤中，查询结果包括：备份数据目录中存储有恢复数据对应条目或备份数据目录中未存储有恢复数据对应条目；
若备份数据目录中存储有恢复数据对应条目，则表明存储节点中存储有数据查询请求对应的恢复数据；若备份数据目录中未存储有恢复数据对应条目，则表明存储节点中未存储有数据查询请求对应的恢复数据。
进一步的，若备份数据目录中存储有恢复数据对应条目，将备份数据目录中存储有恢复数据对应条目的结果信息发送至所述客户端，以使所述客户端根据该结果信息发出数据恢复请求。
若备份数据目录中未存储有恢复数据对应条目，将备份数据目录中未存储有恢复数据对应条目的结果信息发送至所述客户端，并向该客户端发出用于提示恢复数据不存在的提示信息。
从上述描述可知，本发明实施例提供的一种基于分布式数据存储的备份方法，通过获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中，有效解决了基于磁带库的集中式备份架构下，存在的数据读写效率较低、备份数据可靠性较差、存储容量可扩展性较低等问题。使用普通PC组成分布式对象存储集群代替现有备份后端磁带库，使用相对廉价的SATA磁盘取代磁带存储，大大提升了数据读写性能和可扩展性；在数据访问层面，部署分布对象网关负载，提升系统整体架构灵活性，使得对象存储网关和后端存储的调整。而且纠删码技术以很小的存储容量需求增长换取较高的备份数据可靠性，是一个综合考量数据容量需求、数据读写性能、数据可靠性、系统架构灵活性和可扩展性等多方面因素的优选方案。
为进一步地说明本方案，如表1，本发明提供使用磁带存储的方式和分布式对象存储的方式的对比数据，具体包含有如下内容：
表1存储方式的数据对比
根据上表内容，使用分布式对象存储9+3纠删码数据池与使用磁带进行对比，能够提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性，进而保证存储数据的安全可靠并提高数据备份效率。
本发明实施例提供一种能够实现所述基于分布式数据存储的备份方法中全部内容的基于分布式数据存储的备份装置的具体实施方式，参见图8，具体包括如下内容：
第一服务单元10，用于获取目标数据；
第一负载均衡单元20，用于根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；
存储单元30，用于基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
其中，所述存储单元30包括：
存储子单元，用于基于目标数据的名称、磁盘组的存储结构和磁盘组的数据分布规则，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组。
其中，所述第一服务单元10包括：
主服务器，用于接收对应的客户端发送的数据备份请求；
介质服务器，用于根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
进一步的，还包括：
目录单元40，用于在预存储的备份数据目录中生成已备份的目标数据的条目，所述已备份数据的条目用于记载已备份的目标数据的属性。
在上述实施例的基础上，参见图9，还包括：
第二服务单元50，用于接收对应的客户端发送的数据恢复请求；
第二负载均衡单元60，用于根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述数据恢复请求发送至该目标对象网关；
恢复单元70，用于基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述数据恢复请求发送至该磁盘组中的主磁盘内，以使该主磁盘根据所述数据恢复请求读取该主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据，以及将所述恢复数据发送至客户端。
在上述实施例的基础上，参见图10，还包括：
接收单元80，用于接收对应的客户端发送的数据查询请求；
查询单元90，用于根据所述数据查询请求查询预存储的数据备份目录中是否存储所述数据查询请求对应的恢复数据的条目；
发送单元100，用于将所述数据查询请求对应的查询结果信息发送至所述客户端。
其中，所述发送单元包括：
第一发送子单元，用于将备份数据目录中存储有恢复数据对应条目的结果信息发送至所述客户端，以使所述客户端根据该结果信息发出数据恢复请求。
其中，所述发送单元包括：
第二发送子单元，用于将备份数据目录中未存储有恢复数据对应条目的结果信息发送至所述客户端，并向该客户端发出用于提示恢复数据不存在的提示信息。
本发明提供的基于分布式数据存储的备份装置的实施例具体可以用于执行上述实施例中的基于分布式数据存储的备份方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本发明实施例提供的基于分布式数据存储的备份装置，通过获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中，能够提高备份的灵活性和可扩展性以及提高备份数据的读写性能和可靠性，进而保证存储数据的安全可靠并提高数据备份效率。
本发明的实施例还提供能够实现上述实施例中的基于分布式数据存储的备份方法中全部步骤的一种电子设备的具体实施方式，参见图11，所述电子设备具体包括如下内容：
处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604；
其中，所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信；所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的基于分布式数据存储的备份方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
本发明的实施例还提供能够实现上述实施例中的基于分布式数据存储的备份方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于分布式数据存储的备份方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取目标数据；根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (18)

1.一种基于分布式数据存储的备份方法，其特征在于，包括：
获取目标数据；
根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；
基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
2.根据权利要求1所述的基于分布式数据存储的备份方法，其特征在于，所述基于预设条件应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，包括：
基于目标数据的名称、磁盘组的存储结构和磁盘组的数据分布规则，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组。
3.根据权利要求1所述的基于分布式数据存储的备份方法，其特征在于，所述获取目标数据包括：
接收对应的客户端发送的数据备份请求；
根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
4.根据权利要求3所述的基于分布式数据存储的备份方法，其特征在于，所述将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中之后，还包括：
在预存储的备份数据目录中生成已备份的目标数据的条目，所述已备份数据的条目用于记载已备份的目标数据的属性。
5.根据权利要求1所述的基于分布式数据存储的备份方法，其特征在于，还包括：
接收对应的客户端发送的数据恢复请求；
根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述数据恢复请求发送至该目标对象网关；
基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述数据恢复请求发送至该磁盘组中的主磁盘内，以使该主磁盘根据所述数据恢复请求读取该主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据。
6.根据权利要求1所述的基于分布式数据存储的备份方法，其特征在于，还包括：
接收对应的客户端发送的数据查询请求；
根据所述数据查询请求查询预存储的数据备份目录中是否存储所述数据查询请求对应的恢复数据的条目；
将所述数据查询请求对应的查询结果信息发送至所述客户端。
7.根据权利要求6所述的基于分布式数据存储的备份方法，其特征在于，所述将所述数据查询请求对应的查询结果信息发送至所述客户端，包括：
将备份数据目录中存储有恢复数据对应条目的结果信息发送至所述客户端，以使所述客户端根据该结果信息发出数据恢复请求。
8.根据权利要求6所述的基于分布式数据存储的备份方法，其特征在于，所述将所述数据查询请求对应的查询结果信息发送至所述客户端，包括：
将备份数据目录中未存储有恢复数据对应条目的结果信息发送至所述客户端，并向该客户端发出用于提示恢复数据不存在的提示信息。
9.一种基于分布式数据存储的备份装置，其特征在于，包括：
第一服务单元，用于获取目标数据；
第一负载均衡单元，用于根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述目标数据发送至该目标对象网关；
存储单元，用于基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述目标数据发送至该磁盘组中的主磁盘内，以使该主磁盘对目标数据进行分割处理，将分割处理后的目标数据通过纠删码的方式写入该主磁盘对应的磁盘组中。
10.根据权利要求9所述的基于分布式数据存储的备份装置，其特征在于，所述存储单元包括：
存储子单元，用于基于目标数据的名称、磁盘组的存储结构和磁盘组的数据分布规则，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组。
11.根据权利要求9所述的基于分布式数据存储的备份装置，其特征在于，所述第一服务单元包括：
主服务器，用于接收对应的客户端发送的数据备份请求；
介质服务器，用于根据所述数据备份请求自发送该数据备份请求的客户端中获取所述目标数据。
12.根据权利要求11所述的基于分布式数据存储的备份装置，其特征在于，还包括：
目录单元，用于在预存储的备份数据目录中生成已备份的目标数据的条目，所述已备份数据的条目用于记载已备份的目标数据的属性。
13.根据权利要求9所述的基于分布式数据存储的备份装置，其特征在于，还包括：
第二服务单元，用于接收对应的客户端发送的数据恢复请求；
第二负载均衡单元，用于根据预设的轮询规则在多个对应的对象网关中选取一个目标对象网关，并将所述数据恢复请求发送至该目标对象网关；
恢复单元，用于基于预设条件，应用所述目标对象网关在多个分布式的磁盘组中选取一磁盘组，并将所述数据恢复请求发送至该磁盘组中的主磁盘内，以使该主磁盘根据所述数据恢复请求读取该主磁盘对应的磁盘组中存储的该数据恢复请求对应的恢复数据，以及将所述恢复数据发送至客户端。
14.根据权利要求9所述的基于分布式数据存储的备份装置，其特征在于，还包括：
接收单元，用于接收对应的客户端发送的数据查询请求；
查询单元，用于根据所述数据查询请求查询预存储的数据备份目录中是否存储所述数据查询请求对应的恢复数据的条目；
发送单元，用于将所述数据查询请求对应的查询结果信息发送至所述客户端。
15.根据权利要求14所述的基于分布式数据存储的备份装置，其特征在于，所述发送单元包括：
第一发送子单元，用于将备份数据目录中存储有恢复数据对应条目的结果信息发送至所述客户端，以使所述客户端根据该结果信息发出数据恢复请求。
16.根据权利要求14所述的基于分布式数据存储的备份装置，其特征在于，所述发送单元包括：
第二发送子单元，用于将备份数据目录中未存储有恢复数据对应条目的结果信息发送至所述客户端，并向该客户端发出用于提示恢复数据不存在的提示信息。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述的基于分布式数据存储的备份方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的基于分布式数据存储的备份方法的步骤。
CN201910618272.0A 2019-07-10 2019-07-10 基于分布式数据存储的备份方法及备份装置 Pending CN110324429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910618272.0A CN110324429A (zh) 2019-07-10 2019-07-10 基于分布式数据存储的备份方法及备份装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910618272.0A CN110324429A (zh) 2019-07-10 2019-07-10 基于分布式数据存储的备份方法及备份装置

Publications (1)

Publication Number Publication Date
CN110324429A true CN110324429A (zh) 2019-10-11

Family

ID=68121687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910618272.0A Pending CN110324429A (zh) 2019-07-10 2019-07-10 基于分布式数据存储的备份方法及备份装置

Country Status (1)

Country Link
CN (1) CN110324429A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851303A (zh) * 2019-11-12 2020-02-28 北京天华星航科技有限公司 一种数据备份方法、系统及设备
CN113296697A (zh) * 2021-03-17 2021-08-24 阿里巴巴新加坡控股有限公司 数据处理系统、数据处理方法以及装置
WO2021208400A1 (zh) * 2020-04-14 2021-10-21 上海爱数信息技术股份有限公司 现代应用的备份恢复系统及方法
CN115826876A (zh) * 2023-01-09 2023-03-21 苏州浪潮智能科技有限公司 数据写入方法、系统、存储硬盘、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567443A (zh) * 2011-10-25 2012-07-11 无锡城市云计算中心有限公司 一种分布式文件系统数据分片换段的方法
CN102752381A (zh) * 2012-06-28 2012-10-24 北京邮电大学 一种应用于分布式存储的多活动副本机制及其存取方法
WO2014077451A1 (ko) * 2012-11-13 2014-05-22 주식회사 유투엔 Iscsi 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
CN104102742A (zh) * 2014-07-31 2014-10-15 浪潮电子信息产业股份有限公司 一种高性能海量存储系统及存储方法
CN105404561A (zh) * 2015-11-19 2016-03-16 浙江宇视科技有限公司 一种分布式存储的纠删码实现方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567443A (zh) * 2011-10-25 2012-07-11 无锡城市云计算中心有限公司 一种分布式文件系统数据分片换段的方法
CN102752381A (zh) * 2012-06-28 2012-10-24 北京邮电大学 一种应用于分布式存储的多活动副本机制及其存取方法
WO2014077451A1 (ko) * 2012-11-13 2014-05-22 주식회사 유투엔 Iscsi 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
CN104102742A (zh) * 2014-07-31 2014-10-15 浪潮电子信息产业股份有限公司 一种高性能海量存储系统及存储方法
CN105404561A (zh) * 2015-11-19 2016-03-16 浙江宇视科技有限公司 一种分布式存储的纠删码实现方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851303A (zh) * 2019-11-12 2020-02-28 北京天华星航科技有限公司 一种数据备份方法、系统及设备
CN110851303B (zh) * 2019-11-12 2020-10-20 北京天华星航科技有限公司 一种数据备份方法、系统及设备
WO2021208400A1 (zh) * 2020-04-14 2021-10-21 上海爱数信息技术股份有限公司 现代应用的备份恢复系统及方法
CN113296697A (zh) * 2021-03-17 2021-08-24 阿里巴巴新加坡控股有限公司 数据处理系统、数据处理方法以及装置
CN113296697B (zh) * 2021-03-17 2024-04-19 阿里巴巴创新公司 数据处理系统、数据处理方法以及装置
CN115826876A (zh) * 2023-01-09 2023-03-21 苏州浪潮智能科技有限公司 数据写入方法、系统、存储硬盘、电子设备及存储介质
CN115826876B (zh) * 2023-01-09 2023-05-16 苏州浪潮智能科技有限公司 数据写入方法、系统、存储硬盘、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110324429A (zh) 基于分布式数据存储的备份方法及备份装置
US10977124B2 (en) Distributed storage system, data storage method, and software program
CN111506251B (zh) 数据处理方法、装置、smr存储系统及存储介质
CN103064765B (zh) 数据恢复方法、装置及集群存储系统
US7761426B2 (en) Apparatus, system, and method for continuously protecting data
CN101916173B (zh) 一种基于raid的数据读写方法及其系统
CN102314383B (zh) 数据索引的故障恢复方法和装置
US20160259694A1 (en) Method and device for organizing and restoring file indexeses
CN103246478B (zh) 一种基于软raid支持无分组式全局热备盘的磁盘阵列系统
CN104272274A (zh) 一种分布式文件存储系统中的数据处理方法及设备
CN103037004A (zh) 云存储系统操作的实现方法和装置
CN105824572A (zh) 一种磁盘存储空间管理方法、装置及存储设备
US10572335B2 (en) Metadata recovery method and apparatus
JP2006059347A (ja) ジャーナリングを使用した記憶システム
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
CN106331166A (zh) 一种存储资源的访问方法及装置
CN110147203A (zh) 一种文件管理方法、装置、电子设备及存储介质
CN105589733B (zh) 一种数据处理方法和装置
CN102142010A (zh) 嵌入式设备上的多媒体服务数据库录入数据的方法和设备
US20160253247A1 (en) Method and device for restoring system file indexes
US20190354433A1 (en) Parity log with by-pass
US7600151B2 (en) RAID capacity expansion interruption recovery handling method and system
US9858209B1 (en) Method and apparatus for restoring de-duplicated data
CN103049391B (zh) 数据处理方法和设备
CN102200891A (zh) 用于控制光盘驱动器存档系统的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191011

RJ01 Rejection of invention patent application after publication