CN106528351A - 数据备份方法及装置 - Google Patents

数据备份方法及装置 Download PDF

Info

Publication number
CN106528351A
CN106528351A CN201611247893.5A CN201611247893A CN106528351A CN 106528351 A CN106528351 A CN 106528351A CN 201611247893 A CN201611247893 A CN 201611247893A CN 106528351 A CN106528351 A CN 106528351A
Authority
CN
China
Prior art keywords
memory node
data
node
memory
belonging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611247893.5A
Other languages
English (en)
Inventor
郭军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201611247893.5A priority Critical patent/CN106528351A/zh
Publication of CN106528351A publication Critical patent/CN106528351A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据备份方法及装置,涉及信息技术领域,能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。所述方法包括:获取全量数据中的数据并将所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;将所述数据备份到所述第二存储节点中。

Description

数据备份方法及装置
技术领域
本发明涉及信息技术领域,特别是涉及一种数据备份方法及装置。
背景技术
随着信息技术的不断发展,分布式存储系统随之出现,分布式存储系统满足了大规模数据存储的需求。分布式存储系统通常包含不同存储节点,其中,存储节点可以为同一机房不同机柜中的存储节点,机房可以为不同地点的机房。在实际应用中,当存储节点的磁盘失效或者损坏时,存储在存储节点中的数据会丢失。为了保证数据的安全性,在分布式存储系统中,需要对数据进行备份。
目前,在进行数据备份时,通常将全量数据备份到分布式存储系统的每个存储节点中,全量数据为需要存储的所有数据。例如,全量数据包括数据1、数据2、…、数据5,在每个存储节点中都备份数据1、数据2、…、数据5。然而,分布式存储系统中的存储节点较多以及全量数据的数据量较大,若将全量数据备份到分布式存储系统的每个存储节点中,会造成每个存储节点存储数据的数据量较大,从而导致系统资源浪费。
发明内容
有鉴于此,本发明提供一种数据备份方法及装置。主要目的在于能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。
依据本发明一个方面,提供了一种数据备份方法,包括:
获取全量数据中的数据并将所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;
从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;
将所述数据备份到所述第二存储节点中。
依据本发明另一个方面,提供了一种数据备份装置,包括:
获取单元,用于获取全量数据中的数据;
备份单元,用于将所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的存储节点;
选择单元,用于选择从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;
所述备份单元,还用于将所述数据备份到所述第二存储节点中。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明实施例提供了一种数据备份方法及装置。首先获取全量数据中的数据并将所述数据存储到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;然后从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;最后将所述数据备份到所述第二存储节点中。与目前将全量数据备份到分布式存储系统的每个存储节点中相比,本发明实施例通过将全量数据中的数据存储到归属于不同机柜的存储节点中,能够实现在分布式存储系统的每个存储节点中存储非全量数据,从而能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据备份方法流程示意图;
图2示出了本发明实施例提供的一种分布式存储系统的存储结构示意图;
图3示出了本发明实施例提供的另一种数据备份方法流程示意图;
图4示出了本发明实施例提供的一种数据备份装置的结构示意图;
图5示出了本发明实施例提供的另一种数据备份装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种数据备份方法,如图1所示,所述方法包括:
101、获取全量数据中的数据并将全量数据中的数据备份到第一存储节点。
其中,所述第一存储节点为所述全量数据中的数据对应的主存储节点。所述全量数据可以为需要存储的所有数据。例如,全量数据包括数据1、数据2、…、数据5。存储节点可以为分布式存储系统中的存储节点,分布存储系统中通常设置有多个存储节点,不同存储节点对应的所属机柜可以相同,也可以不同;对应的所属机房可以相同,也可以不同。通常分布式存储系统提供商会在不同的地点设置不同的机房。
例如,分布式存储系统中包括5个存储节点:存储节点A、存储节点B、存储节点C、存储节点D、存储节点E、存储节点F,如图2所示,存储节点A、存储节点F均为机房1中机柜1上的存储节点,存储节点B为机房2中机柜2上的存储节点,存储节点E为机房2中机柜3上的存储节点,存储节点C为机房3中机柜4上的存储节点、存储节点D为机房3中机柜5上的存储节点。
需要说明的是,不同数据对应的主存储节点不同,不同数据与主存储节点之间的对应关系可以为预先配置的。不同数据与主存储节点之间的对应关系具体可以保存在存储节点存储表中,所述存储节点存储表中保存全量数据中各个数据应该存储的主存储节点。
例如,全量数据中数据1对应的主存储节点可以为存储节点A,数据2对应的主存储节点可以为存储节点B,数据3对应的主存储节点可以为存储节点C,数据4对应的主存储节点可以为存储节点D,数据5对应的主存储节点可以为存储节点F。
102、从分布式存储系统中选择第二存储节点。
其中,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同。所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房可以相同,也可以不同。
对于本发明实施例,与所述第一存储节点对应的所属机柜不同的第二存储节点可以为多个,步骤102具体可以包括:从分布式存储系统中选择一个第二存储节点。
例如,从全量数据中获取的数据为数据1,数据1对应的第一存储节点为存储节点D,则分布式存储系统中与存储节点D对应的所属机柜不同的存储节点为:存储节点A、存储节点B、存储节点C、存储节点E、存储节点F,可以从存储节点A、存储节点B、存储节点C、存储节点E、存储节点F中选择一个存储节点,选择的存储节点可以为存储节点B。当所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同时,与存储节点D对应的所属机房相同的存储节点为存储节点C,选择的存储节点可以为存储节点C。当所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房不同时,可以从存储节点A、存储节点F、存储节点B、存储节点E中选择一个存储节点,选择的存储节点可以为存储节点E。
103、将全量数据中的数据备份到第二存储节点中。
对于本发明实施例,通过将全量数据中的数据备份到不同机柜的存储节点中,可以实现在其中一个机柜故障而无法使用存储的数据时,访问其他机柜中的副本数据,从而能够保证数据的安全性。此外,通过将全量数据中的数据备份到不同机柜的存储节点中,能够实现在每个存储节点中存储非全量数据,从而能够在保证数据的安全性的同时,减少每个存储节点存储数据的数据量,进而能够避免系统资源浪费。
本发明实施例提供的一种数据备份方法。首先获取全量数据中的数据并将所述数据存储到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;然后从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;最后将所述数据备份到所述第二存储节点中。与目前将全量数据备份到分布式存储系统的每个存储节点中相比,本发明实施例通过将全量数据中的数据存储到归属于不同机柜的存储节点中,能够实现在分布式存储系统的每个存储节点中存储非全量数据,从而能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。
本发明实施例提供了另一种数据备份方法,如图3所示,所述方法包括:
201、获取全量数据中的数据并将全量数据中的数据备份到第一存储节点。
其中,所述第一存储节点为所述全量数据中的数据对应的主存储节点。
对于本发明实施例,所述将所述全量数据中的数据备份到第一存储节点之前,所述方法还可以包括:从预置存储位置中获取所述第一存储节点,其中,所述预置存储位置中保存有不同数据分别对应的主存储节点。数据与主存储节点之间的对应关系可以为预先配置的,具体可以在需要对全量数据进行备份之前配置的,即在需要对全量数据进行备份之前,分配全量数据中各个数据对应的主存储节点。所述预置存储位置为可以为预置存储节点分配数据表。
202、从分布式存储系统中选择第二存储节点。
其中,所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同但对应的所属机柜与所述第一存储节点对应的所属机柜不同。
对于本发明实施例,步骤202具体可以包括:从分布式存储系统中随机选择第二存储节点。
例如,获取全量数据中的数据为数据2,数据2对应的主存储节点为存储节点B,分布式存储系统中与存储节点B对应的所属机房相同但对应的所属机柜不同的存储节点为:存储节点E,其中,存储节点B和存储节点E对应的所属机房均为机房2,存储节点B对应的所属机柜为机柜2、存储节点E对应的所属机柜为机柜3,则从分布式存储系统中选择存储节点E并将数据2备份到存储节点E。在本例子中,当机柜2发生故障且无法从机柜2中读取数据2时,通过访问存储节点E中存储的数据2,可以保证数据2的安全性。
又例如,获取全量数据中的数据为数据3,数据3对应的主存储节点为存储节点C,分布式存储系统中与存储节点C对应的所属机房相同但对应的所属机柜不同的存储节点为:存储节点D,其中,存储节点C和存储节点D对应的所属机房均为机房3,存储节点C对应的所属机柜为机柜4、存储节点D对应的所属机柜为机柜5,则选择存储节点D并将数据3备份到存储节点D。在本例子中,当机柜4发生故障且无法从机柜4中读取数据3时,通过访问存储节点D中存储的数据3,可以保证数据3的安全性。
综合上述2个例子可知,与现有技术分布式存储系统中的所有存储节点都存储全量数据中的数据相比,本发明实施例通过将数据存储到与主存储节点对应的所属机房相同但对应的所属机柜不同的存储节点上,可以保证数据的安全性,且在保证数据的安全性的同时,减少了分布式存储系统的存储节点存储数据的数据量。
203、将全量数据中的数据备份到第二存储节点中。
对于本发明实施例,步骤203之前,所述方法还包括:检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值。此时,步骤203具体可以为:若所述第二存储节点中数据的数据量小于预置容量阈值,则将所述全量数据中的数据备份到所述第二存储节点中。
其中,所述预置容量阈值可以根据用户的需求进行设置,也可以根据系统默认模式进行设置,本发明实施例不做限定。例如,预置容量阈值为10000条,20000条等。
需要说明的是,当所述第二存储节点中数据的数据量大于或者等于预置容量阈值时,说明第二存储节点的存储空间已满,需要对存储节点进行扩容,然后将全量数据中的数据备份到扩容后的存储节点中;当所述第二存储节点中数据的数据量小于预置容量阈值时,说明第二存储节点的能够继续存储数据,则将全量数据中的数据备份到第二存储节点。
对于本发明实施例,所述检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值之后,所述方法还包括:若所述第二存储节点中数据的数据量大于或者等于预置容量阈值,则在所述第二存储节点对应的所属机柜中创建第四存储节点和第五存储节点;将所述第二存储节点中的数据平均存储到所述第四存储节点和所述第五存储节点并删除所述第二存储节点;将所述全量数据中的数据备份到所述第四存储节点和/或所述第五存储节点中。
其中,所述第四存储节点和第五存储节点的容量阈值可以与第二存储节点的容量阈值相同。通过在所述第二存储节点对应的所属机柜中创建第四存储节点和第五存储节点,并将所述第二存储节点中的数据平均存储到所述第四存储节点和所述第五存储节点,能够实现存储节点的扩容。且与现有技术在进行存储节点的扩容时,通过在第二存储节点的基础上新增存储节点相比,本发明实施例通过用第四存储节点和第五存储节点替代第二存储节点进行存储节点的扩容,避免了为存储的数据配置标识信息,简化了存储节点的扩容过程,从而提升了存储节点扩容的效率。
204、从分布式存储系统中选择第三存储节点。
其中,所述第三存储节点对应的所属机房与所述第一存储节点对应的所属机房不同。
例如,获取全量数据中的数据为数据2,数据2对应的主存储节点为存储节点B,分布式存储系统中与存储节点B对应的所属机房不同的存储节点为:存储节点A、存储节点F、存储节点C、存储节点D,其中,存储节点对应的所属机房为机房2,存储节点A、存储节点F对应的所属机房为机房1,存储节点C、存储节点D对应的所属机房为机房3,则从存储节点A、存储节点F、存储节点C、存储节点D中随机选择存储节点,选择的存储节点可以为存储节点C,将数据2备份到存储节点C。在本例子中,当机房2发生故障且无法从机房2中读取数据2时,通过访问机房3中的存储节点C中存储的数据2,可以保证数据2的安全性。
又例如,获取全量数据中的数据为数据3,数据3对应的主存储节点为存储节点C,分布式存储系统中与存储节点C对应的所属机房不同的存储节点为:存储节点A、存储节点F、存储节点B、存储节点E,其中,存储节点A、存储节点F对应的所属机房为机房1,存储节点B、存储节点E对应的所属机房为机房2,则从存储节点A、存储节点F、存储节点B、存储节点E中随机选择存储节点,选择的存储节点可以为存储节点E。在本例子中,当机房3发生故障且无法从机房3中读取数据3时,通过机房2中存储节点E中存储的数据3,可以保证数据3的安全性。
综合上述2个例子可知,与现有技术分布式存储系统中的所有存储节点都需要存储全量数据中的数据相比,本发明实施例通过将数据存储到与主存储节点对应的所属机房不同的存储节点上,可以保证数据的安全性,且在保证数据的安全性的同时,减少了分布式存储系统的存储节点存储数据的数据量。
对于本发明实施例,步骤204之前,所述方法还包括:检测所述第二存储节点对应的接口响应时间是否小于或者等于预置阈值。此时,步骤204具体可以为:若检测所述第二存储节点对应的接口响应时间小于或者等于预置阈值,则从分布式存储系统中选择第三存储节点。
其中,所述接口响应时间用于表示跨机房存储数据的反应速度快慢。所述预置阈值可以根据用户的需求进行设置,也可以根据系统默认模式进行设置,本发明实施例不做限定。例如,预置阈值为10s,20s等。当所述第二存储节点对应的接口响应时间小于或者等于预置阈值,则说明跨机房存储数据的反应速度较快,可以将数据存储到与数据对应的主存储节点所属机房不同的机房中,此时从分布式存储系统中选择第三存储节点。当所述第二存储节点对应的接口响应时间大于预置阈值,则说明跨机房存储数据的反应速度较慢,若将数据存储到与数据对应的主存储节点所属机房不同的机房中,会造成数据备份的速度较慢,从而导致数据备份的效率较低。通过在所述第二存储节点对应的接口响应时间小于预置阈值时,从分布式存储系统中选择与所述数据的主存储节点对应的所属机房不同的存储节点,能够保证数据备份的速度,从而能够保证数据备份的效率。
205、将全量数据中的数据备份到第三存储节点中。
对于本发明实施例,通过将全量数据中的数据备份到与对应的主存储节点所属机房相同但所属机柜不同的存储节点中,以及与对应的主存储节点所属机房不同的存储节点中,可以保证数据的安全性,且在保证数据的安全性的同时,实现了在分布式存储系统的每个存储节点中存储非全量数据,减少了分布式存储系统的存储节点存储数据的数据量,从而避免了系统资源浪费。
对于本发明实施例,虽然分布式存储系统的各个存储节点中都存储有非全量数据,但是当需要获取全量数据时,从各个存储节点中可以恢复出全量数据。
对于本发明实施例,具体应用场景可以如下所示,但不限于此,包括:
全量数据包括数据1、数据2、数据3、数据4、数据5。全量数据中数据与主存储节点之间的对应关系如表1所示,
表1
分布式存储系统中各个存储节点的关系可以如图2所示,按照将全量数据中的数据备份到与对应的主存储节点所属机房相同但所属机柜不同的存储节点中,以及与对应的主存储节点所属机房不同的存储节点中的策略存储后,全量数据中的数据的备份情况可以如表2所示,
表2
通过表2可知,与目前将全量数据备份到分布式存储系统的每个存储节点中相比,本发明实施例,通过将全量数据中的数据备份到与对应的主存储节点所属机房相同但所属机柜不同的存储节点中,以及与对应的主存储节点所属机房不同的存储节点中,可以保证数据的安全性,且在保证数据的安全性的同时,实现了在分布式存储系统的每个存储节点中存储非全量数据,减少了分布式存储系统的存储节点存储数据的数据量,从而避免了系统资源浪费。
如表2所示,当需要获取全量数据时,可以从存储节点A中获取数据1、然后从存储节点C中获取数据2、数据3、数据4,最后从存储节点B中数据5,从而得到全量数据。
本发明实施例提供的另一种数据备份方法。首先获取全量数据中的数据并将所述数据存储到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;然后从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;最后将所述数据备份到所述第二存储节点中。与目前将全量数据备份到分布式存储系统的每个存储节点中相比,本发明实施例通过将全量数据中的数据存储到归属于不同机柜的存储节点中,能够实现在分布式存储系统的每个存储节点中存储非全量数据,从而能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。
进一步地,作为图1的具体实现,本发明实施例提供了一种数据备份装置,如图4所示,所述装置包括:获取单元31、备份单元32、选择单元33。
获取单元31,可以用于获取全量数据中的数据。
备份单元32,可以用于将所述获取单元获取的所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的存储节点。
选择单元33,可以用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同。
所述备份单元32,还可以用于将所述获取单元31获取的所述数据备份到所述选择单元33选择的所述第二存储节点中。
本发明实施例提供的一种数据备份装置。首先获取全量数据中的数据并将所述数据存储到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;然后从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;最后将所述数据备份到所述第二存储节点中。与目前将全量数据备份到分布式存储系统的每个存储节点中相比,本发明实施例通过将全量数据中的数据存储到归属于不同机柜的存储节点中,能够实现在分布式存储系统的每个存储节点中存储非全量数据,从而能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。
进一步地,作为图2的具体实现,本发明实施例提供了另一种数据备份装置,如图5所示,所述装置包括:获取单元41、备份单元42、选择单元43。
获取单元41,可以用于获取全量数据中的数据。
备份单元42,可以用于将所述获取单元获取的所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的存储节点。
选择单元43,可以用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同。
所述备份单元42,还可以用于将所述获取单元41获取的所述数据备份到所述选择单元43选择的所述第二存储节点中。
所述选择单元43,具体可以用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同但对应的所属机柜与所述第一存储节点对应的所属机柜不同。
所述选择单元43,还可以用于从所述分布式存储系统中选择第三存储节点,所述第三存储节点对应的所属机房与所述第一存储节点对应的所属机房不同。
所述备份单元42,还用于将所述获取单元41获取的所述数据备份到所述选择单元选择的所述第三存储节点中。
进一步地,所述装置还包括:检测单元44。
所述检测单元44,可以用于检测所述第二存储节点对应的接口响应时间是否小于或者等于预置阈值。
所述选择单元,具体可以用于若所述检测单元44检测所述第二存储节点对应的接口响应时间小于或者等于预置阈值,则从分布式存储系统中选择第三存储节点。
所述选择单元43,具体可以用于从分布式存储系统中随机选择第二存储节点。
所述检测单元44,还可以用于检测所述第二存储节点中数据的数据量是否大于或者预置容量阈值。
所述备份单元42,具体可以用于若所述检测单元检测所述第二存储节点中数据的数据量小于或者预置容量阈值,则将所述全量数据中的数据备份到所述第二存储节点中。
进一步地,所述装置还包括:创建单元45、存储单元46和删除单元47。
所述创建单元45,可以用于若所述检测单元44检测所述第二存储节点中数据的数据量大于或者预置容量阈值,在所述第二存储节点对应的所属机柜中创建第四存储节点和第五存储节点。
所述存储单元46,可以用于将所述第二存储节点中的数据平均存储到所述第四存储节点和所述第五存储节点。
所述删除单元47,可以用于删除所述第二存储节点。
所述备份单元42,还可以用于将所述获取单元41获取的所述数据备份到所述创建单元45创建的所述第四存储节点和/或所述第五存储节点中。
所述获取单元41,还用于从预置存储位置中获取所述第一存储节点,所述预置存储位置中保存有不同数据分别对应的主存储节点。
本发明实施例提供的另一种数据备份装置。首先获取全量数据中的数据并将所述数据存储到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;然后从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;最后将所述数据备份到所述第二存储节点中。与目前将全量数据备份到分布式存储系统的每个存储节点中相比,本发明实施例通过将全量数据中的数据存储到归属于不同机柜的存储节点中,能够实现在分布式存储系统的每个存储节点中存储非全量数据,从而能够在保证数据安全性的前提下,减少每个存储节点存储数据的数据量,从而能够避免系统资源浪费。
本发明还提供了如下技术方案:
A1、一种数据备份方法,包括:
获取全量数据中的数据并将所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;
从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;
将所述数据备份到所述第二存储节点中。
A2、如A1所述的方法,所述从分布式存储系统选择第二存储节点包括:
从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同但对应的所属机柜与所述第一存储节点对应的所属机柜不同。
A3、如A2所述的方法,所述从分布式存储系统选择第二存储节点之后,所述方法还包括:
从所述分布式存储系统中选择第三存储节点,所述第三存储节点对应的所属机房与所述第一存储节点对应的所属机房不同;
将所述数据备份到所述第三存储节点中。
A4、如A3所述的方法,所述从分布式存储系统中选择第三存储节点之前,所述方法还包括:
检测所述第二存储节点对应的接口响应时间是否小于或者等于预置阈值;
所述从分布式存储系统中选择第三存储节点包括:
若是,则从分布式存储系统中选择第三存储节点。
A5、如A1所述的方法,所述从分布式存储系统选择第二存储节点包括:
从分布式存储系统中随机选择第二存储节点。
A6、如A1所述的方法,所述将所述数据备份到所述第二存储节点中之前,所述方法还包括:
检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值;
所述将所述数据备份到所述第二存储节点中包括:
若否,则将所述数据备份到所述第二存储节点中。
A7、如A6所述的方法,所述检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值之后,所述方法还包括:
若是,在所述第二存储节点对应的所属机柜中创建第四存储节点和第五存储节点;
将所述第二存储节点中的数据平均存储到所述第四存储节点和所述第五存储节点并删除所述第二存储节点;
将所述数据备份到所述第四存储节点和/或所述第五存储节点中。
A8、如A1-A6所述的方法,所述将所述数据存储到第一存储节点之前,所述方法还包括:
从预置存储位置中获取所述第一存储节点,其中,所述预置存储位置中保存有不同数据分别对应的主存储节点。
B9、一种数据备份装置,包括:
获取单元,用于获取全量数据中的数据;
备份单元,用于将所述获取单元获取的所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;
选择单元,用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;
所述备份单元,还用于将所述获取单元获取的所述数据备份到所述选择单元选择的所述第二存储节点中。
B10、如B9所述的装置,
所述选择单元,具体用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同但对应的所属机柜与所述第一存储节点对应的所属机柜不同。
B11、如B9所述的装置,
所述选择单元,还用于从所述分布式存储系统中选择第三存储节点,所述第三存储节点对应的所属机房与所述第一存储节点对应的所属机房不同;
所述备份单元,还用于将所述获取单元获取的所述数据备份到所述选择单元选择的所述第三存储节点中。
B12、如B11所述的装置,所述装置还包括:检测单元,
所述检测单元,用于检测所述第二存储节点对应的接口响应时间是否小于或者等于预置阈值;
所述选择单元,具体用于若所述检测单元检测所述第二存储节点对应的接口响应时间小于或者等于预置阈值,则从分布式存储系统中选择第三存储节点。
B13、如B11所述的装置,
所述选择单元,具体用于从分布式存储系统中随机选择第二存储节点。
B14、如B9所述的装置,所述装置还包括:检测单元,
所述检测单元,用于检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值;
所述备份单元,具体用于若检测单元检测所述第二存储节点中数据的数据量小于预置容量阈值,则将所述数据备份到所述第二存储节点中。
B15、如B14所述的装置,所述装置还包括:创建单元、存储单元和删除单元,
所述创建单元,用于若所述检测单元检测所述第二存储节点中数据的数据量大于或者等于预置容量阈值,在所述第二存储节点对应的所属机柜中创建第四存储节点和第五存储节点;
所述存储单元,用于将所述第二存储节点中的数据平均存储到所述第四存储节点和所述第五存储节点;
所述删除单元,用于删除所述第二存储节点;
所述备份单元,还用于将所述获取单元获取的所述数据备份到所述创建单元创建的所述第四存储节点和/或所述第五存储节点中。
B16、如B9所述的装置,
所述获取单元,还用于从预置存储位置中获取所述第一存储节点,所述预置存储位置中保存有不同数据分别对应的主存储节点。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据备份方法及装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种数据备份方法,包括:
获取全量数据中的数据并将所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;
从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;
将所述数据备份到所述第二存储节点中。
2.根据权利要求1所述的方法,其特征在于,所述从分布式存储系统选择第二存储节点包括:
从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同但对应的所属机柜与所述第一存储节点对应的所属机柜不同。
3.根据权利要求2所述的方法,其特征在于,所述从分布式存储系统选择第二存储节点之后,所述方法还包括:
从所述分布式存储系统中选择第三存储节点,所述第三存储节点对应的所属机房与所述第一存储节点对应的所属机房不同;
将所述数据备份到所述第三存储节点中。
4.根据权利要求3所述的方法,其特征在于,所述从分布式存储系统中选择第三存储节点之前,所述方法还包括:
检测所述第二存储节点对应的接口响应时间是否小于或者等于预置阈值;
所述从分布式存储系统中选择第三存储节点包括:
若是,则从分布式存储系统中选择第三存储节点。
5.根据权利要求1所述的方法,其特征在于,所述从分布式存储系统选择第二存储节点包括:
从分布式存储系统中随机选择第二存储节点。
6.根据权利要求1所述的方法,其特征在于,所述将所述数据备份到所述第二存储节点中之前,所述方法还包括:
检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值;
所述将所述数据备份到所述第二存储节点中包括:
若否,则将所述数据备份到所述第二存储节点中。
7.根据权利要求6所述的方法,其特征在于,所述检测所述第二存储节点中数据的数据量是否大于或者等于预置容量阈值之后,所述方法还包括:
若是,在所述第二存储节点对应的所属机柜中创建第四存储节点和第五存储节点;
将所述第二存储节点中的数据平均存储到所述第四存储节点和所述第五存储节点并删除所述第二存储节点;
将所述数据备份到所述第四存储节点和/或所述第五存储节点中。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述将所述数据存储到第一存储节点之前,所述方法还包括:
从预置存储位置中获取所述第一存储节点,其中,所述预置存储位置中保存有不同数据分别对应的主存储节点。
9.一种数据备份装置,包括:
获取单元,用于获取全量数据中的数据;
备份单元,用于将所述获取单元获取的所述数据备份到第一存储节点,所述第一存储节点为所述数据对应的主存储节点;
选择单元,用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机柜与所述第一存储节点对应的所属机柜不同;
所述备份单元,还用于将所述获取单元获取的所述数据备份到所述选择单元选择的所述第二存储节点中。
10.根据权利要求9所述的装置,其特征在于,
所述选择单元,具体用于从分布式存储系统中选择第二存储节点,所述第二存储节点对应的所属机房与所述第一存储节点对应的所属机房相同但对应的所属机柜与所述第一存储节点对应的所属机柜不同。
CN201611247893.5A 2016-12-29 2016-12-29 数据备份方法及装置 Pending CN106528351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611247893.5A CN106528351A (zh) 2016-12-29 2016-12-29 数据备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611247893.5A CN106528351A (zh) 2016-12-29 2016-12-29 数据备份方法及装置

Publications (1)

Publication Number Publication Date
CN106528351A true CN106528351A (zh) 2017-03-22

Family

ID=58339274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611247893.5A Pending CN106528351A (zh) 2016-12-29 2016-12-29 数据备份方法及装置

Country Status (1)

Country Link
CN (1) CN106528351A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871295A (zh) * 2017-12-01 2019-06-11 北京金山云网络技术有限公司 一种数据备份方法、备份装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201532630U (zh) * 2009-07-22 2010-07-21 升东网络科技发展(上海)有限公司 数据库全量备份系统
CN104615606A (zh) * 2013-11-05 2015-05-13 阿里巴巴集团控股有限公司 一种Hadoop分布式文件系统及其管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201532630U (zh) * 2009-07-22 2010-07-21 升东网络科技发展(上海)有限公司 数据库全量备份系统
CN104615606A (zh) * 2013-11-05 2015-05-13 阿里巴巴集团控股有限公司 一种Hadoop分布式文件系统及其管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张一春: "《高校数字教学资源共建与共享》", 31 December 2013 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871295A (zh) * 2017-12-01 2019-06-11 北京金山云网络技术有限公司 一种数据备份方法、备份装置、电子设备及存储介质
CN109871295B (zh) * 2017-12-01 2022-04-05 北京金山云网络技术有限公司 一种数据备份方法、备份装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105938448B (zh) 用于数据复制的方法和装置
CN104636409B (zh) 促进搜索结果的显示的方法、设备和产生搜索结果的方法
CN104516678B (zh) 用于数据存储的方法和设备
US8285677B2 (en) Method and apparatus for propagating tables while preserving cyclic foreign key relationships
CN104461826B (zh) 对象流转监控的方法、装置及系统
CN106528071B (zh) 目标代码的选取方法及装置
CN105653974B (zh) 一种文档防护方法及装置
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN103605538B (zh) 一种安装软件的方法和装置
CN107807797A (zh) 数据写入的方法、装置及服务器
CN110022315A (zh) 一种块链式账本中的权重管理方法、装置及设备
CN106909568A (zh) 一种数据库集群主数据库的切换方法及装置
CN106897342A (zh) 一种数据校验方法和设备
CN104461384B (zh) 一种数据写入方法及存储设备
CN103577546A (zh) 一种数据备份的方法、设备及分布式集群文件系统
CN107085546A (zh) 基于故障域技术的数据管理方法和装置
US10042570B2 (en) Tape backup and restore in a disk storage environment with intelligent data placement
CN106682021A (zh) 数据库迁移方法及装置
CN107016023B (zh) 累加检索处理方法和装置
CN106528351A (zh) 数据备份方法及装置
CN106682185A (zh) 防止Mongos集群中的均衡操作失效的方法和装置
CN102053855A (zh) 一种软件的生成系统及方法
CN102929798B (zh) 存储介质的层次组织结构
CN108536822A (zh) 数据迁移方法、装置、系统及存储介质
CN106528876B (zh) 分布式系统的信息处理方法及分布式信息处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322