CN101102176A - 一种数据备份方法 - Google Patents
一种数据备份方法 Download PDFInfo
- Publication number
- CN101102176A CN101102176A CNA2007101404089A CN200710140408A CN101102176A CN 101102176 A CN101102176 A CN 101102176A CN A2007101404089 A CNA2007101404089 A CN A2007101404089A CN 200710140408 A CN200710140408 A CN 200710140408A CN 101102176 A CN101102176 A CN 101102176A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- backup
- host
- host node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据备份方法,应用于负荷分担组网系统,将数据分发存放在负荷分担组网系统的节点中,所述节点记为主节点,其特征在于,为系统中每一个主节点设置数据备份节点,所述数据备份节点存储其对应的主节点的备份数据,该备份数据和主节点的数据一致。本发明满足了负荷分担组网系统中数据持续性、可靠性要求的需求,节省了系统的组网成本,提高了系统的运行速度。
Description
技术领域
本发明涉及一种数据备份方法,特别涉及一种负荷分担组网系统中的数据备份方法。
背景技术
目前对于有数据持续性、可靠性要求的系统,负荷分担组网系统不能适用。因为在单个节点出现异常后,会造成此节点的业务数据丢失。
现有技术中,一种解决方案是对负荷分担组网系统的每个节点都采用双机进行主备切换,但是这种方案成本太高,其中备机平时不运行业务,造成浪费。而且主备切换机制需要采用磁盘作为共享,在切换时交换主机和备机的数据,这样就导致两个缺陷:一方面,增加磁盘,增加了成本;另一方面,在高性能的要求下,磁盘操作成为性能瓶颈。
发明内容
本发明所要解决的技术问题是,克服现有的负荷分担组网系统中无法保持数据持续性的问题,提供一种高效、可靠的保持负荷分担组网系统中数据持续性、可靠性的方法。
为了解决上述技术问题,本发明提出了一种数据备份方法,应用于负荷分担组网系统,将数据分发存放在负荷分担组网系统的节点中,所述节点记为主节点,其特征在于,为系统中每一个主节点设置数据备份节点,所述数据备份节点存储其对应的主节点的备份数据,该备份数据和主节点的数据一致。
进一步地,上述方法还可具有以下特点,所述数据备份节点为一个或多个节点。
进一步地,上述方法还可具有以下特点,主节点和数据备份节点是相对而言,数据备份节点为负荷分担组网系统中异于其主节点的任意节点。
进一步地,上述方法还可具有以下特点,在对主节点的数据进行存储、更改或删除操作时,也对其数据备份节点的备份数据进行同样的操作。
进一步地,上述方法还可具有以下特点,查询主节点的数据时,如果主节点正常,查询主节点的数据;如果主节点异常,则查询其数据备份节点的备份数据。
进一步地,上述方法还可具有以下特点,主节点异常时,新的业务被分担到系统中其他主节点上,系统的业务不因为该主节点异常而受到影响。
进一步地,上述方法还可具有以下特点,如果所述负荷分担组网系统中某节点异常,如果该节点为主节点,修复使用后,从其数据备份节点将该主节点的数据导出,再导入到该主节点,进行加载。
进一步地,上述方法还可具有以下特点,如果所述负荷分担组网系统中某节点异常,如果该节点为数据备份节点,修复使用后,将其对应主节点的数据导入到该节点进行数据备份。
进一步地,上述方法还可具有以下特点,所述方法的一种典型的情况是,负荷分担组网系统中每个节点存储自身的数据,同时也作为系统中其他某一节点的数据备份节点。
进一步地,上述方法还可具有以下特点,所述方法的一种实现方式为循环备份方式,即在具有n个节点的负荷分担组网系统中,n≥2,节点i+1备份节点i的数据,i取值为1到n-1,节点1备份节点n的数据。
本发明满足了负荷分担组网系统中数据持续性、可靠性要求的需求,节省了系统的组网成本,提高了系统的运行速度。
附图说明
图1是本发明数据备份方法组网示例(循环备份方式)图。
图2是图1所示系统在主机正常情况下的数据操作(增加、删除、更改)流向示意图。
图3是图1所示系统在主机正常情况下的数据操作(查询)流向示意图。
图4是图1所示系统在主机异常情况下的数据操作(删除、更改、查询)流向示意图。
图5是图1所示系统在主机恢复时的数据操作流向示意图。
具体实施方式
本发明采用的技术方案是:将数据存放在负荷分担组网系统的每一个节点(也称为主节点)的存储介质中,该存储介质可以是内存或者共享内存,或者其他存储介质,同时将系统中另一个异于该主节点的节点作为该主节点数据备份节点,存储该主节点的备份数据,备份数据和主节点的存储数据完全一致。
主节点和数据备份节点是相对而言,如果节点所存储的数据是本节点产生的业务数据,则该节点为负荷分担组网系统的一个主节点,如果该节点同时还存储所在负荷分担组网系统中另一节点的备份数据,则该节点还是所述另一节点的数据备份节点。每个主节点可以有一个或多个数据备份节点。主节点和数据备份节点在同一负荷分担组网系统中。
备份数据可以存储在所在负荷分担组网系统中除了本节点以外的任意节点上。
典型的一种方式是在负荷分担组网系统中每个节点存储自身的数据,同时也作为其他某一节点的数据备份节点。
同时还有很多其它的方式,如集中备份方式,其中一个节点专门作为备份数据节点,存储所有其他节点的备份数据。
在存储数据、更改数据和删除数据时,在对主节点的数据进行操作后,也要对其数据备份节点的备份数据进行同样的操作,在确认主节点数据操作正确后,再对备份节点进行同样操作,保证主备节点数据的一致性。在查询主节点数据时,如果主节点异常,则查询其数据备份节点。
本发明所述的方法包括以下步骤:
步骤一,将数据分发存放在负荷分担组网系统的多个节点中;
步骤二,为步骤一所述多个节点的每一个设置一个或多个数据备份节点,用以存储各个节点的备份数据,并保持数据备份节点的备份数据和其主节点完全一致。
数据备份节点为负荷分担组网系统中除其主节点以外的任意其他节点。
存储数据、更改数据和删除数据时,在对主节点的数据进行操作时,也对数据备份节点的备份数据进行同样的操作。在主节点正常的情况下,进行查询时,查询主节点的数据,不对其数据备份节点的备份数据进行查询操作。
如果在查询主节点数据时,主节点异常,则查询其数据备份节点的备份数据。此时,主节点的历史数据仍可以访问(在数据备份节点处获得),新的业务被分担到其他主节点,因此,系统的业务不会因为某个主节点异常而受到影响。
当某个节点异常,如果是主节点,修复使用后,需要做的恢复工作有:
从其数据备份节点将该主节点的数据导出,再导入到该主节点,进行加载。如果该主节点还作为其他主节点的数据备份节点,则还需要将对应主节点的数据导入到该主节点进行数据备份。
如果该异常节点只作为数据备份节点,修复使用后,则只需要将其对应的主节点的数据导入该节点进行数据备份。
下面将结合附图对本发明的技术方案进行更详细的说明。
本发明所述的数据备份方法是在负荷分担组网系统中异于其主节点的任意一个或多个节点上冗余保存该主节点的备份数据。
一种典型的情况是,负荷分担组网系统中每个节点存储自身的数据,同时也作为系统中其他某一节点的数据备份节点。采用此种方式,仅需要每个节点存放数据的存储空间多占用一倍,不需要增加新机器。
下面通过本发明的一应用实例进一步说明本发明。
如图1所示,应用程序(App)分为n个节点采用负荷分担的方法组网,每个应用程序需要访问自己的数据(Data),例如App1需要访问Data1,App2需要访问Data2。还需要在每个节点上再增加一个数据备份DataBak,大小为其需要备份的数据大小,其所备份的节点可以是本节点以外的所有其他节点。图1所示的是循环备份方法,即节点2备份节点1的数据,节点3备份节点2的数据......节点n备份节点n-1的数据,节点1备份节点n的数据。在这种方式下,节点x上的备份数据(DataBak[x])的大小和节点x-1上的数据(Data[x])是对应的,其中的数据要保持一致。
如图2所示,在对主节点的数据进行增加、更改和删除时,也对其数据备份节点的备份数据进行同样的操作。本图以节点2为例,在对Data2进行操作的同时,也对存节点2的数据备份节点即节点3的DataBak2进行同样的操作。
本操作中,负荷分担组网系统采用现有的技术,例如4层交换机根据业务的IP、端口等进行分发,或者前置机进行专门的业务分发,或者是其他的现有的集群技术等。仍维持原来的分发策略,不需要进行其他的修改。这样,业务仍然分发到原有的节点上。
每个节点上的应用程序,根据配置的备份方法,找到对应的备份数据所在的节点,对本节点的数据和对应数据备份节点上的备份数据进行同样的操作。
如图3所示,在主节点正常的情况下,查询的数据请求,根据原来的负荷分担或者应用程序App自身的解析,可以在主节点获取到相应的数据,不需要对其数据备份节点的数据进行操作。
如图4所示,在主节点异常的情况下,以节点2为例,此时负荷分担系统可以检测到节点2异常,如果此处配置负荷分担组网系统的备份方法为循环备份的话,即x节点的备用节点为x+1,则此时负荷分担组网系统将此应用程序的请求发送给节点3。节点3根据业务解析,可以得知此业务数据在节点2上,同时检测到节点2异常,则将数据请求发送给节点2的数据备用节点--节点3上的备用数据DataBak2。
此时,由于负荷分担系统已经检测到节点2异常,则对于节点2,不会有新的业务产生,则对应的Data2,DataBak2的数据,是不会新增加的。其新的业务,被负荷分担系统平均分配到其他正常节点上。对于修改和查询、删除节点2的数据等操作,则按照如图4所示的数据流向进行,这样,在主节点异常的情况,对历史数据的查询、修改和删除仍然可以进行。
如图5所示,当主节点异常,修复使用后,需要做的恢复工作有:
从数据备份节点将其主节点的数据导出,再导入到主节点。
如果该主节点还作为其他节点的数据备份节点,则还需要将对应主节点的数据导入到该节点的备份模块。
图5中所示为将节点3上的DataBak2导入到节点2上的Data2中,将节点1上的Data1导入到节点2上的DataBak1中。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1、一种数据备份方法,应用于负荷分担组网系统,将数据分发存放在负荷分担组网系统的节点中,所述节点记为主节点,其特征在于,为系统中每一个主节点设置数据备份节点,所述数据备份节点存储其对应的主节点的备份数据,该备份数据和主节点的数据一致。
2、如权利要求1所述的方法,其特征在于,所述数据备份节点为一个或多个节点。
3、如权利要求1所述的方法,其特征在于:
主节点和数据备份节点是相对而言,数据备份节点为负荷分担组网系统中异于其主节点的任意节点。
4、如权利要求1所述的方法,其特征在于:
在对主节点的数据进行存储、更改或删除操作时,也对其数据备份节点的备份数据进行同样的操作。
5、如权利要求1所述的方法,其特征在于:
查询主节点的数据时,如果主节点正常,查询主节点的数据;如果主节点异常,则查询其数据备份节点的备份数据。
6、如权利要求1所述的方法,其特征在于:
主节点异常时,新的业务被分担到系统中其他主节点上,系统的业务不因为该主节点异常而受到影响。
7、如权利要求1所述的方法,其特征在于:
如果所述负荷分担组网系统中某节点异常,如果该节点为主节点,修复使用后,从其数据备份节点将该主节点的数据导出,再导入到该主节点,进行加载。
8、如权利要求1或7所述的方法,其特征在于:
如果所述负荷分担组网系统中某节点异常,如果该节点为数据备份节点,修复使用后,将其对应主节点的数据导入到该节点进行数据备份。
9、如权利要求1所述的方法,其特征在于:
所述方法的一种典型的情况是,负荷分担组网系统中每个节点存储自身的数据,同时也作为系统中其他某一节点的数据备份节点。
10、如权利要求9所述的方法,其特征在于:
所述方法的一种实现方式为循环备份方式,即在具有n个节点的负荷分担组网系统中,n≥2,节点i+1备份节点i的数据,i取值为1到n-1,节点1备份节点n的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101404089A CN101102176A (zh) | 2007-08-10 | 2007-08-10 | 一种数据备份方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101404089A CN101102176A (zh) | 2007-08-10 | 2007-08-10 | 一种数据备份方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101102176A true CN101102176A (zh) | 2008-01-09 |
Family
ID=39036291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007101404089A Pending CN101102176A (zh) | 2007-08-10 | 2007-08-10 | 一种数据备份方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101102176A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064759A (zh) * | 2012-12-18 | 2013-04-24 | 华为技术有限公司 | 数据修复的方法及装置 |
CN103176861A (zh) * | 2011-12-26 | 2013-06-26 | 富泰华工业(深圳)有限公司 | 用于数据备份的存储系统及备份方法 |
CN104182296A (zh) * | 2013-05-23 | 2014-12-03 | 索尼公司 | 数据处理系统、数据处理设备以及存储介质 |
CN111857548A (zh) * | 2019-04-29 | 2020-10-30 | 杭州海康威视系统技术有限公司 | 数据读取方法、装置及系统 |
CN114697328A (zh) * | 2022-03-25 | 2022-07-01 | 浪潮云信息技术股份公司 | NiFi高可用集群模式的实现方法及系统 |
-
2007
- 2007-08-10 CN CNA2007101404089A patent/CN101102176A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103176861A (zh) * | 2011-12-26 | 2013-06-26 | 富泰华工业(深圳)有限公司 | 用于数据备份的存储系统及备份方法 |
CN103064759A (zh) * | 2012-12-18 | 2013-04-24 | 华为技术有限公司 | 数据修复的方法及装置 |
CN103064759B (zh) * | 2012-12-18 | 2016-02-03 | 华为技术有限公司 | 数据修复的方法及装置 |
CN104182296A (zh) * | 2013-05-23 | 2014-12-03 | 索尼公司 | 数据处理系统、数据处理设备以及存储介质 |
CN111857548A (zh) * | 2019-04-29 | 2020-10-30 | 杭州海康威视系统技术有限公司 | 数据读取方法、装置及系统 |
CN111857548B (zh) * | 2019-04-29 | 2023-05-30 | 杭州海康威视系统技术有限公司 | 数据读取方法、装置及系统 |
CN114697328A (zh) * | 2022-03-25 | 2022-07-01 | 浪潮云信息技术股份公司 | NiFi高可用集群模式的实现方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11120152B2 (en) | Dynamic quorum membership changes | |
US10437721B2 (en) | Efficient garbage collection for a log-structured data store | |
US10331655B2 (en) | System-wide checkpoint avoidance for distributed database systems | |
US10747746B2 (en) | Efficient read replicas | |
EP3416060B1 (en) | Fast crash recovery for distributed database systems | |
US9880933B1 (en) | Distributed in-memory buffer cache system using buffer cache nodes | |
US7237027B1 (en) | Scalable storage system | |
CN107465721B (zh) | 基于双活架构的全局负载均衡方法和系统及调度服务器 | |
US9395933B2 (en) | Distributed storage system, distributed storage method, and program and storage node for distributed storage | |
CN101090401B (zh) | 一种群集环境下的数据缓存方法及系统 | |
CN102148850B (zh) | 一种集群系统的业务处理方法及集群系统 | |
CN102411637B (zh) | 分布式文件系统的元数据管理方法 | |
CN102411639B (zh) | 元数据的多副本存储管理方法和系统 | |
CN103246616A (zh) | 一种长短周期访问频度的全局共享缓存替换方法 | |
CN103905537A (zh) | 分布式环境下管理工业实时数据存储的系统 | |
CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
EP1863222B1 (en) | A disaster recovery system and method of service controlling device in intelligent network | |
US12032550B2 (en) | Multi-tenant partitioning in a time-series database | |
CN101876924A (zh) | 数据库故障自动检测及转移方法 | |
JP2004334574A (ja) | ストレージの運用管理プログラム、運用管理方法及び管理計算機 | |
CN102739720A (zh) | 分布式缓存服务器系统及其应用方法、缓存客户端、缓存服务端 | |
US11250019B1 (en) | Eventually consistent replication in a time-series database | |
CN113010496A (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
CN104111924A (zh) | 一种数据库系统 | |
CN101753405A (zh) | 集群服务器内存管理方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20080109 |