CN101834904A - 一种数据备份方法和设备 - Google Patents
一种数据备份方法和设备 Download PDFInfo
- Publication number
- CN101834904A CN101834904A CN201010171827A CN201010171827A CN101834904A CN 101834904 A CN101834904 A CN 101834904A CN 201010171827 A CN201010171827 A CN 201010171827A CN 201010171827 A CN201010171827 A CN 201010171827A CN 101834904 A CN101834904 A CN 101834904A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- backup
- management server
- backup server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种数据备份方法和设备,通过应用本发明的技术方案,可使用低带宽网络环境中的存储设备进行数据灾备,使复制过程利用网络并发增加带宽,从而提升复制的整体性能,并将经常需要使用和修改的数据集中到网络状况较好的网络存储设备上,而将不经常使用和修改的数据存储在网络状况相对较差的网络存储设备上,不仅在提高复制性能的同时,也保障了当生产中心发生故障时,灾备中心顶替后的业务性能。
Description
技术领域
本发明涉及通信技术领域,特别涉及一种数据备份方法和设备。
背景技术
存储复制技术主要包括磁盘阵列复制技术,主机卷复制技术以及一些文件复制技术。
存储复制方案的技术核心是利用存储阵列自身的盘阵对盘阵的数据块复制技术实现对生产数据的远程拷贝,从而实现生产数据的灾难保护。在主数据中心发生灾难时,可以利用灾备中心的数据在灾备中心建立运营支撑环境,为业务继续运营提供IT支持。同时,也可以利用灾备中心的数据恢复主数据中心的业务系统,从而能够让企业的业务运营快速回复到灾难发生前的正常运营状态。
基于存储的复制方案有两种方式:同步方式和异步方式。同步方式,可以做到主/备中心磁盘阵列同步地进行数据更新,应用系统的I/O写入主磁盘阵列后(写入Cache中),主磁盘阵列将利用自身的机制同时将写I/O写入后备磁盘阵列,后备磁盘阵列确认后,主中心磁盘阵列才返回应用的写操作完成信息。异步方式,是在应用系统的I/O写入主磁盘阵列后(写入Cache中),主磁盘阵列立即返回给主机应用系统“写完成”信息,主机应用可以继续进行读、写I/O操作。同时,主中心磁盘阵列将利用自身的机制将写I/O写入后备磁盘阵列,实现数据保护。采用同步方式,使得后备磁盘阵列中的数据总是与生产系统数据同步,因此当生产数据中心发生灾难事件时,不会造成数据丢失。为避免对生产系统性能的影响,同步方式通常在近距离范围内(FC连接通常是200KM范围内,实际用户部署多在35KM左右)。而采用异步方式应用程序不必等待远程更新的完成,因此远程数据备份的性能的影响通常较小,所以一般可以到100KM左右。
远程复制是在两台存储设备所管理的资源之间进行数据同步。这两台存储设备分别称为源服务器和目标服务器,它们所处的站点分别称为生产中心和灾备中心,其中灾备中心为生产中心提供数据备份。
当条件满足预设策略时,生产中心的存储设备启动数据复制,把源磁盘的数据复制到灾备中心的副本磁盘中,为源磁盘生成远端数据副本。
目前现有的远程复制技术,已实现了一个生成中心的数据同时备份到一个或者多个灾备中心,如图1所示,为现有技术中单生产中心-多灾备中心示意图。
灾备中心相互间的数据相互备份也可同时将不同生成中心的数据备份到一个灾备中,如图2所示,为现有技术中多生产中心-单灾备中心示意图。
随着虚拟化技术的成熟,将多个分散的存储设备虚拟成一个完整的大型存储设备已经可以运用。
现有技术中通过虚拟化设备连接多个网络上分散的存储节点,并对挂载上来的存储资源进行虚拟化,分配虚拟地址,如图3所示,为现有技术中存储虚拟化组网示意图。
虚拟化设备将通过网络挂载上来的存储设备的物理资源进行虚拟地址分配,如图3中,物理资源D在存储设备D上所分配的地址为101-600,在经虚拟化后,虚拟化设备为其分配的地址则为1501-2000;同样其他挂载上来的物理资源都被分配了相应的虚拟地址。而虚拟地址与物理地址的映射关系,则保存在虚拟化设备的一个表象中。
由于分散的物理资源经虚拟化设备进行虚拟化后,被作为连续的虚拟资源使用,则可以在虚拟化设备上创建跨越4个物理设备的SAN资源,并将其作为灾备中心来备份数据,将大型生产中心的数据分散存储到几个相对较小的灾备中心而不需要重新够买相应的大型存储设备。
比如在图3的虚拟化设备上创建一个120G的SAN资源:每个虚拟资源上划分30G的存储空间。创建处理的SAN资源,则可以用来备份空间大小为120G的生产中心数据,如图4所示,为现有技术中网络虚拟化存储灾备灾备示意图。
生产中心将源数据远程复制到虚拟化设备创建的虚拟SAN资源中,实际存储在挂载到虚拟化设备的4个存储设备的物理资源中。按创建SAN时所占用的空间加以存储,每个存储设备存储30G的数据。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
现有技术在解决了将几个分散在各地的灾备中心整合,以应付大型数据的备份容灾的同时,却无法解决不同灾备中心,由于所连接网络本身性能差异或个别网络波动,而导致的复制性能低的问题。如果生产中心新数据创建非常迅速时,这样的构架将不能适用。
一旦虚拟化设备创建完SAN资源后,SAN资源实际分配到物理资源地址就已确定,无法更改,当发生只对SAN资源某一块数据反复修改,而这块数据又恰恰只存在一个物理设备上,那么这一物理设备网络连接的带宽将成为复制的瓶颈。
虚拟化设备创建跨多个存储设备的SAN资源后,一旦其中某个设备出现故障,此SAN就不可以再用,需重新创建一个新的。这样就需要将所有备份的数据重新复制一遍,耗时很长,影响数据的安全性。
发明内容
本发明提供一种数据备份方法和设备,实现根据各备份设备的实际传输速率分配待备份数据资源,提高备份效率。
为达到上述目的,本发明一方面提供了一种数据备份方法,应用于包括多个备份服务器、数据服务器和管理服务器的系统中,所述管理服务器与所述数据服务器和多个备份服务器相连接,将所述数据服务器中的数据分配到相应的备份服务器中进行备份,所述管理服务器中建立数据备份列表,记录所述数据服务器中的数据在各备份服务器中的存储位置信息,所述方法具体包括以下步骤:
所述管理服务器获取各备份服务器所对应的网络传输速度信息;
所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述数据服务器中对应比例的数据分配给相应的备份服务器进行存储。
优选的,所述管理服务器获取各备份服务器所对应的网络传输速度信息,具体为:
所述管理服务器分别向各备份服务器发送测试消息;
所述管理服务器接收各备份服务器返回的所述测试消息的响应消息,并记录所述响应消息与所述测试消息之间的时间延迟信息;
所述管理服务器根据所述时间延迟信息,确定相应的备份服务器的网络传输速度信息。
优选的,所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述数据服务器中对应比例的数据分配给相应的备份服务器进行存储,具体为:
所述管理服务器确定待备份的数据;
所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述待备份的数据分为对应比例的数据块;
所述管理服务器分别将各所述数据块发送给相应的备份服务器。
优选的,当一个或多个备份服务器在数据复制的过程中出现故障时,所述方法还包括:
所述管理服务器将所述发生故障的备份服务器没有传输完成的数据,按照剩余的各备份服务器的网络传输速度信息的比例,分为对应比例的数据块;
所述管理服务器分别将各所述数据块发送给相应的备份服务器。
优选的,当已经备份的数据发生变更时,所述方法还包括:
所述管理服务器确定发生变更的数据;
所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述发生变更的数据分为对应比例的数据块;
所述管理服务器分别将各所述数据块发送给相应的备份服务器。
优选的,所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述发生变更的数据分为对应比例的数据块,具体为:
所述管理服务器优先为网络传输速率快的备份服务器分配数据块。
另一方面,本发明还提供了一种管理服务器,应用于包括多个备份服务器、数据服务器和管理服务器的系统中,所述管理服务器与所述数据服务器和多个备份服务器相连接,包括:
列表维护模块,用于建立数据备份列表,记录所述数据服务器中的数据在各备份服务器中的存储位置信息;
获取模块,用于获取各备份服务器所对应的网络传输速度信息;
分配模块,与所述列表维护模块和所述获取模块相连接,用于根据所述获取模块所获取的各备份服务器的网络传输速度信息的比例,将所述数据服务器中对应比例的数据分配给相应的备份服务器进行存储,并通过所述列表维护模块所建立的数据备份列表记录已备份的数据的存储位置信息。
优选的,所述获取模块分别向各备份服务器发送测试消息;
所述获取模块接收各备份服务器返回的所述测试消息的响应消息,并记录所述响应消息与所述测试消息之间的时间延迟信息;
所述获取模块根据所述时间延迟信息,确定相应的备份服务器的网络传输速度信息。
优选的,所述分配模块确定待备份的数据;
所述分配模块根据所述获取模块所获取的各备份服务器的网络传输速度信息的比例,将所述待备份的数据分为对应比例的数据块;
所述分配模块分别将各所述数据块发送给相应的备份服务器。
优选的,当一个或多个备份服务器在数据复制的过程中出现故障时,
所述分配模块将所述发生故障的备份服务器没有传输完成的数据,按照剩余的各备份服务器的网络传输速度信息的比例,分为对应比例的数据块;
所述分配模块分别将各所述数据块发送给相应的备份服务器。
优选的,当已经备份的数据发生变更时,
所述分配模块确定发生变更的数据;
所述分配模块根据所述各备份服务器的网络传输速度信息的比例,将所述发生变更的数据分为对应比例的数据块;
所述分配模块分别将各所述数据块发送给相应的备份服务器。
其中,所述分配模块优先为网络传输速率快的备份服务器分配数据块。
与现有技术相比,本发明具有以下优点:
通过应用本发明的技术方案,可使用低带宽网络环境中的存储设备进行数据灾备,使复制过程利用网络并发增加带宽,从而提升复制的整体性能,并将经常需要使用和修改的数据集中到网络状况较好的网络存储设备上,而将不经常使用和修改的数据存储在网络状况相对较差的网络存储设备上,不仅在提高复制性能的同时,也保障了当生产中心发生故障时,灾备中心顶替后的业务性能。
附图说明
图1为现有技术中单生产中心-多灾备中心示意图;
图2为现有技术中多生产中心-单灾备中心示意图;
图3为现有技术中存储虚拟化组网示意图;
图4为现有技术中网络虚拟化存储灾备灾备示意图
图5为本发明所提出的一种数据备份方法的流程示意图;
图6为本发明所提出的一种具体应用场景下数据备份方法的流程示意图;
图7为本发明所提出的一种应用数据备份方法的具体应用场景的示意图;
图8为本发明所提出的一种应用数据备份方法的具体应用场景的示意图;
图9为本发明所提出的一种处理服务器的结构示意图。
具体实施方式
针对现有技术中的不足,需要提出一种方法,在低带宽网络环境下通过本技术将数据备份到网络中分散的存储设备上,使复制过程利用网络并发增加带宽,从而提升复制的整体性能。
基于上述目的,本发明所提出了一种数据备份方法,应用于包括多个备份服务器、数据服务器和管理服务器的系统中,管理服务器与数据服务器和多个备份服务器相连接,将数据服务器中的数据分配到相应的备份服务器中进行备份,管理服务器中建立数据备份列表,记录数据服务器中的数据在各备份服务器中的存储位置信息。
如图5所示,为本发明所提出的一种数据备份方法的流程示意图,具体包括以下步骤:
步骤S501、管理服务器获取各备份服务器所对应的网络传输速度信息。
本步骤的具体实现过程为:
管理服务器分别向各备份服务器发送测试消息;
管理服务器接收各备份服务器返回的测试消息的响应消息,并记录响应消息与测试消息之间的时间延迟信息;
管理服务器根据时间延迟信息,确定相应的备份服务器的网络传输速度信息。
步骤S502、管理服务器根据各备份服务器的网络传输速度信息的比例,将数据服务器中对应比例的数据分配给相应的备份服务器进行存储。
本步骤的具体实现过程为:
管理服务器确定待备份的数据;
管理服务器根据各备份服务器的网络传输速度信息的比例,将待备份的数据分为对应比例的数据块;
管理服务器分别将各数据块发送给相应的备份服务器。
在具体的应用场景中,当一个或多个备份服务器在数据复制的过程中出现故障时,该方法还包括:
管理服务器将发生故障的备份服务器没有传输完成的数据,按照剩余的各备份服务器的网络传输速度信息的比例,分为对应比例的数据块;
管理服务器分别将各数据块发送给相应的备份服务器。
在具体的应用场景中,当已经备份的数据发生变更时,该方法还包括:
管理服务器确定发生变更的数据;
管理服务器根据各备份服务器的网络传输速度信息的比例,将发生变更的数据分为对应比例的数据块;
管理服务器分别将各数据块发送给相应的备份服务器。
其中,管理服务器优先为网络传输速率快的备份服务器分配数据块。
与现有技术相比,本发明具有以下优点:
通过应用本发明的技术方案,可使用低带宽网络环境中的存储设备进行数据灾备,使复制过程利用网络并发增加带宽,从而提升复制的整体性能,并将经常需要使用和修改的数据集中到网络状况较好的网络存储设备上,而将不经常使用和修改的数据存储在网络状况相对较差的网络存储设备上,不仅在提高复制性能的同时,也保障了当生产中心发生故障时,灾备中心顶替后的业务性能。
为了进一步阐述本发明的技术思想,现结合具体的应用场景,对本发明的技术方案进行说明。
本发明的技术思想在于:复制发起前,首先检测数据身材端与网络存储备间的网络状况,并就各网络的带宽将要复制的数据按比例分割进行远程复制。使复制过程中的数据传输在所有路径上并发进行,以提高整体数据的复制效率。复制完一个数据块后在虚拟化服务器端的数据块bitmap表中记录数据块存储的存储设备编号以及对应地址,并复制给所有的灾备物理资源进行备份。待到达下一个复制触发点时,对增量的数据进行相同操作。
若生产中心发生故障,则可以通过虚拟化服务器,提升各灾备中心的数据,维持正常的业务。业务通过虚拟化服务器中记录的数据块bitmap表,读取或修改各灾备中心的数据。待生产中心恢复后,通过bitmap表将各灾备中心物理资源中的数据复制回生产中心,复制完成后,生产中心恢复正常。
如果在复制过程中虚拟化服务器发生故障,则复制过程中断。待虚拟化服务器恢复后,可从灾备物理资源中得到数据块bitmap表,从而在断点处恢复远程复制。
当一个物理资源出现问题时,复制不会中断,虚拟化服务器会将没有复制完毕的数据,根据剩下的物理资源网络情况重新分配,继续进行复制(也可选择根据数据块bitmap表中的记录,将故障物理资源的数据重新复制到其他灾备中心物理资源上)。待出现故障的物理资源重新上线后,根据数据块bitmap表重新拷贝其上的数据。
具体实现步骤如图6所示,包括以下步骤:
步骤S601、通过虚拟化服务器,将网络上分散的物理资源进行虚拟化,分配虚拟地址。
生产中心创建复制时,在虚拟服务器上创建副本SAN资源(确定参加广域网复制的虚拟设备),此SAN资源并不实际占用各虚拟设备的空间,当有实际数据复制到虚拟设备上后,才会占用空间。
步骤S602、同时创建副本SAN资源的数据块bitmap表。
bitmap表的格式如表1所示:
表1
SAN资源数据块序号 | 复制到的虚拟设备ID | 对应的虚拟地址 |
1 | 5 | 123 |
2 | 23 | 678 |
3 | ||
4 | 5 | 124 |
其中,SAN资源数据块序号具体为SAN资源中相对数据块序号,按大小顺序排列。
复制到的虚拟设备ID具体为虚拟化设备虚拟化后会为每个物理资源分配一个虚拟设备ID,当SAN资源中对应的数据块复制到一个虚拟设备上后,就将这个ID写到这个表中。
对应的虚拟地址具体为复制到的虚拟设备上对应虚拟地址。
在具体的应用场景中,当数据块没有被复制,则表格后两项为空白。
Bitmap的记录条数根据源资源的数据块数量确定,当源资源扩容时也进行增加。
步骤S603、每次发起复制时,虚拟化服务器通过测试生产中心与各网络灾备中心的之间的网速。
网速测试方法,可以用简单的ping指定大小数据包,根据时延计算得出(也可以使用较精确的PPTD技术来测试得到),具体计算方法如下:
ping 148.200.0.156-165500
Pinging 148.200.0.156with 65500bytes of data:
Reply from 148.200.0.156:bytes=65500time=13ms TTL=252
Reply from 148.200.0.156:bytes=65500time=13ms TTL=252
Reply from 148.200.0.156:bytes=65500time=13ms TTL=252
Reply from 148.200.0.156:bytes=65500time=13ms TTL=252
Ping statistics for 148.200.0.156:
Packets:Sent=4,Received=4,Lost=0(0%loss),
Approximate round trip times in milli-seconds:
Minimum=13ms,Maximum=13ms,Average=13ms
基于上述结果,可以得到:
网速≈(发送的字节数/返回的时间[毫秒])K字节
≈(65500/13)K字节/s
≈5.0M字节/s
步骤S604、基于测速结果,将需要复制的数据按不同网速分割为多份,同时复制到各个灾备中心。
例如,具体如图7所示,A、B、C、D4条复制网络的传输速率比为:4∶3∶1∶2,生产中心需要复制的50G数据,则分配如下:
前20G数据复制到存储设备A上;
之后的15G数据复制到存储设备B上;
10G数据复制到存储设备D上;
最后5G数据复制到存储设备C上。
复制完成后虚拟化设备上数据块bitmap表中内容如表2所示:
表2
SAN资源数据块序号 | 复制到的虚拟设备ID | 对应的虚拟地址 |
1 | 5(物理资源A) | 1 |
2 | 5 | 2 |
…… | …… | …… |
200 | 5 | 200 |
201 | 21(物理资源B) | 501 |
202 | 21 | 502 |
203 |
SAN资源数据块序号 | 复制到的虚拟设备ID | 对应的虚拟地址 |
204 | ||
…… | …… | …… |
323 | 21 | 503 |
324 | 21 | 504 |
…… | …… | …… |
370 | 21 | 650 |
371 | 15(物理设备D) | 1501 |
…… | …… | …… |
步骤S605、待到达下一个复制触发点时,对增量的数据进行相同操作。
例如此时发生20G的数据改变量,发生改变的数据块序号为101-200、203-302。复制前同样测试网络情况,发现网络发生了变化,
如图8所示:A、B、C、D4条复制网络的传输速率比为:1∶4∶4∶1则生产中心需要复制的20G数据,则分配如下:
前8G数据复制到存储设备B上;
之后的8G数据复制到存储设备C上;
2G数据复制到存储设备A上;
最后2G数据复制到存储设备D上。
复制完成后虚拟化设备上数据块bitmap表中内容如表3所示。
表3
SAN资源数据块序号 | 复制到的虚拟设备ID | 对应的虚拟地址 |
1 | 5(物理资源A) | 1 |
2 | 5 | 2 |
…… | …… | …… |
100 | 5 | 100 |
101 | 21 | 651 |
…… | …… | …… |
SAN资源数据块序号 | 复制到的虚拟设备ID | 对应的虚拟地址 |
180 | 21 | 730 |
181 | 17(物理设备C) | 1051 |
…… | …… | …… |
200 | 17 | 1070 |
201 | 21(物理资源B) | 501 |
202 | 21 | 502 |
203 | 17 | 1071 |
…… | …… | …… |
262 | 17 | 1130 |
263 | 5 | 101 |
…… | …… | …… |
282 | 5 | 120 |
283 | 15 | 1601 |
…… | …… | …… |
302 | 15 | 1620 |
323 | 21 | 503 |
324 | 21 | 504 |
…… | …… | …… |
370 | 21 | 650 |
371 | 15(物理设备D) | 1501 |
…… | …… | …… |
若生产中心发生故障,则可以通过虚拟化服务器,提升各灾备中心的数据,维持正常的业务。业务通过虚拟化服务器中记录的数据块bitmap表,读取或修改各灾备中心的数据。待生产中心恢复后,通过bitmap表将各灾备中心物理资源中的数据复制回生产中心,复制完成后,生产中心恢复正常。
如果在复制过程中虚拟化服务器发生故障,则复制过程中断。待虚拟化服务器恢复后,可从灾备物理资源中得到数据块bitmap表,从而在断点处恢复远程复制。
当一个物理资源出现问题时,复制不会中断,虚拟化服务器会将没有复制完毕的数据,根据剩下的物理资源网络情况重新分配,继续进行复制(也可选择根据数据块bitmap表中的记录,将故障物理资源的数据重新复制到其他灾备中心物理资源上)。待出现故障的物理资源重新上线后,根据数据块bitmap表重新拷贝其上的数据。
与现有技术相比,本发明具有以下优点:
通过应用本发明的技术方案,可使用低带宽网络环境中的存储设备进行数据灾备,使复制过程利用网络并发增加带宽,从而提升复制的整体性能,并将经常需要使用和修改的数据集中到网络状况较好的网络存储设备上,而将不经常使用和修改的数据存储在网络状况相对较差的网络存储设备上,不仅在提高复制性能的同时,也保障了当生产中心发生故障时,灾备中心顶替后的业务性能。
为了实现本发明的技术方案,本发明还提出了一种管理服务器,应用于包括多个备份服务器、数据服务器和管理服务器的系统中,管理服务器与数据服务器和多个备份服务器相连接,将数据服务器中的数据分配到相应的备份服务器中进行备份,其结构示意图如图9所示,包括:
列表维护模块91,用于建立数据备份列表,记录数据服务器中的数据在各备份服务器中的存储位置信息;
获取模块92,用于获取各备份服务器所对应的网络传输速度信息;
分配模块93,与列表维护模块91和获取模块92相连接,用于根据获取模块92所获取的各备份服务器的网络传输速度信息的比例,将数据服务器中对应比例的数据分配给相应的备份服务器进行存储,并通过列表维护模块91所建立的数据备份列表记录已备份的数据的存储位置信息。
优选的,获取模块92分别向各备份服务器发送测试消息;
获取模块92接收各备份服务器返回的测试消息的响应消息,并记录响应消息与测试消息之间的时间延迟信息;
获取模块92根据时间延迟信息,确定相应的备份服务器的网络传输速度信息。
优选的,分配模块93确定待备份的数据;
分配模块93根据获取模块92所获取的各备份服务器的网络传输速度信息的比例,将待备份的数据分为对应比例的数据块;
分配模块93分别将各数据块发送给相应的备份服务器。
优选的,当一个或多个备份服务器在数据复制的过程中出现故障时,
分配模块93将发生故障的备份服务器没有传输完成的数据,按照剩余的各备份服务器的网络传输速度信息的比例,分为对应比例的数据块;
分配模块93分别将各数据块发送给相应的备份服务器。
优选的,当已经备份的数据发生变更时,
分配模块93确定发生变更的数据;
分配模块93根据各备份服务器的网络传输速度信息的比例,将发生变更的数据分为对应比例的数据块;
分配模块93分别将各数据块发送给相应的备份服务器。
其中,分配模块93优先为网络传输速率快的备份服务器分配数据块。
与现有技术相比,本发明具有以下优点:
通过应用本发明的技术方案,可使用低带宽网络环境中的存储设备进行数据灾备,使复制过程利用网络并发增加带宽,从而提升复制的整体性能,并将经常需要使用和修改的数据集中到网络状况较好的网络存储设备上,而将不经常使用和修改的数据存储在网络状况相对较差的网络存储设备上,不仅在提高复制性能的同时,也保障了当生产中心发生故障时,灾备中心顶替后的业务性能。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (11)
1.一种数据备份方法,应用于包括多个备份服务器、数据服务器和管理服务器的系统中,所述管理服务器与所述数据服务器和多个备份服务器相连接,将所述数据服务器中的数据分配到相应的备份服务器中进行备份,其特征在于,所述管理服务器中建立数据备份列表,记录所述数据服务器中的数据在各备份服务器中的存储位置信息,所述方法具体包括以下步骤:
所述管理服务器获取各备份服务器所对应的网络传输速度信息;
所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述数据服务器中对应比例的数据分配给相应的备份服务器进行存储。
2.如权利要求1所述的方法,其特征在于,所述管理服务器获取各备份服务器所对应的网络传输速度信息,具体为:
所述管理服务器分别向各备份服务器发送测试消息;
所述管理服务器接收各备份服务器返回的所述测试消息的响应消息,并记录所述响应消息与所述测试消息之间的时间延迟信息;
所述管理服务器根据所述时间延迟信息,确定相应的备份服务器的网络传输速度信息。
3.如权利要求1所述的方法,其特征在于,所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述数据服务器中对应比例的数据分配给相应的备份服务器进行存储,具体为:
所述管理服务器确定待备份的数据;
所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述待备份的数据分为对应比例的数据块;
所述管理服务器分别将各所述数据块发送给相应的备份服务器。
4.如权利要求3所述的方法,其特征在于,当一个或多个备份服务器在数据复制的过程中出现故障时,所述方法还包括:
所述管理服务器将所述发生故障的备份服务器没有传输完成的数据,按照剩余的各备份服务器的网络传输速度信息的比例,分为对应比例的数据块;
所述管理服务器分别将各所述数据块发送给相应的备份服务器。
5.如权利要求3所述的方法,其特征在于,当已经备份的数据发生变更时,所述方法还包括:
所述管理服务器确定发生变更的数据;
所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述发生变更的数据分为对应比例的数据块;
所述管理服务器分别将各所述数据块发送给相应的备份服务器。
6.如权利要求5所述的方法,其特征在于,所述管理服务器根据所述各备份服务器的网络传输速度信息的比例,将所述发生变更的数据分为对应比例的数据块,具体为:
所述管理服务器优先为网络传输速率快的备份服务器分配数据块。
7.一种管理服务器,应用于包括多个备份服务器、数据服务器和管理服务器的系统中,所述管理服务器与所述数据服务器和多个备份服务器相连接,其特征在于,包括:
列表维护模块,用于建立数据备份列表,记录所述数据服务器中的数据在各备份服务器中的存储位置信息;
获取模块,用于获取各备份服务器所对应的网络传输速度信息;
分配模块,与所述列表维护模块和所述获取模块相连接,用于根据所述获取模块所获取的各备份服务器的网络传输速度信息的比例,将所述数据服务器中对应比例的数据分配给相应的备份服务器进行存储,并通过所述列表维护模块所建立的数据备份列表记录已备份的数据的存储位置信息。
8.如权利要求7所述的管理服务器,其特征在于,
所述获取模块分别向各备份服务器发送测试消息;
所述获取模块接收各备份服务器返回的所述测试消息的响应消息,并记录所述响应消息与所述测试消息之间的时间延迟信息;
所述获取模块根据所述时间延迟信息,确定相应的备份服务器的网络传输速度信息。
9.如权利要求7所述的管理服务器,其特征在于,
所述分配模块确定待备份的数据;
所述分配模块根据所述获取模块所获取的各备份服务器的网络传输速度信息的比例,将所述待备份的数据分为对应比例的数据块;
所述分配模块分别将各所述数据块发送给相应的备份服务器。
10.如权利要求9所述的管理服务器,其特征在于,当一个或多个备份服务器在数据复制的过程中出现故障时,
所述分配模块将所述发生故障的备份服务器没有传输完成的数据,按照剩余的各备份服务器的网络传输速度信息的比例,分为对应比例的数据块;
所述分配模块分别将各所述数据块发送给相应的备份服务器。
11.如权利要求9所述的管理服务器,其特征在于,当已经备份的数据发生变更时,
所述分配模块确定发生变更的数据;
所述分配模块根据所述各备份服务器的网络传输速度信息的比例,将所述发生变更的数据分为对应比例的数据块;
所述分配模块分别将各所述数据块发送给相应的备份服务器。
其中,所述分配模块优先为网络传输速率快的备份服务器分配数据块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010171827A CN101834904A (zh) | 2010-05-14 | 2010-05-14 | 一种数据备份方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010171827A CN101834904A (zh) | 2010-05-14 | 2010-05-14 | 一种数据备份方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101834904A true CN101834904A (zh) | 2010-09-15 |
Family
ID=42718833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010171827A Pending CN101834904A (zh) | 2010-05-14 | 2010-05-14 | 一种数据备份方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101834904A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801806A (zh) * | 2012-08-10 | 2012-11-28 | 薛海强 | 一种云计算系统及云计算资源管理方法 |
CN103227835A (zh) * | 2013-04-27 | 2013-07-31 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
CN103248692A (zh) * | 2013-04-28 | 2013-08-14 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
CN103269495A (zh) * | 2013-04-28 | 2013-08-28 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
CN104899116A (zh) * | 2015-06-11 | 2015-09-09 | 北京京东尚科信息技术有限公司 | 数据备份的方法、源服务器、目标服务器及系统 |
CN103176860B (zh) * | 2011-12-21 | 2017-07-21 | 腾讯科技(深圳)有限公司 | 数据备份方法和系统 |
CN107729177A (zh) * | 2017-09-18 | 2018-02-23 | 中国科学院信息工程研究所 | 基于云存储的备份数据存储管理方法、装置和系统 |
CN109327279A (zh) * | 2017-08-01 | 2019-02-12 | 徐州天荣医疗通讯设备有限公司 | 一种用于医疗的低质量移动通信网络数据包大小控制方法 |
CN109408280A (zh) * | 2017-08-17 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据备份方法、装置及系统 |
CN111193624A (zh) * | 2019-12-30 | 2020-05-22 | 视联动力信息技术股份有限公司 | 一种数据包传输方法、装置、终端设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1602480A (zh) * | 2001-12-10 | 2005-03-30 | 单球体有限公司 | 管理附装在数据网络上的存储器资源 |
CN1659803A (zh) * | 2002-05-31 | 2005-08-24 | 松下电器产业株式会社 | 数据分配装置和发送方法 |
CN1983218A (zh) * | 2005-12-13 | 2007-06-20 | 精工爱普生株式会社 | 图像显示系统和方法、信息处理装置和图像显示装置 |
CN101243447A (zh) * | 2005-08-18 | 2008-08-13 | Emc公司 | 可搜索备份 |
CN101321123A (zh) * | 2008-07-17 | 2008-12-10 | 爱德威软件开发(上海)有限公司 | 嵌入式传输动态数据的系统及其传输方法 |
CN101626304A (zh) * | 2008-07-11 | 2010-01-13 | 宝利微电子系统控股公司 | P2p协议下实现多媒体即时播放的方法及装置 |
CN101630282A (zh) * | 2009-07-29 | 2010-01-20 | 国网电力科学研究院 | 一种基于Erasure编码和副本技术的数据备份方法 |
CN101651710A (zh) * | 2009-09-21 | 2010-02-17 | 北京工业大学 | 基于p2p的容灾备份方法 |
-
2010
- 2010-05-14 CN CN201010171827A patent/CN101834904A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1602480A (zh) * | 2001-12-10 | 2005-03-30 | 单球体有限公司 | 管理附装在数据网络上的存储器资源 |
CN1659803A (zh) * | 2002-05-31 | 2005-08-24 | 松下电器产业株式会社 | 数据分配装置和发送方法 |
CN101243447A (zh) * | 2005-08-18 | 2008-08-13 | Emc公司 | 可搜索备份 |
CN1983218A (zh) * | 2005-12-13 | 2007-06-20 | 精工爱普生株式会社 | 图像显示系统和方法、信息处理装置和图像显示装置 |
CN101626304A (zh) * | 2008-07-11 | 2010-01-13 | 宝利微电子系统控股公司 | P2p协议下实现多媒体即时播放的方法及装置 |
CN101321123A (zh) * | 2008-07-17 | 2008-12-10 | 爱德威软件开发(上海)有限公司 | 嵌入式传输动态数据的系统及其传输方法 |
CN101630282A (zh) * | 2009-07-29 | 2010-01-20 | 国网电力科学研究院 | 一种基于Erasure编码和副本技术的数据备份方法 |
CN101651710A (zh) * | 2009-09-21 | 2010-02-17 | 北京工业大学 | 基于p2p的容灾备份方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103176860B (zh) * | 2011-12-21 | 2017-07-21 | 腾讯科技(深圳)有限公司 | 数据备份方法和系统 |
CN102801806A (zh) * | 2012-08-10 | 2012-11-28 | 薛海强 | 一种云计算系统及云计算资源管理方法 |
CN103227835A (zh) * | 2013-04-27 | 2013-07-31 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
CN103248692A (zh) * | 2013-04-28 | 2013-08-14 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
CN103269495A (zh) * | 2013-04-28 | 2013-08-28 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
CN104899116A (zh) * | 2015-06-11 | 2015-09-09 | 北京京东尚科信息技术有限公司 | 数据备份的方法、源服务器、目标服务器及系统 |
CN104899116B (zh) * | 2015-06-11 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 数据备份的方法、源服务器、目标服务器及系统 |
CN109327279A (zh) * | 2017-08-01 | 2019-02-12 | 徐州天荣医疗通讯设备有限公司 | 一种用于医疗的低质量移动通信网络数据包大小控制方法 |
CN109408280A (zh) * | 2017-08-17 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据备份方法、装置及系统 |
CN107729177A (zh) * | 2017-09-18 | 2018-02-23 | 中国科学院信息工程研究所 | 基于云存储的备份数据存储管理方法、装置和系统 |
CN111193624A (zh) * | 2019-12-30 | 2020-05-22 | 视联动力信息技术股份有限公司 | 一种数据包传输方法、装置、终端设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101834904A (zh) | 一种数据备份方法和设备 | |
US10191677B1 (en) | Asynchronous splitting | |
US9507845B1 (en) | Virtual splitter | |
US10067694B1 (en) | Replication ordering | |
US9875042B1 (en) | Asynchronous replication | |
US9557925B1 (en) | Thin replication | |
US9135120B1 (en) | Consistency group moving | |
US9965306B1 (en) | Snapshot replication | |
US9575857B1 (en) | Active/active replication | |
US9575851B1 (en) | Volume hot migration | |
US10042579B1 (en) | Crash consistent snapshot | |
US9256605B1 (en) | Reading and writing to an unexposed device | |
US20200125583A1 (en) | Data Replication Method and Storage System | |
US8725692B1 (en) | Replication of xcopy command | |
US8977593B1 (en) | Virtualized CG | |
US10185583B1 (en) | Leveraging snapshots | |
US9235481B1 (en) | Continuous data replication | |
US9189341B1 (en) | Method and apparatus for multi-copy replication using a multi-splitter | |
US9639383B1 (en) | Volume moving | |
US9336230B1 (en) | File replication | |
US9081754B1 (en) | Method and apparatus for cascaded replication using a multi splitter | |
US8600945B1 (en) | Continuous data replication | |
US9235632B1 (en) | Synchronization of replication | |
US8806161B1 (en) | Mirroring splitter meta data | |
US9659074B1 (en) | VFA statistics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20100915 |