CN104219298B - 集群系统及其数据备份的方法 - Google Patents

集群系统及其数据备份的方法 Download PDF

Info

Publication number
CN104219298B
CN104219298B CN201410429114.8A CN201410429114A CN104219298B CN 104219298 B CN104219298 B CN 104219298B CN 201410429114 A CN201410429114 A CN 201410429114A CN 104219298 B CN104219298 B CN 104219298B
Authority
CN
China
Prior art keywords
data
backed
group system
backup
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410429114.8A
Other languages
English (en)
Other versions
CN104219298A (zh
Inventor
张国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201410429114.8A priority Critical patent/CN104219298B/zh
Publication of CN104219298A publication Critical patent/CN104219298A/zh
Application granted granted Critical
Publication of CN104219298B publication Critical patent/CN104219298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种集群系统,所述集群系统包括:虚拟机、虚拟机控制模块、存储模块、广域网加速模块和备份模块,所述存储模块和所述广域网加速模块运行在所述虚拟机上,所述虚拟机控制模块,用于控制所述虚拟机的运行;所述存储模块,用于通过软件定义存储,将存储转化为虚拟的存储资源,供所述虚拟机进行数据存储;所述备份模块,用于获取待备份数据;所述广域网加速模块,用于对所述待备份数据进行加速处理;所述备份模块,还用于将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。本发明还公开了一种集群系统数据的备份方法。本发明实现降低备份数据的传送时间,进而提高集群系统数据备份的效率。

Description

集群系统及其数据备份的方法
技术领域
本发明涉及计算机技术领域,尤其涉及集群系统及其数据备份的方法。
背景技术
随着硬件技术的不断发展,单台计算机的计算能力已经远远超过了人们一般的需要,于是通过虚拟化技术,在一台计算机里面运行虚拟机管理软件,再在里面安装虚拟机,将一台计算机模拟成了多台计算机,提高硬件的利用效率。
在虚拟化和存储领域,近来兴起多家公司将虚拟化跟存储合一,推出一种超级融合的产品,这些产品的特点就是把虚拟化管理软件跟存储软件装入同一个服务器计算机,存储软件接管服务器的磁盘,通过软件定义存储,抽象成虚拟的存储资源,提供给虚拟机使用。
这些产品实现了计算平台、存储的融合,甚至存储软件里面还包含了备份组件,可以实现客户数据的备份,但这些产品无一都没有对跨越广域网备份进行优化,使得备份数据的传送时间长,且备份数据在传送过程中容易发生丢失,进而降低了数据备份的效率。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于解决备份数据的传送时间长,且备份数据在传送过程中容易发生丢失,进而降低了数据备份的效率的问题。
为实现上述目的,本发明提供的一种集群系统,所述集群系统包括:虚拟机、虚拟机控制模块、存储模块、广域网加速模块和备份模块,所述存储模块和所述广域网加速模块运行在所述虚拟机上,
所述虚拟机控制模块,用于控制所述虚拟机的运行;
所述存储模块,用于通过软件定义存储,将存储转化为虚拟的存储资源,供所述虚拟机进行数据存储;
所述备份模块,用于获取待备份数据;
所述广域网加速模块,用于对所述待备份数据进行加速处理;
所述备份模块,还用于将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。
优选地,所述广域网加速模块包括获取单元和加速单元,
所述获取单元,用于获取预存的压缩方式;
所述加速单元,用于按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。
优选地,所述广域网加速模块还包括判断单元;
所述获取单元,还用于获取所述集群系统与所述备份设备之间的网络状态信息;
所述判断单元,用于判断所述网络状态信息是否包含丢包及/或延时信息;
所述加速单元,还用于在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理。
优选地,所述加速单元,还用于增加所述集群系统与所述备份设备之间数据传送窗口的数量或增大所述集群系统与所述备份设备之间数据传送的窗口。
优选地,所述广域网加速模块还包括字节处理单元,用于将所述待备份数据按照预设字节长度划分为多个字节块;
所述获取单元,还用于获取已发送的字节块信息;
所述判断单元,还用于判断划分后的字节块是否与已发送的字节块相同;
所述字节处理单元,还用于在划分后的字节块与已发送的字节块相同时,确定与划分后的字节块相同的已发送字节块的编号信息,将所确定的编号信息作为加速处理后的待备份数据。
此外,为实现上述目的,本发明还提供一种集群系统数据的备份方法,所述集群系统数据的备份方法包括步骤:
集群系统获取待备份数据;
所述集群系统对所述待备份数据进行加速处理;
所述集群系统将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。
优选地,所述集群系统对所述待备份数据进行加速处理的步骤包括:
所述集群系统获取预存的压缩方式;
所述集群系统按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。
优选地,所述集群系统对所述待备份数据进行加速处理的步骤包括:
所述集群系统获取所述集群系统与所述备份设备之间的网络状态信息;
所述集群系统判断所述网络状态信息是否包含丢包及/或延时信息;
所述集群系统在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理。
优选地,所述集群系统对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理的步骤包括:
所述集群系统增加所述集群系统与所述备份设备之间数据传送窗口的数量或增大所述集群系统与所述备份设备之间数据传送的窗口。
优选地,所述集群系统对所述待备份数据进行加速处理的步骤包括:
所述集群系统将所述待备份数据按照预设字节长度划分为多个字节块;
所述集群系统获取已发送的字节块信息;
所述集群系统判断划分后的字节块是否与已发送的字节块相同;
所述集群系统在划分后的字节块与已发送的字节块相同时,确定与划分后的字节块相同的已发送字节块的编号信息,将所确定的编号信息作为加速处理后的待备份数据。
本发明通过在计算机中集群将虚拟机、虚拟机控制模块、广域网加速模块、备份模块和存储模块生成集群系统,并对集群系统的待备份数据加速处理,降低备份数据的传送时间,减少数据传送中丢失的情况,进而提高集群系统数据备份的效率。
附图说明
图1为本发明集群系统的第一实施例的功能模块示意图;
图2为图1中广域网加速模块一实施例的细化功能模块示意图;
图3为图1中广域网加速模块另一实施例的细化功能模块示意图;
图4为图1中广域网加速模块又一实施例的细化功能模块示意图;
图5为本发明集群系统数据的备份方法的第一实施例的流程示意图;
图6为本发明集群系统数据的备份方法的第二实施例的流程示意图;
图7为本发明集群系统数据的备份方法的第三实施例的流程示意图;
图8为本发明集群系统数据的备份方法的第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明进一步提供一种集群系统。
参照图1,图1为本发明集群系统的第一实施例的功能模块示意图。
在一实施例中,所述装置包括:虚拟机10、虚拟机控制模块20、存储模块30、广域网加速模块40和备份模块50。所述存储模块30和所述广域网加速模块40运行在所述虚拟机10上,
所述虚拟机控制模块20,用于控制所述虚拟机10的运行;
所述存储模块30,用于通过软件定义存储,将存储转化为虚拟的存储资源,供所述虚拟机10进行数据存储;
所述备份模块50,用于获取待备份数据;
所述广域网加速模块40,用于对所述待备份数据进行加速处理;
所述备份模块50,还用于将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。
在本实施例中,在一台物理的带有CPU、内存、磁盘、网络等部件的冯.诺依曼架构计算机上安装一个虚拟化管理软件,即生成一个虚拟机控制模块20,存储模块30和广域网加速模块40作为一个虚拟机10在所述虚拟机控制模块10的控制下运行。通过虚拟化控制模块20构建一个虚拟化平台,将一台物理的计算机模拟成多台虚拟的计算机(虚拟机10),即模拟成一个集群系统。
该集群系统有多块磁盘,其中部分磁盘用于安装虚拟化管理软件和存储虚拟机的镜像,剩下的磁盘被存储虚拟机接管,存储虚拟机里面运行软件定义的存储的软件,即运行存储模块30,存储模块30将物理磁盘整合成存储池,再对存储池进行软件定义,虚拟出虚拟磁盘或者共享文件夹,虚拟磁盘用于提供基于SAN(storage area network,存储区域网络)接口的磁盘资源访问服务,共享文件用于提供基于NAS(network area storage,网络区域存储)接口的文件资源访问服务。SDS(software defined storage,软件定义存储)所提供的存储资源是在物理存储介质的基础上虚拟的,因此为虚拟存储资源。而广域网加速虚拟机和客户虚拟机则是运行在存储虚拟机提供的虚拟存储资源之上,广域网加速虚拟机运行广域网加速模块40,客户虚拟机则运行客户自己的系统,可以是服务器,也可以是VDI(Virtual Desktop Infrastructure,虚拟桌面基础架构)。
该集群系统由多个节点构成,每个节点是上面所描述的一个集计算资源和存储资源于一体的虚拟化平台,存储虚拟机管控集中的存储资源,虚拟机控制模块20把整个集群中的存储虚拟机管控的所有存储介质(即磁盘)整合成存储资源池,再在资源池上面通过软件定义的方式虚拟出磁盘和文件夹,再通过SAN和NAS接口向外提供虚拟磁盘和共享文件夹的存储资源。集群具有横向扩展能力,通过增加新的节点,可以实现计算资源和存储资源的扩展。
所述备份模块50在有数据需要备份时,获取待备份数据。所述备份模块50进行备份的模式可以是完全备份:将集群系统产生的所有数据进行备份;增量备份:将上一次备份后发生改变的数据作为备份数据备份到备份设备上;差异备份:将上一次完全备份后发生改变的数据作为备份数据备份到备份设备上。集群系统的备份模式可以提前根据预期进行设置。
在备份模块50获取到待备份数据后,通过广域网加速模块40对所述待备份数据进行加速处理,加速处理的方式可以包括字节缓存、压缩和协议优化等。
备份模块50将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。在本发明其他实施例中,也可以是备份数据的恢复过程,备份模块50获取待恢复数据,通过广域网加速模块40对所述待恢复数据进行加速处理,备份模块50将加速处理后的待恢复数据发送至待恢复设备,以完成所述待恢复数据的恢复。
例如,以数据中心A和数据中心B为例,该两个数据中心均为上述描述的节点组成的集群系统,两个数据中心位于两地,通过广域网连接,两个数据中心之间的关系可以是:两个数据中心均在进行业务处理,并且互为备份设备,每个数据中心均将产生的数据备份到对方设备上,即数据中心A将数据备份到数据中心B上,数据中心B将数据备份至数据中心A上,或者一个数据中心用于处理业务,另外一个数据中心作为备份设备,例如,数据中心A用于业务处理,数据中心B作为数据中心A的备份设备,数据中心A将产生的数据备份至数据中心B上。数据中心A和数据中心B均运行有广域网加速虚拟机,通过各自广域网加速虚拟机的广域网加速模块建立加速通信信道,数据中心A作为业务处理设备,数据中心B作为数据中心A的备份设备。数据中心A的备份模块50获取待备份数据,并将待备份数据传送至广域网加速虚拟机,通过广域网加速模块40对所述待备份数据进行加速,再通过备份模块50将加速后的所述待备份数据传送至数据中心B。同样的,在数据中心A向所述数据中心B请求备份数据的恢复时,数据中心B获取待恢复数据,对待恢复数据加速,回传给数据中心A以供数据中心A进行数据的恢复。
本发明实施例通过在计算机中集群将虚拟机、虚拟机控制模块、广域网加速模块、备份模块和存储模块生成集群系统,并对集群系统的待备份数据加速处理,降低备份数据的传送时间,减少数据传送中丢失的情况,进而提高集群系统数据备份的效率。
参照图2,图2为图1中广域网加速模块一实施例的细化功能模块示意图。所述广域网加速模块40包括获取单元41和加速单元42。
所述获取单元41,用于获取预存的压缩方式;
所述加速单元42,用于按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。
所述集群系统预存有多个压缩方式,所述压缩方式包括但不限于gzip、lzo等压缩算法。在备份模块50获取到待备份数据后,获取单元41获取预存的压缩方式,加速单元42按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。例如,若获取到的压缩方式为gzip,则按照gzip压缩算法对所述待备份数据进行压缩。通过采取预存的压缩方式对待备份数据进行备份,减小需要传送的待备份数据的大小,即减少所述待备份数据传送所占用的带宽,实现待备份数据的加速。降低了待备份数据的传送时间,进而提高了待备份数据的备份效率。在本发明其他实施例中为了能更好的对待备份数据进行压缩,可以将压缩方式与待备份数据的类型进行映射保存,例如,图片类型数据与lzo压缩方式映射,文本类型数据与gzip压缩方式映射等。
参照图3,图3为图1中广域网加速模块另一实施例的细化功能模块示意图。所述广域网加速模块40还包括判断单元43。
所述获取单元41,还用于获取所述集群系统与所述备份设备之间的网络状态信息;
所述判断单元43,用于判断所述网络状态信息是否包含丢包及/或延时信息;
所述加速单元42,还用于在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理。
所述网络状态信息包括所述集群系统与所述备份设备之间是否存在丢包和高延时的情况。在所述集群系统与所述备份设备之间进行数据备份时,获取单元41获取所述集群系统与所述备份设备之间的网络状态信息,判断单元43判断所述网络状态信息是否包含丢包及/或延时信息,在所述网络状态信息包含丢包及/或延时信息时,加速单元42对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理;在所述网络状态信息未包含丢包或者延时信息时,不进行网络相关的加速处理,即不进行网络协议的优化。具体的,所述网络协议的优化包括但不限于增加所述集群系统与所述备份设备之间数据传送窗口的数量或增大所述集群系统与所述备份设备之间数据传送的窗口。例如,在网络状态信息包括丢包时,分析所述集群系统和所述备份设备之间的网络是否发生拥塞情况,若否,则继续传送待备份数据,若是,则增加所述集群系统与所述备份设备之间数据传送窗口的数量;若在网络状态信息包括高延时,则增大所述集群系统与所述备份设备之间数据传送的窗口。通过在待备份数据传送时,判断所述集群系统与所述备份设备之间的网络状态,并在网络状态信息包含丢包及/或延时信息时,对网络协议进行优化,提高网络待备份数据的传送速度,进而缩短传送时间,提高数据备份的效率。
参照图4,图4为图1中广域网加速模块又一实施例的细化功能模块示意图。所述广域网加速模块40还包括字节处理单元44。
所述字节处理单元44,用于将所述待备份数据按照预设字节长度划分为多个字节块;
所述获取单元41,还用于获取已发送的字节块信息;
所述判断单元43,还用于判断划分后的字节块是否与已发送的字节块相同;
所述字节处理单元44,还用于在划分后的字节块与已发送的字节块相同时,确定与划分后的字节块相同的已发送字节块的编号信息,将所确定的编号信息作为加速处理后的待备份数据。
任意两个待备份数据所包含的数据会不同,但是如果把待备份数据的字节流按照预设字节长度切割成一定大小的字节块后,就会出现许多相同的字节块,这些相同的字节块就是重复流量。举个例子:本文如果按词为单位进行切块的话,“广域网”这个词就出现了多次,或者是,本文如果按词为单位进行切块的话,“集群系统”这个词也出现了多次。所述预设字节长度可以100个字节、200个字节或者1000个字节。
字节缓存是基于这个理论,把待备份数据的字节流切割成从几百字节到几千字节不等的字节块,广域网的两端(集群系统端和备份设备端)都部署有字节处理模块,两端各有一个缓存数据库,第一次传输的时候,发送端字节处理模块会给这个块编个号,把字节块和编号一块发送给对端,两端都把它保存到缓存数据库中。再次传输相同的字节块的时候,发送方会直接告诉接收方这个编号(即传输这个编号),不再传输这个字节块,接受端的字节处理模块根据这个编号从缓存数据库中把这一个字节块读取出来,就可以恢复成原来的数据。一个编号通常是6~8字节,字节缓存就将一个几百到几千字节的字节块替换成了6~8字节的编号,降低了传输的待备份数据的数据量。本发明实施例通过将待备份数据划分为多个字节块,并在划分后的字节块与已发送字节快相同时,只发送相同的字节块对应的编号,降低传输的待备份数据的数据量,进而提高数据备份的效率。
基于上述集群系统,本发明提供一种集群系统数据的备份方法。
参照图5,图5为本发明集群系统数据的备份方法的第一实施例的流程示意图。
在一实施例中,所述集群系统数据的备份方法包括:
步骤S10,集群系统获取待备份数据;
在有数据需要备份时,获取待备份数据。备份的模式可以是完全备份:将集群系统产生的所有数据进行备份;增量备份:将上一次备份后发生改变的数据作为备份数据备份到备份设备上;差异备份:将上一次完全备份后发生改变的数据作为备份数据备份到备份设备上。集群系统的备份模式可以提前根据预期进行设置。
步骤S20,所述集群系统对所述待备份数据进行加速处理;
在获取到待备份数据后,对所述待备份数据进行加速处理,加速处理的方式可以包括字节缓存、压缩和协议优化等。
步骤S30,所述集群系统将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。
将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份。在本发明其他实施例中,也可以是备份数据的恢复过程,获取待恢复数据,对所述待恢复数据进行加速处理,将加速处理后的待恢复数据发送至待恢复设备,以完成所述待恢复数据的恢复。
例如,以数据中心A和数据中心B为例,该两个数据中心均为上述描述的节点组成的集群系统,两个数据中心位于两地,通过广域网连接,两个数据中心之间的关系可以是:两个数据中心均在进行业务处理,并且互为备份设备,每个数据中心均将产生的数据备份到对方设备上,即数据中心A将数据备份到数据中心B上,数据中心B将数据备份至数据中心A上,或者一个数据中心用于处理业务,另外一个数据中心作为备份设备,例如,数据中心A用于业务处理,数据中心B作为数据中心A的备份设备,数据中心A将产生的数据备份至数据中心B上。数据中心A和数据中心B均运行有广域网加速虚拟机,通过各自广域网加速虚拟机的广域网加速模块建立加速通信信道,数据中心A作为业务处理设备,数据中心B作为数据中心A的备份设备。数据中心A获取待备份数据,并将待备份数据传送至广域网加速虚拟机,对所述待备份数据进行加速,再将加速后的所述待备份数据传送至数据中心B。同样的,在数据中心A向所述数据中心B请求备份数据的恢复时,数据中心B获取待恢复数据,对待恢复数据加速,回传给数据中心A以供数据中心A进行数据的恢复。
本发明实施例通过对集群系统的待备份数据加速处理,降低备份数据的传送时间,减少数据传送中丢失的情况,进而提高集群系统数据备份的效率。
参照图6,图6为本发明集群系统数据的备份方法的第二实施例的流程示意图。基于上述集群系统数据的备份方法的第一实施例,所述步骤S20可以包括:
步骤S21,所述集群系统获取预存的压缩方式;
步骤S22,所述集群系统按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。
所述集群系统预存有多个压缩方式,所述压缩方式包括但不限于gzip、lzo等压缩算法。在获取到待备份数据后,获取预存的压缩方式,按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。例如,若获取到的压缩方式为gzip,则按照gzip压缩算法对所述待备份数据进行压缩。通过采取预存的压缩方式对待备份数据进行备份,减小需要传送的待备份数据的大小,即减少所述待备份数据传送所占用的带宽,实现待备份数据的加速。降低了待备份数据的传送时间,进而提高了待备份数据的备份效率。在本发明其他实施例中为了能更好的对待备份数据进行压缩,可以将压缩方式与待备份数据的类型进行映射保存,例如,图片类型数据与lzo压缩方式映射,文本类型数据与gzip压缩方式映射等。
参照图7,图7为本发明集群系统数据的备份方法的第三实施例的流程示意图。基于上述集群系统数据的备份方法的第二实施例,所述步骤S20还可以包括:
步骤S23,所述集群系统获取所述集群系统与所述备份设备之间的网络状态信息;
步骤S24,所述集群系统判断所述网络状态信息是否包含丢包及/或延时信息;
步骤S25,所述集群系统在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理。
所述网络状态信息包括所述集群系统与所述备份设备之间是否存在丢包和高延时的情况。在所述集群系统与所述备份设备之间进行数据备份时,获取所述集群系统与所述备份设备之间的网络状态信息,判断所述网络状态信息是否包含丢包及/或延时信息,在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理;在所述网络状态信息未包含丢包或者延时信息时,不进行网络相关的加速处理,即不进行网络协议的优化。具体的,所述网络协议的优化包括但不限于增加所述集群系统与所述备份设备之间数据传送窗口的数量或增大所述集群系统与所述备份设备之间数据传送的窗口。例如,在网络状态信息包括丢包时,分析所述集群系统和所述备份设备之间的网络是否发生拥塞情况,若否,则继续传送待备份数据,若是,则增加所述集群系统与所述备份设备之间数据传送窗口的数量;若在网络状态信息包括高延时,则增大所述集群系统与所述备份设备之间数据传送的窗口。通过在待备份数据传送时,判断所述集群系统与所述备份设备之间的网络状态,并在网络状态信息包含丢包及/或延时信息时,对网络协议进行优化,提高网络待备份数据的传送速度,进而缩短传送时间,提高数据备份的效率。
参照图8,图8为本发明集群系统数据的备份方法的第四实施例的流程示意图。基于上述集群系统数据的备份方法的第三实施例,所述步骤S20还可以包括:
步骤S26,所述集群系统将所述待备份数据按照预设字节长度划分为多个字节块;
步骤S27,所述集群系统获取已发送的字节块信息;
步骤S28,所述集群系统判断划分后的字节块是否与已发送的字节块相同;
步骤S29,所述集群系统在划分后的字节块与已发送的字节块相同时,确定与划分后的字节块相同的已发送字节块的编号信息,将所确定的编号信息作为加速处理后的待备份数据。
任意两个待备份数据所包含的数据会不同,但是如果把待备份数据的字节流按照预设字节长度切割成一定大小的字节块后,就会出现许多相同的字节块,这些相同的字节块就是重复流量。举个例子:本文如果按词为单位进行切块的话,“广域网”这个词就出现了多次,或者是,本文如果按词为单位进行切块的话,“集群系统”这个词也出现了多次。所述预设字节长度可以100个字节、200个字节或者1000个字节。
字节缓存是基于这个理论,把待备份数据的字节流切割成从几百字节到几千字节不等的字节块,广域网的两端(集群系统端和备份设备端)都部署有字节处理模块,两端各有一个缓存数据库,第一次传输的时候,发送端字节处理模块会给这个块编个号,把字节块和编号一块发送给对端,两端都把它保存到缓存数据库中。再次传输相同的字节块的时候,发送方会直接告诉接收方这个编号(即传输这个编号),不再传输这个字节块,接受端的字节处理模块根据这个编号从缓存数据库中把这一个字节块读取出来,就可以恢复成原来的数据。一个编号通常是6~8字节,字节缓存就将一个几百到几千字节的字节块替换成了6~8字节的编号,降低了传输的待备份数据的数据量。本发明实施例通过将待备份数据划分为多个字节块,并在划分后的字节块与已发送字节快相同时,只发送相同的字节块对应的编号,降低传输的待备份数据的数据量,进而提高数据备份的效率。在本发明其他实施例中,为了进一步提高数据备份的效率,可以同时采用上述加速方式压缩、网络协议优化、字节缓存(按照预设字节长度划分为字节块,并传送字节块对应的编号)的一种或者多种结合。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种集群系统,其特征在于,所述集群系统包括:虚拟机、虚拟机控制模块、存储模块、广域网加速模块和备份模块,所述存储模块和所述广域网加速模块运行在所述虚拟机上,
所述虚拟机控制模块,用于控制所述虚拟机的运行;
所述存储模块,用于通过软件定义存储,将存储转化为虚拟的存储资源,供所述虚拟机进行数据存储;
所述备份模块,用于获取待备份数据;
所述广域网加速模块,用于对所述待备份数据进行加速处理;
所述备份模块,还用于将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份;
存储模块将物理磁盘整合成存储池,再对存储池进行软件定义,虚拟出虚拟磁盘或者共享文件夹,虚拟磁盘用于提供基于SAN接口的磁盘资源访问服务,共享文件用于提供基于NAS接口的文件资源访问服务。
2.如权利要求1所述的集群系统,其特征在于,所述广域网加速模块包括获取单元和加速单元,
所述获取单元,用于获取预存的压缩方式;
所述加速单元,用于按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。
3.如权利要求2所述的集群系统,其特征在于,所述广域网加速模块还包括判断单元;
所述获取单元,还用于获取所述集群系统与所述备份设备之间的网络状态信息;
所述判断单元,用于判断所述网络状态信息是否包含丢包及/或延时信息;
所述加速单元,还用于在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理。
4.如权利要求3所述的集群系统,其特征在于,所述加速单元,还用于增加所述集群系统与所述备份设备之间数据传送窗口的数量或增大所述集群系统与所述备份设备之间数据传送的窗口。
5.如权利要求4所述的集群系统,其特征在于,所述广域网加速模块还包括字节处理单元,用于将所述待备份数据按照预设字节长度划分为多个字节块;
所述获取单元,还用于获取已发送的字节块信息;
所述判断单元,还用于判断划分后的字节块是否与已发送的字节块相同;
所述字节处理单元,还用于在划分后的字节块与已发送的字节块相同时,确定与划分后的字节块相同的已发送字节块的编号信息,将所确定的编号信息作为加速处理后的待备份数据。
6.一种集群系统数据的备份方法,其特征在于,所述集群系统数据的备份方法包括步骤:
集群系统获取待备份数据;
所述集群系统对所述待备份数据进行加速处理;
所述集群系统将加速处理后的待备份数据发送至备份设备,以完成所述待备份数据的备份;
将物理磁盘整合成存储池,再对存储池进行软件定义,虚拟出虚拟磁盘或者共享文件夹,虚拟磁盘用于提供基于SAN接口的磁盘资源访问服务,共享文件用于提供基于NAS接口的文件资源访问服务。
7.如权利要求6所述的集群系统数据的备份方法,其特征在于,所述集群系统对所述待备份数据进行加速处理的步骤包括:
所述集群系统获取预存的压缩方式;
所述集群系统按照获取的压缩方式对所述待备份数据进行压缩处理以完成所述待备份数据的加速处理。
8.如权利要求6所述的集群系统数据的备份方法,其特征在于,所述集群系统对所述待备份数据进行加速处理的步骤包括:
所述集群系统获取所述集群系统与所述备份设备之间的网络状态信息;
所述集群系统判断所述网络状态信息是否包含丢包及/或延时信息;
所述集群系统在所述网络状态信息包含丢包及/或延时信息时,对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理。
9.如权利要求8所述的集群系统数据的备份方法,其特征在于,所述集群系统对所述集群系统与所述备份设备之间的网络协议进行优化,以完成所述待备份数据的加速处理的步骤包括:
所述集群系统增加所述集群系统与所述备份设备之间数据传送窗口的数量或增大所述集群系统与所述备份设备之间数据传送的窗口。
10.如权利要求6所述的集群系统数据的备份方法,其特征在于,所述集群系统对所述待备份数据进行加速处理的步骤包括:
所述集群系统将所述待备份数据按照预设字节长度划分为多个字节块;
所述集群系统获取已发送的字节块信息;
所述集群系统判断划分后的字节块是否与已发送的字节块相同;
所述集群系统在划分后的字节块与已发送的字节块相同时,确定与划分后的字节块相同的已发送字节块的编号信息,将所确定的编号信息作为加速处理后的待备份数据。
CN201410429114.8A 2014-08-27 2014-08-27 集群系统及其数据备份的方法 Active CN104219298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410429114.8A CN104219298B (zh) 2014-08-27 2014-08-27 集群系统及其数据备份的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410429114.8A CN104219298B (zh) 2014-08-27 2014-08-27 集群系统及其数据备份的方法

Publications (2)

Publication Number Publication Date
CN104219298A CN104219298A (zh) 2014-12-17
CN104219298B true CN104219298B (zh) 2018-01-12

Family

ID=52100423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410429114.8A Active CN104219298B (zh) 2014-08-27 2014-08-27 集群系统及其数据备份的方法

Country Status (1)

Country Link
CN (1) CN104219298B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916275B2 (en) 2015-03-09 2018-03-13 International Business Machines Corporation Preventing input/output (I/O) traffic overloading of an interconnect channel in a distributed data storage system
CN106612314A (zh) * 2015-10-26 2017-05-03 上海宝信软件股份有限公司 基于虚拟机实现软件定义存储的系统
CN107343044A (zh) * 2017-07-04 2017-11-10 郑州云海信息技术有限公司 一种存储区域网络的控制方法及装置
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及系统
CN109391691B (zh) * 2018-10-18 2022-02-18 郑州云海信息技术有限公司 一种单节点故障下nas服务的恢复方法及相关装置
CN110515770A (zh) * 2019-08-16 2019-11-29 苏州浪潮智能科技有限公司 一种数据的云备份方法、装置、设备及存储介质
CN114356869B (zh) * 2022-03-11 2022-09-30 深圳市一号互联科技有限公司 一种图片分布式存储方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316274B (zh) * 2008-05-12 2010-12-01 华中科技大学 一种适用于广域网的数据容灾系统
CN102981929A (zh) * 2012-11-05 2013-03-20 曙光云计算技术有限公司 磁盘镜像的管理方法和系统
CN103455577A (zh) * 2013-08-23 2013-12-18 中国科学院计算机网络信息中心 云主机镜像文件的多备份就近存储和读取方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316274B (zh) * 2008-05-12 2010-12-01 华中科技大学 一种适用于广域网的数据容灾系统
CN102981929A (zh) * 2012-11-05 2013-03-20 曙光云计算技术有限公司 磁盘镜像的管理方法和系统
CN103455577A (zh) * 2013-08-23 2013-12-18 中国科学院计算机网络信息中心 云主机镜像文件的多备份就近存储和读取方法及系统

Also Published As

Publication number Publication date
CN104219298A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
CN104219298B (zh) 集群系统及其数据备份的方法
CN109271233B (zh) 基于Kubernetes组建Hadoop集群的实现方法
EP3375141B1 (en) Systems and methods for distributed network-aware service placement
CN104054316B (zh) 用于对sms中心进行负载平衡和建立虚拟专用网络的系统和方法
CN106156359B (zh) 一种云计算平台下的数据同步更新方法
CN105393220B (zh) 用于在集群系统中部署点状虚拟服务器的系统和方法
KR100289520B1 (ko) 웹브라우저애플리케이션의성능향상방법및장치,클라이언트/서버시스템의성능향상방법및장치
CN105284052B (zh) 用于基于字典的压缩的系统和方法
CN102801559B (zh) 智能化局域网数据采集方法
CN103095843B (zh) 一种基于版本矢量的数据备份方法及客户端
CN103116615B (zh) 一种基于版本矢量的数据索引方法及服务器
CN107203541A (zh) 页面加载方法及其页面加载装置
CN106453576B (zh) 一种基于混合云平台的交互方法、系统及调度中心
KR19980703864A (ko) 통신 링크를 통해 전송되는 데이타를 줄이는 방법 및 장치와 컴퓨터 프로그램 제품
CN103761309A (zh) 一种运营数据处理方法及系统
KR19980703862A (ko) 전송 제어 프로토콜을 이용하여 데이타를 줄이는 방법 및 장치와 컴퓨터 프로그램 제품
JP6539341B2 (ja) プログラマティックインターフェースに従ったルータ情報の提供
CN105868231A (zh) 缓存数据的更新方法及装置
CN102307206A (zh) 基于云存储的快速访问虚拟机镜像的缓存系统及其方法
CN107819891A (zh) 数据处理方法、装置、计算机设备和存储介质
CN102143218B (zh) web接入云体系结构及接入方法
CN107533611A (zh) 在遥测数据的传输中保护用户可标识信息
WO2016173194A1 (zh) 一种资源的信息的更新方法、装置和系统
CN109104368B (zh) 一种请求连接方法、装置、服务器及计算机可读存储介质
CN104125294B (zh) 一种大数据安全管理方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong, Shenzhen City, Guangdong Province, No. 1001, Nanshan Zhi Yuan, No. A1, No. 1, Wan Wan Avenue

Applicant after: SINFOR Polytron Technologies Inc

Address before: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518052 No. 1001 Nanshan Chi Park building A1 layer

Applicant before: Shenxinfu Electronics Science and Technology Co., Ltd., Shenzhen

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant