CN105120003B - 一种实现云环境下数据备份的方法 - Google Patents
一种实现云环境下数据备份的方法 Download PDFInfo
- Publication number
- CN105120003B CN105120003B CN201510573757.4A CN201510573757A CN105120003B CN 105120003 B CN105120003 B CN 105120003B CN 201510573757 A CN201510573757 A CN 201510573757A CN 105120003 B CN105120003 B CN 105120003B
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- backed
- cloud environment
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000015170 shellfish Nutrition 0.000 description 2
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000009666 routine test Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Abstract
本发明公开了一种实现云环境下数据备份的方法，包括：接收用户本地节点的数据备份请求；获取待备份数据；根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点，所述备份服务质量评分数据为基于概率统计的方法，对云环境下的各个网络节点分别进行数据备份能力评分的汇总数据；将所述待备份数据上传至所述目标节点上。本发明所提供的方法中，备份服务质量评分数据为基于概率统计，对云环境下各个网络节点分别进行数据备份能力评分的汇总数据。通过对各个节点提供数据备份的能力进行评分筛选出将待备份数据上传的目标节点，提高了云环境下网络数据备份的效率。
Description
技术领域
本发明涉及数据备份技术领域，特别是涉及一种实现云环境下数据备份的方法。
背景技术
云环境是指云计算环境，云计算(Cloud Computing)是分布式计算(DistrbutedComputing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的发展，其基本原理是将计算任务通过网络分配给多台计算机执行，每台计算机称为云计算网络的一个网络节点。
数据备份顾名思义，就是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下，重新加以利用的一个过程。数据恢复就是在系统发生灾难情况下，将数据还原到最近的一个状态，以保障系统的正常运行。
随着云计算的兴起，将数据备份作为一种服务的方式提供给广大客户使用越来越受用户的欢迎，这种备份服务可称为云环境下的网络数据备份。和传统的备份相比，云环境下的网络数据备份有着诸多优点。
首先，云环境下的网络数据备份的安装、使用、维护都比传统的备份软件更简便。通常用户只需要在数据机安装精巧的客户端或插件，经过设置任务后，既可以按照每天或者每周的备份间隔来备份文件数据，也可以根据用户的实际需求实时地进行数据备份。其次，作为一种网络服务，云环境下的网络数据备份本身解决了数据的异地容灾问题，解决了用户自行构建容灾备份系统的技术难题。同时，与一般的备份相比，云环境下的网络数据备份更注重数据传输和数据存储的安全性。数据通常在传输的过程加密，已备份的数据由专业服务厂商负责维护其存储和访问安全性。另外，用户仅根据所索取的备份服务进行付费，在用户空闲不需要服务时，不必支付浪费额外的硬件和软件费用，并且服务的伸缩性很强，用户可以在不同的时候请求不同的服务，而不必担心软硬件的升级问题，这些问题由专业的服务厂商管理和维护，用户仅根据服务进行付费即可。
由于云环境是一个复杂的网络环境，而云环境下的网络数据备份过程也往往比较复杂，它涉及到对所有网络节点的协调和控制，同时还要兼顾效率和成本。因此，提供一种在云环境下高效进行数据备份的方法是非常有必要的。
发明内容
本发明的目的是提供一种实现云环境下数据备份的方法，目的在于提高云环境下网络数据备份的效率。
为解决上述技术问题，本发明提供一种实现云环境下数据备份的方法，包括：
接收用户本地节点的数据备份请求；
获取待备份数据；
根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点，所述备份服务质量评分数据为基于概率统计的方法，对云环境下的各个网络节点分别进行数据备份能力评分的汇总数据；
将所述待备份数据上传至所述目标节点上。
可选地，所述获取待备份数据包括：
滤除数据中最新修改时间早于最新备份时间的文件，获取所述待备份数据。
可选地，所述获取待备份数据包括：
计算数据中当前文件的校验值；
查询所有其他网络节点的数据备份区中是否存在同名文件，若存在，则将所述当前文件的校验值与查询到的同名文件的校验值进行比较；
若校验值相同，则将重复文件进行滤除后，获取所述待备份数据。
可选地，所述根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点包括：
将云环境下的网络节点提供数据备份服务质量的评分按照从高到低进行排序，选择评分最高的网络节点作为所述待备份数据的目标节点。
可选地，在所述获取待备份数据之后还包括：
对所述待备份数据进行压缩以及加密处理。
可选地，在所述将所述待备份数据上传至所述目标节点上之后还包括：
所述目标节点接收到所述待备份数据后，对数据进行解密以及解压缩，将解压缩后的数据存储在所述目标节点的数据备份区。
可选地，所述将解压缩后的数据存储在所述目标节点的数据备份区包括：
当所述目标节点的剩余存储空间小于或等于预设存储阈值时，停止向当前目标节点进行数据备份，删除当前目标节点中备份中断的文件，从所述备份服务质量评分数据中按照从高至低的顺序选择下一个网络节点作为下一目标节点，将当前目标节点中备份中断的文件重新备份至所述下一目标节点，并将剩余的未备份文件继续备份至所述下一目标节点。
可选地，所述将所述待备份数据上传至所述目标节点上包括：
将用户本地节点上第一预设字节数的内存作为缓冲池，以存储待发送数据块；
依次将所述待备份数据中的每个文件按照预设第二字节数划分为多个数据块；
将所述数据块依次存入缓冲池；
从所述缓冲池中读取数据块，依次发送至所述目标节点，直至所述待备份数据全部发送完毕为止。
可选地，所述将所述待备份数据上传至所述目标节点上包括：
当所述待备份数据的大小超过预设阈值，或当检测到所述目标节点为异常节点时，将所述待备份数据拷贝至存储容灾冗余中心进行备份。
可选地，在所述获取待备份数据之前还包括：
验证用户身份的有效性和操作权限；
在所述获取待备份数据之后还包括：
对待备份数据的每个文件进行安全扫描。
本发明所提供的实现云环境下数据备份的方法，通过接收用户本地节点的数据备份请求，获取待备份数据后，根据备份服务质量评分数据来选择云环境下的网络节点作为待备份数据的目标节点，从而将待备份数据上传至目标节点上。本发明所提供的方法中，备份服务质量评分数据为基于概率统计，对云环境下各个网络节点分别进行数据备份能力评分的汇总数据。通过对各个节点提供数据备份的能力进行评分筛选出将待备份数据上传的目标节点，提高了云环境下网络数据备份的效率。
附图说明
图1为本发明所提供的实现云环境下数据备份的方法的一种具体实施方式的流程图；
图2为本发明所提供的实现云环境下数据备份的方法的一种具体实施方式中重复性过滤的操作流程图；
图3为本发明所提供的实现云环境下数据备份的方法的另一种具体实施方式的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的实现云环境下数据备份的方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：接收用户本地节点的数据备份请求；
步骤S102：获取待备份数据；
步骤S103：根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点，所述备份服务质量评分数据为基于概率统计的方法，对云环境下的各个网络节点分别进行数据备份能力评分的汇总数据；
步骤S104：将所述待备份数据上传至所述目标节点上。
本发明所提供的实现云环境下数据备份的方法，通过接收用户本地节点的数据备份请求，获取待备份数据后，根据备份服务质量评分数据来选择云环境下的网络节点作为待备份数据的目标节点，从而将待备份数据上传至目标节点上。本发明所提供的方法中，备份服务质量评分数据为基于概率统计，对云环境下各个网络节点分别进行数据备份能力评分的汇总数据。通过对各个节点提供数据备份的能力进行评分筛选出将待备份数据上传的目标节点，提高了云环境下网络数据备份的效率。
上述步骤S102获取待备份数据可以具体为：
滤除数据中最新修改时间早于最新备份时间的文件后，获取所述待备份数据。
如图2所示，上述步骤S102获取待备份数据的过程还可以进一步包括下述重复性过滤的操作：
步骤S1021：计算数据中当前文件的校验值；
步骤S1022：查询所有其他网络节点的数据备份区中是否存在同名文件，若存在，则将所述当前文件的校验值与查询到的同名文件的校验值进行比较；
步骤S1023：若校验值相同，则将重复文件进行滤除后，获取所述待备份数据。
其中，校验值可以为哈希值或者MD5，这均不影响本发明的实现。
上述步骤S103根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点可以具体为：
将云环境下的网络节点提供数据备份服务质量的评分按照从高到低进行排序，选择评分最高的网络节点作为所述待备份数据的目标节点。
其可以具体通过下述步骤实现：
步骤S1031：将所有n个网络节点能够提供数据备份的备份服务质量评分s1,s2,…si,…,sn构建为一个备份服务质量评分向量S＝(s1,s2,…si,…,sn)；其中，si表示网络节点i的备份服务质量评分；
本实施例中，网络节点i的备份服务质量评分si可以采用下式计算得到：
si＝f*v*c*s*(1-m)2/p (5)
上述变量中：f为备份访问频率，v为网络节点的数据备份区的可用存储空间容量，c为CPU运算处理能力，s为网络传输速度，m为文件备份失败率，p为服务付费标准。
步骤S1032：按照周期T定期生成所述备份服务质量评分向量S的时间序列S(1),S(2),…S(j)…，其中，S(j)＝(s1(j),s2(j),…,si(j),…,sn(j))，S(j)表示在第j个周期的备份服务质量评分向量，si(j)表示网络节点i在第j个周期的备份服务质量评分；
步骤S1033：按照周期T定期执行以下步骤：
(1)对于在第j个周期的备份服务质量评分向量S(j)，定义S(j)的预测向量为PS(j)，S(j)的一级误差向量为EB(j)，计算如下：
PS(j)＝λ1·S(j)+(1-λ1)·PS(j-1) (1)
EB(j)＝|S(j)-PS(j-1)| (2)
其中，一级误差系数λ1为0.25，PS(0)＝S(1)；
(2)根据第j个周期的S(j)的一级误差向量为EB(j)，计算S(j)的二级误差向量EB_2(j)如下：
EB_2(j)＝|λ2·EB(j)+(1-λ2)·EB_2(j-1)| (3)
其中，二级误差系数λ2为0.15，EB_2(0)＝0；
(3)根据第j个周期的S(j)的二级误差向量EB_2(j)，计算S(j)的三级误差向量EB_3(j)如下：
EB_3(j)＝|λ3·EB_2(j)+(1-λ3)·EB_3(j-1)| (4)
其中，三级误差系数λ3为0.05，EB_3(0)＝0；
(4)根据上述计算结果将各个网络节点按照从高到低的顺序进行排序。
进一步地，本发明还能够以周期T定期对备份服务质量评分异常的网络节点进行筛除。具体地，在上述步骤(4)的基础上，还可以包括：
(5)将第j个周期的S(j)的三级误差向量EB_3(j)中的每一个分量与预先设定的备份服务误差阈值T_EB相比较；
如果存在超过备份服务误差阈值T_EB的分量，则确定该分量所对应网络节点在该周期的备份服务质量评分为异常。
本发明所提供的实现云环境下数据备份的方法可以具体应用于云环境下的网络数据备份系统中。云环境下的网络数据恢复系统与数据备份系统结构相同。
本实施例中，网络数据备份系统可以具体由通过网络相互连接的云环境下的网络节点以及云控制中心C_MASTER、存储容灾冗余中心S_CENTER三部分组成。
其中，云控制中心C_MASTER用于对云环境下的网络数据备份和数据恢复进行全局性控制。
云控制中心C_MASTER能够定期测试所有网络节点提供数据备份的服务质量评分和数据恢复的服务质量评分，更新维护备份服务质量列表Blist和恢复服务质量列表Rlist，以便挑选数据备份和数据恢复的目标节点；同时对网络节点相互之间、以及网络节点和存储容灾冗余中心S_CENTER的网络数据传输进行控制。
云控制中心C_MASTER还可以根据网络节点的变化情况来复制、移动或删除数据备份的副本。
需要指出的是，云控制中心C_MASTER不同于一般的云端备份服务器，其主要功能不是用于存储备份数据，而只是集中了云环境下网络的控制功能。对于云环境下的数据容灾冗余，则由存储容灾冗余中心S_CENTER来处理。
存储容灾冗余中心S_CENTER的作用不是将所有网络备份数据的完全镜像冗余(这样对于存储空间的需求巨大，也是难以实现的)，其主要用于一些特殊数据的冗余备份。比如，对一些超大的文件进行冗余备份，或者当一些网络节点不适宜作为数据备份的目标节点时，可以将该类网络节点中的备份数据拷贝至所述存储容灾冗余中心S_CENTER。
云环境下的所有网络节点都具有完全相同或者类似的结构。数据备份和数据恢复既可以是定期或者自动的，又可以按用户的实际需求实时进行。本发明的数据备份方法主要利用云环境下的网络节点对用户节点的数据进行数据备份。
为了保证网络传输中数据传输的安全性，在云环境下进行网络数据备份之前，需要将备份数据中的文件依次进行压缩和加密；与之对应地，在从云环境下恢复用户数据时，需要对接收数据中的文件依次进行解密和解压缩。
在上述数据备份系统中，本发明所提供的实现云环境下数据备份的方法的另一种具体实施方式的流程图如图3所示，该方法包括：
步骤S201：接收用户本地节点的数据备份请求，所述数据备份请求携带待备份数据中每个文件的最新修改时间和最新备份时间；
步骤S202：滤除待备份数据中最新修改时间早于最新备份时间的文件；
步骤S203：将待备份数据进行压缩；
步骤S204：将压缩的数据进行加密；
步骤S205：选择云环境下的网络节点作为数据备份的目标节点，将待备份数据上传至所选择的目标节点；
步骤S206：所选择的目标节点接收到待备份数据后，对数据依次进行解密和解压缩，将解压缩后的数据存储在该目标节点的数据备份区中；
其中，所述压缩算法、加密/解密算法都是预先定义的，并由云环境下的所有网络节点共享。
本实施例中，云环境下的每个网络节点都具有一个数据备份区和一个备份列表。
其中，数据备份区用于份来自其他网络节点的备份数据文件，数据备份区中的所有备份数据文件均以固定大小的备份数据块的格式存储；当网络节点的数据备份区的剩余存储空间小于或等于阈值T_node时，禁止向该网络节点进行数据备份。
阈值T_node的取值可以为当前网络节点的数据备份区总存储容量的10％；当然也可以为其他数值。
备份列表记录了数据备份区中每个文件的备份时间、文件信息和校验值，文件信息包括该文件的文件名、文件大小和分块信息。
作为一种具体实施方式，在步骤S203之前还可以包括：
对用户身份的有效性和操作权限进行验证，其中操作权限包括：上传、下载、创建、修改、复制、删除、查看、以及搜索；如果用户身份经验证为无效，则锁定用户的所有操作权限；如果用户身份经验证为有效，但不具备上传权限，则禁止用户进行云环境下的网络数据备份，向用户发出提示。
作为一种具体实施方式，在步骤S203之前还可以包括：
对用户的待备份数据中的每个文件进行安全扫描，如果发现某个文件中含有禁止上传的内容，则将该文件拦截和标记，向用户发出提示；同时禁止该文件进行云环境下的网络数据备份；禁止上传的内容可以包括：违法数据、不良数据、有害数据，或者由于安全保密的原因而不适宜网络备份的数据。
作为一种具体实施方式，在步骤S203之前还可以包括：
记录用户的网络数据备份行为的备份日志信息，所述备份日志信息可以包括：用户节点的网络标识、用户名、操作权限、是否完成全部备份的标识、以及每个备份文件的文件信息。其中，每个备份文件的文件信息包括：文件名、文件的备份时间、文件格式、文件大小、文件的校验值、文件是否禁止上传的标识、文件是否完成备份的标识。
作为一种具体实施方式，步骤S205可以利用云环境中的云控制中心C_MASTER和存储容灾冗余中心S_center对云环境下的数据备份进行全局控制。其中云控制中心C_MASTER动态拥有一个网络节点的备份服务质量列表QB_list，该备份服务质量列表QB_list包括所有n个网络节点能够提供的数据备份的备份服务质量评分；所述云控制中心C_MASTER定期测试所有n个网络节点能够提供数据备份的备份服务质量评分，更新维护所述备份服务质量列表QB_list，并将所有n个网络节点按其能够提供数据备份的备份服务质量评分从高至低排序。
如果一个网络节点连续两个周期的备份服务质量评分为异常，则将该网络节点加入备份节点黑名单列表B_black；同时，还可以将该网络节点的数据备份区中的备份数据拷贝至容灾冗余存储中心S_center。
另外，云控制中心C_center还可以以周期T定期扫描所述备份节点黑名单列表B_black，如果发现备份服务质量评分高于阈值TB_out的网络节点，则将该网络节点从所述备份节点黑名单列表B_black中删除。
云控制中心C_MASTER对云环境下的数据备份进行全局控制的过程包括以下步骤：
所述云控制中心C_MASTER查询所述备份服务质量列表QB_list，按照网络节点能够提供数据备份的备份服务质量评分从高至低的顺序选择评分最高的一个网络节点作为数据备份的目标节点；
如果当前目标节点的数据备份区的容量能够保证完成所述数据备份请求中所有文件的备份，则将所述数据备份请求中的所有文件备份至当前目标节点，然后结束。
当发现当前目标节点的数据备份区的剩余存储空间小于或等于阈值T_node时，停止向当前目标节点进行数据备份，删除当前目标节点中备份中断的文件；然后，按照网络节点能够提供数据备份的备份服务质量评分从高至低的顺序选择下一个网络节点作为下一目标节点，将当前目标节点中备份中断的文件重新备份至下一目标节点，并将剩余的未备份文件继续备份至所述下一目标节点；
以此类推，直至完成所述数据备份请求中所有文件的备份。
阈值T_max代表网络节点的数据备份区中允许存储的单个文件所占空间的最大值；存储容灾冗余中心S_center可以结合阈值T_max的比较判断，对用户的所述待备份数据中的大文件进行同步的冗余备份，具体地：如果待备份数据中存在大小大于阈值T_max的文件，则在向作为数据备份的目标节点的网络节点备份该文件的同时，将该文件同步镜像拷贝至所述存储容灾冗余中心S_center。
作为一种具体实施方式，将待备份数据上传至所选择的目标节点包括：用户本地节点依次将用户的待备份数据中每个文件的所有文件采用分块上传至作为数据备份的目标节点的网络节点，具体可以包括：
在用户本地节点开辟一块字节数为L的内存作为缓冲池，用于存储待发送数据块；
依次将用户的待备份数据中的每个文件按照固定字节数L0划分成文件分块形成数据块，将所述数据块依次存入缓冲池；若某个文件最后一块数据字节数不足L0，也作为一个数据块读取；
从缓冲池中读取数据块，依次发送至所述作为数据备份的目标节点的网络节点，直至所述待备份数据全部发送完毕。
其中，数据块的大小L0的取值范围为：16KB≤L0≤8MB；
缓冲池的长度L的取值范围如下：
当16KB≤L0≤256KB时，L＝32*L0；
当256KB<L0≤1MB时，L＝16*L0；
当1MB<L0≤4MB时，L＝8*L0；
当4MB<L0≤16MB时，L＝4*L0。
本发明所提供的实现云环境下数据备份的方法，云环境下的每个网络节点都提供一个数据备份区，用于存储其他网络节点的备份数据，通过存储容灾冗余中心进行特定情况下网络数据的冗余备份，通过云控制中心对云环境下的网络数据备份进行全局控制，并使用基于概率统计的方法定期对所有网络节点能够提供数据备份的能力评分筛选。本发明优化了云环境下的网络数据备份过程，解决云环境下所有网络节点之间的控制协作问题，同时解决了云环境下网络数据的容灾冗余备份问题，还可提高云环境下网络数据备份的效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种实现云环境下数据备份的方法，其特征在于，包括：
接收用户本地节点的数据备份请求；
获取待备份数据；
根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点，所述备份服务质量评分数据为基于概率统计的方法，对云环境下的各个网络节点分别进行数据备份能力评分的汇总数据；
将所述待备份数据上传至所述目标节点上；
当所述目标节点的剩余存储空间小于或等于预设存储阈值时，停止向当前目标节点进行数据备份，删除当前目标节点中备份中断的文件，从所述备份服务质量评分数据中按照从高至低的顺序选择下一个网络节点作为下一目标节点，将当前目标节点中备份中断的文件重新备份至所述下一目标节点，并将剩余的未备份文件继续备份至所述下一目标节点；
所述根据备份服务质量评分数据选择云环境下的网络节点作为所述待备份数据的目标节点包括：
将云环境下的网络节点提供数据备份服务质量的评分按照从高到低进行排序，选择评分最高的网络节点作为所述待备份数据的目标节点；
其中，每个所述网络节点的备份服务质量评分为si＝f*v*c*s*(1-m)2/p，f为备份访问频率，v为网络节点的数据备份区的可用存储空间容量，c为CPU运算处理能力，s为网络传输速度，m为文件备份失败率，p为服务付费标准。
2.如权利要求1所述的实现云环境下数据备份的方法，其特征在于，所述获取待备份数据包括：
滤除数据中最新修改时间早于最新备份时间的文件，获取所述待备份数据。
3.如权利要求1所述的实现云环境下数据备份的方法，其特征在于，所述获取待备份数据包括：
计算数据中当前文件的校验值；
查询所有其他网络节点的数据备份区中是否存在同名文件，若存在，则将所述当前文件的校验值与查询到的同名文件的校验值进行比较；
若校验值相同，则将重复文件进行滤除后，获取所述待备份数据。
4.如权利要求1至3任一项所述的实现云环境下数据备份的方法，其特征在于，在所述获取待备份数据之后还包括：
对所述待备份数据进行压缩以及加密处理。
5.如权利要求4所述的实现云环境下数据备份的方法，其特征在于，在所述将所述待备份数据上传至所述目标节点上之后还包括：
所述目标节点接收到所述待备份数据后，对数据进行解密以及解压缩，将解压缩后的数据存储在所述目标节点的数据备份区。
6.如权利要求5所述的实现云环境下数据备份的方法，其特征在于，所述将所述待备份数据上传至所述目标节点上包括：
将用户本地节点上第一预设字节数的内存作为缓冲池，以存储待发送数据块；
依次将所述待备份数据中的每个文件按照预设第二字节数划分为多个数据块；
将所述数据块依次存入缓冲池；
从所述缓冲池中读取数据块，依次发送至所述目标节点，直至所述待备份数据全部发送完毕为止。
7.如权利要求5所述的实现云环境下数据备份的方法，其特征在于，所述将所述待备份数据上传至所述目标节点上包括：
当所述待备份数据的大小超过预设阈值，或当检测到所述目标节点为异常节点时，将所述待备份数据拷贝至存储容灾冗余中心进行备份。
8.如权利要求7所述的实现云环境下数据备份的方法，其特征在于，在所述获取待备份数据之前还包括：
验证用户身份的有效性和操作权限；
在所述获取待备份数据之后还包括：
对待备份数据的每个文件进行安全扫描。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510573757.4A CN105120003B (zh) | 2015-09-10 | 2015-09-10 | 一种实现云环境下数据备份的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510573757.4A CN105120003B (zh) | 2015-09-10 | 2015-09-10 | 一种实现云环境下数据备份的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105120003A CN105120003A (zh) | 2015-12-02 |
| CN105120003B true CN105120003B (zh) | 2019-01-01 |
Family
ID=54667886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510573757.4A Active CN105120003B (zh) | 2015-09-10 | 2015-09-10 | 一种实现云环境下数据备份的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105120003B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107241295A (zh) * | 2016-03-28 | 2017-10-10 | 阿里巴巴集团控股有限公司 | 加密管理方法及装置、控制集群 |
| CN106648970A (zh) * | 2016-11-04 | 2017-05-10 | 北京华为数字技术有限公司 | 文件备份方法和分布式文件系统 |
| CN107391315A (zh) * | 2017-08-15 | 2017-11-24 | 北京北信源软件股份有限公司 | 一种备份系统文件的方法及装置 |
| CN110635927B (zh) * | 2018-06-21 | 2022-08-19 | 中兴通讯股份有限公司 | 节点切换方法、网络节点、网络系统 |
| CN109032839A (zh) * | 2018-06-27 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种云主机备份方法及装置 |
| CN109117305B (zh) * | 2018-07-24 | 2022-01-28 | 郑州市景安网络科技股份有限公司 | 一种数据备份方法、装置、设备及计算机可读存储介质 |
| US11301306B2 (en) | 2019-09-26 | 2022-04-12 | International Business Machines Corporation | Apparatus, systems, and methods for remote system batch processing |
| CN112527559B (zh) * | 2020-12-09 | 2021-10-08 | 广州技象科技有限公司 | 一种物联网数据备份方法及装置 |
| CN114513284B (zh) * | 2022-01-21 | 2023-07-18 | 华南理工大学 | 一种网络化伺服系统通讯协议的数据传输方法及系统 |
| CN116126596B (zh) * | 2023-02-13 | 2023-08-18 | 北京易华录信息技术股份有限公司 | 一种基于区块链的信息处理系统及方法 |
| CN116089175B (zh) * | 2023-04-10 | 2023-06-23 | 航天万源云数据河北有限公司 | 数据中心容灾方法、装置、设备及存储介质 |
| CN117056133B (zh) * | 2023-10-12 | 2024-02-06 | 杭州浩联智能科技有限公司 | 一种基于分布式物联网架构的数据备份方法、装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2473303A (en) * | 2009-09-07 | 2011-03-09 | Icon Business Systems Ltd | Backup system with virtual stand by machine |
| CN104331345A (zh) * | 2014-11-21 | 2015-02-04 | 四川神琥科技有限公司 | 一种数据恢复方法 |
| CN104331346A (zh) * | 2014-11-21 | 2015-02-04 | 四川神琥科技有限公司 | 一种数据保护方法 |
| CN104410683A (zh) * | 2014-11-21 | 2015-03-11 | 四川神琥科技有限公司 | 一种数据备份方法 |
-
2015
- 2015-09-10 CN CN201510573757.4A patent/CN105120003B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2473303A (en) * | 2009-09-07 | 2011-03-09 | Icon Business Systems Ltd | Backup system with virtual stand by machine |
| CN104331345A (zh) * | 2014-11-21 | 2015-02-04 | 四川神琥科技有限公司 | 一种数据恢复方法 |
| CN104331346A (zh) * | 2014-11-21 | 2015-02-04 | 四川神琥科技有限公司 | 一种数据保护方法 |
| CN104410683A (zh) * | 2014-11-21 | 2015-03-11 | 四川神琥科技有限公司 | 一种数据备份方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105120003A (zh) | 2015-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105120003B (zh) | 一种实现云环境下数据备份的方法 | |
| CN104410683B (zh) | 一种数据备份方法 | |
| CN104331346B (zh) | 一种数据保护方法 | |
| US11651075B2 (en) | Extensible attack monitoring by a storage system | |
| US11657146B2 (en) | Compressibility metric-based detection of a ransomware threat to a storage system | |
| US11755751B2 (en) | Modify access restrictions in response to a possible attack against data stored by a storage system | |
| US11720692B2 (en) | Hardware token based management of recovery datasets for a storage system | |
| US11615185B2 (en) | Multi-layer security threat detection for a storage system | |
| US11720714B2 (en) | Inter-I/O relationship based detection of a security threat to a storage system | |
| US11687418B2 (en) | Automatic generation of recovery plans specific to individual storage elements | |
| US20210397711A1 (en) | Detection of Writing to a Non-header Portion of a File as an Indicator of a Possible Ransomware Attack Against a Storage System | |
| US11500788B2 (en) | Logical address based authorization of operations with respect to a storage system | |
| CN104331345B (zh) | 一种数据恢复方法 | |
| US11520907B1 (en) | Storage system snapshot retention based on encrypted data | |
| US20220083657A1 (en) | Independent Security Threat Detection and Remediation by Storage Systems in a Synchronous Replication Arrangement | |
| US11645162B2 (en) | Recovery point determination for data restoration in a storage system | |
| US20220244858A1 (en) | Storage Element Attribute-based Determination of a Data Protection Policy for Use Within a Storage System | |
| US20210382995A1 (en) | Host Anomaly-Based Generation of Snapshots | |
| US11675898B2 (en) | Recovery dataset management for security threat monitoring | |
| US20220050898A1 (en) | Selective Control of a Data Synchronization Setting of a Storage System Based on a Possible Ransomware Attack Against the Storage System | |
| US20210382992A1 (en) | Remote Analysis of Potentially Corrupt Data Written to a Storage System | |
| US11625481B2 (en) | Selective throttling of operations potentially related to a security threat to a storage system | |
| US20210216631A1 (en) | Filesystem Property Based Determination of a Possible Ransomware Attack Against a Storage System | |
| US11645333B1 (en) | Garbage collection integrated with physical file verification | |
| Kumar et al. | Cloud storage performance improvement using deduplication and compression techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |