CN112988461A - 数据备份方法、边缘节点、数据中心及计算机存储介质 - Google Patents

数据备份方法、边缘节点、数据中心及计算机存储介质 Download PDF

Info

Publication number
CN112988461A
CN112988461A CN202110172313.5A CN202110172313A CN112988461A CN 112988461 A CN112988461 A CN 112988461A CN 202110172313 A CN202110172313 A CN 202110172313A CN 112988461 A CN112988461 A CN 112988461A
Authority
CN
China
Prior art keywords
data
preset period
edge node
virtual machine
hard disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110172313.5A
Other languages
English (en)
Other versions
CN112988461B (zh
Inventor
程筱彪
徐雷
贾宝军
杨双仕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202110172313.5A priority Critical patent/CN112988461B/zh
Publication of CN112988461A publication Critical patent/CN112988461A/zh
Application granted granted Critical
Publication of CN112988461B publication Critical patent/CN112988461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本公开提供一种数据备份方法、边缘节点、数据中心及计算机可读存储介质，所述方法包括：边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重，得到各个预设周期下的增量数据；以及，所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，以使所述数据中心在依次接收到所述各个预设周期下的增量数据后，分别对所述各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。本公开实施例边缘节点每隔固定周期对其虚拟机存储的硬盘数据进行去重然后上传到数据中心，由数据中心存储边缘节点去重后的增量备份数据，其至少可以达到提高边缘节点高可用的效果。

Description

数据备份方法、边缘节点、数据中心及计算机存储介质
技术领域
本公开涉及云计算技术领域，尤其涉及一种数据备份方法、一种边缘节点、一种数据中心以及一种计算机可读存储介质。
背景技术
边缘云作为云计算未来发展方向之一，近几年逐步成为一大热门方向，然而边缘节点存在安全性差易受外部攻击、硬件资源不足等问题，因此边缘节点如何利用更少的硬件资源实现更高的可靠性成为一项难点。
发明内容
本公开提供了一种数据备份方法、边缘节点、数据中心及计算机可读存储介质，以至少解决上述问题。
根据本公开实施例的一方面，提供一种数据备份方法，包括：
边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重，得到各个预设周期下的增量数据；以及，
所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，以使所述数据中心在依次接收到所述各个预设周期下的增量数据后，分别对所述各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
在一种实施方式中，所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重，包括：
所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作。
在一种实施方式中，所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作，包括：
所述边缘节点每隔预设周期分别计算其虚拟机当前周期存储的硬盘数据各文件块的第一摘要向量，以及其虚拟机上个周期存储的硬盘数据各文件块的第二摘要向量；
所述边缘节点每隔预设周期分别计算当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离；
所述边缘节点每隔预设周期分别判断当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离是否低于预设阈值；
若存在当前周期存储的硬盘数据的某文件块的第一摘要向量与上个周期存储的硬盘数据的对应文件块的第二摘要向量低于预设阈值，则所述边缘节点判定所述文件块对应的数据为重复数据；以及，
所述边缘节点每隔预设周期删除被判定为重复数据的文件块所对应的数据。
在一种实施方式中，在边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重之后，以及依次将各个预设周期下的增量数据传输至数据中心之前，还包括：
所述边缘节点依次对各个预设周期下的增量数据进行压缩处理；
所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，包括：
所述边缘节点依次将各个预设周期下经过压缩处理的增量数据传输至数据中心，以使所述数据中心在依次接收到各个预设周期下经过压缩处理的增量数据后进行解压处理，得到各个预设周期下解压后的增量数据，再分别对各个预设周期下解压后的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
根据本公开实施例的第二方面，提供一种数据备份方法，包括：
数据中心依次接收边缘节点传输的各个预设周期下的增量数据，其中所述各个预设周期下的增量数据是所述边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重后得到的；
所述数据中心依次对各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
在一种实施方式中，所述数据中心依次接收的各个预设周期下的增量数据具体是各个预设周期下经过压缩处理的增量数据，其中所述边缘节点依次对各个预设周期下的增量数据进行压缩处理后形成所述各个预设周期下经过压缩处理的增量数据；
在数据中心依次接收边缘节点传输的各个预设周期下的增量数据之后，以及所述数据中心依次对各个预设周期下的增量数据进行合并之前，还包括：
所述数据中心依次对各个预设周期下经过压缩处理的增量数据进行解压处理，得到各个预设周期下解压后的增量数据。
在一种实施方式中，在生成各个预设周期下的关于所述虚拟机的备份数据之后，还包括：
所述数据中心对各个预设周期下的关于所述虚拟机的备份数据分别进行备份数据编号。
在一种实施方式中，在生成各个预设周期下的关于所述虚拟机的备份数据之后，还包括：
在边缘节点的虚拟机出现故障后，基于所述虚拟机的故障信息将相应预设周期下的关于所述虚拟机的备份数据传输给所述边缘节点。
根据本公开实施例的第三方面，提供一种边缘节点，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行所述的数据备份方法。
根据本公开实施例的第四方面，提供一种数据中心，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行所述的另一种数据备份方法。
根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的数据备份方法，或者所述的另一种数据备份方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的数据备份方法，通过边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重，得到各个预设周期下的增量数据；以及，所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，以使所述数据中心在依次接收到所述各个预设周期下的增量数据后，分别对所述各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。本公开实施例边缘节点每隔固定周期对其虚拟机存储的硬盘数据进行去重然后上传到数据中心，由数据中心存储边缘节点去重后的增量备份数据，其至少可以达到提高边缘节点高可用的效果。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开实施例提供的一种数据备份方法的流程示意图之一；
图2为本公开实施例提供一种数据备份方法的流程示意图之二；
图3为本公开实施例提供的另一种数据备份方法的流程示意图之一；
图4为本公开实施例提供的另一种数据备份方法的流程示意图之二；
图5为本公开实施例提供的一种边缘节点的结构示意图；
图6为本公开实施例提供的一种数据中心的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互任意组合。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
请参照图1，图1为本公开实施例提供的一种数据备份方法，所述方法包括步骤S101和步骤S102。
在步骤S101中，边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重，得到各个预设周期下的增量数据。
需要说明的是，预设周期是本领域技术人员结合现有技术及实际情况自适应设定的固定周期。
本实施例中，当边缘节点新建一台虚拟机实例后，首先将虚拟机的初始硬盘数据传输给数据中心，具体地，可以对初始硬盘数据进行MD5摘要算法计算各文件块的摘要向量并存储其摘要向量值(通常为多位由1和0组成的数组，例如file1＝{1,0,1,0，…，1,1})，然后将初始硬盘数据经过压缩传递给该边缘节点对应的数据中心，数据中心将该份数据进行解压缩，然后建立一份备份存储，由统一管理系统进行备份数据编号，并在数据库中记录该虚拟机的虚拟机编号、IP地址、边缘节点编号、备份数据编号。
在建立该虚拟机后的每隔固定周期(可以根据虚拟机重要程度可设为12小时、24小时、7天等)，边缘节点将其虚拟机的硬盘数据进行去重操作后形成增量数据)，然后传输给数据中心形成备份数据。
进一步地，为提高边缘节点的数据去重效率，本实施例通过对其虚拟机的硬盘数据进行块级数据去重，具体地，所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重(步骤S101)，包括：所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作。
进一步地，所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作，具体包括以下步骤a-d：
a、所述边缘节点每隔预设周期分别计算其虚拟机当前周期存储的硬盘数据各文件块的第一摘要向量，以及其虚拟机上个周期存储的硬盘数据各文件块的第二摘要向量；
b、所述边缘节点每隔预设周期分别计算当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离；
c、所述边缘节点每隔预设周期分别判断当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离是否低于预设阈值；
d、若存在当前周期存储的硬盘数据的某文件块的第一摘要向量与上个周期存储的硬盘数据的对应文件块的第二摘要向量低于预设阈值，则所述边缘节点判定所述文件块对应的数据为重复数据；以及，
e、所述边缘节点每隔预设周期删除被判定为重复数据的文件块所对应的数据。
具体地，使用MD5摘要算法计算各个文件块file的摘要向量Ci，为提高去重效率，可以首先对于文件块名相同的部分进行去重操作，然后根据文件块名与上次存储的对应文件块的摘要向量进行对比：计算两个摘要向量的海明距离，因为两个摘要向量的海明距离越小，表示两个文件块的重复度越高，具体的计算公式如下：
Figure BDA0002939123480000061
其中HamingD(Ca,Cb)表示文件块a摘要向量和文件块b摘要向量的海明距离，La表示文件块a的向量长度，Lb表示文件块b的向量长度；当两个文件的S[a,b]值低于预设阈值(本领域技术人员可以根据实际情况对预设阈值进行适应性设定)时，则判断其为重复部分，并从待传递部分(即向数据中心传输数据部分)中进行删除，处理完成后形成新增数据，进一步地，可以记录本次计算得到的摘要向量集合，替换原摘要向量。
在步骤S102中，所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，以使所述数据中心在依次接收到所述各个预设周期下的增量数据后，分别对所述各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
具体地，边缘节点在每个预设周期对数据去重得到增量数据后，将增量数据发送给数据中心，例如，在初次将初始硬盘数据上传给数据中心后，在第一个预设周期例如12小时，对当前存储的硬盘数据与(上一次的)初始硬盘数据进行去重，并将得到的第一个预设周期的增量数据传输给数据中心；然后在第二个预设周期，对当前存储的硬盘数据与上一次存储的硬盘数据进行去重，并将第二预设周期下的增量数据传输给数据中心，依次类推。
为了提高边缘节点的安全性及可用度，相关技术中，采用传统数据中心的双活或备份策略，即在边缘节点建立一份同等数据备份或者建立一台同样的虚拟机，然而其未考虑边缘节点资源不足等特点，上述方案占用较多边缘节点的硬件资源，且在受到网络攻击时，容易出现无法恢复的情况。而相较于相关技术，本实施例通过边缘节点在创建虚拟机后，每隔固定周期对其虚拟机存储的硬盘数据进行去重，并上传到数据中心，由数据中心存储边缘节点去重后的增量备份数据，以实现边缘节点高可用的目的，其能够使用更少硬件资源的情况下，实现边缘节点虚拟机的高可用方案，更好的发挥边缘节点的资源潜力，提供更多的服务。
请参照图2，图2为本公开实施例提供的一种数据备份方法的流程示意图之二，本实施例中增量数据的传输进行压缩及解压缩处理，具体地，在边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重之后，以及依次将各个预设周期下的增量数据传输至数据中心之前(即步骤S101之后，以及步骤S102之前)，还包括以下步骤S201，步骤S102进一步划分为步骤S102’。
在步骤S201中，所述边缘节点依次对各个预设周期下的增量数据进行压缩处理；
在步骤S102’中，所述边缘节点依次将各个预设周期下经过压缩处理的增量数据传输至数据中心，以使所述数据中心在依次接收到各个预设周期下经过压缩处理的增量数据后进行解压处理，得到各个预设周期下解压后的增量数据，再分别对各个预设周期下解压后的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
具体地，数据中心将收到经过压缩的增量数据解压缩后同已有备份数据(即，上一周期生成的备份数据)进行合并，存储为最新备份数据，并可以在数据库中更新备份编号。
在一些实施例中，如果边缘节点虚拟机实例出现故障必须重建，则可以从数据中心获取相应的备份数据，对相关数据进行恢复，以保障虚拟机相关服务的进行。
请参照图3，图3为本公开实施例本公开实施例提供的另一种数据备份方法的流程示意图，如图3所示，所述方法包括步骤S301和步骤S302。
在步骤S301中，数据中心依次接收边缘节点传输的各个预设周期下的增量数据，其中所述各个预设周期下的增量数据是所述边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重后得到的；
在步骤S302中，所述数据中心依次对各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
在一种实施方式中，在生成各个预设周期下的关于所述虚拟机的备份数据之后，还包括以下步骤：
所述数据中心对各个预设周期下的关于所述虚拟机的备份数据分别进行备份数据编号。
具体地，数据中心第每一周期的备份数据进行备份数据编号，并在数据库中记录该虚拟机的虚拟机编号、IP地址、边缘节点编号、备份数据编号，以便于在边缘节点虚拟机出现异常时，高效查询及返回虚拟机的备份数据。
在一种实施方式中，所述数据中心依次接收的各个预设周期下的增量数据具体是各个预设周期下经过压缩处理的增量数据，其中所述边缘节点依次对各个预设周期下的增量数据进行压缩处理后形成所述各个预设周期下经过压缩处理的增量数据；
在数据中心依次接收边缘节点传输的各个预设周期下的增量数据之后，以及所述数据中心依次对各个预设周期下的增量数据进行合并之前，还包括以下步骤：
所述数据中心依次对各个预设周期下经过压缩处理的增量数据进行解压处理，得到各个预设周期下解压后的增量数据。
具体地，数据中心将收到经过压缩的增量数据解压缩后同已有备份数据(即，上一周期生成的备份数据)进行合并，存储为最新备份数据，并可以在数据库中更新备份数据编号。
请参照图4，图4为本公开实施例提供的另一种数据备份的流程示意图之二，本实施例为进一步提高边缘节点的高可用性，在步骤S302之后，所述方法还包括以下步骤S401。
在步骤S401中，在边缘节点的虚拟机出现故障后，基于所述虚拟机的故障信息将相应预设周期下的关于所述虚拟机的备份数据传输给所述边缘节点。
具体地，可以通过管理系统实时监测各边缘节点虚拟机运行情况，当边缘节点虚拟机实例出现故障必须重建时，管理系统根据故障虚拟机编号，从数据中心的数据库中提取其相关信息，然后将其对应的备份数据压缩后再传递给边缘节点，边缘节点收到数据后，通过压缩过程的逆操作将相关数据恢复，进而恢复虚拟机及相关服务。
基于相同的技术构思，本公开实施例相应还提供一种边缘节点，如图5所示，包括存储器51和处理器52，所述存储器51中存储有计算机程序，当所述处理器52运行所述存储器存储的计算机程序时，所述处理器52执行所述的数据备份方法。
基于相同的技术构思，本公开实施例相应还提供一种数据中心，包括存储器和处理器，如图6所示，所述存储器61中存储有计算机程序，当所述处理器62运行所述存储器61存储的计算机程序时，所述处理器62执行所述的另一种数据备份方法。
基于相同的技术构思，本公开实施例相应还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的数据备份方法，或者所述的另一种数据备份方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (11)

1.一种数据备份方法，其特征在于，包括：
边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重，得到各个预设周期下的增量数据；以及，
所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，以使所述数据中心在依次接收到所述各个预设周期下的增量数据后，分别对所述各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
2.根据权利要求1所述的方法，其特征在于，所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重，包括：
所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作。
3.根据权利要求2所述的方法，其特征在于，所述边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行基于硬盘数据各文件块的去重操作，包括：
所述边缘节点每隔预设周期分别计算其虚拟机当前周期存储的硬盘数据各文件块的第一摘要向量，以及其虚拟机上个周期存储的硬盘数据各文件块的第二摘要向量；
所述边缘节点每隔预设周期分别计算当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离；
所述边缘节点每隔预设周期分别判断当前周期存储的硬盘数据各文件块的第一摘要向量与上个周期存储的硬盘数据各对应文件块的第二摘要向量之间的海明距离是否低于预设阈值；
若存在当前周期存储的硬盘数据的某文件块的第一摘要向量与上个周期存储的硬盘数据的对应文件块的第二摘要向量低于预设阈值，则所述边缘节点判定所述文件块对应的数据为重复数据；以及，
所述边缘节点每隔预设周期删除被判定为重复数据的文件块所对应的数据。
4.根据权利要求1所述的方法，其特征在于，在边缘节点每隔预设周期对其虚拟机存储的硬盘数据进行去重之后，以及依次将各个预设周期下的增量数据传输至数据中心之前，还包括：
所述边缘节点依次对各个预设周期下的增量数据进行压缩处理；
所述边缘节点依次将各个预设周期下的增量数据传输至数据中心，包括：
所述边缘节点依次将各个预设周期下经过压缩处理的增量数据传输至数据中心，以使所述数据中心在依次接收到各个预设周期下经过压缩处理的增量数据后进行解压处理，得到各个预设周期下解压后的增量数据，再分别对各个预设周期下解压后的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
5.一种数据备份方法，其特征在于，包括：
数据中心依次接收边缘节点传输的各个预设周期下的增量数据，其中所述各个预设周期下的增量数据是所述边缘节点在创建虚拟机后，每隔预设周期对其虚拟机存储的硬盘数据进行去重后得到的；
所述数据中心依次对各个预设周期下的增量数据进行合并，并生成各个预设周期下的关于所述虚拟机的备份数据。
6.根据权利要求1所述的方法，其特征在于，所述数据中心依次接收的各个预设周期下的增量数据具体是各个预设周期下经过压缩处理的增量数据，其中所述边缘节点依次对各个预设周期下的增量数据进行压缩处理后形成所述各个预设周期下经过压缩处理的增量数据；
在数据中心依次接收边缘节点传输的各个预设周期下的增量数据之后，以及所述数据中心依次对各个预设周期下的增量数据进行合并之前，还包括：
所述数据中心依次对各个预设周期下经过压缩处理的增量数据进行解压处理，得到各个预设周期下解压后的增量数据。
7.根据权利要求5所述的方法，其特征在于，在生成各个预设周期下的关于所述虚拟机的备份数据之后，还包括：
所述数据中心对各个预设周期下的关于所述虚拟机的备份数据分别进行备份数据编号。
8.根据权利要求5所述的方法，其特征在于，在生成各个预设周期下的关于所述虚拟机的备份数据之后，还包括：
在边缘节点的虚拟机出现故障后，基于所述虚拟机的故障信息将相应预设周期下的关于所述虚拟机的备份数据传输给所述边缘节点。
9.一种边缘节点，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1至4中任一项所述的数据备份方法。
10.一种数据中心，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求5至8中任一项所述的数据备份方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器执行根据权利要求1至4中任一项所述的数据备份方法，或者根据权利要求5-8中任一项所述的数据备份方法。
CN202110172313.5A 2021-02-08 2021-02-08 数据备份方法、边缘节点、数据中心及计算机存储介质 Active CN112988461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110172313.5A CN112988461B (zh) 2021-02-08 2021-02-08 数据备份方法、边缘节点、数据中心及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172313.5A CN112988461B (zh) 2021-02-08 2021-02-08 数据备份方法、边缘节点、数据中心及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112988461A true CN112988461A (zh) 2021-06-18
CN112988461B CN112988461B (zh) 2023-05-23

Family

ID=76347498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172313.5A Active CN112988461B (zh) 2021-02-08 2021-02-08 数据备份方法、边缘节点、数据中心及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112988461B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100005254A1 (en) * 2008-07-02 2010-01-07 Cooke Laurence H Nearest Neighbor Serial Content Addressable Memory
US20140089725A1 (en) * 2012-09-27 2014-03-27 International Business Machines Corporation Physical memory fault mitigation in a computing environment
CN103970744A (zh) * 2013-01-25 2014-08-06 华中科技大学 一种可扩展的重复数据检测方法
US20180074905A1 (en) * 2011-07-06 2018-03-15 International Business Machines Corporation Storage container reassignment based on dynamic parameters
CN108009260A (zh) * 2017-12-11 2018-05-08 西安交通大学 一种大数据存储下结合节点负载和距离的副本放置方法
CN110058959A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 数据备份方法、设备和计算机程序产品
CN111367871A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于sapci可变长分块的文件间增量同步方法
CN111581028A (zh) * 2020-05-12 2020-08-25 上海英方软件股份有限公司 一种基于数据块的数据快速备份和一致性验证方法及系统
CN111679932A (zh) * 2020-06-01 2020-09-18 北京和德宇航技术有限公司 一种误码数据生成方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100005254A1 (en) * 2008-07-02 2010-01-07 Cooke Laurence H Nearest Neighbor Serial Content Addressable Memory
US20180074905A1 (en) * 2011-07-06 2018-03-15 International Business Machines Corporation Storage container reassignment based on dynamic parameters
US20140089725A1 (en) * 2012-09-27 2014-03-27 International Business Machines Corporation Physical memory fault mitigation in a computing environment
CN103970744A (zh) * 2013-01-25 2014-08-06 华中科技大学 一种可扩展的重复数据检测方法
CN108009260A (zh) * 2017-12-11 2018-05-08 西安交通大学 一种大数据存储下结合节点负载和距离的副本放置方法
CN110058959A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 数据备份方法、设备和计算机程序产品
CN111367871A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于sapci可变长分块的文件间增量同步方法
CN111581028A (zh) * 2020-05-12 2020-08-25 上海英方软件股份有限公司 一种基于数据块的数据快速备份和一致性验证方法及系统
CN111679932A (zh) * 2020-06-01 2020-09-18 北京和德宇航技术有限公司 一种误码数据生成方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAMED OROJLOO: ""A method for evaluating the consequence propagation of security attacks in cyber–physical systems"", 《FUTURE GENERATION COMPUTER SYSTEMS》 *
图尔贡·麦提萨比尔: ""虚拟机镜像文件去重技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN112988461B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108170555B (zh) 一种数据恢复方法及设备
WO2018001110A1 (zh) 一种基于纠删码的存储数据重构方法和装置、存储节点
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
CN109582213B (zh) 数据重构方法及装置、数据存储系统
CN103095843A (zh) 一种基于版本矢量的数据备份方法及客户端
CN112835743A (zh) 分布式账本数据存储优化方法、装置、电子设备及介质
EP4075252A1 (en) Data storage method, apparatus, and system and data reading method, apparatus, and system in storage system
CN108810112A (zh) 一种市场监管区块链系统的节点同步方法及装置
CN111966631A (zh) 一种可快速分发的镜像文件生成方法、系统、设备和介质
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN111211993B (zh) 流式计算的增量持久化方法、装置及存储介质
JP2021086289A (ja) 分散ストレージシステムおよび分散ストレージシステムのパリティ更新方法
CN110058963B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN111414277B (zh) 数据恢复方法、装置、电子设备和介质
CN113220500B (zh) 基于逆向差异恢复的恢复方法、设备和程序产品
CN112988461B (zh) 数据备份方法、边缘节点、数据中心及计算机存储介质
CN111404737A (zh) 一种容灾处理方法以及相关装置
CN116303789A (zh) 多分片多副本数据库并行同步方法、装置及可读介质
CN115878381A (zh) 基于srm盘的数据恢复方法及装置、存储介质、电子装置
CN115328931A (zh) 数据库集群数据校验方法、装置、存储介质及电子设备
CN113535482B (zh) 云备份链数据备份方法及装置、设备、可读介质
CN112783688B (zh) 一种基于可用分区级的纠删码数据恢复方法及装置
CN115543190A (zh) 视频数据的智能分布式存储方法及系统
CN114138559A (zh) 一种基于合成技术的快速备份方法及系统
CN111770158A (zh) 云平台恢复方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant