CN109672752A - 数据同步的方法及节点 - Google Patents

Abstract

本申请本申请提供了一种数据同步方案中，私有云节点根据自身存储的第一镜像文件和对端节点上存储的第二镜像文件进行比较，确定增量镜像文件或差量镜像文件，然后私有云节点向所述公有云节点发送所述增量镜像文件或从所述公有云节点获取差量镜像文件，由于采用了增量同步的方式，能够节约数据同步时的带宽，提高数据同步的效率。当对端节点为混合云中的公有云节点时，由于利用了公有云服务，无需关注硬件方面的管理维护问题，而当对端节点为其它的私有云节点时，可以形成去中心化的数据同步系统，由此可以避免中心节点发生异常时所有私有云节点都无法进行数据同步的问题，提高了可靠性。

Description

数据同步的方法及节点

技术领域

本申请涉及信息技术领域，尤其涉及一种用于虚拟机镜像文件的数据同步的方法及节点。

背景技术

云计算作为一种新兴的资源供应模式，近年来得到了快速的发展。云计算旨在低成本地为用户按需提供高质量的弹性云服务。云计算提供的虚拟机服务有利于降低用户的IT成本，提高云供应商的资源利用率和管理能力，这种方式也存在资源滥用问题。由于虚拟机的创建成本较低，用户往往为不同的任务创建不同的虚拟机，由虚拟机产生的镜像文件是用户使用环境的备份文件。当虚拟机出现异常状况时，镜像文件可以为用户恢复备份时的使用场景。

在现有技术中，虚拟机的镜像文件存储于在云上的各类节点中，对于混合云的应用场景，可能会在各个区域设置相应的私有云节点，从而为相应区域的用户提供云计算服务。对于这些私有云节点能够让用户无感知地获得相同的服务，需要保证这些私有云节点的数据仓库中所存储的镜像文件相同。而由于镜像文件的数据量一般会很大，目前没有一种较好的方式能够高效地实现节点之间的数据同步。

申请内容

本申请的一个目的是提供一种用于数据同步的方法及节点。

为实现上述目的，本申请提供了一种数据同步方法，该方法包括：

私有云节点根据自身存储的第一镜像文件和对端节点上存储的第二镜像文件进行比较，确定增量镜像文件或差量镜像文件，其中，所述对端节点为公有云节点或其它私有云节点；

私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点获取差量镜像文件。

进一步地，私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件，包括：

私有云节点采用预设的流量控制机制向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件。

进一步地，私有云节点向所述公有云节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件，包括：

私有云节点主动向所述公有云节点发起单向连接；

私有云节点通过所述单向连接向所述公有云节点发送所述增量镜像文件或从所述公有云节点接收差量镜像文件。

进一步地，在私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件之前，包括：

私有云节点向所述对端节点发送数字证书，以使所述对端节点根据所述数字证书验证所述私有云节点的身份信息。

进一步地，私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件，包括：

私有云节点通过网络专线向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件。

进一步地，所述对端节点和所述私有云节点中关于虚拟机的镜像文件采用切片文件的形式存储；

私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点获取差量镜像文件，包括：

私有云节点向所述对端节点发送增量镜像文件中的非冗余切片文件以及关于所述增量镜像文件的索引信息；或

私有云节点从所述对端节点获取差量镜像文件中的非冗余切片文件以及关于所述差量镜像文件的索引信息。

进一步地，该方法还包括：

私有云节点根据目标镜像文件的识别信息，确定该目标镜像文件对应的目标增量文件；

私有云节点基于所述目标增量文件和索引信息，确定需要的所述增量镜像文件及其基础镜像文件所对应的切片文件；

私有云节点根据所述索引信息和、所述增量镜像文件及其基础镜像文件所对应的切片文件，生成目标镜像文件。

进一步地，该方法还包括：

私有云节点获取关于目标镜像文件的配置信息；

私有云节点根据所述配置信息和所述目标镜像文件，创建虚拟机。

本申请还提供了一种实现数据同步节点，所述节点为私有云节点包括：

处理器；以及

存储有机器可读指令的一个或多个机器可读介质，当所述处理器执行所述机器可读指令时，使得所述设备执行如权利要求1至8中任一项所述的方法。

此外，本申请还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。

与现有技术相比，本申请提供了一种数据同步方案中，私有云节点根据自身存储的第一镜像文件和对端节点上存储的第二镜像文件进行比较，确定增量镜像文件或差量镜像文件，然后私有云节点向所述公有云节点发送所述增量镜像文件或从所述公有云节点获取差量镜像文件，由于采用了增量同步的方式，能够节约数据同步时的带宽，提高数据同步的效率。

其中，所述对端节点为公有云节点或其它私有云节点。当对端节点为混合云中的公有云节点时，所有私有云节点可以将公有云节点作为中心节点，形成星型的数据同步系统，任意私有云节点都可以将新的增量数据上传至公有云节点上进行备份，也可以从公有云节点上获取其它私有云节点上传的数据，由此实现数据同步，同时由于利用了公有云服务，无需关注硬件方面的管理维护问题。当对端节点为其它的私有云节点时，可以形成去中心化的数据同步系统，由此可以避免中心节点发生异常时所有私有云节点都无法进行数据同步的问题，并且当部分私有云节点发生异常时，仍然可以通过其它未发生异常私有云节点实现数据的同步。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例提供的一种数据同步方法的处理流程图；

图2为本申请实施例提供的数据同步方案在中心化场景下的系统结构示意图；

图3为本申请实施例提供的数据同步方案在去中心化场景下的系统结构示意图；

图4为本申请实施例提供的数据同步方案在种去中心化场景下的另一种系统结构示意图；

图5为本申请实施例的节点中所存储的镜像文件之间的关联关系示意图；

图6为本申请实施例中各个节点中存储的实际内容的示意图；

图7为本申请实施例提供的一种数据同步节点的结构示意图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请实施例提供了一种数据同步方法，该方法可以应用于混合云场景下虚拟机相关数据的同步。在混合云场景中，私有云节点和公有云节点的镜像服务器或者镜像文件仓库用于存储虚拟机的镜像文件，以提供给私有云的主存储创建虚拟机。

该方法采用了增量同步的方式，能够节约数据同步时的带宽，提高数据同步的效率。并且，可以采用中心化的星型结构或者去中心化的结构，当采用中心化的星型结构时可以使用公有云节点作为中心节点，利用公有云服务，无需关注硬件方面的管理维护问题。当采用去中心化的结构时，可以避免中心节点发生异常时所有私有云节点都无法进行数据同步的问题，并且当部分私有云节点发生异常时，仍然可以通过其它未发生异常私有云节点实现数据的同步。

图1示出了本申请实施例提供的一种数据同步方法的处理流程，该方法至少包括如下处理步骤：

步骤S101，私有云节点根据自身存储的第一镜像文件和对端节点上存储的第二镜像文件进行比较，确定增量镜像文件或差量镜像文件。其中，所述对端节点为公有云节点或其它私有云节点。

步骤S102，私有云节点向所述对端节点发送所述增量镜像文件或从所述公有云节点获取差量镜像文件。由于采用了增量同步的方式，节点之间仅交互缺少的数据，能够节约数据同步时的带宽，提高数据同步的效率。

当所述对端节点为公有云节点时，可以将该公有云节点作为中心节点，混合云中的所有私有云节点均可以和该公有云节点进行数据同步，形成中心化的星型结构。图2示出了此种场景下的系统结构，其中，节点A、节点B和节点C分别为私有云节点，可以是分布于各个区域的节点，以便于就近为用户提供云计算服务，例如节点A可以是上海节点，节点B可以是北京节点，节点C可以是杭州节点，三个私有云节点都可以作为本申请实施例提供的数据同步方法的执行主体，与公有云节点D进行数据同步。

在本申请实施例中，所述增量镜像文件表示私有云节点中存在，而公共云节点中不存在的数据，需要由私有云节点向所述公有云节点发送这些数据，以使公有云节点中存储的最新的镜像文件，以便于其它私有云节点能够从公有云节点中获取需要的镜像文件。特别地，若私有云节点中的镜像文件是首次进行数据同步，由于对端节点中不存在关于该镜像文件的任何数据，那么首次同步时的增量镜像文件即为全量的第一镜像文件。

所述差量镜像文件则是指私有云节点中不存在，而公共云节点中存在的数据，由私有云节点根据实际的需求，从所述公有云节点中获取。例如，私有云节点可以每隔一段时间检查一次自身存储的镜像文件是否相较于公有云节点中的镜像文件存在缺失，若存在缺失，则及时获取这部分数据，以保证公有云节点和私有云节点中的镜像文件尽量保持一致。

通过这种中心化的星型结构将数据在远端进行同步，可以使得所有私有云节点上的镜像文件通过各自的处理尽量保持一致，使得用户需要通过任意一个私有云节点都可以获得相同的服务体验，不会因为某一个私有云节点中的镜像文件缺失，导致响应延迟，造成不好的用户体验。由于利用公有云服务了，因此，无需关注硬件方面的管理维护问题。

由于使用了公有云节点，因此私有云节点在进行数据同步时会接入公共网络，由于公共网络的网络环境相较于私有网络更加复杂，若将私有云节点直接暴露于公共网络会导致各种安全隐患，提高被攻击的风险。因此，私有云节点向所述公有云节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件时，都是由私有云节点主动向所述公有云节点发起单向连接，然后通过所述单向连接向公有云节点发送所述增量镜像文件或从所述公有云节点接收差量镜像文件。

该单向连接只能由私有云节点主动发起，建立连接之后不会将私有云节点的地址暴露给公有云节点，公有云节点向私有云节点发送数据时，将数据携带于应答消息中，而非主动通过私有云节点的地址发起请求。因此，避免了私有云节点的地址信息暴露于公共网络之中，提高了数据同步时的安全性。

当所述对端节点为其它私有云节点时，私有云节点之间可以相互之间进行数据同步，形成一个去中心化的结构。图3示出了此种场景下的系统结构，其中，节点E、节点F、节点G、节点H均为为私有云节点，可以是分布于各个区域的节点，以便于就近为用户提供云计算服务，例如节点E可以是上海节点，节点F可以是北京节点，节点G可以是杭州节点，节点H可以是深圳节点，四个私有云节点都可以作为本申请实施例提供的数据同步方法的执行主体，相互之间进行数据同步。

理论上，在网络环境允许的情况下，每个私有云节点都可以与其它任意的私有云节点进行数据同步，在实际场景中考虑到地域之间的网络连接速度等因素，可以给每个私有云节点设定合适的同步对端节点，而其它私有云节点则可以通过这些同步对端节点实现间接的数据同步。例如，若节点F和节点H之间的网络连接速度较低，若直接在两者时间进行数据同步会导致同步效率很低，因此可以设定节点F和节点H之间不进行数据同步，而是通过节点E或者节点G间接进行，此时的系统结构如图4所示。当采用去中心化的结构时，由于取消了中心节点，可以避免因中心节点发生异常而导致所有私有云节点都无法进行数据同步的问题，并且当部分私有云节点发生异常时，仍然可以通过其它未发生异常私有云节点实现数据的同步。例如，图3中当节点G发生异常时，节点E、节点F和节点H之间仍然可以相互之间进行数据同步，因此系统的可靠性大大提高。

在本申请的一些实施例中，当私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件时，可以采用预设的流量控制机制，以对数据发送或者接收的流量进行控制，避免阻塞相应节点上其它功能的流量，导致节点无法正常提供其它服务，保证QoS。

私有云节点在向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件之前，可以先向所述对端节点发送数字证书，以使所述对端节点根据所述数字证书验证所述私有云节点的身份信息。在实际场景中，所述数字证书可以携带在私有云节点发送的请求中，对端节点在收到相应的请求之后，可以先基于数字证书确认私有云节点的身份信息，只有确认身份信息之后，才可以进行数据的读取和写入，由此可以避免其他非法的节点对修改或者获取镜像文件。此外，由于数字证书中携带有私有云节点的公钥，私有云节点发送数据时可以基于对应的私钥进行加密，对端节点在收到数据时可以基于数字证书中的公钥进行解密，保证了进行数据传输过程中的数据安全性。

在本申请的一些实施例中，私有云节点在向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件时，可以通过网络专线进行数据的发送或接收。所述网络专线是指网络服务提供商给用户提供的专用信道，可以让数据传输变得更加可靠可信，优点在于安全性好、传输速度快等。

在本申请实施例中，所述对端节点和所述私有云节点中关于虚拟机的镜像文件可以包括增量镜像文件(snapshot)和初始镜像文件(base)。所述初始镜像文件是最早的一个镜像文件，对应于初始状态的虚拟机，所述增量镜像文件则是虚拟机创建并运行之后，每一次备份时新产生的内容所对应的镜像文件，一般采用快照的方式生成。在初始镜像文件base的基础上，通过结合存在关联关系的增量镜像文件snapshot，可以获得每次备份时完整镜像文件，其中，索引信息也同时包含了base以及snapshot之间的关联关系。

通过图5详细说明该关联关系。若一开始私有云节点的主存储中创建虚拟机vm1时所使用的镜像文件为image0，该image0即为初始镜像文件base0，会以切片文件的形式存储在镜像服务器中。在虚拟机vm1运行一段时间之后，生成虚拟机vm1的镜像，此时生成的增量镜像文件为snapshot1，该snapshot1与base0之间存在关联关系，记录于索引信息中。由该关联关系可以确定snapshot1为base0的增量。将所述snapshot1镜像服务器以切片文件的形式保存后，若之后需要创建新的虚拟机vm2，可以基于关联关系，将snapshot1和base0恢复成完整的镜像文件image1，该image1即为能够用于创建虚拟机vm2的完整镜像文件。此后，若生成vm2运行一段时间后(或vm1再运行一段时间后)所对应的镜像文件image2，那么对于此时生成的增量镜像文件为snapshot2，其实质是base0以及snapshot1的增量数据，此时snapshot1+base0可以认为是snapshot2的基础镜像文件。snapshot2与snapshot1存在关联关系，并间接与base0也存在关联关系，这些关联关系记录于索引信息中。因此，在需要时，可以从索引信息中获取这些关联关系，由snapshot2+image1(或者说snapshot2+snapshot1+base0)生成完整镜像文件image2，以作为后续创建其虚拟机的完整镜像文件，更多的迭代层次可以以此类推，此处不再赘述。

其中，所述对端节点和所述私有云节点中关于虚拟机的镜像文件采用切片文件的形式存储，即所有节点中保存的镜像文件均以切片文件(chunk)的形式存在。此外，还保存有相应的汇总信息，通过这些汇总信息可以将这些chunk组织成各个镜像文件，这些镜像文件可以包括增量镜像文件snapshot和初始镜像文件base。

其中，所述汇总信息也可以记录于索引信息中，为了能够实现chunk的组织，存储的每个镜像文件snapshot或者base都可以对应于一条索引信息，该索引信息的关联信息至少包括镜像文件自身的标识信息以及与该镜像文件存在关联关系的镜像文件的标识信息。而索引信息中的汇总信息至少包括组成该镜像文件的每个切片文件的标识信息，例如可以每个切片文件在摘要信息digest，采用hash算法计算获得，通过比较digest可以来判断两个切片文件是否相同。由此，各个节点中存储有关于镜像文件的切片文件以及索引信息，索引信息中记录有用于将切片文件组织成对应的镜像文件的汇总信息以及用于将增量镜像文件和初始镜像文件组织成完整镜像文件的的关联关系，由此使得节点在需要时可以基于切片文件高效找到需要的chunk，组成增量镜像文件snapshot和初始镜像文件base，然后再基于关联关系地组织成完整镜像文件image。

由于汇总信息中包含每个切片文件的标识信息，为了进一步节约数据同步时的带宽，私有云节点在向所述对端节点发送所述增量镜像文件或从所述对端节点获取差量镜像文件时，可以先比较本次要发送的增量镜像文件中的每个切片数据在对端节点是否存在，若有部分存在，则冗余部分无需发送，仅发送不存在的非冗余部分以及用于组织这些切片文件的索引信息即可，同理可适用于接收差量镜像文件时的场景。由此，本申请实施例中，私有云节点可以仅向所述对端节点发送增量镜像文件中的非冗余切片文件以及关于所述增量镜像文件的索引信息，或仅从所述对端节点获取差量镜像文件中的非冗余切片文件以及关于所述差量镜像文件的索引信息，以此减少同步时的数据交互量，节约带宽。

在实际场景中，所述索引信息可以采用JSON(JavaScript Object Notation，JavaScript对象表示法)文件的存在于节点中，JSON文件用于描述一个增量镜像文件或者初始镜像文件的信息，以某一增量镜像文件的描述文件为例，如下示出了该JSON文件的一种可行的定义方式，：

其中，id表示该增量镜像文件的标识信息；

parents表示该增量镜像文件的父级文件信息，用于确定与该增量镜像文件存在关联关系的前一级镜像文件，例如在前例中，对于snapshot2，其parents信息即为snapshot1；

blobsum表示该增量镜像文件的第二摘要字符串，可以通过汇总所有切片文件的digest进行hash计算后获得，用于比较两个镜像文件是否相同；

created表示该增量镜像文件的创建时间信息；

autho表示该增量镜像文件的创建者信息；

architecture表示该增量镜像文件的对应的虚拟机的操作系统信息；

size表示该增量镜像文件的数据量；

name表示该增量镜像文件对应的虚拟机镜像文件的名称；

desc表示该增量镜像文件的其它描述信息。

进一步地，对于其中的blobsum项，可以进一步定义该blobsum的JSON文件，用于每个chunk查找和校验

其中，chunks的内容为该bolbsum对应的所有chunk的digest。//blobsum＝sha256(chunks[0],chunks[1],...,chunks[n])，表示基于这些chunk的digest进行hash计算得到256位长度的blobsum。基于JSON文件的信息，每个增量文件不但其包含哪些切片文件，进而恢复成一个image，而且可以知道每个image是何时、什么系统的VM、以及由哪个用户所创建的。基于上述信息，对于管理镜像文件的节点来说，对外提供服务时快速基于chunk和JSON文件组织出需要的image文件。

由此，基于上述的镜像文件存储方式，私有云节点向所述对端节点发送增量镜像文件中的非冗余切片文件以及关于所述增量镜像文件的索引信息，或者从所述对端节点获取差量镜像文件中的非冗余切片文件以及关于所述差量镜像文件的索引信息时，首先可以根据JSON文件中的信息判断两端节点中是否有不同的镜像文件，例如可以通过比较JSON文件的blobsum信息，若不同则表示存在增量镜像文件或者差量镜像文件。然后，通过JSON文件中的chunks信息，可以判断两端节点中是否有相同的切片文件，若存在相同的digest的切片文件，即为冗余切片文件，仅发送或者接收digest不同的非冗余切片文件以及对应的JSON文件即可。

基于存储的切片文件和索引信息，私有云节点可以快速组织生成需要的完整镜像文件image。例如，当私有云节点需要提供目标镜像文件时，先可以根据目标镜像文件的识别信息，确定该目标镜像文件对应的目标增量文件，例如目标镜像文件的识别信息为名称image3，确定该目标镜像文件对应的目标增量文件为snapshot3。

然后，私有云节点基于所述目标增量文件和索引信息，确定需要的所述增量镜像文件及其基础镜像文件所对应的切片文件，例如通过存储的JSON文件，可以逐级找出与snapshot3存在关联关系的增量镜像文件snapshot2、snapshot1和初始镜像文件base0，其中，snapshot2+snapshot1+base0可以认为是snapshot3的基础镜像文件。进而通过对应于这4个镜像文件的JSON文件，可以找出组成这些镜像文件的所有切片文件。

最后，私有云节点根据所述索引信息和、所述增量镜像文件及其基础镜像文件所对应的切片文件，组织成完整镜像文件image3，由此生成了需要的目标镜像文件。

进一步地，若私有云节点能够获取关于目标镜像文件的配置信息，则可以根据配置信息和所述目标镜像文件，创建虚拟机，使得私有云节点可以在其主存储中利用镜像服务器中的镜像文件件直接创建虚拟机，供用户使用。在实际场景中，该配置信息的来源可以是用户在需要创建虚拟机提供或者作为虚拟机的元数据预先存储于私有云节点。

基于同一发明构思，本申请实施例中还提供了数据同步节点，所述节点对应的方法是前述实施例中的方法，并且其解决问题的原理与该方法相似。

本申请实施例提供了一种数据同步节点，该节点为私有云节点可以应用于混合云场景下虚拟机相关数据的同步。在混合云场景中，私有云节点和公有云节点的镜像服务器或者镜像文件仓库用于存储虚拟机的镜像文件，以提供给私有云的主存储创建虚拟机。

该方案采用了增量同步的方式，能够节约数据同步时的带宽，提高数据同步的效率。并且，可以采用中心化的星型结构或者去中心化的结构，当采用中心化的星型结构时可以使用公有云节点作为中心节点，利用公有云服务，无需关注硬件方面的管理维护问题。当采用去中心化的结构时，可以避免中心节点发生异常时所有私有云节点都无法进行数据同步的问题，并且当部分私有云节点发生异常时，仍然可以通过其它未发生异常私有云节点实现数据的同步。

本申请实施例提供的一种能够进行数据同步的私有云节点，采用如图1所示的步骤进行数据同步，包括：

步骤S101，私有云节点根据自身存储的第一镜像文件和对端节点上存储的第二镜像文件进行比较，确定增量镜像文件或差量镜像文件。其中，所述对端节点为公有云节点或其它私有云节点。

步骤S102，私有云节点向所述对端节点发送所述增量镜像文件或从所述公有云节点获取差量镜像文件。由于采用了增量同步的方式，节点之间仅交互缺少的数据，能够节约数据同步时的带宽，提高数据同步的效率。

当所述对端节点为公有云节点时，可以将该公有云节点作为中心节点，混合云中的所有私有云节点均可以和该公有云节点进行数据同步，形成中心化的星型结构。图2示出了此种场景下的系统结构，其中，节点A、节点B和节点C分别为私有云节点，可以是分布于各个区域的节点，以便于就近为用户提供云计算服务，例如节点A可以是上海节点，节点B可以是北京节点，节点C可以是杭州节点，三个私有云节点都可以作为本申请实施例提供的数据同步方法的执行主体，与公有云节点D进行数据同步。

在本申请实施例中，所述增量镜像文件表示私有云节点中存在，而公共云节点中不存在的数据，需要由私有云节点向所述公有云节点发送这些数据，以使公有云节点中存储的最新的镜像文件，以便于其它私有云节点能够从公有云节点中获取需要的镜像文件。特别地，若私有云节点中的镜像文件是首次进行数据同步，由于对端节点中不存在关于该镜像文件的任何数据，那么首次同步时的增量镜像文件即为全量的第一镜像文件。

所述差量镜像文件则是指私有云节点中不存在，而公共云节点中存在的数据，由私有云节点根据实际的需求，从所述公有云节点中获取。例如，私有云节点可以每隔一段时间检查一次自身存储的镜像文件是否相较于公有云节点中的镜像文件存在缺失，若存在缺失，则及时获取这部分数据，以保证公有云节点和私有云节点中的镜像文件尽量保持一致。

通过这种中心化的星型结构将数据在远端进行同步，可以使得所有私有云节点上的镜像文件通过各自的处理尽量保持一致，使得用户需要通过任意一个私有云节点都可以获得相同的服务体验，不会因为某一个私有云节点中的镜像文件缺失，导致响应延迟，造成不好的用户体验。由于利用公有云服务了，因此，无需关注硬件方面的管理维护问题。

由于使用了公有云节点，因此私有云节点在进行数据同步时会接入公共网络，由于公共网络的网络环境相较于私有网络更加复杂，若将私有云节点直接暴露于公共网络会导致各种安全隐患，提高被攻击的风险。因此，私有云节点向所述公有云节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件时，都是由私有云节点主动向所述公有云节点发起单向连接，然后通过所述单向连接向公有云节点发送所述增量镜像文件或从所述公有云节点接收差量镜像文件。

该单向连接只能由私有云节点主动发起，建立连接之后不会将私有云节点的地址暴露给公有云节点，公有云节点向私有云节点发送数据时，将数据携带于应答消息中，而非主动通过私有云节点的地址发起请求。因此，避免了私有云节点的地址信息暴露于公共网络之中，提高了数据同步时的安全性。

当所述对端节点为其它私有云节点时，私有云节点之间可以相互之间进行数据同步，形成一个去中心化的结构。图3示出了此种场景下的系统结构，其中，节点E、节点F、节点G、节点H均为为私有云节点，可以是分布于各个区域的节点，以便于就近为用户提供云计算服务，例如节点E可以是上海节点，节点F可以是北京节点，节点G可以是杭州节点，节点H可以是深圳节点，四个私有云节点都可以作为本申请实施例提供的数据同步方法的执行主体，相互之间进行数据同步。

理论上，在网络环境允许的情况下，每个私有云节点都可以与其它任意的私有云节点进行数据同步，在实际场景中考虑到地域之间的网络连接速度等因素，可以给每个私有云节点设定合适的同步对端节点，而其它私有云节点则可以通过这些同步对端节点实现间接的数据同步。例如，若节点F和节点H之间的网络连接速度较低，若直接在两者时间进行数据同步会导致同步效率很低，因此可以设定节点F和节点H之间不进行数据同步，而是通过节点E或者节点G间接进行，此时的系统结构如图4所示。当采用去中心化的结构时，由于取消了中心节点，可以避免因中心节点发生异常而导致所有私有云节点都无法进行数据同步的问题，并且当部分私有云节点发生异常时，仍然可以通过其它未发生异常私有云节点实现数据的同步。例如，图3中当节点G发生异常时，节点E、节点F和节点H之间仍然可以相互之间进行数据同步，因此系统的可靠性大大提高。

在本申请的一些实施例中，当私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件时，可以采用预设的流量控制机制，以对数据发送或者接收的流量进行控制，避免阻塞相应节点上其它功能的流量，导致节点无法正常提供其它服务，保证QoS。

私有云节点在向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件之前，可以先向所述对端节点发送数字证书，以使所述对端节点根据所述数字证书验证所述私有云节点的身份信息。在实际场景中，所述数字证书可以携带在私有云节点发送的请求中，对端节点在收到相应的请求之后，可以先基于数字证书确认私有云节点的身份信息，只有确认身份信息之后，才可以进行数据的读取和写入，由此可以避免其他非法的节点对修改或者获取镜像文件。此外，由于数字证书中携带有私有云节点的公钥，私有云节点发送数据时可以基于对应的私钥进行加密，对端节点在收到数据时可以基于数字证书中的公钥进行解密，保证了进行数据传输过程中的数据安全性。

在本申请的一些实施例中，私有云节点在向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件时，可以通过网络专线进行数据的发送或接收。所述网络专线是指网络服务提供商给用户提供的专用信道，可以让数据传输变得更加可靠可信，优点在于安全性好、传输速度快等。

在本申请实施例中，所述对端节点和所述私有云节点中关于虚拟机的镜像文件可以包括增量镜像文件(snapshot)和初始镜像文件(base)。所述初始镜像文件是最早的一个镜像文件，对应于初始状态的虚拟机，所述增量镜像文件则是虚拟机创建并运行之后，每一次备份时新产生的内容所对应的镜像文件，一般采用快照的方式生成。在初始镜像文件base的基础上，通过结合存在关联关系的增量镜像文件snapshot，可以获得每次备份时完整镜像文件，其中，索引信息也同时包含了base以及snapshot之间的关联关系。

通过图5详细说明该关联关系。若一开始私有云节点的主存储中创建虚拟机vm1时所使用的镜像文件为image0，该image0即为初始镜像文件base0，会以切片文件的形式存储在镜像服务器中。在虚拟机vm1运行一段时间之后，生成虚拟机vm1的镜像，此时生成的增量镜像文件为snapshot1，该snapshot1与base0之间存在关联关系，记录于索引信息中。由该关联关系可以确定snapshot1为base0的增量。将所述snapshot1镜像服务器以切片文件的形式保存后，若之后需要创建新的虚拟机vm2，可以基于关联关系，将snapshot1和base0恢复成完整的镜像文件image1，该image1即为能够用于创建虚拟机vm2的完整镜像文件。此后，若生成vm2运行一段时间后(或vm1再运行一段时间后)所对应的镜像文件image2，那么对于此时生成的增量镜像文件为snapshot2，其实质是base0以及snapshot1的增量数据，此时snapshot1+base0可以认为是snapshot2的基础镜像文件。snapshot2与snapshot1存在关联关系，并间接与base0也存在关联关系，这些关联关系记录于索引信息中。因此，在需要时，可以从索引信息中获取这些关联关系，由snapshot2+image1(或者说snapshot2+snapshot1+base0)生成完整镜像文件image2，以作为后续创建其虚拟机的完整镜像文件，更多的迭代层次可以以此类推，此处不再赘述。

其中，所述对端节点和所述私有云节点中关于虚拟机的镜像文件采用切片文件的形式存储，即所有节点中保存的镜像文件均以切片文件(chunk)的形式存在。此外，还保存有相应的汇总信息，通过这些汇总信息可以将这些chunk组织成各个镜像文件，这些镜像文件可以包括增量镜像文件snapshot和初始镜像文件base。

其中，所述汇总信息也可以记录于索引信息中，为了能够实现chunk的组织，存储的每个镜像文件snapshot或者base都可以对应于一条索引信息，该索引信息的关联信息至少包括镜像文件自身的标识信息以及与该镜像文件存在关联关系的镜像文件的标识信息。而索引信息中的汇总信息至少包括组成该镜像文件的每个切片文件的标识信息，例如可以每个切片文件在摘要信息digest，采用hash算法计算获得，通过比较digest可以来判断两个切片文件是否相同。由此，各个节点中存储有关于镜像文件的切片文件以及索引信息，索引信息中记录有用于将切片文件组织成对应的镜像文件的汇总信息以及用于将增量镜像文件和初始镜像文件组织成完整镜像文件的的关联关系，由此使得节点在需要时可以基于切片文件高效找到需要的chunk，组成增量镜像文件snapshot和初始镜像文件base，然后再基于关联关系地组织成完整镜像文件image。

由于汇总信息中包含每个切片文件的标识信息，为了进一步节约数据同步时的带宽，私有云节点在向所述对端节点发送所述增量镜像文件或从所述对端节点获取差量镜像文件时，可以先比较本次要发送的增量镜像文件中的每个切片数据在对端节点是否存在，若有部分存在，则冗余部分无需发送，仅发送不存在的非冗余部分以及用于组织这些切片文件的索引信息即可，同理可适用于接收差量镜像文件时的场景。由此，本申请实施例中，私有云节点可以仅向所述对端节点发送增量镜像文件中的非冗余切片文件以及关于所述增量镜像文件的索引信息，或仅从所述对端节点获取差量镜像文件中的非冗余切片文件以及关于所述差量镜像文件的索引信息，以此减少同步时的数据交互量，节约带宽。

在实际场景中，所述索引信息可以采用JSON(JavaScript Object Notation，JavaScript对象表示法)文件的存在于节点中，JSON文件用于描述一个增量镜像文件或者初始镜像文件的信息，以某一增量镜像文件的描述文件为例，如下示出了该JSON文件的一种可行的定义方式，：

其中，id表示该增量镜像文件的标识信息；

parents表示该增量镜像文件的父级文件信息，用于确定与该增量镜像文件存在关联关系的前一级镜像文件，例如在前例中，对于snapshot2，其parents信息即为snapshot1；

blobsum表示该增量镜像文件的第二摘要字符串，可以通过汇总所有切片文件的digest进行hash计算后获得，用于比较两个镜像文件是否相同；

created表示该增量镜像文件的创建时间信息；

autho表示该增量镜像文件的创建者信息；

architecture表示该增量镜像文件的对应的虚拟机的操作系统信息；

size表示该增量镜像文件的数据量；

name表示该增量镜像文件对应的虚拟机镜像文件的名称；

desc表示该增量镜像文件的其它描述信息。

进一步地，对于其中的blobsum项，可以进一步定义该blobsum的JSON文件，用于每个chunk查找和校验

其中，chunks的内容为该bolbsum对应的所有chunk的digest。//blobsum＝sha256(chunks[0],chunks[1],...,chunks[n])，表示基于这些chunk的digest进行hash计算得到256位长度的blobsum。基于JSON文件的信息，每个增量文件不但其包含哪些切片文件，进而恢复成一个image，而且可以知道每个image是何时、什么系统的VM、以及由哪个用户所创建的。基于上述信息，对于管理镜像文件的节点来说，对外提供服务时快速基于chunk和JSON文件组织出需要的image文件。图6示出了各个节点中存储的实际内容。

由此，基于上述的镜像文件存储方式，私有云节点向所述对端节点发送增量镜像文件中的非冗余切片文件以及关于所述增量镜像文件的索引信息，或者从所述对端节点获取差量镜像文件中的非冗余切片文件以及关于所述差量镜像文件的索引信息时，首先可以根据JSON文件中的信息判断两端节点中是否有不同的镜像文件，例如可以通过比较JSON文件的blobsum信息，若不同则表示存在增量镜像文件或者差量镜像文件。然后，通过JSON文件中的chunks信息，可以判断两端节点中是否有相同的切片文件，若存在相同的digest的切片文件，即为冗余切片文件，仅发送或者接收digest不同的非冗余切片文件以及对应的JSON文件即可。

基于存储的切片文件和索引信息，私有云节点可以快速组织生成需要的完整镜像文件image。例如，当私有云节点需要提供目标镜像文件时，先可以根据目标镜像文件的识别信息，确定该目标镜像文件对应的目标增量文件，例如目标镜像文件的识别信息为名称image3，确定该目标镜像文件对应的目标增量文件为snapshot3。

然后，私有云节点基于所述目标增量文件和索引信息，确定需要的所述增量镜像文件及其基础镜像文件所对应的切片文件，例如通过存储的JSON文件，可以逐级找出与snapshot3存在关联关系的增量镜像文件snapshot2、snapshot1和初始镜像文件base0，其中，snapshot2+snapshot1+base0可以认为是snapshot3的基础镜像文件。进而通过对应于这4个镜像文件的JSON文件，可以找出组成这些镜像文件的所有切片文件。

最后，私有云节点根据所述索引信息和、所述增量镜像文件及其基础镜像文件所对应的切片文件，组织成完整镜像文件image3，由此生成了需要的目标镜像文件。

进一步地，若私有云节点能够获取关于目标镜像文件的配置信息，则可以根据配置信息和所述目标镜像文件，创建虚拟机，使得私有云节点可以在其主存储中利用镜像服务器中的镜像文件件直接创建虚拟机，供用户使用。在实际场景中，该配置信息的来源可以是用户在需要创建虚拟机提供或者作为虚拟机的元数据预先存储于私有云节点。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一些实施例包括一个如图7所示的计算设备，该计算设备包括存储有计算机可读指令的一个或多个存储器710和用于执行计算机可读指令的处理器720，其中，当该计算机可读指令被该处理器执行时，使得所述设备执行基于前述本申请的多个实施例的方法和/或技术方案。

此外，本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种数据同步方法，其中，该方法包括：

私有云节点根据自身存储的第一镜像文件和对端节点上存储的第二镜像文件进行比较，确定增量镜像文件或差量镜像文件，其中，所述对端节点为公有云节点或其它私有云节点；

私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点获取差量镜像文件。

2.根据权利要求1所述的方法，其中，私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件，包括：

私有云节点采用预设的流量控制机制向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件。

3.根据权利要求1所述的方法，其中，私有云节点向所述公有云节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件，包括：

私有云节点主动向所述公有云节点发起单向连接；

私有云节点通过所述单向连接向所述公有云节点发送所述增量镜像文件或从所述公有云节点接收差量镜像文件。

4.根据权利要求1所述的方法，其中，在私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件之前，包括：

私有云节点向所述对端节点发送数字证书，以使所述对端节点根据所述数字证书验证所述私有云节点的身份信息。

5.根据权利要求1所述的方法，其中，私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件，包括：

私有云节点通过网络专线向所述对端节点发送所述增量镜像文件或从所述对端节点接收差量镜像文件。

6.根据权利要求1至5中任一项所述的方法，其中，所述对端节点和所述私有云节点中关于虚拟机的镜像文件采用切片文件的形式存储；

私有云节点向所述对端节点发送所述增量镜像文件或从所述对端节点获取差量镜像文件，包括：

私有云节点向所述对端节点发送增量镜像文件中的非冗余切片文件以及关于所述增量镜像文件的索引信息；或

私有云节点从所述对端节点获取差量镜像文件中的非冗余切片文件以及关于所述差量镜像文件的索引信息。

7.根据权利要求6所述的方法，其中，该方法还包括：

私有云节点根据目标镜像文件的识别信息，确定该目标镜像文件对应的目标增量文件；

私有云节点基于所述目标增量文件和索引信息，确定需要的所述增量镜像文件及其基础镜像文件所对应的切片文件；

私有云节点根据所述索引信息和、所述增量镜像文件及其基础镜像文件所对应的切片文件，生成目标镜像文件。

8.根据权利要求7所述的方法，其中，该方法还包括：

私有云节点获取关于目标镜像文件的配置信息；

私有云节点根据所述配置信息和所述目标镜像文件，创建虚拟机。

9.一种实现数据同步节点，所述节点为私有云节点包括：

处理器；以及

存储有机器可读指令的一个或多个机器可读介质，当所述处理器执行所述机器可读指令时，使得所述设备执行如权利要求1至8中任一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。