CN111414276A - Vnf的数据容灾方法及装置、vnf节点及存储介质 - Google Patents

Abstract

本发明实施例提供一种VNF的数据容灾方法及装置、VNF节点及存储介质。所述方法包括：对VNF对应的具有关联性的存储卷同步创建快照。

Description

VNF的数据容灾方法及装置、VNF节点及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种虚拟网络功能(Virtual NetworkFunction，VNF)的数据容灾方法及装置、VNF节点及存储介质。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。

分布式块存储系统由多个节点组成，每个节点相互独立，节点之间通过网络连接起来形成一个虚拟的整体，为用户提供块级别存储服务。

用户可使用块存储设备在虚拟机或物理机上以卷的方式存取数据。

快照是卷在某个时间点的卷的副本，快照是特殊的卷。

分布式块设备的一个高级特性就是你可以为映像创建快照来保留其历史。一旦为某个卷创建了快照，那么如果该卷发生故障导致上层VNF不可用时，就可以通过恢复快照的方式将该卷回滚到创建快照时间点时的状态，来恢复上层VNF。

上层VNF的容灾技术分为三层，第一、是VNF层自身利用软件架构、服务设计等手段保证其可靠性，达到VNF容灾的目的，由VNF厂家实现；

第二、是虚拟层以虚拟机作为对象，利用主备或负荷分担等方式保证虚拟机的可靠性，达到虚拟机容灾的目的，由虚拟层厂家实现；

第三、是存储层以虚拟机所使用的卷作为对象，利用卷克隆、卷快照等方式保证虚拟机所使用的卷的可靠性，达到数据容灾的目的，由存储厂家实现。

但是在相关技术中虽然使用了多种容灾技术进行容灾处理，但是在容灾恢复数据之后，发现数据之间出现冲突或矛盾，导致并没有实现预期的容灾恢复。

发明内容

有鉴于此，本发明实施例期望提供一种VNF的数据容灾方法及装置、VNF节点及存储介质。

本发明的技术方案是这样实现的：

一种虚拟网络功能VNF的数据容灾方法，包括：

对VNF对应的具有关联性的存储卷同步创建快照。

基于上述方案，所述方法还包括：

创建一致性快照组，其中，位于同一个所述一致性快照组内的存储卷具有关联性；

所述对VNF对应的具有关联性的存储卷同步创建快照，包括：

对所述一致性快照组内所有的存储卷同步创建快照。

基于上述方案，所述一致性快照组的属性包括：一致性快照组的组标识及位于所述一致性快照组内的存储卷的卷标识。

基于上述方案，所述一致性快照组的属性还包括以下至少之一：

一致性快照组的创建时间；

一致性快照组的所属用户；

一致性快照组的所属用户组；

一致性快照组的源快照标识和源快照的快照时间；

一致性快照组的增量快照标识及增量快照的快照时间。

基于上述方案，所述方法还包括：

进行具有关联性所述存储卷所在的虚拟机之间的时间同步；

所述对VNF对应的具有关联性的存储卷同步创建快照，包括：

在所述时间同步之后，对具有关联性的所有存储卷同步创建快照。

基于上述方案，所述方法还包括：

按照同步约束条件，配置具有关联性的所述存储卷所在的虚拟机。

基于上述方案，所述同步约束条件，包括以下至少之一：

物理中央处理单元PCPU的一个CPU核，单独分配给一个所述虚拟机的虚拟中央处理单元VCPU；

一个所述虚拟机所使用的多个CPU核来自同一个PCPU；

一个所述虚拟机所使用的所有CPU核和存储器绑定到同一个虚拟机操作系统模拟器Qemu上；

为所述虚拟机分配内存页的容量达到预定容量；

所述虚拟机的Qemu与主机操作系统之间采用直接通信；

所述虚拟机使用主机操作系统的时钟。

基于上述方案，所述方法还包括：

若具有关联性的存储卷中有存储卷故障时，对具有关联性的所有存储卷进行基于快照的恢复；

或

若具有关联性的存储卷所在的虚拟机故障时，对所述虚拟机所涉及的具有关联性的所有存储卷进行基于快照的恢复；

或

若具有关联性的存储卷所在的VNF故障时，对具有关联性的所有存储卷进行基于快照的恢复。

一种虚拟网络功能VNF的数据容灾装置，包括：

快照模块，用于对VNF对应的具有关联性的存储卷同步创建快照。

一种虚拟网络功能VNF，包括：

存储器，

处理器，与所述存储器连接，用于通过存储在所述存储器上的计算机程序，能够实现前述任意技术方案提供的VNF的数据容灾方法中的一个或多个。

基于上述方案，所述装置还包括：

创建模块，用于创建一致性快照组，其中，位于同一个所述一致性快照组内的存储卷具有关联性；

所述快照模块，具体用于对所述一致性快照组内所有的存储卷同步创建快照。

基于上述方案，所述一致性快照组的属性包括：一致性快照组的组标识及位于所述一致性快照组内的存储卷的卷标识。

基于上述方案，所述一致性快照组的属性还包括以下至少之一：

一致性快照组的创建时间；

一致性快照组的所属用户；

一致性快照组的所属用户组；

一致性快照组的源快照标识和源快照的快照时间；

一致性快照组的增量快照标识及增量快照的快照时间。

基于上述方案，所述装置还包括：

同步模块，用于进行具有关联性所述存储卷所在的虚拟机之间的时间同步；

所述创建模块，具体用于在所述时间同步之后，对具有关联性的所有存储卷同步创建快照。

基于上述方案，所述装置还包括：

配置模块，具体用于按照同步约束条件，配置具有关联性的所述存储卷所在的虚拟机。

基于上述方案，所述同步约束条件，包括以下至少之一：

物理中央处理单元PCPU的一个CPU核，单独分配给一个所述虚拟机的虚拟中央处理单元VCPU；

一个所述虚拟机所使用的多个CPU核来自同一个PCPU；

一个所述虚拟机所使用的所有CPU核和存储器绑定到同一个虚拟机操作系统模拟器Qemu上；

为所述虚拟机分配内存页的容量达到预定容量；

所述虚拟机的Qemu与主机操作系统之间采用直接通信；

所述虚拟机使用主机操作系统的时钟。

基于上述方案，所述装置还包括：

恢复模块，用于若具有关联性的存储卷中有存储卷故障时，对具有关联性的所有存储卷进行基于快照的恢复；或，若具有关联性的存储卷所在的虚拟机故障时，对所述虚拟机所涉及的具有关联性的所有存储卷进行基于快照的恢复；或，若具有关联性的存储卷所在的VNF故障时，对具有关联性的所有存储卷进行基于快照的恢复。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述任意技术方案提供的VNF的数据容灾方法中的一或多个。

本发明实施例的技术方案，在进行VNF容灾时，在包含有多个存储卷的存储层，把关联的存储卷同步快照，从而实现这些存储卷之间快照是在同一个时间点产生的；如此，可以减少由于各个存储卷单独快照，快照的时间点不一样，若出现故障基于快照恢复时，具有关联性的多个存储卷之间回滚的时间不一致，导致VNF容灾异常的问题；从而提升了VNF的容灾能力和容灾的可靠性。

附图说明

图1A为本发明实施例提供的一种VNF的数据容灾方法的流程示意图；

图1B为本发明实施例提供的另一种VNF的数据容灾方法的流程示意图；

图2为本发明实施例提供的在一种VNF的数据容灾方法的流程示意图；

图3为本发明实施例提供的一种VNF的数据容灾装置的结构示意图；

图4为本发明实施例提供的网络系统的架构示意图；

图5为本发明实施例提供的存储卷单独快照和具有关联性的存储卷同步快照的容灾效果比对示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1A所示，本实施例提供一种虚拟网络功能VNF的数据容灾方法，包括：对VNF对应的具有关联性的存储卷同步创建快照。

在本实施例中，VNF在容灾的快照创建过程中，不再是单独对某一个存储卷进行快照，减少具有关联性的存储卷之间独立快照导致的快照时间不一致，基于快照时间不一致的快照恢复的数据因为数据不一致不能使用的问题，进而导致的VNF容灾失败的问题。

这种具有关联性的存储卷的，可以在各个存储卷的所在的关联属性中进行标注。例如，具有相同属性的存储卷，其关联属性相同，如此，在进行快照的同步创建时，可以通过遍历存储卷的关联属性找到具有关联性存储卷，然后进行快照。

在一些实施例中，为了简化操作，如图1B所示，本实施例提供的方法可包括：

步骤S110：创建一致性快照组，其中，位于同一个所述一致性快照组内的存储卷具有关联性；

步骤S120：对所述一致性快照组内所有的存储卷同步创建快照。

在本实施例中首先会创建一致性快照组，该一致性快照组内的所有存储卷具有关联性，这种关联性体现在这些存储卷存储的信息之间具有关联性，例如，存储的是同一个业务的信息。

例如，存储卷A存储的业务A的话单信息、存储卷B和存储卷C是存储的业务A的信令信息。由于存储卷A、存储卷B及存储卷C存储的都是业务A的信息，故存储卷A、存储卷B及存储卷C具有所述关联性中的关联性。

在一些实施例中，所述步骤S110可包括：

基于创建指示将具有关联性的存储卷归属到同一个所述一致性快照组内。该创建指示可为：人机交互接口接收的人工操作，或者，从其他设备接收的创建指示。

例如，所述基于所述创建指示将具有关联性的存储卷归属到同一个所述一致性快照组内，包括：

根据所述创建指示，确定归属到同一个一致性快照组的存储卷的卷标识；

若尚未创建一致性快照组，则分配一个一致性快照组的组标识，建立组标识和所述卷标识之间的对应关系；

或者，

若已创建一致性快照组，直接建立已创建一致性快照组的组标识和卷标识间的对应关系。

在一些实施例中，所述方法还包括以下至少之一：

根据删除指示，删除一致性快照组内的一个或多个存储卷；

根据添加指示，在已创建一致性快照组内添加一个或多个存储卷。

在还有一些实施例中，所述步骤S110还包括：

查询虚拟化设施管理(Virtualization infrastructure Management，VIM)平台内业务逻辑信息，得到同一个业务所使用的存储卷；

将同一个业务所使用的存储卷归属到同一个所述一致性快照组内。

在还有一些实施例中，所述步骤S110还可包括：

查询虚拟化设施管理(Virtualization infrastructure Management，VIM)平台内业务逻辑信息，得到同一个用户的同一个业务所使用的存储卷；

将同一个用户的同一个业务所使用的存储卷归属到同一个所述一致性快照组内。

总之，创建所述一致性快照组的方式有多种，不局限于上述任意一种。

在步骤S120中在进行快照时，会对一个一致性快照组内的所有存储卷进行同步快照。此处的同步快照可为：在同一个时间点进行一个一致性快照组内所有的存储卷的快照处理，从而产生一次性产生一个一致性快照组内所有存储卷的快照。例如，一个一次性快照组包括M个存储卷，则在步骤S120中会在同一个时间点对该一次性快照组内的M个存储卷同时进行快照，如此，完成快照操作之后，则这M个存储卷都会产生一个快照。

如此，后续VNF进行容灾处理时，具有关联性的多个存储卷的快照时间是一致的，基于快照进行的数据恢复是同一个时刻点的数据，从而减少了不同快照时间点产生的恢复数据之间的冲突或不同步的问题，减少了因为基于快照时间不同的快照数据恢复导致的容灾不成功的问题；提升了VNF容灾的能力，提升了VNF容灾的可靠性。

所述步骤S120的实现方式有多种，以下提供几种可选方式：

可选方式一：

按照预定时间间隔，对所述一致性快照组内所有的存储卷同步创建快照；该相邻两个预定时间间隔可以相等或不等。若任意相邻两个时间间隔相等，则步骤S120中实现的周期性对一致性快照组内所有的存储卷同步创建快照。若存在有两个预定时间间隔不同，则不是周期性对一次性快照组进行快照。例如，在数据读写的高峰时间段的预定时间间隔为第一时间间隔，在数据读写的低峰时段的预定时间间隔可为第二时间间隔，所述第一时间间隔可小于第二时间间隔。

可选方式二：在预定时间点(例如，设置了快照时间点的时间序列)，对所述一致性快照组内所有的存储卷同步创建快照。

可选方式三：在满足快照触发条件时，对所述一致性快照组内所有的存储卷同步创建快照。例如，对一致性快照组内的读写次数达到读写阈值、或发现一致性快照组内的发生变化的数据量达到数据量阈值等。总之，在满足快照触发条件时，才对所述一致性快照组内所有的存储卷同步创建快照；以减少不必要的快照产生。

在一些实施例中，所述一致性快照组的属性包括：一致性快照组的组标识及位于所述一致性快照组内的存储卷的卷标识。

在一致性快照组的属性内同时包括组标识及卷标识，方便通过组标识查询到对应的一致性快照组，通过卷标识知道该一致性快照组内包括哪些存储卷。

在一些实施例中，所述一致性快照组的属性还包括以下至少之一：

一致性快照组的创建时间；

一致性快照组的所属用户；

一致性快照组的所属用户组；

一致性快照组的源快照标识和源快照的快照时间；

一致性快照组的增量快照标识及增量快照的快照时间。

一致性快照组的创建时间，例如，一致性快照组创建于2013年10月16日12点15分，则一致性快照组的创建时间可为：2013-10-16 12:15。

一致性快照组归属于用户A，则该一致性快照组的所属用户为用户A。

一个一致性快照组也可能会归属到某一个用户组，则该一致性快照组还具有用户组的组属性。

增量快照是在源快照的基础上仅对增量部分进行快照的快照。源快照为对整个存储卷均进行复制的副本。若创建了源快照则，一致性快照组的属性包括：源快照标识及源快照的快照时间；若在一个源快照的基础上产生了增量快照，则会在一致性快照组的属性内设置有增量快照组标识及增快照的快照时间。

在一些实施例中，所述方法还包括：进行具有关联性所述存储卷所在的虚拟机之间的时间同步。所述步骤S120可包括：在所述时间同步之后，对具有关联性的所有存储卷同步创建快照。

例如，如图2所示，所述方法还包括：进行所述一致性快照组内所有存储卷所在的虚拟机之间的时间同步。

步骤S100：进行具有关联性所述存储卷所在的虚拟机之间的时间同步；

所述步骤S120可包括：在所述时间同步之后，对所述一致性快照组内所有存储卷同步创建快照。

在本实施例中为了确保一个一致性快照组内的所有存储卷的快照创建的同步性，会在创建快照之前，先进行不同虚拟机的同步；在虚拟机同步的情况下，进行同步快照，如此尽可能减少不同虚拟机的时间不同步导致的快照不同步的问题。

在一些实施例中，若需要快照的一致性快照组A内的存储卷均位于一个虚拟机上时，则不用进行虚拟机之间的同步，可以直接进行所述步骤S120。若需要快照的一致性快照组A跨越了多个虚拟机时，则需要进行这些虚拟机之间的同步。

在一些实施例中，可以在每一次同步创建快照之前都进行一次虚拟机之间的同步；如此，每一次创建同步快照之前都进行了一次单独的虚拟机之间的同步。

在另一些实施例中，也可以在进行S次同步创建快照之前，进行一次虚拟机之间的同步。此处的S可为不小于2的正整数。例如，在一次虚拟机同步之后可进行3次一次性快照组内的所有存储卷的同步快照。由于相邻两次快照之前的时间间隔可能比较短，没有必要每一次同步快照之前都进行一次同步，减少同步次数，减少主机的负荷。

在本实施例中虚拟机之间的同步可以通过时钟信号和/或时间信息的交互进行同步，使得所有的虚拟机采用同一个时钟信号和/或同一个时间信息，从而实现虚拟机之间的同步。

在一些实施例中，所述方法还包括：

按照同步约束条件，配置具有关联性的所述存储卷所在的虚拟机。例如，按照同步约束条件，配置一致性快照组内所有存储卷所在的虚拟机。

为了进一步提升快照创建的同步性，在本实施例中，会按照同步约束条件来配置一个一致性快照组存储卷所在的虚拟机。

例如，将虚拟机的时钟配置为达到预定精度的高精度时钟；再例如，通过虚拟机的配置，减少虚拟机数据处理的时延，从而减少因为数据复制慢或存储满等原因导致的不同步现象或同步精度不够的问题。

具体地，如所述同步约束条件，包括以下至少之一：

物理中央处理单元(PCPU)的一个CPU核，单独分配给一个所述虚拟机的虚拟中央处理单元VCPU；一个PCPU可能为多核CPU，则该PCPU包括多个CPU核。在本实施中，减少因为多个虚拟机共用一个CPU核导致的快照不同步的问题，可以一个CPU核仅能够分配一个虚拟机，存储卷包含在一致性快照组内的虚拟机，不可以与其他虚拟机共享CPU核；

一个所述虚拟机所使用的多个CPU核来自同一个PCPU；一个虚拟机可能占用了多个CPU核，为了减少虚拟机内部数据交互产生的时延导致的同步精度不高的问题，在本实施例中若虚拟机下的存储卷被归属到了某一个一致性快照组，则要求该虚拟机的所有CPU核都来自同一个PCPU；

一个所述虚拟机所使用的所有CPU核和存储器绑定到同一个虚拟机操作系统模拟器(Qemu)上；一个虚拟机所使用的CPU核及存储器绑定到了同一个Qemu，可以减少CPU核及存储器分别绑定在不同的Qemu上导致的时间延迟，再次提升了同步精度。若CPU核和存储器绑定在不同的Qemu上，则在读写数据的过程中则涉及到不同Qemu之间的数据交互，从而会产生比较大的时延，本实施例中这种绑定到同一个Qemu上，就可以避免这种时延；

为所述虚拟机分配内存页的容量达到预定容量；若虚拟机的内存页分配的过小，则可能会出现内存溢出到主机上的概率就会比较大，从而会导致因为数据溢出到主机的内存上导致的数据操作延时的问题，若此时正好在进行同步快照，则可能会导致同步精度的降低，而本实施例中虚拟分配的内存页的容量达到预定容量，则可以至少减少这种现象；例如，所述预定容量可为2M、4M或1G等大容量；

所述虚拟机的Qemu与主机操作系统之间采用直接通信；虚拟机的Qemu和主机操作系统之间不引入通信代理等其他中间节点，减少Qemu和主机操作系统之间的交互时延，减少因为这种时延导致的快照同步精度受到的负面影响；

所述虚拟机使用主机操作系统的时钟，在本实施例中虚拟机使用主机操作系统的时钟，而非自身的虚拟机时钟。一般虚拟自身的虚拟机时钟的时钟精度是低于主机操作系统的时钟精度的，如此，可再次提升快照的同步精度。

在一些实施例中，所述同步约束条件还可包括：禁止虚拟机使用虚拟机时钟等。

在一些实施例中，所述方法还包括：

若所述一致性快照组内存储卷故障时，对所述一致性快照组内的所有存储卷进行基于快照的恢复；或，若所述一致性快照组所在的虚拟机故障时，对所述虚拟机所涉及的所有一致性快照组内的所有存储卷进行基于快照的恢复；或，若所述一致性快照组所在的VNF故障时，对所述虚拟机所涉及的所有一致性快照组内的所有存储卷进行基于快照的恢复。

在本实施例中，只要一次性快照组内的一个存储卷出现故障，会对整个一次性快照组内的所有存储卷进行基于快照的恢复，从而实现所有存储卷的数据回滚。

在本实施例中，只要一次性快照组所涉及的一个虚拟机出现故障，则会对整个一次性快照组内的所有存储卷进行基于快照的恢复，从而实现所有存储卷的数据回滚。

如此，采用本实施例的方式，可以确保基于快照的数据恢复之后，各个存储卷的数据是基于同一个时刻的数据，避免由于一些存储卷进行恢复回滚到某一个历史时刻点，而有一些存储卷记录的当前时刻点的所有数据，产生的数据不同步或不一致导致的各种问题。

本实施例提供一种虚拟网络功能VNF的数据容灾装置，包括：快照模块，用于对VNF对应的具有关联性的存储卷同步创建快照。

快照模块可为程序模块，被处理器执行后能够对具有关联性的存储卷进行快照的同步创建。

如图3所示，本实施提供的VNF的数据容灾装置，可包括：

创建模块110，用于创建一致性快照组，其中，位于同一个所述一致性快照组内的存储卷具有关联性；

快照模块120，用于对所述一致性快照组内所有的存储卷同步创建快照。

在一些实施例中，所述一致性快照组的属性包括：一致性快照组的组标识及位于所述一致性快照组内的存储卷的卷标识。

在一些实施例中，所述一致性快照组的属性还包括以下至少之一：

一致性快照组的创建时间；

一致性快照组的所属用户；

一致性快照组的所属用户组；

一致性快照组的源快照标识和源快照的快照时间；

一致性快照组的增量快照标识及增量快照的快照时间。

在一些实施例中，所述装置还包括：

同步模块，用于进行具有关联性所述存储卷所在的虚拟机之间的时间同步；

所述创建模块110，还用于在所述时间同步之后，对具有关联性的所有存储卷同步创建快照。

在一些实施例中，所述装置还包括：

配置模块，用于按照同步约束条件，配置具有关联性的所述存储卷所在的虚拟机。

在一些实施例中，所述同步约束条件，包括以下至少之一：

物理中央处理单元PCPU的一个CPU核，单独分配给一个所述虚拟机的虚拟中央处理单元VCPU；

一个所述虚拟机所使用的多个CPU核来自同一个PCPU；

一个所述虚拟机所使用的所有CPU核和存储器绑定到同一个虚拟机操作系统模拟器Qemu上；

为所述虚拟机分配内存页的容量达到预定容量；

所述虚拟机的Qemu与主机操作系统之间采用直接通信；

所述虚拟机使用主机操作系统的时钟。

在一些实施例中，所述装置还包括：

恢复模块，用于若所述一致性快照组内存储卷故障时，对所述一致性快照组内的所有存储卷进行基于快照的恢复；或，若所述一致性快照组所在的虚拟机故障时，对所述虚拟机所涉及的所有一致性快照组内的所有存储卷进行基于快照的恢复；或，若所述一致性快照组所在的VNF故障时，对所述虚拟机所涉及的所有一致性快照组内的所有存储卷进行基于快照的恢复。

以下基于上述任意实施例提供几个具体示例：

为了正常提供整套服务，有时需要将整套VNF前向组(VNF-FG)中所有VNF所包含的虚拟机中挂载的所有卷进行快照。

本示例公开了一种基于分布式块存储一致性组快照的VNF容灾方案。该方案通过采用将所有相互间有关联的VNF所挂载的卷，划分为同一个一致性快照组，创建快照时将所有的卷基于同一时间点进行快照的创建，这样即使上层虚拟机发生了故障，可以通过快照恢复操作，使所有的存储卷(以下存储卷简称卷)恢复到之前同一时间点的存储状态。

此方案可解决了网络运营商在NFV三层解耦的背景下，不能从存储层面保证VNF可靠性的问题。运营商通过在分布式块存储上创建一致性快照组，就可以在一定周期策略下对整个VNF-FG进行创建快照的操作，在VNF-FG中任何一个VNF、任何一台虚拟机、任何一个卷发生故障时，可以高速、正确地恢复到之前某一个时间点，继续对外提供网络服务。此处的网络运营商可为具有网络基础架构，能够在该网络基础架构上提供网络服务的运营商。该网络基础架构可包括：无线网、传输网及核心网等网络基础设备。

图4为本实例化提供一种NFV三层解耦的网络架构，包括：VNF-FG所在的层、虚拟机(VM)所在的VNF层以及存储卷所在的存储层。本示例提供的VNF数据容灾方法可以针对存储存的存储卷粒度的容灾处理。在图4中显示的存储卷有多个，分别是VOL0、VOL1、VOL2……一直到VOL9。SNAP表示快照，在图4中显示有不同时间点的快照，例如，SNAP1的快照时间为：2017-1-10:00；SNAP1的快照时间为：2017-1-1 01:30等。

对于为VNF-FG进行统一创建快照，需要两方面支持实现：

1，基于一致性快照组的快照创建方案，

2，基于主机操作系统(Host OS)的客户端操作系统(Guest OS)实时操作系统。主机操作系统为设置虚拟机的物理节点所运行的操作系统；客户端操作系统为虚拟机上运行的操作系统。

如果需要为VNF-FG统一进行同步快照创建，首先要明确哪些卷为同步快照创建的目标卷。

本示例提出了一种装置，可以嵌入虚拟机的主机(Flavor)中，来指定挂载在该虚拟机上的所有卷都属于同一个一致性快照组。属于同一个一致性快照组中的所有卷，将在需要的时点进行统一同步快照的创建。

该装置通过Flavor被VIM感知，当以整个VNF-FG为单位，进行统一同步快照的创建请求由用户下发到VIM时，VIM感知该装置并规整整个VNF-FG所对应的一致性快照组，进而定位各个虚拟机所挂载的卷，最后将快照请求发送给分布式存储进行卷的快照创建。

该装置所指定的一致性快照组应包含以下属性：

A)，一致性快照组的组标识(ID)；该组ID为一致性快照组的通用唯一识别码，具有唯一性和排他性，应该由字母和数字组成，由分布式存储系统创建并关联到VIM。

B)，一致性快照组名称；该名称为一致性快照组的名称，用来以自然语言标识一致性快照组，当ID被关联到VIM时，用户在Flavor指定所属一致性快照组时应该以一致性快照组名称为标识。

C)，一致性快照组创建时间：该一致性快照组被分布式存储系统创建的时间点。

D)，一致性快照组所属用户、用户组：该一致性快照组所属的用户和用户组，默认情况下为创建该一致性快照组的用户和用户组，该用户和用户组有修改和删除该一致性快照组的权限，其他用户或用户组则没有该权限。

E)，一致性快照组卷成员：属于该一致性快照组中的所有卷ID，即同步快照的目标卷。

F)，一致性快照组源快照、增量快照：如果该一致性快照组进行过一次同步快照，那么该一致性快照组应该以源快照记录该快照的ID和创建时间；如果该一致性快照组进行过两次(含)以上的同步快照，那么该一致性快照组应该记录源快照和增量快照的ID和创建时间；如果该一致性快照组没有进行过同步快照，那么该一致性快照组的源快照和增量快照为空。

2基于Host OS的Guest OS实时操作系统实施方案

如果需要为VNF-FG统一进行同步快照创建，还需要位于存储上层的虚拟层VIM平台的Host OS支持实时操作系统，且运行于VIM平台上的Guest OS(即需要创建快照的卷所挂载的虚拟机，VNF-FG中的一部分)也支持实时操作系统，这样才能保证所有的快照都是精确地保持在同一个时间点创建。其中Host OS中主要运行vCPU进程、硬件中断处理程序和管理程序等，满足Host OS的实时性需要修改CPU调度策略、进程锁、中断屏蔽等机制，这些已经大部分得到支持，本示例中主要讨论Guest OS实时操作系统的实施。在Guest OS中，本示例采用如下技术，实现Guest OS的实时操作系统要求。

A)，CPU绑核：将宿主机的CPU物理核直接分配给虚拟机的vCPU，而不在多个vCPU之间共享，防止虚拟机之间互相抢占CPU资源，从而影响CPU调度延迟，提高性能。

B)，Qemu线程绑定：可以指定一个特定的物理CPU范围，如一个物理CPU的所有核，使vCPU所使用的物理CPU和存储器都在一个物理机CPU内部指定Qemu模拟器使用的NUMA节点，这样做可以对NUMA调优提高性能，服务于实时操作系统。

C)，Guest VCPU调度策略：给guest OS所使用的vCPUs配置合适的调度策略，解决调度导致的CPU延迟。

D)，大页内存：给虚拟机分配4M或1G的大页内存，确保Guest OS的内存不会被溢出(swap)到host OS上，提高性能。

E)，防止QEMU内存swap：配置QEMU内存不被swap，避免内存swap导致的延迟。

F)，虚拟机禁用qemu-ga：qemu-ga是虚拟机中的agent，host OS与虚拟机内的agent通信，从外部控制/获取虚拟机，但这种方式会大大影响性能，从而影响实时性。

G)，禁用虚拟机时钟源(Kvmclock)，如此，虚拟机将自然使用主机操作系统的时钟源，其原理是通过TSC计算出当前的纳秒时间。Host OS以主机TSC时钟源计算基准纳秒时间是，而Guest OS以Kvmclock时钟源计算纳秒时间，对同样的TSC间隔，两个结果不同，虚拟机内很可能出现时间回退，所以需要禁用。

在虚拟机的Flavor中做如上配置，如在flavor中增加如下条目：

本示例提出了一种装置，将VNF-FG中所有虚拟机所挂载的卷归类为一个一致性快照组，并由VIM和分布式存储系统感知。当需要时，以Guest OS和Host OS的实时性为前提，用户发给VIM的对于整个VNF-FG进行同步快照的请求，经过该装置的处理，下发给分布式存储中每一个属于该一致性快照组的卷，这样就会保证所有VNF-FG中的卷快照是在精确的同一时间点创建的，当VNF-FG中某个虚拟机、某个卷发生故障时，从快照中恢复出来的VNF-FG仍处于同一个时间点，不会造成时间紊乱和数据丢失。

本示例旨在存储层面再多加一层容灾方案，通过对VNF所属的虚拟机中挂载的卷进行卷的快照进行容灾。当VNF中某个虚拟机或卷发生故障时，可以通过快照回滚的方式进行业务恢复。

如果一个VNF-FG中包含多个VNF，每个VNF中包含多个虚拟机，每个虚拟机中挂载多个卷，那么如果采用相关单一存储卷独立快照创建方式，那么势必导致所有卷快照的创建时间不一致，导致快照回滚后各卷的时间不一致、数据不一致，进而影响整个VNF-FG的业务逻辑，有很大数据丢失的风险。

本示例提出了一种装置，该装置可以将一个VNF-FG中所有VNF所挂载的卷归类为同一个一致性快照组，并嵌入VIM中，被VIM和分布式存储系统感知，当有相关需求时，用户可以将整个VNF-FG挂载的所有卷在同一个精确地时间点进行统一快照创建工作。

在图5中以两个存储卷，分别是卷1及卷2进行举例说明。在图5中，首先，一个时刻对卷1进行快照，获得SNAP0；在第二时刻对卷2进行快照，获得SNAP1；此时，SNAP0仅快照了卷1中的数据obj1，SNAP1快照了卷2中的数据obj1及obj2。而实质上，在卷2进行快照的时间，在卷1中也产生了数据obj2，但是由于卷1和卷2的快照时间不同，若在SNAP1之后的某一个时间点需要基于快照进行数据恢复，则卷1只能恢复到数据obj1，而卷2的数据将恢复到obj1及obj2，而卷1相对于卷2基于快照恢复的数据缺少了obj2，此时，会缺少数据一致性，从而导致VNF容灾失败。

有鉴于此，在本示例中会针对具有关联性的卷1和卷2采用统一的快照时间进行快照，例如，在相同时刻点进行快照产生快照SNAP0及SANP1；如此，后续卷1和卷2均能够恢复的数据不会产生数据不一致的现象，从而减少这种数据不一致导致的VNF容灾失败的现象。

本实施例还提供一种虚拟网络功能VNF，包括：

存储器，

处理器，与所述存储器连接，用于通过存储在所述存储器上的计算机程序，能够实现前述任意一个技术方案提供的VNF的数据容灾方法，例如，可以实现图1A、图1B及图2所示方法中的一个或多个。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述任意一个技术方案提供的VNF的数据容灾方法，例如，可以实现图1A、图1B及图2所示方法中的一个或多个。该计算机存储介质可为非瞬间存储介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种虚拟网络功能VNF的数据容灾方法，其特征在于，包括：

对VNF对应的具有关联性的存储卷同步创建快照。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

创建一致性快照组，其中，位于同一个所述一致性快照组内的存储卷具有关联性；

所述对VNF对应的具有关联性的存储卷同步创建快照，包括：

对所述一致性快照组内所有的存储卷同步创建快照。

3.根据权利要求2所述的方法，其特征在于，

所述一致性快照组的属性包括：一致性快照组的组标识及位于所述一致性快照组内的存储卷的卷标识。

4.根据权利要求3所述的方法，其特征在于，

所述一致性快照组的属性还包括以下至少之一：

一致性快照组的创建时间；

一致性快照组的所属用户；

一致性快照组的所属用户组；

一致性快照组的源快照标识和源快照的快照时间；

一致性快照组的增量快照标识及增量快照的快照时间。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

进行具有关联性所述存储卷所在的虚拟机之间的时间同步；

所述对VNF对应的具有关联性的存储卷同步创建快照，包括：

在所述时间同步之后，对具有关联性的所有存储卷同步创建快照。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

按照同步约束条件，配置具有关联性的所述存储卷所在的虚拟机。

7.根据权利要求6所述的方法，其特征在于，

所述同步约束条件，包括以下至少之一：

物理中央处理单元PCPU的一个CPU核，单独分配给一个所述虚拟机的虚拟中央处理单元VCPU；

一个所述虚拟机所使用的多个CPU核来自同一个PCPU；

一个所述虚拟机所使用的所有CPU核和存储器绑定到同一个虚拟机操作系统模拟器Qemu上；

为所述虚拟机分配内存页的容量达到预定容量；

所述虚拟机的Qemu与主机操作系统之间采用直接通信；

所述虚拟机使用主机操作系统的时钟。

8.根据权利要求1至7任一项所述的方法，其特征在于，

所述方法还包括：

若具有关联性的存储卷中有存储卷故障时，对具有关联性的所有存储卷进行基于快照的恢复；

或

若具有关联性的存储卷所在的虚拟机故障时，对所述虚拟机所涉及的具有关联性的所有存储卷进行基于快照的恢复；

或

若具有关联性的存储卷所在的VNF故障时，对具有关联性的所有存储卷进行基于快照的恢复。

9.一种虚拟网络功能VNF的数据容灾装置，其特征在于，包括：

快照模块，用于对VNF对应的具有关联性的存储卷同步创建快照。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

创建模块，用于创建一致性快照组，其中，位于同一个所述一致性快照组内的存储卷具有关联性；

所述快照模块，具体用于对所述一致性快照组内所有的存储卷同步创建快照。

11.根据权利要求10所述的装置，其特征在于，

所述一致性快照组的属性包括：一致性快照组的组标识及位于所述一致性快照组内的存储卷的卷标识。

12.根据权利要求11所述的装置，其特征在于，

所述一致性快照组的属性还包括以下至少之一：

一致性快照组的创建时间；

一致性快照组的所属用户；

一致性快照组的所属用户组；

一致性快照组的源快照标识和源快照的快照时间；

一致性快照组的增量快照标识及增量快照的快照时间。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

同步模块，用于进行具有关联性所述存储卷所在的虚拟机之间的时间同步；

所述创建模块，具体用于在所述时间同步之后，对具有关联性的所有存储卷同步创建快照。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

配置模块，具体用于按照同步约束条件，配置具有关联性的所述存储卷所在的虚拟机。

15.根据权利要求14所述的装置，其特征在于，

所述同步约束条件，包括以下至少之一：

物理中央处理单元PCPU的一个CPU核，单独分配给一个所述虚拟机的虚拟中央处理单元VCPU；

一个所述虚拟机所使用的多个CPU核来自同一个PCPU；

一个所述虚拟机所使用的所有CPU核和存储器绑定到同一个虚拟机操作系统模拟器Qemu上；

为所述虚拟机分配内存页的容量达到预定容量；

所述虚拟机的Qemu与主机操作系统之间采用直接通信；

所述虚拟机使用主机操作系统的时钟。

16.根据权利要求10至15任一项所述的装置，其特征在于，

所述装置还包括：

恢复模块，用于若具有关联性的存储卷中有存储卷故障时，对具有关联性的所有存储卷进行基于快照的恢复；或，若具有关联性的存储卷所在的虚拟机故障时，对所述虚拟机所涉及的具有关联性的所有存储卷进行基于快照的恢复；或，若具有关联性的存储卷所在的VNF故障时，对具有关联性的所有存储卷进行基于快照的恢复。

17.一种虚拟网络功能VNF，其特征在于，包括：

存储器，

处理器，与所述存储器连接，用于通过存储在所述存储器上的计算机程序，能够实现权利要求1至8任一项提供的方法。

18.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至8任一项提供的方法。

Images