CN114020764B - 一种高性能数据克隆副本的处理方法及系统 - Google Patents

Abstract

本发明公开了一种高性能数据克隆副本的处理方法及系统，涉及数据克隆技术领域。该方法包括：创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；创建无父卷的子代克隆地址表；记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理。本发明可有效提高克隆数据的读取性能，从而实现CDM下最佳的数据克隆解决方案。

Description

一种高性能数据克隆副本的处理方法及系统

技术领域

本发明涉及数据克隆技术领域，具体而言，涉及一种高性能数据克隆副本的处理方法及系统。

背景技术

CDM（Copy Data Management,数据副本管理）是一项新兴的数据副本的管理技术，保障应用一致性的副本技术，最核心的底层技术在客户端的一致性数据获取以及后端的二级存储中，数据的副本管理技术之克隆是最为关键的技术。克隆的实现方式有多种，但是在性能和存储使用空间上的权衡，CDM所需要的无限副本技术能力，当前的存储发展并未能提供最佳的技术实现。

当前主流的数据克隆实现有两种，一种完全的数据副本克隆，这种方式最大的优势就是数据管理非常方便，问题也是显而易见，数据拷贝周期过长，相同数据副本占用资源过多，这项技术实现完全不适合多副本使用的CDM这项管理技术方案；另外一种实现通过引用关系进行数据的写时复制，然后对于数据读取层层递归，在克隆副本较少情况下，其性能和资源占用均是优良的，但是克隆副本较多、数据频繁更新的情况下，读写性能都会下降非常明显，并且碎片化严重。CDM中存储数据的二级存储，其现实使用场景还未能向高性能存储一样转移，因此必须充分考虑存储随机读写和顺序的极大差异，当克隆副本很多，副本数据变化过多，那么每个副本之间的数据引用会变得非常复杂，各个数据块的修改造成数据copy，这些数据都是碎片化的，当访问逻辑连续的数据过程，会造成极大的随机读过程，因而性能很差；同时对于非常多的副本，顶层和底层原始数据之间的数据依赖，当发生读操作会造成层层递归，这种特性会极大造成数据访问低效。

鉴于上述问题的存在，亟需提出一种针对CDM新兴的技术领域所依赖的数据克隆技术提供更加高性能的解决方案。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种高性能数据克隆副本的处理方法及系统，可有效提高克隆数据的读取性能。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种高性能数据克隆副本的处理方法，包括以下步骤：

创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；

将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；

创建无父卷的子代克隆地址表；

记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；

根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理。

基于第一方面，在本发明的一些实施例中，上述虚拟数据更新表用于存放副本克隆数据的更新数据。

基于第一方面，在本发明的一些实施例中，上述判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果的方法包括以下步骤：

判断虚拟数据更新表中是否存在对应的数据块位置，如果存在，则识别数据块的存储位置，并生成判断识别结果；如果不存在，则生成判断不存在结果。

基于第一方面，在本发明的一些实施例中，上述根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中的方法包括以下步骤：

根据判断识别结果将数据写入虚拟数据更新表；

根据判断不存在结果将数据写入子代克隆地址表中，并进行子代克隆地址表的更新。

基于第一方面，在本发明的一些实施例中，上述子代克隆地址表为hash结构，包括key和value，其中：key为块号，value为数据地址和/或克隆id。

第二方面，本发明实施例提供一种高性能数据克隆副本的处理系统，包括虚拟表创建模块、更新位置写入模块、地址表创建模块、位置判断模块以及更新写入模块，其中：

虚拟表创建模块，用于创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；

更新位置写入模块，用于将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；

地址表创建模块，用于创建无父卷的子代克隆地址表；

位置判断模块，用于记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；

更新写入模块，用于根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理。

基于第二方面，在本发明的一些实施例中，上述虚拟数据更新表用于存放副本克隆数据的更新数据。

基于第二方面，在本发明的一些实施例中，上述子代克隆地址表为hash结构，包括key和value，其中：key为块号，value为数据地址和克隆id。

第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。

本发明实施例至少具有如下优点或有益效果：

本发明实施例提供一种高性能数据克隆副本的处理方法及系统，通过引入虚拟数据更新表来解决单卷的更新写，从而避免全局数据访问的碎片化问题，提升克隆数据的读取性能。通过引入无父卷的子代克隆地址表来解决无限克隆副本递归带来的低性能数据读取的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例一种高性能数据克隆副本的处理方法的流程图；

图2为本发明实施例一种高性能数据克隆副本的处理系统的原理框图；

图3为本发明实施例提供的一种电子设备的结构框图。

图标：100、虚拟表创建模块；200、更新位置写入模块；300、地址表创建模块；400、位置判断模块；500、更新写入模块；101、存储器；102、处理器；103、通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，第一方面，本发明实施例提供一种高性能数据克隆副本的处理方法，包括以下步骤：

S1、创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；上述虚拟数据更新表用于存放副本克隆数据的更新数据。虚拟数据更新表是层层克隆都创建的，层层克隆之间存在父子关系，这些具有父子关系的共享一个无父卷的子代克隆地址表。

S2、将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；

S3、创建无父卷的子代克隆地址表；上述子代克隆地址表为hash结构，包括key和value，其中：key为块号，value为数据地址和/或克隆id。

S4、记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；

进一步地，判断虚拟数据更新表中是否存在对应的数据块位置，如果存在，则识别数据块的存储位置，并生成判断识别结果；如果不存在，则生成判断不存在结果。

在本发明的一些实施例中，位置指的是存储设备对应的块位置，实际存放数据的物理介质的地方，这个位置会被记录在内存数据结构中，然后每次更新都会记录，判断就是通过虚拟地址表的key来查找，因为key就是块号，这个块号对应的就是下面描述的数据位置。总共包括两次判断识别，首次是判断是否存在，还有就是判断数据实际的位置，数据的更新是需要写入设备介质的，判断决定写入介质的哪里，如果存在过更新，有数据的地址，则直接可以更新。数据结构的key就是位置的块号，通过查找虚拟表，即可判断对应的数据位置，如果存在能找到对应的数据存放地址，从而进行数据的读写操作。

S5、根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理。

进一步地，根据判断识别结果将数据写入虚拟数据更新表；根据判断不存在结果将数据写入子代克隆地址表中，并进行子代克隆地址表的更新。

本发明通过引入虚拟数据更新表来解决单卷的更新写，从而避免全局数据访问的碎片化问题，提升克隆数据的读取性能；通过引入无父卷的子代克隆地址表来解决无限克隆副本递归带来的低性能数据读取的问题。上述描述中的虚拟数据更新表是在对数据进行克隆的过程，同时创建一个虚拟的数据表，用来存放父本数据，指原始创建克隆的数据，后续对这些数据更新不会直接在父本数据位置上操作，而是在虚拟数据更新表中进行操作。在后续更新产生的数据，从而原始数据的位置不发生任何变化，对原始数据随机和读写不会造成任何性能差异，同时简化后续克隆副本对其引用数据的访问，可直接获取块位置读取，而不需要操作间接的数据副本表，这样做的原因也是因为CDM是copy的数据副本管理技术，对数据使用读往往远大于写，因此需要高优先级保障数据读的可靠性、高性能。虚拟更新表的创建，后续克隆产生的副本更新数据不再会覆盖原始数据位置，也不存在拷贝等操作，这个就可以让原始数据的读写都是没任何影响，克隆数据会在虚拟更新表中。当下最难的是无限克隆副本技术如何不影响性能同时不影响原始数据，首先原始数据的读写剥离，这里每个克隆副本都有自己的虚拟更新表同时会引入无父卷的子代克隆地址表，这样对引用数据的访问从递归遍历查找数据的时间复杂度从0(n)变为0(1)。

引入无父卷的子代克隆地址表，无父卷中的父卷指的的是第一次进行克隆的数据卷，无父卷的子代克隆地址表指的就是除了父卷之外的子代克隆所更新写的数据会将地址关系更新写入这个表中,表是hash结构，其中key为块号构成，value是数据地址、克隆id。

比如初始的数据卷有顺序位置的数据obj0,obj1,obj2,obj3，对应位置0-3,克隆第一次更新位置2为obj2-2,克隆第二次更新位置3为obj3-3,克隆第三次更新位置4为obj4-4，那么当更新克隆第三次的数据位置4的写入过程是，先判断4的位置是否有数据，当前没有则写入obj4-4，但是当读取位置0-3的数据，对于位置0，需要先访问当前克隆数据，未找到，继续找上一次克隆，未找到，一次类推，仅操作4个位置就需要访问十几次，这也是鉴于这个原因，引入无父卷的子代克隆地址表，那么有了这个表数据访问方式则发生改变，操作过程如下描述：克隆第一次更新位置2为obj2-2，当更新克隆第一次的数据位置2的写入过程是，先判断2的位置是否有数据，当前没有则写入obj2-2，将obj2-2写入第三次克隆自己的克隆虚拟数据更新表中，并且更新这个数据块到子代克隆地址表中，记录数据更新的数据块号和数据地址和克隆id；克隆二、三次操作同上；当读取位置0-3的数据过程则发生变化，不再需要递归，直接操作子代克隆地址表访问，如果当前id不存在直接访问父卷，如果id存在直接可以访问对应的克隆数据位置。

如图2所示，第二方面，本发明实施例提供一种高性能数据克隆副本的处理系统，包括虚拟表创建模块100、更新位置写入模块200、地址表创建模块300、位置判断模块400以及更新写入模块500，其中：

虚拟表创建模块100，用于创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；上述虚拟数据更新表用于存放副本克隆数据的更新数据。

更新位置写入模块200，用于将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；

地址表创建模块300，用于创建无父卷的子代克隆地址表；上述子代克隆地址表为hash结构，包括key和value，其中：key为块号，value为数据地址和克隆id。

位置判断模块400，用于记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；

更新写入模块500，用于根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理。

如图3所示，第三方面，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。

还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的方法及系统和方法，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种高性能数据克隆副本的处理方法，其特征在于，包括以下步骤：

创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；

将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；

创建无父卷的子代克隆地址表；无父卷中的父卷指的是第一次进行克隆的数据卷，无父卷的子代克隆地址表指的是除了父卷之外的子代克隆所更新写的数据的地址关系更新表,所述子代克隆地址表为hash结构，包括key和value，其中：key为块号，value为数据地址和克隆id；

记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；

根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理；包括：当判断结果为识别成功结果时，则将数据写入虚拟数据更新表；当判断结果为不存在时，则将数据写入子代克隆地址表中，并进行子代克隆地址表的更新。

2.根据权利要求1所述的一种高性能数据克隆副本的处理方法，其特征在于，所述虚拟数据更新表用于存放副本克隆数据的更新数据。

3.根据权利要求1所述的一种高性能数据克隆副本的处理方法，其特征在于，所述判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果的方法包括以下步骤：

判断虚拟数据更新表中是否存在对应的数据块位置，如果存在，则识别数据块的存储位置，并生成判断识别结果；如果不存在，则生成判断不存在结果。

4.一种高性能数据克隆副本的处理系统，其特征在于，包括虚拟表创建模块、更新位置写入模块、地址表创建模块、位置判断模块以及更新写入模块，其中：

虚拟表创建模块，用于创建克隆，在对数据进行克隆过程中，创建虚拟数据更新表；

更新位置写入模块，用于将克隆过程中的数据块信息同步更新写入虚拟数据更新表中；

地址表创建模块，用于创建无父卷的子代克隆地址表；无父卷中的父卷指的是第一次进行克隆的数据卷，无父卷的子代克隆地址表指的是除了父卷之外的子代克隆所更新写的数据的地址关系更新表,所述子代克隆地址表为hash结构，包括key和value，其中：key为块号，value为数据地址和克隆id；

位置判断模块，用于记录克隆过程中的数据块位置，并判断虚拟数据更新表中是否存在对应的数据块位置，生成判断结果；

更新写入模块，用于根据判断结果将克隆的数据写入对应的子代克隆地址表或虚拟数据更新表中，完成数据处理；包括：当判断结果为识别成功结果时，则将数据写入虚拟数据更新表；当判断结果为不存在时，则将数据写入子代克隆地址表中，并进行子代克隆地址表的更新。

5.根据权利要求4所述的一种高性能数据克隆副本的处理系统，其特征在于，所述虚拟数据更新表用于存放副本克隆数据的更新数据。

6.一种电子设备，其特征在于，包括：

存储器，用于存储一个或多个程序；

处理器；

当所述一个或多个程序被所述处理器执行时，实现如权利要求1-3中任一项所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-3中任一项所述的方法。

Images