CN111124748B - 数据构建的方法、装置、设备和介质 - Google Patents

Abstract

一种数据构建的方法、装置、设备和介质。该方法包括：创建生产环境的主逻辑单元号LUN和测试环境的从LUN；建立主LUN和从LUN之间的复制配对关系；在复制配对关系中的主LUN和从LUN之间，进行数据同步处理；将数据同步处理之后的从LUN作为源LUN；基于源LUN，构建测试环境的快照LUN、数据空间和映射关系，快照LUN可以是一套或多套。根据本发明实施例提供的方法、装置、设备和介质，能够不会影响生产环境的性能，实现数据构建。

Description

数据构建的方法、装置、设备和介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据构建的方法、装置、设备和介质。

背景技术

在互联网技术环境中，为了测试工程需求、测试日常版本或测试压力，往往需要构建多个测试环境。而在构建测试环境中，最为主要的一步就是数据构建。

目前，常见的数据构建方法主要是指针重定向快照技术。指针重定向快照技术以生产环境存储为源卷，以多个测试环境为目的卷。通过对数据进行复制，实现测试环境的数据构建。

但是采用指针重定向快照技术的数据构建方法，在数据复制的过程中，以生产环境中逻辑单元号(Logical Unit Number，LUN)作为源LUN。基于生产环境的源LUN，构建测试环境中的快照LUN，测试环境中的数据构建与生产环境关系密切。一旦测试环境发生异常就会影响生产环境的性能。

因此，存在数据构建影响生产环境的性能的技术问题。

发明内容

本发明实施例提供了一种数据构建的方法、装置、设备和介质，能够不会影响生产环境的性能，实现数据构建。

本发明实施例的一方面，提供一种数据构建的方法，该方法包括：

创建生产环境的主逻辑单元号(Logical Unit Number，LUN)和测试环境的从LUN；

建立主LUN和从LUN之间的复制配对关系；

在复制配对关系中的主LUN和从LUN之间，进行数据同步处理；

将数据同步处理之后的从LUN作为源LUN；

基于源LUN，构建测试环境的快照LUN、数据空间和映射关系，快照LUN可以是一套或多套。

本发明实施例的另一方面，提供一种数据构建的装置，该装置包括：

LUN模块，用于创建生产环境的主逻辑单元号LUN和测试环境的从LUN；

关系模块，用于建立所述主LUN和所述从LUN之间的复制配对关系；

同步模块，用于在所述复制配对关系中的主LUN和从LUN之间，进行数据同步处理；

源LUN模块，用于将数据同步处理之后的所述从LUN作为源LUN；

快照模块，用于基于所述源LUN，构建所述测试环境的快照LUN、数据空间和映射关系，所述快照LUN可以是一套或多套。

根据本发明实施例的另一方面，提供一种数据构建的设备，该设备包括：

处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现如上述本发明实施例的任意一方面提供的数据构建的方法。

根据本发明实施例的另一方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如上述本发明实施例的任意一方面提供的数据构建的方法。

本发明实施例提供的数据构建的方法、装置、设备和介质。通过将生产环境中的主LUN内的数据复制到测试环境的从LUN内，再以测试环境的从LUN作为源LUN，创建快照LUN、数据空间和映射关系。使得测试环境的操作可以脱离生产环境，一旦测试环境发生异常不会影响生产环境的性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明一实施例的数据构建的方法的流程图；

图2示出本发明一实施例的建立复制配对关系的示意图；

图3示出本发明一实施例的初次数据同步处理的示意图；

图4示出本发明一实施例的写入数据时的示意图；

图5示出本发明一实施例的断开复制配对关系的示意图；

图6示出本发明一实施例的拷贝新增数据的示意图；

图7示出本发明另一实施例的写入数据时的示意图；

图8示出本发明一实施例的数据构建的装置的结构示意图；

图9示出了能够实现根据本发明实施例的数据构建的方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，详细描述根据本发明实施例的数据构建的方法、装置、设备和介质。应注意，这些实施例并不是用来限制本发明公开的范围。

下面通过图1至图7详细介绍根据本发明实施例的数据构建的方法。

为了更好的理解本发明，下面结合图1对本发明一实施例的数据构建的方法进行详细说明，图1是示出本发明一实施例的数据构建的方法的流程图。

如图1所示，本发明实施例中的数据构建的方法100包括以下步骤：

S110，创建生产环境的主逻辑单元号(Logical Unit Number，LUN)和测试环境的从LUN。

作为一个示例，可以选取读数据和写数据的频率分别大于正常读数据频率和正常写数据频率的生产环境，并创建生产环境的主LUN和测试环境的从LUN。

下面结合图2，对S120进行详细说明。图2是示出本发明一实施例的建立复制配对关系的示意图。

S120，建立主LUN和从LUN之间的复制配对关系。

在本发明的一个实施例中，如图2所示，创建主LUN和从LUN之间的复制配对关系。其中，复制配对关系是主LUN中数据和从LUN中数据的一一对应关系。

S130，在复制配对关系中的主LUN和从LUN之间，进行数据同步处理。

在本发明的一个实施例中，初次进行数据同步处理时，首先，基于上述建立在主LUN和从LUN之间的复制配对关系，将主LUN内的数据全部拷贝至从LUN内。其次，当主LUN内的数据发生变化时，主LUN和从LUN同时写入数据，使从LUN内的数据与主LUN内的数据保持一致。

作为一个示例，初次进行数据同步处理时，首先，如图3所示，图3是示出本发明一实施例的初次数据同步处理的示意图。

基于上述建立在主LUN和从LUN之间的复制配对关系，将主LUN内的a数据和b数据全部拷贝至从LUN内。其次，当主LUN内的数据发生变化，例如：需要新增加一个d数据替换a数据时。

如图4所示，图4是示出本发明一实施例的写入数据时的示意图。主LUN和从LUN同时写入d数据替换a数据，使从LUN内的数据与主LUN内的数据保持一致。

在本发明的一个实施例中，非初次进行数据同步处理时，即已经完成一次数据构建，需要对测试环境重新数据构建。当主LUN内的数据发生变化时，数据同步处理频率大于或等于预设阈值的从LUN和主LUN同时写入数据，应当注意的是，预设阈值按照实际场景设定。

作为一个示例，非初次进行数据同步处理时，当主LUN内的数据发生变化，例如：需要新增加一个d数据替换a数据时。继续参见图4，数据同步处理频率大于或等于预设阈值的从LUN和主LUN同时写入d数据替换a数据。

在本发明的一个实施例中，非初次进行数据同步处理时，当主LUN内的数据发生变化时，首先，数据同步处理频率小于预设阈值的从LUN拷贝主LUN内新增的数据，使从LUN内的数据和主LUN内的数据一致。其次，数据同步处理频率小于预设阈值的从LUN和主LUN同时写入数据。

作为一个示例，如图5所示，图5是示出本发明一实施例的断开复制配对关系的示意图。由于在数据同步处理之后，会断开数据同步处理频率小于预设阈值的从LUN和主LUN之间的复制配对关系，得到独立的从LUN，使从LUN和主LUN之间的数据会存在不一致的情况。

所以在非初次进行数据同步处理时，首先，数据同步处理频率小于预设阈值的从LUN拷贝主LUN内新增的数据，使得从LUN和主LUN之间的数据再一次保持一致。如图6所示，图6是示出本发明一实施例的拷贝新增数据的示意图。从LUN拷贝主LUN内新增的c数据。

其次，当主LUN内的数据发生变化，例如：需要新增加一个d数据替换a数据。如图7所示，图7是示出本发明另一实施例的写入数据时的示意图。从LUN和主LUN同时写入d数据替换a数据。

在本发明实施例中，通过数据同步处理的方法，可以保持生产环境中的主LUN和测试环境中的从LUN数据，在数据构建时保持一致，使得测试环境的建立更加准确。

S140，将数据同步处理之后的从LUN作为源LUN。

在本发明的一个实施例中，首先，当数据同步处理之后的从LUN的数据同步处理频率小于预设阈值时，断开建立在数据同步处理之后的主LUN和数据同步处理之后的从LUN之间的复制配对关系，得到独立的从LUN，接下来将独立的从LUN作为源LUN。

作为一个示例，继续参见图5，将建立在数据同步处理之后的主LUN和数据同步处理之后的从LUN之间的复制配对关系断开，得到独立的从LUN。接下来将独立的从LUN作为源LUN。其中，独立的从LUN可以单独进行读写，而不会影响到主LUN。

在本发明的一个实施例中，将经过数据同步处理之后的同步处理频率大于或等于预设阈值的从LUN，作为源LUN。

在本发明的实施例中，通过将测试环境中的从LUN作为源LUN，使得测试环境中的数据构建可以脱离生产环境，从而不会影响到生产环境的性能。

S150，基于源LUN，构建测试环境的快照LUN、数据空间和映射关系，快照LUN可以是一套或多套。

在本发明实施例中，基于通过上述方法得到的源LUN，可以创建快照LUN、数据空间以及源LUN和快照LUN之间的映射关系，完成数据构建。其中，快照LUN可以创建一套或多套。

作为一个示例，源LUN包括元数据卷和数据卷。其中，元数据卷用来记录源数据在源LUN中的存储位置，数据卷用来记录源LUN中存放的源数据。

快照LUN包括快照元数据卷和快照数据卷。其中，每生成一份快照LUN，就会建立一个快照元数据卷，用来记录快照LUN的数据。快照数据卷用来记录快照LUN写入数据时产生的数据。

数据空间用来保存被写入位置的源数据以及被写入位置的源数据在源LUN中的存储位置。在本发明实施例中，创建的一套或多套快照LUN和源LUN共享同一个数据空间。可以大大改善数据构建过程中存储空间浪费的问题。

在本发明的一个实施例中，可以通过映射表来体现映射关系。映射表具体用于记录源LUN内的数据和快照LUN内的数据，在某个时间点的改变情况以及改变后的存储位置。其中，映射表可以包括共享映射表和独享映射表。

共享映射表用于记录源LUN写入数据前，被写入位置的源数据与其在源LUN中存放位置的映射关系。独享映射表用于记录快照LUN写入数据时所产生的数据与其在快照LUN中存放位置的映射关系。

上述源LUN、快照LUN、数据空间和映射关系构建完成后，当应用服务器对源LUN有写数据请求时，存储系统首先将被写入位置的源数据拷贝到快照LUN中。然后修改被写入位置的源数据与其在源LUN中存放位置的映射关系，得到被写入位置的源数据与其在快照LUN中存储位置的映射关系。并记录被写入位置的源数据在快照LUN的新位置，最后再将新数据写入到源LUN中。

通过上述实施例所述的数据构建的方法，通过将生产环境中的主LUN内的数据复制到测试环境的从LUN内，再以测试环境的从LUN作为源LUN，创建快照LUN。使得测试环境的操作可以脱离生产环境，一旦测试环境发生异常不会影响到生产环境的性能。同时，基于测试环境的源LUN创建的多个快照LUN可以和源LUN共享同一个数据空间，大大改善了存储空间浪费的问题。

下面通过图8详细介绍根据本发明实施例的数据构建的装置，数据构建的装置与数据构建的方法相对应。

图8示出了根据本发明一实施例的数据构建的装置的结构示意图。

如图8所示，数据构建的装置800包括：

LUN模块810，用于创建生产环境的主逻辑单元号LUN和测试环境的从LUN；

关系模块820，用于建立主LUN和从LUN之间的复制配对关系；

同步模块830，用于在复制配对关系中的主LUN和从LUN之间，进行数据同步处理；

源LUN模块840，用于将数据同步处理之后的从LUN作为源LUN；

快照模块850，用于基于源LUN，构建测试环境的快照LUN、数据空间和映射关系，快照LUN可以是一套或多套。

通过上述实施例所述的数据构建的装置，首先，通过同步模块830，将生产环境中的主LUN内的数据复制到测试环境的从LUN内。其次，基于源LUN模块840，以测试环境的从LUN作为源LUN。最后，通过快照模块850，以测试环境的从LUN作为源LUN，创建快照LUN、数据空间和映射关系。使得测试环境的操作可以脱离生产环境，一旦测试环境发生异常不会影响生产环境的性能。

在本发明的一个实施例中，同步模块830具体用于，在复制配对关系中的主LUN和从LUN之间，初次进行数据同步处理时，将在复制配对关系中的主LUN内的数据全部拷贝至在复制配对关系中的从LUN内。

在本发明的一个实施例中，同步模块830还用于，非初次进行数据同步处理时，在复制配对关系中，数据同步处理频率小于预设阈值的从LUN，拷贝复制配对关系中的主LUN内新增的数据至在复制配对关系中的从LUN内。

在本发明的一个实施例中，同步模块830还用于，当复制配对关系中的主LUN需要写入新数据时，复制配对关系中的主LUN和复制配对关系中的从LUN同时写入新数据。

通过同步模块830进行数据同步处理，可以保持生产环境中的主LUN和测试环境中的从LUN数据，在数据构建时保持一致，使得测试环境的建立更加准确。

在本发明的一个实施例中，源LUN模块840具体用于，断开建立在数据同步处理之后的主LUN和数据同步处理之后的从LUN之间的复制配对关系，得到独立的从LUN，经过数据同步处理之后的从LUN的数据同步处理频率小于预设阈值；将独立的从LUN作为源LUN。

在本发明的一个实施例中，源LUN模块840还用于，将数据同步处理之后的从LUN作为源LUN，经过数据同步处理之后的从LUN的数据同步处理频率大于或等于预设阈值。

通过源LUN模块840，将测试环境中的从LUN作为源LUN，使得测试环境中的数据构建可以脱离生产环境，从而不会影响到生产环境的性能。

在本发明的一个实施例中，快照模块850还用于，用于基于源LUN，构建测试环境的快照LUN、数据空间和映射关系，快照LUN可以是一套或多套，其中，测试环境的一套或多套快照LUN和源LUN共享同一个数据空间。

通过快照模块850，创建的一套或多套快照LUN和源LUN共享同一个数据空间。可以大大改善数据构建过程中存储空间浪费的问题。

图9示出了能够实现根据本发明实施例的数据构建的方法和装置的计算设备的示例性硬件架构的结构图。

如图9所示，计算设备900包括输入设备901、输入接口902、中央处理器903、存储器904、输出接口905、以及输出设备906。其中，输入接口902、中央处理器903、存储器904、以及输出接口905通过总线910相互连接，输入设备901和输出设备906分别通过输入接口902和输出接口905与总线910连接，进而与计算设备900的其他组件连接。

具体地，输入设备901接收来自外部的输入信息，并通过输入接口902将输入信息传送到中央处理器903；中央处理器903基于存储器904中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器904中，然后通过输出接口905将输出信息传送到输出设备906；输出设备906将输出信息输出到计算设备900的外部供用户使用。

也就是说，图9所示的计算设备也可以被实现数据构建的设备，该确数据构建的设备可以包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图8描述的数据构建的方法和装置。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的数据构建的方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

本发明可以以其他的具体形式实现，而不脱离其精神和本质特征。例如，特定实施例中所描述的算法可以被修改，而设备体系结构并不脱离本发明的基本精神。因此，当前的实施例在所有方面都被看作是示例性的而非限定性的，本发明的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明的范围之中。

Claims (8)

1.一种数据构建的方法，其特征在于，包括：

创建生产环境的主逻辑单元号LUN和测试环境的从LUN；

建立主LUN和所述从LUN之间的复制配对关系；

在所述复制配对关系中的主LUN和从LUN之间，进行数据同步处理；

在所述复制配对关系中的主LUN和从LUN之间，初次进行数据同步处理时，将在所述复制配对关系中的主LUN内的数据全部拷贝至在所述复制配对关系中的从LUN内；

断开同步处理频率小于预设阈值的主LUN和从LUN之间的复制配对关系，非初次进行数据同步处理时，在所述复制配对关系中，数据同步处理频率小于预设阈值的从LUN，拷贝所述复制配对关系中的主LUN内新增的数据至在所述复制配对关系中的从LUN内，将断开之后的从LUN作为源LUN；

基于所述源LUN，构建所述测试环境的快照LUN、数据空间和映射关系，所述快照LUN是一套或多套；

所述在所述复制配对关系中的主LUN和从LUN之间，进行数据同步处理，包括：

非初次进行数据同步处理时，在所述复制配对关系中，数据同步处理频率大于或等于预设阈值的从LUN，将写入主LUN的数据同时写入从LUN，所述预设阈值基于所述生产环境的实际场景确定。

2.根据权利要求1所述数据构建的方法，其特征在于，所述在所述复制配对关系中的主LUN和从LUN之间，进行数据同步处理之后，还包括：

当所述复制配对关系中的主LUN需要写入新数据时，所述复制配对关系中的主LUN和所述复制配对关系中的从LUN同时写入所述新数据。

3.根据权利要求1所述数据构建的方法，其特征在于，所述断开同步处理频率小于预设阈值的主LUN和从LUN之间的复制配对关系，将断开之后的从LUN作为源LUN，包括：

断开建立在所述数据同步处理之后的主LUN和所述数据同步处理之后的从LUN之间的复制配对关系，得到独立的从LUN，经过所述数据同步处理之后的从LUN的数据同步处理频率小于预设阈值；

将所述独立的从LUN作为所述源LUN。

4.根据权利要求1所述数据构建的方法，其特征在于，所述断开同步处理频率小于预设阈值的主LUN和从LUN之间的复制配对关系，将断开之后的从LUN作为源LUN，包括：

将所述数据同步处理之后的从LUN作为所述源LUN，经过所述数据同步处理之后的从LUN的数据同步处理频率大于或等于预设阈值。

5.根据权利要求1所述数据构建的方法，其特征在于，所述测试环境的一套或多套快照LUN和所述源LUN共享同一个所述数据空间。

6.一种数据构建的装置，其特征在于，包括：

LUN模块，用于创建生产环境的主逻辑单元号LUN和测试环境的从LUN；

关系模块，用于建立主LUN和所述从LUN之间的复制配对关系；

同步模块，用于在所述复制配对关系中的主LUN和从LUN之间，进行数据同步处理；

所述同步模块还用于，在所述复制配对关系中的主LUN和从LUN之间，初次进行数据同步处理时，将在所述复制配对关系中的主LUN内的数据全部拷贝至在所述复制配对关系中的从LUN内；

所述同步模块还用于，非初次进行数据同步处理时，在所述复制配对关系中，数据同步处理频率大于或等于预设阈值的从LUN，将写入主LUN的数据同时写入从LUN，所述预设阈值基于所述生产环境的实际场景确定；

源LUN模块，用于断开同步处理频率小于预设阈值的主LUN和从LUN之间的复制配对关系，非初次进行数据同步处理时，在所述复制配对关系中，数据同步处理频率小于预设阈值的从LUN，拷贝所述复制配对关系中的主LUN内新增的数据至在所述复制配对关系中的从LUN内，将断开之后的从LUN作为源LUN；

快照模块，用于基于所述源LUN，构建所述测试环境的快照LUN、数据空间和映射关系，所述快照LUN是一套或多套。

7.一种数据构建的设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述数据构建的方法。

8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述数据构建的方法。