CN117785035A - 一种数据管理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供了一种数据管理方法，应用在生产存储系统，通过生产存储系统基于对目标数据的数据读取请求进行响应时，在确定目标数据在归档存储系统中时，通过迁移目标数据时接口信息，调用对应的接口自动进行数据回迁，并在回迁完成后返回目标数据。这样生产存储系统和归档存储系统，可以通过接口进行数据的自动迁移和自动回迁，保持两个系统之间的数据互通，自动迁移的方式提升了不同存储系统的数据获取效率，并且使归档存储系统有效的扩展了生产存储系统的存储空间，并降低了生产存储系统的扩容成本。

Description

一种数据管理方法、装置、设备及存储介质

技术领域

本发明涉及存储设备技术领域，具体涉及一种数据管理方法、装置、设备及存储介质。

背景技术

随着数字经济的快速发展，以及金融、政府、科研等行业的数字化转型，对于高价值的结构化和非结构化的数据的存储的容量和管理方式有了更高的需求。基于数据的访问需求，通常将访问需求高的数据称为热数据，将访问需求低的数据称为冷数据，随着时间的推移，对产生时间较久的数据的访问需求会逐渐降低，相应地，热数据会变为冷数据。

在IT基础设施建设中，生产业务频繁访问的热数据对于存储的生产存储设备具有访问性能的需求，设备本身需要较高的硬件配置和成本，而访问频率低的冷数据如果长时间存储在生产存储设备中，则会浪费生产存储设备的存储空间，提升存储成本。为提升数据长期保存的经济性，目前通常将冷数据迁移到存储成本较低的冷存储介质中进行归档，在需要访问已归档数据时，再将需要的数据从冷存储介质中回迁到生产存储设备中。

数据迁移和回迁过程中，对于光盘库或磁带库中存储的冷数据需要手动进行回迁，因此，在数据访问过程中，无法及时回迁完成的数据容易读取失败，影响生产业务的进行。

发明内容

本发明实施例提供了一种数据管理方法、装置、设备及存储介质，用于在降低存储成本的同时提升数据读取成功率。

第一方面，本发明实施例提供了一种数据管理方法，应用在生产存储系统，所述方法包括：

接收目标应用程序对目标数据的操作请求；

当所述操作请求为数据读取请求时，基于所述数据读取请求获取目标数据的存储信息；

若所述目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取所述目标数据的数据迁移信息，根据所述数据迁移信息将所述目标数据进行回迁；

向所述目标应用程序返回所述目标数据。

可选地，所述生产存储系统包括元数据库和归档接口库，所述元数据库中存储有所述生产存储系统中数据的热度信息、存储信息、数据迁移信息；

所述归档接口库包括用于从所述归档存储系统的存储地址读写数据的接口信息。

可选地，所述若所述目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取所述目标数据的数据迁移信息，根据所述数据迁移信息将所述目标数据进行回迁，包括：

从所述元数据库中获取所述目标数据的存储信息，当所述存储信息中的地址信息包括所述归档存储系统的系统标识，确定所述存储信息中的地址信息为所述归档存储系统的地址信息；

从所述元数据库中获取所述目标数据的数据迁移信息，所述数据迁移信息包括所述目标数据在所述生产存储系统中的第一存储地址、所述目标数据在所述归档存储系统中的第二存储地址以及调用的所述目标数据对应的接口的接口信息；

根据所述目标数据对应的接口的接口信息调用所述目标数据对应的接口，将所述目标数据从所述第二存储地址回迁到所述生产存储系统的第三存储地址；

更新所述元数据库中的目标数据的存储信息和数据迁移信息。

可选地，所述生产存储系统还包括缓存池和存储池，所述方法还包括：

当所述操作请求为数据写入请求时，将所述第一数据写入缓存池，并在所述元数据库中记录所述第一数据的存储地址；

根据每个更新周期的更新时间点对应的所述第一数据的访问频率，确定所述第一数据的数据类型并在所述元数据库中记录所述第一数据的热度信息，所述数据类型包括冷数据、普通数据和热数据，所述更新周期为访问频率的更新周期。

可选地，所述方法还包括：若在所述第一数据写入缓存池的第一个更新周期的更新时间点所述数据类型为冷数据，则根据所述归档接口库中的接口信息，调用所述第一数据对应的接口，将所述第一数据迁移至所述归档存储系统，并在所述元数据库中更新所述第一数据的存储信息和数据迁移信息；

若在所述第一数据写入缓存池的第一个更新周期的更新时间点所述数据类型为普通数据，则将所述第一数据从缓存池迁移至存储池，并在所述元数据库中更新所述第一数据的存储信息。

可选地，所述方法还包括：

在数据迁移周期的迁移时间点获取所述第一数据的数据类型作为当前数据迁移周期的数据类型，所述数据迁移周期为对存储的数据根据数据类型进行数据迁移的周期；

若所述当前数据迁移周期的数据类型与前一数据迁移周期的数据类型不同，则根据所述当前数据迁移周期的数据类型进行数据迁移，并在所述元数据库中更新所述第一数据的存储信息和数据迁移信息，以使数据迁移完成后，数据类型为热数据的数据存储在缓存池，数据类型为普通数据的数据存储在存储池，数据类型为冷数据的数据存储在归档存储系统。

可选地，所述缓存池和所述存储池是相同存储集群中不同读取性能的存储区，且所述缓存池读写性能优于所述存储池。

可选地，生产存储系统还包括缓存池和存储池，所述方法还包括：

若所述目标数据的存储信息中的地址信息为所述缓存池的地址信息或所述存储池的地址信息，则根据所述地址信息获取所述目标数据；

向所述目标应用程序返回所述目标数据。

可选地，所述归档存储系统是所述生产存储系统的存储集群之外用于存储冷数据的存储集群，所述归档存储系统包括磁带库存储区和光盘库存储区。

第二方面，本发明实施例提供了一种数据管理装置，所述装置应用在生产存储系统，所述装置包括：

接收模块，用于接收目标应用程序对目标数据的操作请求；

获取模块，用于当所述操作请求为数据读取请求时，基于所述数据读取请求获取目标数据的存储信息；

数据迁移模块，用于若所述目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取所述目标数据的数据迁移信息，根据所述数据迁移信息将所述目标数据进行回迁；

发送模块，用于向所述目标应用程序返回所述目标数据。

第三方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，所述程序运行时执行上述第一方面的数据管理方法的步骤。

第四方面，本发明实施例提供了一种数据管理平台，所述数据管理平台用于执行权利要求9所述的数据管理方法的步骤。

第五方面，本发明实施例提供了一种计算机设备，所述计算机设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一、第二任一方面提供的数据管理方法的步骤。

上述技术方案的有点或有意效果至少包括：

与现有技术相比，本发明的生产存储系统基于对目标数据的数据读取请求进行响应时，可以判断目标数据的存储位置，并在确定目标数据在归档存储系统中时，通过目标数据迁移时的接口信息调用相关接口发起回迁，即自动进行目标数据的回迁，并在回迁完成后返回目标数据。在生产主机的角度，是直接向生产存储系统中发起数据获取请求就可以得到所需的生产数据，无需了解数据迁移过程，以及无需向归档存储系统获取生产数据，从而生产主机可以从生产存储系统中获取到全部数据，提升了数据访问成功率和效率。而生产存储系统和归档存储系统的不同存储介质，可以通过多种接口进行数据的自动迁移和自动回迁，保持两个系统之间的数据互通，自动迁移的方式提升了不同存储系统的数据获取效率，归档存储系统有效的扩展了生产存储系统的存储空间，并降低了生产存储系统的扩容成本。

附图说明

图1是本发明实施例提供的生产存储系统的数据管理方法流程图；

图2是本发明实施例提供的数据管理平台的数据管理方法流程图；

图3是本发明实施例中数据管理平台的数据写入结构示意图；

图4是本发明实施例中数据管理平台的数据读取结构示意图；

图5是本发明实施例中生产存储系统的结构示意图；

图6是本发明实施例提供的计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

随着近年来数字经济的快速发展，以及金融、政府、科研、医疗等行业的数字化转型，产生了海量的高价值的结构化和非结构化数据，随之带来的是对存储容量高速增长的需求。随着时间的推移，对产生时间较久的数据的访问需求会逐渐降低，从热数据逐渐变为冷数据，其中，热数据是生产业务会频繁访问的数据，冷数据是生产业务访问频率低的数据，随着时间的增长，冷数据的数据量逐渐增加，为提升访问性能。通常需要对于生产业务所需的数据的管理，本领域中通常采用两种方式：第一种，是通过将冷数据存储手动迁移至光盘库或磁带库中进行归档，将热数据存储在硬盘库中，如通过机械硬盘(HDD)、固态硬盘(SSD)、混合硬盘(SSHD)中的一种或多种构建存储集群作为硬盘库，以便于生产业务可以通过SATA接口、SSD接口等接口访问硬盘库，读写相关数据。然而，硬盘库的形式随着数据量增加，对存储空间的需求增加，硬盘库的扩容导致的存储成本也会增加，因此，该种存储方式存储成本较高。第二种方式，则是将数据以冷数据和热数据的方式进行划分，将热数据存储在访问性能较高的硬盘库中，将冷数据手动迁移至独立的光盘库或磁带库中进行归档存储，等到需要归档的数据时，再将光盘库或磁带库中的相关数据手动回迁，而光盘库和磁带库的存储成本远低于硬盘库，从而可以有效降低存储成本。

然而，上述两种方案种，第一种存储成本较高，且通常生产生活中机房的规模有上限，无法无限扩容，而第二种则无法灵活的进行全数据访问，对于归档数据的读取不够灵敏，局限了归档数据使用效率。

由此，本发明提出了一种降低存储成本的同时提升对冷数据访问灵活性的方案。

下面将结合附图详细介绍本申请实施例提供的技术方案。

在本实施例中，生产存储系统是数据管理平台下的生产存储系统，用于存储生产业务需要的数据，一般为使用频率较高的热数据。数据管理平台还包括生产主机和归档存储系统，其中，生产主机可以通过其上安装的生产业务应用程序向生产存储系统发送数据读取请求或数据写入请求，进行数据的读写，实现生产业务相关数据的存储和获取。生产存储系统中，包括元数据库，可以存储生产存储系统中数据的相关信息。归档存储系统包括磁带库和光盘库一般用于大量低使用频率生产数据的归档存储。

图1示出根据本发明一实施例的数据管理方法的流程图，如图1所示，在生产存储系统中，可以包括以下步骤：

S101、接收目标应用程序对目标数据的操作请求；

在实施中，生产主机需要获取目标数据进行目标生产业务时，可以基于生产业务对应的目标应用程序向生产存储系统发送目标数据的操作请求，通过数据读取请求，获取目标数据，其中，目标数据的数据读取请求中可以包括目标数据的数据标识；相应地，生产存储系统接收目标应用程序对目标数据的数据读取请求。

S102、当所述操作请求为数据读取请求时，基于数据读取请求获取目标数据的存储信息。

生产存储系统在接收到对目标数据的操作请求为数据读取请求时，可以根据数据读取请求中目标数据的数据标识从元数据库中获取目标数据的存储信息；具体地，生产存储系统可以根据该数据标识，从元数据库中查找该数据标识对应的数据信息，得到目标数据的在生产存储系统中的数据信息，该数据信息可以包括目标数据的存储信息、数据迁移信息、热度信息、删除信息等。

其中，存储信息可以包括目标数据的数据标识、存储地址、数据大小等；数据迁移信息可以包括目标数据在生产存储系统中的存储地址、存储路径、迁移路径、迁移地址等用于反映数据迁移情况的信息，例如反映从磁盘A到磁盘B的具体迁移情况，从缓存池到存储池的迁移情况，从生产存储系统外迁到归档存储系统的归档情况等。而热度信息可以包括目标数据的数据类型、在生产存储系统被访问的频率，时间等信息，例如从当前时间至前一个月的访问次数，前一个月到前三个月的访问次数，前一年到前3年的访问次数。即通过该热度信息可以了解到不同时间段目标数据的被访问情况。

从而，获取到目标数据的存储信息后，就可以从中获取目标数据的存储地址、数据大小等信息。

S103、若目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取目标数据的数据迁移信息，根据数据迁移信息将目标数据进行回迁。

在实施中，目标数据的存储信息中还可以包括系统标识和地址信息，该系统标识用于指示目标数据存储的位置在生产存储系统、归档存储系统。例如，地址信息可以包括目标数据在生产存储系统的缓存池或存储池以及具体的物理存储地址，或者，归档存储系统中的磁带库或光盘库以及对应的物理存储地址。

当确定目标数据的存储信息中的系统标识为归档存储系统的系统标识时，则确定目标数据的地址信息为归档存储系统的地址信息。进而，可以从元数据库获取目标数据的数据迁移信息，该数据迁移信息中记录有目标数据的数据迁移情况，如通过归档存储系统中的归档接口库中的接口a将目标数据从生产存储系统中的位置n迁移到归档存储系统中的光盘库中的位置m。从而根据数据迁移信息和目标数据的地址信息，调用归档接口库中目标数据对应的接口，将目标数据从归档存储系统回迁至生产存储系统，在回迁完成后，在元数据库中更新目标数据的存储信息、热度信息和数据迁移信息。其中，调用归档接口库中的接口的过程，可以由生产存储系统调用，或者向归档存储系统发送回迁请求，由归档存储系统调用相关接口进行回迁。

其中，元数据库中记录的数据迁移信息，是数据发生迁移时记录的迁移信息，在数据写入生产存储系统后，元数据库会记录该数据的访问频率、访问时间等信息，并确定该数据的数据类型为冷数据或热数据，例如将6个月内进行过访问的数据确定为热数据，6个月内没有访问过的数据确定为冷数据。生产存储系统会根据元数据库中记录的数据的热度信息，对冷数据进行数据迁移，即将冷数据通过归档接口库中对应的接口，迁移至归档存储系统中的光盘库和/或磁盘库进行归档存储。

S104、向目标应用程序返回目标数据。

在实施中，经过上述步骤S103，在归档存储系统中的目标数据已经迁回存储在生产存储系统中，从而可以直接基于元数据库中更新的目标数据的存储信息，获取目标数据的地址信息，从该地址信息对应的目标数据的存储地址，获取目标数据向生产主机中的目标应用程序返回目标数据。

在本发明中，生产存储系统基于对目标数据的数据读取请求进行响应时，可以判断目标数据的存储位置，并在确定目标数据在归档存储系统中时，通过接口发起回迁，自动进行目标数据的回迁，并在回迁完成后返回目标数据。在生产主机的角度，是直接向生产存储系统中发起数据获取请求就可以得到所需的生产数据，无需了解数据迁移过程，以及无需向归档存储系统获取生产数据，从而生产主机可以从生产存储系统中获取到全部数据，提升了数据访问成功率和效率。而生产存储系统和归档存储系统，可以通过多种接口进行数据的自动迁移和自动回迁，保持两个系统之间的数据互通，自动迁移的方式提升了不同存储系统的数据获取效率，归档存储系统有效的扩展了生产存储系统的存储池，并降低了生产存储系统的扩容成本。

本发明另一实施例中，数据管理平台包括生产存储系统、生产主机和归档存储系统，其中，生产存储系统用于存储生产业务需要的数据，生产主机中安装有生产业务应用程序，用于提供人机交互界面进行生产业务，归档存储系统是与生产存储系统不同的存储集群，用于归档存储不常用的冷数据，例如，当前时刻之前6个月内没有访问过或访问次数低于预设阈值的数据，这里预设阈值可以根据需求灵活设置。归档存储系统是由较低成本的存储介质组合的存储系统，例如光盘、磁带，归档存储系统可以基于存储介质分为磁带库存储区、光盘库存储区等。

生产存储系统，包括缓存池、存储池和元数据库，其中，缓存池为高速缓存池是由具备高读写性能的存储介质组成的存储区，用于存储访问频率高的热数据，例如，一个月内访问到的数据，或者一个月访问次数达到预设阈值的数据，这里可以根据实际需求进行设置。存储池为普通存储池其采用的存储介质的性能弱于缓存池，用于存储访问频率较低的热数据也即是普通数据，例如，当前时刻前一个月到前三个月访问到的数据，或者三个月内访问次数在一定范围内的数据，这里范围可以根据实际需求设置。元数据库可以存储生产存储系统中数据的相关信息。归档存储系统包括磁带库和光盘库进行大量数据的归档存储。

另外，数据管理平台还包括归档接口库，该归档接口库用于提供接口进行生产存储系统和归档存储系统的数据迁移和回迁，该归档接口库可以设置在生产存储系统中，也可是设置在归档存储系统中，本实施例以设置在归档存储系统为例进行说明。

在具体实施过程中，生产主机可以通过生产主机上的生产业务应用程序向生产存储系统发送数据读取请求或数据写入请求，进行数据的读写，实现生产业务相关数据的存储和获取。生产存储系统中的元数据库根据数据的读写情况记录访问信息，确定数据的数据类型为热数据、冷数据或普通数据，并将数据类型、在生产存储系统被访问的频率，时间等信息记录在热度信息中，生产存储系统根据元数据库中记录的数据的热度信息中的数据类型，将热数据存储在缓存池，将普通数据存储在存储池，并通过归档接口库将冷数据迁移到归档存储系统。且随着生产主机对生产存储系统的数据读取写入导致的元数据库中记录的数据的数据类型的变化，将数据进行迁移，例如将缓存池中数据类型变为普通数据的数据迁移到存储池，将存储池中数据类型变为热数据的数据迁移至缓存池，将缓存池中数据类型变为冷数据的通过调用归档接口库中对应的接口迁移至归档存储系统，以及将访问到的归档存储系统的数据回迁至生产存储系统。

从而在硬件配置时，可以根据需求设置生产存储系统中的缓存池、存储池和归档存储系统中的光盘区、磁带区中各个硬件的数量，对生产存储系统和归档存储系统进行合理扩容，有效控制存储系统的扩容成本，而缓存池、存储池和归档存储系统的配置方式可以有效保证数据的访问效率和性能。例如，在缓存池可以使用固态硬盘和/或混合硬盘组成存储区，存储池采用混合硬盘和/或机械硬盘组成存储区，再由缓存池和存储池组成存储集合作为生产存储系统的存储集群；归档存储系统中，可以采用成本较低的磁带、光盘等低成本的存储介质组合作为归档存储系统的存储集群。

如图2所示，在数据管理平台中，可以包括以下步骤：

S201、生产主机通过目标应用程序向生产存储系统发送第一数据的操作请求。

参照附图3，在实施过程中，用户可以通过生产主机上的目标应用程序进行操作，从而向生产存储系统发送操作请求，写入第一数据，具体目标应用程序可以向生产存储系统发送第一数据的数据写入请求，即发送的操作请求为数据写入请求，其中，目标应用程序可以是生产业务应用程序的任一应用程序。第一数据的数据写入请求可以包括第一数据以及第一数据的数据大小等信息。

S202、当生产存储系统接收的操作请求为数据写入请求时，将所述第一数据存储在高速缓存池，并在元数据库中记录第一数据的存储信息、热度信息。

生产存储系统接收到第一数据的操作请求为数据写入请求后，可以获取第一数据的数据大小，并基于该数据大小在缓存池中分配存储区域，将第一数据写入该存储区域。在写入完成后，在元数据库中记录第一数据的存储信息，该存储信息可以包括第一数据的数据标识、生产存储系统的系统标识、缓存池中分配的存储区域的地址信息，该地址信息可以包括第一数据的存储路径、物理存储地址和数据大小。生产存储系统可以通过对访问接口的监控，获取对该第一数据的访问次数和时间，通过设置更新周期以及更新时间点，统计单位时间内第一数据的访问次数，确定访问频率，并根据设置的访问频率阈值确定第一数据的数据类型，在到达更新周期的更新时间点时，更新热度信息，其中，更新时间点可以为预先设置的时间节点。例如，设置更新周期为一个月，更新时间点为当月最后一天的23点整，则每个月最后一天的23点整统计数据的访问次数，将当月访问次数大于1的数据的数据类型设置为热数据；累计6个月访问次数小于1时，将该数据的数据类型设置为冷数据；其他情况时，将该数据的数据类型设置为普通数据。在第一数据初次写入时，若在第一数据写入缓存池的第一个更新周期的更新时间点数据类型为冷数据，则根据归档接口库中的接口信息，调用第一数据对应的接口，将第一数据迁移至归档存储系统，并在元数据库中更新第一数据的存储信息和数据迁移信息；

若在第一数据写入缓存池的第一个更新周期的更新时间点数据类型为普通数据，则将第一数据从缓存池迁移至存储池，并在元数据库中更新第一数据的存储信息。

参照附图4，生产存储系统在到达数据迁移周期的迁移时间点时，可以获取数据在该时刻的数据类型，根据数据的数据类型进行数据迁移，其中，数据迁移周期为对存储的数据根据数据类型进行数据迁移的周期，迁移时间点可以为设置的进行数据迁移的时间点。若当前数据迁移周期的数据类型与前一数据迁移周期的数据类型不同，则根据当前数据迁移周期的数据类型进行数据迁移，并在数据库中更新第一数据的存储信息和数据迁移信息；若当前数据迁移周期的数据类型与前一数据迁移周期的数据类型相同，则不对第一数据的存储位置进行调整。以第一数据初始数据类型为热数据为例，调整方式如下：情况一、当第一数据的数据类型为热数据时，不对第一数据的存储位置进行调整。

情况二、当第一数据的数据类型为普通数据时，基于第一数据的数据大小在存储池分配存储空间，并将第一数据从缓存池迁移至存储池中分配的存储空间，并在元数据库中更新第一数据的存储信息和数据迁移信息，该迁移信息可以包括迁移时间、迁移的目标地址、调用的接口、存储路径、删除信息、第一数据所属的文件夹名称、新的地址所属的文件夹名称等用于指示迁移过程的信息，删除信息可以包括删除时间、文件名等，存储信息包括第一数据的最新的地址信息、数据标识、最新的系统标识，最新的地址信息包括最新的存储路径、最新的物理存储地址和数据大小等。

情况三、当第一数据的数据类型为冷数据时，可以向归档存储系统发送归档迁移请求，由归档存储系统为第一数据分配存储区域，以及迁移第一数据对应的接口类型，根据该接口类型，从归档接口库中确定目标接口，基于该目标接口，将第一数据从生产存储系统迁移至归档存储系统分配的存储区域。其中，接口类型的确定可以基于分配的存储区域确定，例如，归档存储系统为第一数据分配的存储区域为光盘库中的存储区域，则该接口类型为光驱接口，再基于具体的光盘确定归档接口库中该光盘对应的光驱接口作为目标接口，进行数据迁移。在迁移完成后，元数据库中更新第一数据新的存储信息和迁移信息。

从而在每个周期迁移完成后，数据类型为热数据的数据存储在缓存池，数据类型为普通数据的数据存储在存储池，数据类型为冷数据的数据存储在归档存储系统。

其中，上述数据迁移过程可以是先将第一数据进行复制，对复制的第一数据进行数据迁移，迁移完成后从原存储位置将原来的第一数据删除，完成数据迁移，在元数据库中更新第一数据新的存储信息和迁移信息时，可以由处理数据迁移的接口返回在归档存储系统中的地址信息、存储路径等归档位置信息，再由生产存储系统的元数据库更新存储信息和迁移信息。

可选的，元数据库中存储的数据迁移信息中，还可以包括第一数据的迁移次数、每次迁移的迁移时间、迁移调用的接口所属的接口类型，其中，迁移时间包括迁移起始时间、结束时间；接口类型在进行迁移或回迁过程中可以确定至少一个可用的接口。从而在触发迁移时，可以通过数据迁移信息确定前次迁移调用的接口，以及其他可用接口，有效提升迁移数据或回迁数据的成功率，避免单一接口损坏或占用导致迁移失败。

S203，生产业务应用程序向生产存储系统发送目标数据的操作请求为数据读取请求时，生产存储系统获取目标数据，并向目标应用程序返回目标数据。

参照附图4，生产业务应用程序在需要获取生产数据时，可以向生产存储系统发送需要的生产数据的数据读取请求，即目标数据的操作请求为数据读取请求，该目标数据的数据读取请求中可以包括目标数据的数据标识，以使生产存储系统可以根据该数据标识从元数据库中获取目标数据的相关信息。

生产存储系统可以根据目标数据读取请求中的目标数据的数据标识，从元数据库中获取目标数据的存储信息，根据该存储信息获取目标数据。

在获取目标数据之前，可以根据存储信息确定目标数据的存储位置，具体地，目标数据的存储信息中包括系统标识和地址信息，可以根据该系统标识确定目标数据存储的位置在生产存储系统、归档存储系统。当确定目标数据的存储信息中的系统标识为归档存储系统的标识时，则确定目标数据的地址信息为归档存储系统的地址信息。当确定目标数据的存储信息中的系统标识为生产存储系统的标识时，则确定目标数据的地址信息为生产存储系统的地址信息。

从而目标数据的获取方式可以如下：

若目标数据存储在生产存储系统中的缓存池或存储池，可以直接基于元数据库中目标数据的存储信息，获取目标数据的地址信息，从该地址信息对应的目标数据的存储地址，获取目标数据向生产主机中的目标应用程序返回目标数据。

若目标数据存储在归档存储系统中，则从元数据库获取目标数据的存储信息和数据迁移信息，确定目标数据在归档存储系统中的地址信息和迁移路径以及迁移时的接口信息，通过向归档存储系统发送回迁指令，由归档存储系统调用归档接口库中目标数据对应的接口，将目标数据从归档存储系统回迁至生产存储系统的存储池，并在回迁完成后，在元数据库中更新目标数据的存储信息、热度信息和数据迁移信息。其中，回迁指令中可以携带迁移时的接口信息、迁移路径、地址信息、目标数据的数据标识，该接口信息包括前次迁移调用的接口以及接口类型。基于新的地址信息，获取目标数据，向生产主机中的目标应用程序返回目标数据。回迁过程中，在采用复制的方式进行数据回迁时，可以将复制的目标数据返回给目标应用程序，无需回迁完成再从新的存储地址获取。迁移时的接口和回迁时的接口可以相同也可以不同，例如在回迁时，若迁移时的接口a被占用，则可以选择兼容的接口b进行回迁。

本发明中，通过设置元数据库对存储在生产存储系统中的数据的存储信息、迁移信息、热度信息等信息的记录，配合生产存储系统对其中存储数据的数据类型划分，并自动进行数据迁移，合理动态调整不同数据的存储位置，优化不同数据类型对应的存储区域的访问性能，实现热数据在高性能的读写区域存储，普通数据在较低性能的读写区域存储，而冷数据在较低成本的归档存储系统中存储，并结合归档接口库中的接口，实现与生产存储系统的迁移交互。从而使该数据管理平台可以有效保证不同热度的数据的访问效率和成功率的同时降低了数据管理成本，也降低了低成本的存储设备的使用对数据访问的影响。

图5示出根据本发明一实施例的数据管理装置的结构图。如图5所示，该数据管理装置应用在生产存储系统，该生产存储系统是数据管理平台下的生产存储系统，用于存储生产业务需要的数据，一般为使用频率较高的热数据。数据管理平台还包括生产主机和归档存储系统，其中，生产主机可以通过其上安装的生产业务应用程序向生产存储系统发送数据读取请求或数据写入请求，进行数据的读写，实现生产业务相关数据的存储和获取。生产存储系统中，包括元数据库，可以存储生产存储系统中数据的相关信息。归档存储系统包括磁带库和光盘库一般用于大量低使用频率生产数据的归档存储。

该数据管理装置，包括：接收模块501，获取模块502，数据迁移模块503，发送模块504。

接收模块501，用于接收目标应用程序对目标数据的操作请求；

可选地，生产主机需要获取目标数据进行目标生产业务时，可以基于生产业务对应的目标应用程序向生产存储系统发送操作请求，当该操作请求为目标数据的数据读取请求时，用于向生产存储系统获取目标数据，其中，目标数据的数据读取请求中可以包括目标数据的数据标识；相应地，生产存储系统的接收模块501用于接收目标应用程序对目标数据的数据读取请求。

获取模块502，用于当操作请求为数据读取请求时，基于数据读取请求获取目标数据的存储信息；

可选地，接收模块501接收到对目标数据的数据读取请求后，生产存储系统可以根据数据读取请求中目标数据的数据标识通过获取模块502从元数据库中获取目标数据的存储信息；具体地，生产存储系统的获取模块502可以根据该数据标识，从元数据库中查找该数据标识对应的数据信息，得到目标数据的在生产存储系统中的数据信息，该数据信息可以包括目标数据的存储信息、数据迁移信息、热度信息、删除信息等。

其中，存储信息可以包括目标数据的数据标识、存储地址、数据大小等；数据迁移信息可以包括目标数据在生产存储系统中的存储地址、存储路径、迁移路径、迁移地址等用于反映数据迁移情况的信息，例如反映从磁盘A到磁盘B的具体迁移情况，从缓存池到存储池的迁移情况，从生产存储系统外迁到归档存储系统的归档情况等。而热度信息可以包括目标数据的数据类型，在生产存储系统被访问的频率，时间等信息，例如从当前时间至前一个月的访问次数，前一个月到前三个月的访问次数，前一年到前3年的访问次数。即通过该热度信息可以了解到不同时间段目标数据的被访问情况。

从而，获取模块502获取到目标数据的存储信息后，就可以从中获取目标数据的存储地址、数据大小等信息。

数据迁移模块503，用于若目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取目标数据的数据迁移信息，根据数据迁移信息将目标数据进行回迁；

可选地，目标数据的存储信息中还可以包括系统标识和地址信息，该系统标识用于指示目标数据存储的位置在生产存储系统、归档存储系统。例如，地址信息可以包括目标数据在生产存储系统的缓存池或存储池以及具体的物理存储地址，或者，归档存储系统中的磁带库或光盘库以及对应的物理存储地址。

当确定目标数据的存储信息中的系统标识为归档存储系统的系统标识时，则确定目标数据的地址信息为归档存储系统的地址信息。进而，数据迁移模块503可以从元数据库获取目标数据的数据迁移信息，该数据迁移信息中记录有目标数据的数据迁移情况，如通过归档存储系统中的归档接口库中的接口a将目标数据从生产存储系统中的位置n迁移到归档存储系统中的光盘库中的位置m。从而数据迁移模块503可以根据数据迁移信息和目标数据的地址信息，调用归档接口库中目标数据对应的接口，将目标数据从归档存储系统回迁至生产存储系统，在回迁完成后，在生产存储系统可以再元数据库中更新目标数据的存储信息、热度信息和数据迁移信息。其中，调用归档接口库中的接口的过程，可以由生产存储系统调用，或者向归档存储系统发送回迁请求或回迁指令，由归档存储系统调用相关接口进行回迁。

可选地，元数据库中记录的数据迁移信息，是数据发生迁移时记录的迁移信息，在数据写入生产存储系统后，元数据库会记录该数据的访问频率、访问时间等信息，并确定该数据的数据类型为冷数据或热数据，例如将6个月内进行过访问的数据确定为热数据，6个月内没有访问过的数据确定为冷数据。生产存储系统会根据元数据库中记录的数据的热度信息，对冷数据进行数据迁移，即将冷数据通过归档接口库中对应的接口，迁移至归档存储系统中的光盘库和/或磁盘库进行归档存储。

发送模块504，用于向目标应用程序返回目标数据。

可选地，在归档存储系统中的目标数据已经由数据迁移模块503迁回存储在生产存储系统中，从而发送模块504可以直接基于元数据库中更新的目标数据的存储信息，获取目标数据的地址信息，从该地址信息对应的目标数据的存储地址，获取目标数据向生产主机中的目标应用程序返回目标数据。

可选地，若在数据迁移模块503进行迁移前，对目标数据的地址信息判断时，确定目标数据的地址信息为生产存储系统中的地址信息，则发送模块504可以直接从该地址信息对应的存储地址获取目标数据进行返回。

在本发明中，生产存储系统基于对目标数据的数据读取请求通过数据管理装置进行响应时，可以判断目标数据的存储位置，并在确定目标数据在归档存储系统中时，通过数据迁移模块向归档存储系统发送回迁请求或回迁指令，以使归档存储系统调用相关接口发起回迁，实现自动进行目标数据的回迁，并在回迁完成后发送模块向目标应用程序返回目标数据。在生产主机的角度，是直接向生产存储系统中发起数据获取请求就可以得到所需的生产数据，无需了解数据迁移过程，以及无需向归档存储系统获取生产数据，从而生产主机可以从生产存储系统中获取到全部数据，提升了数据访问成功率和效率。而生产存储系统和归档存储系统，可以通过多种接口进行数据的自动迁移和自动回迁，保持两个系统之间的数据互通，自动迁移的方式提升了不同存储系统的数据获取效率，归档存储系统有效的扩展了生产存储系统的存储池，并降低了生产存储系统的扩容成本。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一实施例中所述的数据管理方法。

在本申请提供的又一实施例中，还提供了一种数据管理平台，包括生产存储系统、生产主机和归档存储系统，所述数据管理平台用于执行上述数据管理平台的数据管理方法的步骤

图6是本发明实施例提供的一种计算机设备600结构示意图，该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括至少一个处理器(central processingunits，CPU)601和与处理器通信连接的至少一个存储器602，其中，存储器602中存储有至少一条指令，该至少一条指令由处理器601加载并执行以实现上述任一实施例的数据管理方法的步骤。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种数据管理方法，其特征在于，所述方法应用在生产存储系统，所述方法包括：

接收目标应用程序对目标数据的操作请求；

当所述操作请求为数据读取请求时，基于所述数据读取请求获取目标数据的存储信息；

若所述目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取所述目标数据的数据迁移信息，根据所述数据迁移信息将所述目标数据进行回迁；

向所述目标应用程序返回所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述生产存储系统包括元数据库和归档接口库，所述元数据库中存储有所述生产存储系统中数据的热度信息、存储信息、数据迁移信息；

所述归档接口库包括用于从所述归档存储系统的存储地址读写数据的接口信息。

3.根据权利要求2所述的方法，其特征在于，所述若所述目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取所述目标数据的数据迁移信息，根据所述数据迁移信息将所述目标数据进行回迁，包括：

从所述元数据库中获取所述目标数据的存储信息，当所述存储信息中的地址信息包括所述归档存储系统的系统标识，确定所述存储信息中的地址信息为所述归档存储系统的地址信息；

从所述元数据库中获取所述目标数据的数据迁移信息，所述数据迁移信息包括所述目标数据在所述生产存储系统中的第一存储地址、所述目标数据在所述归档存储系统中的第二存储地址以及调用的所述目标数据对应的接口的接口信息；

根据所述目标数据对应的接口的接口信息调用所述目标数据对应的接口，将所述目标数据从所述第二存储地址回迁到所述生产存储系统的第三存储地址；

更新所述元数据库中的目标数据的存储信息和数据迁移信息。

4.根据权利要求2所述的方法，其特征在于，所述生产存储系统还包括缓存池和存储池，所述方法还包括：

当所述操作请求为数据写入请求时，将所述第一数据写入缓存池，并在所述元数据库中记录所述第一数据的存储地址；

根据每个更新周期的更新时间点对应的所述第一数据的访问频率，确定所述第一数据的数据类型并在所述元数据库中记录所述第一数据的热度信息，所述数据类型包括冷数据、普通数据和热数据，所述更新周期为访问频率的更新周期，所述第一访问频率为更新时间点对应的访问频率。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若在所述第一数据写入缓存池的第一个更新周期的更新时间点所述数据类型为冷数据，则根据所述归档接口库中的接口信息，调用所述第一数据对应的接口，将所述第一数据迁移至所述归档存储系统，并在所述元数据库中更新所述第一数据的存储信息和数据迁移信息；

若在所述第一数据写入缓存池的第一个更新周期的更新时间点所述数据类型为普通数据，则将所述第一数据从缓存池迁移至存储池，并在所述元数据库中更新所述第一数据的存储信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在数据迁移周期的迁移时间点获取所述第一数据的数据类型作为当前数据迁移周期的数据类型，所述数据迁移周期为对存储的数据根据数据类型进行数据迁移的周期；

若所述当前数据迁移周期的数据类型与前一数据迁移周期的数据类型不同，则根据所述当前数据迁移周期的数据类型进行数据迁移，并在所述元数据库中更新所述第一数据的存储信息和数据迁移信息，以使数据迁移完成后，数据类型为热数据的数据存储在缓存池，数据类型为普通数据的数据存储在存储池，数据类型为冷数据的数据存储在归档存储系统。

7.根据权利要求4所述的方法，其特征在于，所述缓存池和所述存储池是相同存储集群中不同读取性能的存储区，且所述缓存池读写性能优于所述存储池。

8.根据权利要求1所述的方法，其特征在于，所述生产存储系统还包括缓存池和存储池，所述方法还包括：

若所述目标数据的存储信息中的地址信息为所述缓存池的地址信息或所述存储池的地址信息，则根据所述地址信息获取所述目标数据；

向所述目标应用程序返回所述目标数据。

9.根据权利要求1所述的方法，其特征在于，所述归档存储系统是所述生产存储系统的存储集群之外用于存储冷数据的存储集群，所述归档存储系统包括磁带库存储区和光盘库存储区。

10.一种数据管理装置，其特征在于，所述装置应用在生产存储系统，所述装置包括：

接收模块，用于接收目标应用程序对目标数据的操作请求；

获取模块，用于当所述操作请求为数据读取请求时，基于所述数据读取请求获取目标数据的存储信息；

数据迁移模块，用于若所述目标数据的存储信息中的地址信息为归档存储系统的地址信息，则获取所述目标数据的数据迁移信息，根据所述数据迁移信息将所述目标数据进行回迁；

发送模块，用于向所述目标应用程序返回所述目标数据。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，所述程序运行时执行上述权利要求1-9任一所述的方法步骤。

12.一种计算机设备，其特征在于，所述计算机设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-9任一所述的数据管理方法的步骤。