CN117193652A - 冷热数据存储方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种冷热数据存储方法、装置、设备及介质。该方法包括：获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据；对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置；根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据；根据所述归档时间，将所述归档数据存储至所述目标冷存储位置。本发明实施例的技术方案提高了冷热数据存储的管理效率。

Description

冷热数据存储方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种冷热数据存储方法、装置、设备及介质。

背景技术

在大多数应用和业务系统中，只有少部分数据被频繁访问，而大部分数据很少被访问或者根本不会被使用。这种数据访问模式的不均衡导致大量存储资源被浪费在存储不常用的数据上。随着数据规模不断增长，存储成本成为应用和业务系统面临的一个重要挑战。

为了降低存储成本，可以由人工按照冷热数据存储策略，将不经常被访问的冷存储数据归档存储到相对低成本的存储介质中，从而有效降低总体存储成本。

虽然，现有技术提供了一种有效的解决方案，但对于数据量很大，且存在多级存储的情况下，人工进行冷热数据存储的管理效率较低。

发明内容

本发明提供了一种冷热数据存储方法、装置、设备及介质，提高了冷热数据存储的管理效率。

根据本发明的一方面，提供了一种冷热数据存储方法，该方法包括：

获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据；

对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置；

根据所述归档条件和所述元数据，在所述热存储数据中筛选归档数据；

根据所述归档时间，将所述归档数据存储至所述目标冷存储位置。

根据本发明的另一方面，提供了一种冷热数据存储装置，该装置包括：

配置信息获取模块，用于获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据；

配置信息解析模块，用于对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置；

归档数据筛选模块，用于根据所述归档条件和所述元数据，在所述热存储数据中筛选归档数据；

归档数据存储模块，用于根据所述归档时间，将所述归档数据存储至所述目标冷存储位置。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的冷热数据存储方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的冷热数据存储方法。

本发明实施例的技术方案，通过获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据，对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置，根据所述归档条件和所述元数据，在所述热存储数据中筛选归档数据，根据所述归档时间，将所述归档数据存储至所述目标冷存储位置，解决了对于数据量很大，且存在多级存储的情况下，人工进行冷热数据存储的管理效率较低的问题，提高了冷热数据存储的管理效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种冷热数据存储方法的流程图；

图2是根据本发明实施例二提供的一种冷热数据存储方法的流程图；

图3是根据本发明实施例三提供的一种冷热数据存储装置的结构示意图；

图4是实现本发明实施例的冷热数据存储方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种冷热数据存储方法的流程图。本发明实施例可适用于对冷热数据进行存储情况，该方法可以由冷热数据存储装置来执行，该冷热数据存储装置可以采用硬件和/或软件的形式实现，该冷热数据存储装置可配置于承载冷热数据存储功能的电子设备中。

参见图1所示的冷热数据存储方法，包括：

S110、获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据。

数据归档可以理解为将热存储数据存储至冷存储中，以降低总体存储成本。冷热数据归档配置信息用于指示何时对热存储中的哪些热存储数据进行归档，以及归档到冷存储中的哪个(或哪些)存储位置。可选的，冷热数据归档配置信息可以预先存储于业务系统对应的数据库中。示例性的，一个冷热数据归档配置信息可以为数据库表中的一条记录。可选的，冷热数据归档的需求方通过预先设置的接口对数据库表中的冷热数据归档配置信息进行操作。例如，进行增、删、改、查等操作。可以理解为，可以由冷热数据归档的需求方通过预先设置的接口对数据库表中的各条记录进行查询，选择所需的冷热数据归档配置信息；也可以由冷热数据归档的需求方通过预先设置的接口新增冷热数据归档配置信息；还可以由冷热数据归档的需求方通过预先设置的接口对数据库表中的各条记录进行查询，并对所需的冷热数据归档配置信息进行修改，得到最终的冷热数据归档配置信息。热存储数据可以为存储于热存储中的数据。元数据可以用于记录数据属性。可以理解为，通过元数据，可以确定数据的信息。可选择，元数据可以存储于业务系统对应的数据库中。示例性的，元数据可以存储于数据库中的数据库表中。

具体的，可以获取冷热数据归档的需求方选择的冷热数据归档配置信息；可以获取热存储中存储的热存储数据；可以获取业务系统对应的数据库中存储的热存储数据对应的元数据。

S120、对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置。

冷热数据归档配置信息可以包括归档时间、归档条件和目标冷存储位置。归档时间可以为对热存储数据进行归档的时间。可选的，归档时间可以包括周期性归档时间和单次归档时间。其中，周期性归档时间可以为周期性执行数据归档的时间。单次归档时间可以为仅执行一次数据归档的归档时间。示例性的，周期性归档时间可以包括每天、每周、每月、每季度或每年等。单次归档时间可以包括某天或某天的某个时刻等。归档时间的精度可以为时刻。示例性的，归档时间的精度可以为小时、分钟或秒等。归档条件可以用于在热存储数据中筛选归档数据。可选的，归档条件可以由冷热数据归档的需求方进行设置。示例性的，归档条件可以包括归档数据的数据类型、归档数据的数据大小、归档数据的数据创建时间、归档数据的数据创建方、归档数据的数据所属文件夹、归档数据的数据最近访问时间、归档数据的数据访问频率和归档数据的数据原始存储位置等中至少一项。目标冷存储位置可以为数据归档后的存储位置。可以理解为，目标冷存储位置用于表征将归档数据归档至何处。由于数据归档是将热存储中的数据归档至冷存储中的过程。相应的，数据归档后的存储位置为冷存储中的存储位置。

具体的，可以对冷热数据归档的需求方所选择的冷热数据归档配置信息进行解析，确定归档时间、归档条件和目标冷存储位置。

S130、根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据。

归档数据可以为将要进行数据归档的数据。归档数据可以为热存储数据。在数据归档之后，归档数据为冷存储数据。

具体的，可以在归档时间，根据归档条件和元数据中记录的数据属性，对热存储数据进行筛选，确定符合归档条件的热存储数据，确定为归档数据。

S140、将所述归档数据存储至所述目标冷存储位置。

具体的，可以将归档数据由热存储中的存储位置存储至目标冷存储位置。

本发明实施例的技术方案，通过获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据，对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置，根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据，根据所述归档时间，将所述归档数据存储至所述目标冷存储位置，解决了在数据量很大且存在多级存储的情况下，人工实施冷热数据存储，需要对数据进行分类和管理，以确定何时将和数据从热存储迁移至冷存储中，需要执行额外的数据管理和复杂的数据操作，存在冷热数据存储的管理效率低的问题，实现了对业务系统中的热存储数据的自动筛选，以及对归档数据的自动归档，提高了冷热数据存储的管理效率，同时，相较于现有技术中冷数据归档存储的规则的局限性，难以根据业务系统的需求实现对冷热数据的归档存储，也难以将冷热数据归档存储至不同的目录或存储设备中，通过获取业务系统配置的冷热数据归档配置信息，兼顾了业务系统的需求，提高了与业务系统的适配度，也提高了冷热数据归档存储的灵活性。

在本发明的一个可选实施例中，所述根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据，包括：在所述归档时间，根据所述归档条件，对业务系统中所述热存储数据对应的元数据进行筛选；其中，所述元数据用于记录数据属性；将符合归档条件的所述元数据对应的热存储数据，确定为归档数据。

元数据用于记录数据属性。可以理解为，元数据用于记录数据信息。基于元数据，可以对热存储数据是否符合归档条件进行判断。

具体的，可以在归档时间，根据归档条件，对业务系统中热存储数据对应的元数据进行筛选，将符合归档条件的元数据对应的热存储数据，确定为归档数据。

本方案利用归档时间，作为冷热数据归档存储的触发条件，实现了对业务系统的数据的单次归档或定时归档，通过归档条件，对元数据进行筛选，利用热存储数据对应的元数据，快速筛选出符合归档条件的元数据对应的热存储数据，提高了归档数据的确定效率，同时，也提高了归档数据确定的准确度，进一步提高了冷热数据归档存储的效率和准确度。

在本发明的一个可选实施例中，所述元数据包括数据类型、数据大小、数据创建时间、数据创建方、数据所属文件夹、数据最近访问时间、数据访问频率、数据原始存储位置、数据当前存储位置和数据归档状态。

数据类型可以用于表征不同格式的数据。数据大小可以用于表征数据占用的存储空间大小。数据创建时间可以用于表征创建数据的时间与当前时间的时间差。数据创建方用于表征数据权限。可以理解为，不同数据创建方在冷热数据存储方面具有不同的权限，该权限可以对应的不同的归档时间和/或不同的目标冷存储位置。数据所属文件夹用于表征数据的业务属性。可以理解为，业务系统中不同业务的数据存储于不同的文件夹中，根据数据所属文件夹可以确定对何种业务的热存储数据进行归档。数据最近访问时间可以为业务系统中数据的最新使用时间。数据访问频率可以用于表征数据在业务系统中的访问频次。数据当前存储位置可以为当前时刻数据的存储位置。数据原始存储位置可以为数据移动至数据当前存储位置之前的存储位置。数据当前存储位置用于对数据进行查询和获取。数据原始存储位置用于对数据进行恢复。可以理解为，在将数据从数据当前存储位置恢复至数据原始存储位置时，数据原始存储位置用于作为数据恢复的参考信息。数据归档状态可以包括“未归档”、“归档中”、“已归档”和“恢复中”等中至少一项。

本方案通过将元数据具体化为数据类型、数据大小、数据创建时间、数据创建方、数据所属文件夹、数据最近访问时间、数据访问频率、数据原始存储位置、数据当前存储位置和数据归档状态，通过选取元数据中的典型数据进行冷热数据归档，在保证基于元数据所筛选的归档数据的准确度的同时，进一步提高了归档数据的筛选效率，进而提高了冷热数据归档的效率和准确度。

在本发明的一个可选实施例中，在所述将所述归档数据存储至所述目标冷存储位置之后，还包括：对所述归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新。

具体的，在将归档数据存储至目标冷存储位置之后，可以将归档数据的元数据进行更新。也即，可以将数据最近访问时间更新为归档数据存储完成时间；可以将数据原始存储位置更新为归档之前的热存储中的存储位置；可以将数据当前存储位置更新为目标冷存储位置；可以将数据归档状态更新为“已归档”。

本方案通过在将归档数据存储至目标冷存储位置之后，对归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新，实现了数据归档之后元数据的同步更新，进一步保证了业务系统中元数据的准确度，进而保证了基于元数据进行冷热数据归档的准确度。

实施例二

图2为本发明实施例二提供的一种冷热数据存储方法的流程图。本发明实施例在上述实施例的基础上，进一步增加了“获取业务系统的数据访问请求；根据所述数据访问请求，确定业务系统中的归档数据的目标冷存储位置；根据目标冷存储的读取权限，获取并反馈所述归档数据”，实现了对冷存储数据的无感知访问。需要说明的是，在本发明实施例中未详述的部分，可参见其他实施例的表述。

参见图2所示的冷热数据存储方法，包括：

S210、获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据。

S220、对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置。

S230、根据所述归档条件和所述元数据，在所述热存储数据中筛选归档数据。

S240、根据所述归档时间，将所述归档数据存储至所述目标冷存储位置。

S250、获取业务系统的数据访问请求。

数据访问请求用于对业务系统中的数据进行访问。可选的，数据访问请求可以包括所需访问的数据。示例性的，数据访问请求可以为对归档数据进行数据访问的请求。可选的，数据访问请求可以由归档数据的查询方发出。

具体的，可以获取归档数据的查询方发出的业务系统的数据访问请求。

S260、根据所述数据访问请求，确定业务系统中的归档数据的目标冷存储位置。

具体的，可以根据数据访问请求中包含的所需访问的归档数据，对归档数据的元数据进行查询，确定归档数据的目标冷存储位置，

S270、根据所述目标冷存储位置的读取权限，获取并反馈所述归档数据。

读取权限可以用判断目标冷存储位置是否可以直接读取。可选的，目标冷存储位置的读取权限可以存储于业务系统对应的数据库中。示例性的，目标冷存储位置的读取权限可以存储于数据库中的数据库表中。可选的，可以预先将各存储位置的配置信息存储于数据库表中。其中，各存储位置的配置信息可以包括存储位置的属性信息和对应的读取权限。可以理解为，存储位置的属性信息可以理解为存储位置为热存储中的存储位置或冷存储中的存储位置。存储位置的属性信息还包括存储位置的存储空间和读写性能等。存储位置对应的读取权限可以包括直接读取、加密读取或禁止直接读取。其中，在读取权限为直接读取时，可以对该存储位置进行直接读取。在读取权限为加密读取时，需要获取对应的加密密钥，对存储位置中的数据进行解密之后，再对数据进行读取。在读取权限为禁止直接读取时，需要将该存储位置中的数据恢复至热存储之后，才可以进行直接读取。

具体的，可以根据目标冷存储位置的读取权限，采取读取权限对应的方式，获取归档数据，并向归档数据的需求方反馈归档数据。

本发明实施例的技术方案，通过在在所述将所述归档数据存储至所述目标冷存储位置之后，获取业务系统的数据访问请求，根据所述数据访问请求，确定业务系统中的归档数据的目标冷存储位置，根据目标冷存储的读取权限，获取并反馈所述归档数据，在需要对归档完成的数据进行访问时，无需人工手动干预，可以自动从目标冷存储位置中读取数据，实现了对数据归档后的冷存储数据的无感知访问。

在本发明的一个可选实施例中，所述根据所述目标冷存储位置的读取权限，获取并反馈所述归档数据，包括：在所述目标冷存储位置的访问权限为直接读取时，读取并反馈所述归档数据；在所述目标冷存储位置的访问权限为禁止直接读取时，获取数据原始存储位置；将所述归档数据恢复至所述数据原始存储位置对应的热存储，并反馈所述数据重新访问提示信息。

直接读取，可以理解为可以对目标冷存储位置中的数据直接进行读取。业务系统对应的热存储和读取权限为直接读取的冷存储是可以直接读取的。禁止直接读取，可以理解为不可以对目标冷存储位置中的数据直接进行读取，需要将目标冷存储位置中的数据迁移至热存储之后，才可以对归档数据进行读取。为了降低数据存储成本，通常冷存储的成本较低，相应的冷存储的性能较差，访问速度较慢，数据响应时间较长。如果需要将数据从冷存储恢复至热存储，则数据需要从较慢的存储介质中恢复，而在数据恢复至热存储之前，无法对数据进行访问。重新访问提示信息用于提示归档数据的需求方可以对归档数据重新进行访问。可以理解为，重新访问提示信息用于提示数据已经从冷存储恢复至热存储。

具体的，在目标冷存储位置的访问权限为直接读取时，可以对目标冷存储位置进行读取，获取并反馈归档数据。在目标冷存储位置的读取权限为禁止直接读取时，可以获取数据原始存储位置，将归档数据由目标冷存储位置恢复至数据原始存储位置对应的热存储中，并向归档数据的需求方反馈数据重新访问提示信息。

本方案通过对不同读取权限的目标冷存储位置中的归档数据，采取不同的读取方式，考虑了冷存储中数据的读取权限，提高了冷存储中数据读取的灵活性；同时，相较于没有提示机制的冷热数据存储的读取过程，归档数据的需求方无法确定业务系统何时将归档数据从冷存储恢复至热存储，也即归档数据的需求方无法确定何时可以对归档数据进行重新访问，通过在目标冷存储位置的读取权限为禁止直接读取时，通过获取数据原始存储位置，将归档数据先从冷存储恢复至热存储中，并反馈数据重新访问提示信息，提高了冷存储数据的访问效率和访问体验。

在本发明的一个可选实施例中，在所述将所述归档数据恢复至所述数据原始存储位置对应的热存储之后，还包括：对所述归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新。

具体的，在将归档数据恢复至数据原始存储位置对应的热存储之后，可以将归档数据的元数据进行更新。也即，可以将数据最近访问时间更新为归档数据恢复完成时间；可以将数据原始存储位置更新为归档之前的冷存储中的存储位置，也即目标冷存储位置；可以将数据当前存储位置更新为热存储中的存储位置，也即更新前的数据原始存储位置；可以将数据归档状态更新为“未归档”。

本方案通过在将归档数据恢复至数据原始存储位置对应的热存储之后，对归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新，实现了数据恢复之后元数据的同步更新，进一步保证了业务系统中元数据的准确度，进而保证了基于元数据进行冷热数据归档的准确度。

示例性的，本发明实施例还提供了一种冷热数据存储装置，包括：数据库模块、多级冷热存储设置模块、归档策略模块、数据元数据模块、定时归档模块、冷数据恢复模块、冷热数据访问模块和数据归档状态查询模块。

其中，数据库模块用于对多级冷热存储设置数据、归档策略数据和数据的元数据进行存储。具体的，数据库模块可以接收多级冷热存储设置模块传输的多级冷热存储设置数据，并将多级冷热存储设置数据存储至数据库模块对应的数据库中。多级冷热存储设置模块可以在数据库中唯一对应一张数据库表。该数据表用于存储多级冷热存储设置数据。每一条多级冷热存储设置数据可以是数据库表中的一条记录，并且可以通过接口访问数据库模块对数据库表中的数据并进行增、删、改、查等操作。数据库模块可以接收归档策略模块传输的归档策略数据，并将归档策略数据存储至数据库模块对应的数据库中。归档策略模块可以在数据库中唯一对应一张数据库表。该数据库表用于存储归档策略数据。每一条归档策略数据可以是数据库表中的一条记录，并且可以通过接口访问数据库模块对数据库表中的数据并进行增、删、改、查等操作。数据库模块可以接收数据元数据模块传输的元数据，并将元数据存储至数据库模块对应的数据库中。数据元数据模块可以在数据库中唯一对应一张数据库表。该数据库表用于存储元数据。每一个元数据可以是数据库表中的一条记录，并且可以通过接口访问数据库模块对数据库表中的数据并进行增、删、改、查等操作。

多级冷热存储设置模块可以对多级冷热存储进行设置。例如，设置多级冷热存储的读取权限等。

归档策略模块可以为冷热数据归档的需求方提供归档策略数据(即冷热数据归档配置信息)快速设置的接口。冷热数据归档的需求方可以根据归档策略模块要求的数据格式，将归档策略数据发送至归档策略模块中，也可通过接口对数据库模块中的数据库表进行数据的增、删、改、查等操作。可选的，归档策略模块中的每一条归档策略数据可设置的策略可以包括：归档时间、归档条件和目标冷存储位置。其中，归档任务的执行时间策略(即归档时间)，可以设定每天、每周、每月或每年周期执行，也可以设定仅执行一次，并能精确到归档当天的某小时开始执行。数据的元数据策略(即归档条件)，可以按数据类型、数据大小、数据最近访问时间和/或数据访问频率进行归档；还可以按数据创建时间、数据创建方和/或数据所属文件夹进行归档。在数据归档时，还可以设置目标冷存储位置。可以通过归档策略模块与多级冷热存储设置模块进行通信，在多级冷热存储设置模块对应的数据库表的记录中，选择目标冷存储位置。

数据元数据模块中的每一条记录都对应一条数据的元数据。其中，元数据可以包括数据类型、数据大小、数据创建时间、数据创建方、数据所属文件夹、数据最近访问时间、数据访问频率、数据原始存储位置、数据当前存储位置和数据归档状态。

定时归档模块可以与归档策略模块之间进行通信，通过与归档策略模块之间的通信接口获取到对应的归档策略数据(即冷热数据归档配置信息)。定时归档模块可以将解析每一个归档策略数据，转换成归档任务对应的执行线程。可以根据归档策略数据中的执行时间策略(即归档时间)，按时执行数据归档。在定时归档模块执行每一个归档任务的过程中，可以与数据元数据模块之间进行通信。可以通过与数据元数据模块之间的通信接口查询到符合归档条件的元数据。在热存储中下载对应的归档数据，然后将归档数据写入目标冷存储位置中。定时归档模块还可以与数据元数据模块之间进行通信，可以将归档成功的归档数据的元数据中的归档状态更新为已归档，可以将归档数据的元数据中的数据最近访问时间更新为归档成功的时间，可以将数据归档后的数据当前存储位置修改为目标冷存储位置。冷数据恢复模块可以与数据元数据模块之间进行通信，通过与数据元数据模块之间的通信接口，得到要恢复的归档数据的元数据。可以将归档数据的元数据中的归档状态更新为恢复中，可以从数据归档后的目标冷存储位置中恢复归档数据到数据归档前的热存储中。冷数据恢复模块可以对恢复中的归档数据进行实时监控。在归档数据恢复完成后，冷数据恢复模块可以与数据元数据模块之间进行通信。可以将归档数据的元数据中的归档状态更新为未归档，并发送数据重新访问提示消息通知归档数据的查询方归档数据恢复完成，可以重新对归档数据进行访问。

当归档数据的查询方需要对归档数据进行查询、下载和预览时，可以向冷热数据访问模块发送数据访问请求。冷热数据访问模块接收到数据访问请求之后，可以触发冷热数据访问模块，冷热数据访问模块可以与数据元数据模块之间进行通信，通过与数据元数据模块进之间的通信接口，得到归档数据的元数据。当归档数据的元数据中归档状态为未归档时，可以从数据归档前的热存储中读取归档数据，并反馈至归档数据的查询方。当归档数据的元数据中归档状态为已归档时，可以检测目标冷存储位置的读取权限，如果数据归档后的目标冷存储的读取权限为直接读取时，则可以从数据归档后的目标冷存储位置中读取归档数据，并反馈至归档数据的查询方。当归档数据的元数据中归档状态为已归档时，可以检测目标冷存储位置的读取权限，如果数据归档后的目标冷存储的读取权限为禁止直接读取时，可以先将归档数据从目标冷存储位置恢复到热存储中，再通过冷热数据访问模块与冷数据恢复模块之间进行通信，触发冷数据恢复模块的执行冷数据恢复过程，待到归档数据恢复完成之后，提示归档数据的查询方可以重新进行数据访问。

数据归档状态查询模块可以为归档数据的查询方提供归档数据的归档状态的查询，方便用户对归档状态进行管理和监控。也可通过与数据元数据模块之间的通信接口，对数据库模块对应的数据库进行数据的改、查等操作。可以对正在归档中的数据进行撤销归档的动作，也可以指定数据进行立即归档。

本方案可以根据冷热数据归档的需求方的需求自由地组织和管理归档数据，以便对冷热数据进行分类和归档，适用于各种应用场景，避免了冷热存储的类型和存储本身归档策略的局限性，还可以通过添加存储，满足不断增长冷热数据归档的需求方的需求，提高了冷热数据存储的灵活性和可扩展性；同时，还提供了丰富的接口，使得数据的读取、写入和管理过程变得更加简单和直观，对不同的存储介质的归档原理，无需深入学习，方便数据的访问和操作；当归档数据的查询方尝试访问已归档的归档数据时，可以从目标冷存储位置中自动提取归档数据，并将其透明地呈现给归档数据的查询方，无需手动干预，实现了归档数据的无感知访问和恢复。

实施例三

图3为本发明实施例三提供的一种冷热数据存储装置的结构示意图。本发明实施例可适用于对冷热数据进行存储的情况，该装置可以执行冷热数据存储方法，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载冷热数据存储功能的电子设备中。

参见图3所示的冷热数据存储装置，包括：配置信息获取模块310、配置信息解析模块320、归档数据筛选模块330和归档数据存储模块340。其中，配置信息获取模块310，用于获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据；配置信息解析模块320，用于对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置；归档数据筛选模块330，用于根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据；归档数据存储模块340，用于将所述归档数据存储至所述目标冷存储位置。

本发明实施例的技术方案，通过获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据，对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置，根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据，根据所述归档时间，将所述归档数据存储至所述目标冷存储位置，解决了在数据量很大且存在多级存储的情况下，人工实施冷热数据存储，需要对数据进行分类和管理，以确定何时将和数据从热存储迁移至冷存储中，需要执行额外的数据管理和复杂的数据操作，存在冷热数据存储的管理效率低的问题，实现了对业务系统中的热存储数据的自动筛选，以及对归档数据的自动归档，提高了冷热数据存储的管理效率，同时，相较于现有技术中冷数据归档存储的规则的局限性，难以根据业务系统的需求实现对冷热数据的归档存储，也难以将冷热数据归档存储至不同的目录或存储设备中，通过获取业务系统配置的冷热数据归档配置信息，兼顾了业务系统的需求，提高了与业务系统的适配度，也提高了冷热数据归档存储的灵活性。

在本发明的一个可选实施例中，归档数据筛选模块330，包括：元数据筛选单元，用于在所述归档时间，根据所述归档条件，对业务系统中所述热存储数据对应的元数据进行筛选；其中，所述元数据用于记录数据属性；归档数据筛选单元，用于将符合归档条件的所述元数据对应的热存储数据，确定为归档数据。

在本发明的一个可选实施例中，所述元数据包括数据类型、数据大小、数据创建时间、数据创建方、数据所属文件夹、数据最近访问时间、数据访问频率、数据原始存储位置、数据当前存储位置和数据归档状态。

在本发明的一个可选实施例中，该装置，还包括：第一元数据更新模块，用于在所述将所述归档数据存储至所述目标冷存储位置之后，对所述归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新。

在本发明的一个可选实施例中，该装置，还包括：数据访问请求获取模块，用于在所述将所述归档数据存储至所述目标冷存储位置之后，获取业务系统的数据访问请求；目标冷存储位置确定模块，用于根据所述数据访问请求，确定业务系统中的归档数据的目标冷存储位置；归档数据反馈模块，用于根据目标冷存储的读取权限，获取并反馈所述归档数据。

在本发明的一个可选实施例中，归档数据反馈模块，包括：第一数据读取单元，用于在所述目标冷存储的访问权限为直接读取时，读取并反馈所述归档数据；数据原始存储位置获取单元，用于在所述目标冷存储的访问权限为禁止直接读取时，获取数据原始存储位置；提示信息反馈单元，用于将所述归档数据恢复至所述数据原始存储位置对应的热存储，并反馈所述数据重新访问提示信息。

在本发明的一个可选实施例中，该装置，还包括：第二元数据更新模块，用于在所述将所述归档数据恢复至所述数据原始存储位置对应的热存储之后，对所述归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新。

本发明实施例所提供的冷热数据存储装置可执行本发明任意实施例所提供的冷热数据存储方法，具备执行方法相应的功能模块和有益效果。

本发明实施例的技术方案中，所涉及的业务系统配置的冷热数据归档配置信息、热存储数据、对应的元数据、业务系统的数据访问请求和归档数据等的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备400的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备400包括至少一个处理器401，以及与至少一个处理器401通信连接的存储器，如只读存储器(ROM)402、随机访问存储器(RAM)403等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器401可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储电子设备400操作所需的各种程序和数据。处理器401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

电子设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许电子设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器401可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器401执行上文所描述的各个方法和处理，例如冷热数据存储方法。

在一些实施例中，冷热数据存储方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到电子设备400上。当计算机程序加载到RAM 403并由处理器401执行时，可以执行上文描述的冷热数据存储方法的一个或多个步骤。备选地，在其他实施例中，处理器401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行冷热数据存储方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种冷热数据存储方法，其特征在于，所述方法包括：

获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据；

对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置；

根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据；

将所述归档数据存储至所述目标冷存储位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述归档时间、所述归档条件和所述元数据，在所述热存储数据中筛选归档数据，包括：

在所述归档时间，根据所述归档条件，对业务系统中所述热存储数据对应的元数据进行筛选；其中，所述元数据用于记录数据属性；

将符合归档条件的所述元数据对应的热存储数据，确定为归档数据。

3.根据权利要求2所述的方法，其特征在于，所述元数据包括数据类型、数据大小、数据创建时间、数据创建方、数据所属文件夹、数据最近访问时间、数据访问频率、数据原始存储位置、数据当前存储位置和数据归档状态。

4.根据权利要求1所述的方法，其特征在于，在所述将所述归档数据存储至所述目标冷存储位置之后，还包括：

对所述归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新。

5.根据权利要求1所述的方法，其特征在于，在所述将所述归档数据存储至所述目标冷存储位置之后，还包括：

获取业务系统的数据访问请求；

根据所述数据访问请求，确定业务系统中的归档数据的目标冷存储位置；

根据所述目标冷存储位置的读取权限，获取并反馈所述归档数据。

6.根据权利要求5所述的方法，其特征在于，所述根据所述目标冷存储位置的读取权限，获取并反馈所述归档数据，包括：

在所述目标冷存储位置的访问权限为直接读取时，读取并反馈所述归档数据；

在所述目标冷存储位置的访问权限为禁止直接读取时，获取数据原始存储位置；

将所述归档数据恢复至所述数据原始存储位置对应的热存储，并反馈所述数据重新访问提示信息。

7.根据权利要求6所述的方法，其特征在于，在所述将所述归档数据恢复至所述数据原始存储位置对应的热存储之后，还包括：

对所述归档数据的元数据中的数据最近访问时间、数据原始存储位置、数据当前存储位置和数据归档状态进行更新。

8.一种冷热数据存储装置，其特征在于，所述装置包括：

配置信息获取模块，用于获取业务系统配置的冷热数据归档配置信息、热存储数据和对应的元数据；

配置信息解析模块，用于对所述冷热数据归档配置信息进行解析，得到归档时间、归档条件和目标冷存储位置；

归档数据筛选模块，用于根据所述归档条件和所述元数据，在所述热存储数据中筛选归档数据；

归档数据存储模块，用于根据所述归档时间，将所述归档数据存储至所述目标冷存储位置。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的冷热数据存储方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的冷热数据存储方法。