CN107784108A

CN107784108A - 一种数据存储管理方法、装置及设备

Info

Publication number: CN107784108A
Application number: CN201711044636.6A
Authority: CN
Inventors: 李旭东
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2018-03-09

Abstract

本发明公开了一种数据存储管理方法、装置、设备及计算机可读存储介质，其中该方法包括：确定待存储的文件为目标文件，并获取所述目标文件的文件属性为目标文件属性；确定存储空间中与所述目标文件属性具有对应关系的存储区域为目标存储区域；将所述目标文件存储至所述目标存储区域中。不同于现有技术中未对文件进行分类后存储，本申请中通过上述技术方案实现了文件的分类存储，由此当需要查询某文件时，只需要获取该文件的文件属性即可到对应的存储区域中查找对应文件，大大缩短了文件查询时间，解决了现有技术中存在的由于文件数量过多导致无法快速查询到某一文件的问题。

Description

一种数据存储管理方法、装置及设备

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种数据存储管理方法、装置、设备及计算机可读存储介质。

背景技术

为了实现后续查询或者其他使用，经常需要将数据对应文件存储至硬盘或计算机等存储介质中。但是随着需要存储的数据量越来越大，现有技术中将数据对应文件直接存储至存储介质的方法存在由于文件数量过多导致无法快速查询到某一文件的缺点。

综上所述，现有技术提供的数据存储方案存在由于文件数量过多导致无法快速查询到某一文件的问题。

发明内容

本发明的目的是提供一种数据存储管理方法、装置、设备及计算机可读存储介质，解决了现有技术提供的数据存储方案存在的由于文件数量过多导致无法快速查询到某一文件的问题。

为了实现上述目的，本发明提供如下技术方案：

一种数据存储管理方法，包括：

确定待存储的文件为目标文件，并获取所述目标文件的文件属性为目标文件属性；

确定存储空间中与所述目标文件属性具有对应关系的存储区域为目标存储区域；

将所述目标文件存储至所述目标存储区域中。

优选的，确定存储空间中与所述目标文件属性具有对应关系的存储区域为目标存储区域，包括：

获取预先设置的至少一条包括有文件属性及存储区域的对应关系的分类存储策略，确定包括有所述目标文件属性的分类存储策略为目标策略，并确定该目标策略中包括的与所述目标文件属性具有对应关系的存储区域为目标存储区域。

优选的，将所述目标文件存储至所述目标存储区域之前，还包括：

如果存在多条与所述目标文件属性对应的分类存储策略，则确定该多条分类存储策略中优先级最高的策略为目标策略。

优选的，预先设置分类存储策略，包括：

设置至少一条分类存储策略，其中所述分类存储策略中访问热度及访问频率高于对应阈值的文件属性与高速硬盘具有对应关系，访问热度及访问频率低于对应阈值的文件属性与低速硬盘具有对应关系。

优选的，还包括：

如果不存在与所述目标文件属性具有对应关系的存储区域，则将所述目标文件存储至预先指定的存储区域中。

优选的，将所述目标文件存储至所述目标存储区域中之后，还包括：

在外界触发下获取所述存储空间中存储的文件的文件属性为当前文件属性，确定所述存储空间中与所述当前文件属性具有对应关系的存储区域为当前存储区域，控制所述存储空间中存储的文件存储在对应的当前存储区域中。

定时获取所述存储空间中存储的文件的文件属性为当前文件属性，确定所述存储空间中与所述当前文件属性具有对应关系的存储区域为当前存储区域，控制所述存储空间中存储的文件存储在对应的当前存储区域中。

一种数据存储管理装置，包括：

获取模块，用于：确定待存储的文件为目标文件，并获取所述目标文件的文件属性为目标文件属性；

确定模块，用于：确定存储空间中与所述目标文件属性具有对应关系的存储区域为目标存储区域；

存储模块，用于：将所述目标文件存储至所述目标存储区域中。

一种数据存储管理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述数据存储管理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述数据存储管理方法的步骤。

本发明提供了一种数据存储管理方法、装置、设备及计算机可读存储介质，其中该方法包括：确定待存储的文件为目标文件，并获取所述目标文件的文件属性为目标文件属性；确定存储空间中与所述目标文件属性具有对应关系的存储区域为目标存储区域；将所述目标文件存储至所述目标存储区域中。本申请公开的技术方案中，当需要存储某一文件时获取该目标文件的文件属性为目标文件属性，进而将该目标文件存储至与目标文件属性具有对应关系的存储区域中，不同于现有技术中未对文件进行分类后存储，本申请中通过上述技术方案实现了文件的分类存储，由此当需要查询某文件时，只需要获取该文件的文件属性即可到对应的存储区域中查找对应文件，大大缩短了文件查询时间，解决了现有技术中存在的由于文件数量过多导致无法快速查询到某一文件的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据存储管理方法的流程图；

图2为本发明实施例提供的一种数据存储管理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种数据存储管理方法的流程图，可以包括：

S11：确定待存储的文件为目标文件，并获取目标文件的文件属性为目标文件属性。

其中需要存储的文件即为待存储的文件，也即为目标文件，获取目标文件的文件属性，该文件属性可以包括文件名、文件路径、文件大小、用户/用户组、创建时间、修改时间、最后一次访问时间、I/O次数、I/O热度、是否启用ssd加速、指定存放位置等中的一个或多个，并将这些文件属性作为目标文件属性。

S12：确定存储空间中与目标文件属性具有对应关系的存储区域为目标存储区域。

可以预先根据实际需要设置不同文件属性及不同存储区域之间的对应关系，从而由这些对应关系中确定出与目标文件属性具有对应关系的存储区域，以将目标文件存储至该存储区域中。其中存储空间可以指同一设备包含的存储空间，也可以指多个设备包含的存储空间，对应的，对应同一设备包含的存储空间的存储区域可以为预先根据实际需要对该存储空间划分得到的，对应多个设备包含的存储空间的存储区域可以是一个设备包含的存储空间是一个存储区域，当然还可以根据实际需要进行其他设定，均在本发明的保护范围之内。另外上述对应关系可以由用户设置，从而可以接收用户任意时刻输入的对应关系的设置信息并基于该设置信息确定不同存储区域与文件属性之间的对应关系，并存储，从而能够满足用户的需求。

S13：将目标文件存储至目标存储区域中。

将目标文件存储至目标存储区域中，从而实现文件的分类存储，由此在需要查询已经存储至存储空间的任一文件时，只需要由于该文件的文件属性对应存储区域中查找该文件即可，从而大大缩短了文件的查询时间。

本申请公开的技术方案中，当需要存储某一文件时获取该目标文件的文件属性为目标文件属性，进而将该目标文件存储至与目标文件属性具有对应关系的存储区域中，不同于现有技术中未对文件进行分类后存储，本申请中通过上述技术方案实现了文件的分类存储，由此当需要查询某文件时，只需要获取该文件的文件属性即可到对应的存储区域中查找对应文件，大大缩短了文件查询时间，解决了现有技术中存在的由于文件数量过多导致无法快速查询到某一文件的问题。

本发明实施例提供的一种数据存储管理方法，确定存储空间中与目标文件属性具有对应关系的存储区域为目标存储区域，可以包括：

获取预先设置的至少一条包括有文件属性及存储区域的对应关系的分类存储策略，确定包括有目标文件属性的分类存储策略为目标策略，并确定该目标策略中包括的与目标文件属性具有对应关系的存储区域为目标存储区域。

其中分类存储策略中可以包括文件属性和存储区域之间的对应关系，其中文件属性可以为多个参数的组合，这些参数可以为文件名、文件路径、文件大小、用户/用户组(文件所属的用户或用户组)、文件创建时间、文件修改时间、文件最后一次访问的时间、文件的I/O次数、文件的I/O热度、文件是否启用ssd加速、文件的指定存放位置等中的至少一个，当文件属性同时满足任一分类存储策略中包含内的所有参数时才认为该文件属性包含于该分类存储策略中。另外上述参数的含义与现有技术中对应参数的含义一致，在此不再赘述。另外分级存储策略有数量的限制，如有些存储系统中最多有128条分级策略。

本发明实施例提供的一种数据存储管理方法，将目标文件存储至目标存储区域之前，还可以包括：

如果存在多条与目标文件属性对应的分类存储策略，则确定该多条分类存储策略中优先级最高的策略为目标策略。

如果与目标文件属性具有对应关系的存储区域有多个，则从这些对应关系中选取最高优先级的对应关系对应的存储区域作为目标存储区域，而这些优先级可以预先根据实际需要设置。而对应到分类存储策略时，如果存储多条与目标文件属性对应的分类存储策略，则由中选取优先级最高的测量为目标策略，进而实现后续存储步骤，从而能够将目标文件存储至对应优先级最高的存储区域中，更能够符合用户需求。

本发明实施例提供的一种数据存储管理方法，预先设置分类存储策略，可以包括：

设置至少一条分类存储策略，其中分类存储策略中访问热度及访问频率高于对应阈值的文件属性与高速硬盘具有对应关系，访问热度及访问频率低于对应阈值的文件属性与低速硬盘具有对应关系。

优选的，分类存储策略中包含的参数可以包括访问热度及访问频率，其中访问频率可以为预先设定的一段时间某文件被访问的次数，而访问热度可以为该段时间内某文件被访问的次数除以该段时间，从而将访问热度及访问频率高于根据实际需要设定的对应阈值的文件存储至具有性能较高的存储区域，如高速硬盘，其他的则存储至性能较低的存储区域，如低速硬盘，其中高速硬盘和低速硬盘与现有技术中对应存储设备的概念相同，一般低速硬盘转速为5400转/分钟，高速硬盘转速为7200转/分钟，也即使用大容量、低转速的硬盘存储访问频率及访问热度较低的文件，使用高转速的硬盘存储访问频率及访问热度较高的文件，从而保证对访问频率及访问热度较高的文件实现较高的访问速率，减少访问频率及访问热度较低的文件在高速硬盘中占用的空间，从而提升整个系统的存储及读取性能。

本发明实施例提供的一种数据存储管理方法，还可以包括：

如果不存在与目标文件属性具有对应关系的存储区域，则将目标文件存储至预先指定的存储区域中。

可以设置一条default策略，当文件无法匹配到所有分级存储策略时，执行default策略，该defalut策略可以根据实际需要被修改，但是不可以被删除；具体来说该default策略可以是将未匹配到分级存储策略的文件存储至预先指定的存储区域中，从而进一步实现了对于文件的分类存储。

本发明实施例提供的一种数据存储管理方法，将目标文件存储至目标存储区域中之后，还可以包括：

在外界触发下获取存储空间中存储的文件的文件属性为当前文件属性，确定存储空间中与当前文件属性具有对应关系的存储区域为当前存储区域，控制存储空间中存储的文件存储在对应的当前存储区域中。

当外界访问某文件或者对某文件的文件属性进行修改时则可认为为外界在触发执行获取存储空间中存储的文件的文件属性为当前文件属性这一步骤，如果与文件当前的文件属性具有对应关系的存储区域与文件当前所处的存储区域不同，则将文件移动至与文件当前的文件属性具有对应关系的存储区域，否则，则不对文件进行移动操作，从而能够在文件属性发生变化时实现对其存储位置的管理，进一步保证了对文件进行查询时的速度。

定时获取存储空间中存储的文件的文件属性为当前文件属性，确定存储空间中与当前文件属性具有对应关系的存储区域为当前存储区域，控制存储空间中存储的文件存储在对应的当前存储区域中。

可以预先设置一时间间隔，从而每经过该时间间隔则获取存储空间中存储的文件的文件属性为当前文件属性，也即定时存储空间中存储的文件的文件属性为当前文件属性，如果与文件当前的文件属性具有对应关系的存储区域与文件当前所处的存储区域不同，则将文件移动至与文件当前的文件属性具有对应关系的存储区域，否则，则不对文件进行移动操作，从而能够实时实现对文件存储位置的管理，进一步保证了对文件进行查询时的速度。另外本申请中的当前指的是当前时刻，并不特定某一具体时刻。

另外可以维护有各文件的访问频率及访问热度的字段，当文件被访问时，如果此次访问和上次访问之间相距的时间已经超过预先设定的时间段，则将访问频率清零，否则，则将访问频率加1；从而实现对文件访问频率及访问热度的实时统计，便于对其进行分类存储及管理。

另外，可以建立数据索引，在该索引中记录存储在高速硬盘的各文件的文件属性，并将该数据索引存放于数据库或者指定文件中，从而在定时获取存储空间中存储的文件的文件属性为当前文件属性可以只获取该数据索引对应文件的文件属性，进而确定文件是否需要移动，避免了每次扫描获取已存储文件的文件属性时需要获取整个存储空间的文件的文件属性，而只对很大可能需要文件迁移的文件进行文件属性的获取，避免了对高速硬盘的浪费，且提高了效率。

本申请公开的技术方案自动分类存储按照文件属性将文件存放在不同存储区域中，并实现文件在存储区域之间的自动迁移。满足了用户对文件处理速度、存储容量和成本的多样需求，以达到合理利用存储空间、提升存储系统访问性能、降低总体部署成本的目的。

本发明实施例还提供了一种数据存储管理装置，如图2所示，可以包括：

获取模块11，用于：确定待存储的文件为目标文件，并获取目标文件的文件属性为目标文件属性；

确定模块12，用于：确定存储空间中与目标文件属性具有对应关系的存储区域为目标存储区域；

存储模块13，用于：将目标文件存储至目标存储区域中。

本发明实施例提供的一种数据存储管理装置，确定模块可以包括：

确定单元，用于：获取预先设置的至少一条包括有文件属性及存储区域的对应关系的分类存储策略，确定包括有目标文件属性的分类存储策略为目标策略，并确定该目标策略中包括的与目标文件属性具有对应关系的存储区域为目标存储区域。

本发明实施例提供的一种数据存储管理装置，还可以包括：

选取模块，用于：将目标文件存储至目标存储区域之前，如果存在多条与目标文件属性对应的分类存储策略，则确定该多条分类存储策略中优先级最高的策略为目标策略。

本发明实施例提供的一种数据存储管理装置，还可以包括：

预设模块，用于：设置至少一条分类存储策略，其中分类存储策略中访问热度及访问频率高于对应阈值的文件属性与高速硬盘具有对应关系，访问热度及访问频率低于对应阈值的文件属性与低速硬盘具有对应关系。

本发明实施例提供的一种数据存储管理装置，还可以包括：

处理模块，用于：如果不存在与目标文件属性具有对应关系的存储区域，则将目标文件存储至预先指定的存储区域中。

本发明实施例提供的一种数据存储管理装置，还可以包括：

第一管理模块，用于：将目标文件存储至目标存储区域中之后，在外界触发下获取存储空间中存储的文件的文件属性为当前文件属性，确定存储空间中与当前文件属性具有对应关系的存储区域为当前存储区域，控制存储空间中存储的文件存储在对应的当前存储区域中。

本发明实施例提供的一种数据存储管理装置，还可以包括：

第二管理模块，用于：将目标文件存储至目标存储区域中之后，定时获取存储空间中存储的文件的文件属性为当前文件属性，确定存储空间中与当前文件属性具有对应关系的存储区域为当前存储区域，控制存储空间中存储的文件存储在对应的当前存储区域中。

本发明实施例还提供了一种数据存储管理设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项数据存储管理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可以实现如上任一项数据存储管理方法的步骤。

本发明实施例提供的一种数据存储管理装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种数据存储管理方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据存储管理方法，其特征在于，包括：

将所述目标文件存储至所述目标存储区域中。

2.根据权利要求1所述的方法，其特征在于，确定存储空间中与所述目标文件属性具有对应关系的存储区域为目标存储区域，包括：

3.根据权利要求2所述的方法，其特征在于，将所述目标文件存储至所述目标存储区域之前，还包括：

4.根据权利要求2所述的方法，其特征在于，预先设置分类存储策略，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征在于，将所述目标文件存储至所述目标存储区域中之后，还包括：

7.根据权利要求1所述的方法，其特征在于，将所述目标文件存储至所述目标存储区域中之后，还包括：

8.一种数据存储管理装置，其特征在于，包括：

9.一种数据存储管理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据存储管理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据存储管理方法的步骤。