CN111552664B

CN111552664B - 存储系统冷热智能调度的方法、存储介质

Info

Publication number: CN111552664B
Application number: CN202010213221.2A
Authority: CN
Inventors: 刘德建; 林伟; 郭玉湖; 陈宏�
Original assignee: Fujian Tianquan Educational Technology Ltd
Current assignee: Fujian Tianquan Educational Technology Ltd
Priority date: 2020-03-24
Filing date: 2020-03-24
Publication date: 2023-05-23
Anticipated expiration: 2040-03-24
Also published as: CN111552664A

Abstract

本发明提供一种存储系统冷热智能调度的方法、存储介质，方法包括：预设各存储类型对应预设时长的访问次数范围；创建第一文件的标识与其存储类型的关联关系；当时间累积达到预设时长，统计预设时长内第一文件的访问次数；获取第一文件中访问次数达到预设阈值的第二文件标识；依据关联关系，确定所述第二文件的存储类型；记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。本发明能够短时周期性地智能调整文件的存储方式，使其存储和访问更合理、高效，同时节省存储成本；还能实现长时周期性迁移高频存储系统内低访问频率的文件，进一步节省存储成本。

Description

存储系统冷热智能调度的方法、存储介质

技术领域

本发明涉及数据存储系统，具体涉及存储系统冷热智能调度的方法、存储介质。

背景技术

很多系统中都存在有图片访问、音视频文件访问或者普通文档文件访问功能，这其中便涉及到文件的上传和下载等功能。很多公司的内部系统都会研发一套文件存储相关的系统。在这套系统中，很多公司系统在起初大多因业务量不多，只存在一种存储方式，而随着业务量的增加，可能会同时存在多种存储方式。一般场景之下，会大致分成如下几种存储方式：高频存储方式、低频存储方式和实时存储方式。

高频存储方式一般适用于低访问延时和较高吞吐量的高频访问的场景(访问高效，但存储成本高)；低频存储方式一般适用于较低存储成本和较低访问延时的低频访问的场景(访问较为高效，存储成本一般)；实时存储方式适用于访问频率极低的场景(访问低效，存储成本最低)。上述3种访问方式分别适用于不同的适用场景。现在很多种情况下，这3种方式被业务系统使用的话，一般都是业务方根据自身业务的系统的特点，固定或者手动选择存储方式，或者根据业务数据特点，当满足一定条件的场景时，使用两种以上存储方式的组合。

是否能有一种新的访问方式，能根据不同时间段内的文件访问情况，进行合理、智能地调度，实现文件存储与访问的高效，并节省存储成本。

发明内容

本发明所要解决的技术问题是：提供一种存储系统冷热智能调度的方法、存储介质，使文件存储更合理，访问更高效；同时节省存储成本。

为了解决上述技术问题，本发明采用的技术方案为：

一种存储系统冷热智能调度的方法，包括：

预设各存储类型对应预设时长的访问次数范围；

创建第一文件的标识与其存储类型的关联关系；

当时间累积达到预设时长，则统计预设时长内第一文件的访问次数；

获取第一文件中访问次数达到预设阈值的第二文件的标识；

依据所述关联关系，确定所述第二文件的存储类型；

记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件；

若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序再被处理器执行时，能够实现上述一种存储系统冷热智能调度的方法所包含的步骤。

本发明的有益效果在于：通过预设各种存储类型在预设时长内被视为理应的访问次数范围，并建立第一文件与其存入系统的存储类型的关联；而后，通过统计每个预设时长所有第一文件的访问次数，利用关联关系确定对应的存储类型，进而确认其访问次数是否在合理范围之内，一旦连续超过预设次数不在合理范围，则重新调整文件的存储系统。本发明以定时监控文件访问量的方式自动、及时调整文件的存储方式，能够使文件的存储更合理，文件的存储和访问都更具高效性，并且节省存储成本。

附图说明

图1为本发明一实施例一种存储系统冷热智能调度的方法的流程示意图；

图2为本发明实施例一以及实施例二一种存储系统冷热智能调度的方法的流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：定时监控文件的访问量是否在其对应存储类型的合理访问次数范围内，依据文件的真实访问量调整其存储方式，使文件的存储方式更合理，文件的访问更高效，减少不必要的存储成本。

本发明涉及的技术术语解释:

请参照图1，本发明提供一种存储系统冷热智能调度的方法，包括：

预设各存储类型对应预设时长的访问次数范围；

创建第一文件的标识与其存储类型的关联关系；

获取第一文件中访问次数达到预设阈值的第二文件的标识；

依据所述关联关系，确定所述第二文件的存储类型；

从上述描述可知，本发明的有益效果在于：区别于现有技术需要业务方依据自身业务系统/业务数据的特点以固定或手动方式选择文件存储方式，可能存在文件存储方式不合理，从而影响文件访问效率，存储成本高的问题。本发明针对高频、低频和实时三种存储方式，分别预设对应监测周期的合理访问次数范围，若文件多次不在对应合理访问次数范围内，则及时对其存储方式进行调整。本发明通过定时监控，结合一定策略，能够不断地完善文件的存储方式，使文件的存储方式更合理，从而使文件存储和访问都更高效，也能节省存储成本。

进一步地，所述创建第一文件的标识与其存储类型的关联关系，具体为：

依据第一文件待存入的存储系统的存储类型，预设第一文件的存储类型标志；

网关系统接收到所述第一文件后，依据随其一并上传的存储类型标志存储所述第一文件至对应的存储系统；

在ES集群中存储第一文件的标识与其存储类型的关联关系。

由上述描述可知，本发明提供网关系统，统一对外提供文件上传和访问等功能。另外还提供与网关系统连接的ES集群，负责文件索引的存储；网关系统通过访问ES集群的获取文件索引，据此将文件存储到对应的存储系统中。通过网关系统与ES集群的交互，能够实现依据文件的存储类型标志进行分类存储，更有利于文件的管理。

进一步地，所述当时间累积达到预设时长，则统计预设时长内第一文件的访问次数，之前，还包括：

第一文件被访问时，网关系统在redis集群中以sort set方式记录其访问次数，其中，所述sort set方式中的key为第一文件的标识，scre为访问次数。

由上述描述可知，以sort set方式记录各第一文件对应预设时长的访问次数，充分利用了redis集群中sort set数据结构能够快速地按照sort进行排序的优点，实现快速获取预设时长内各个文件按照访问次数进行排序的结果，有利于后续针对访问次数的统计分析。

进一步地，所述统计预设时长内第一文件的访问次数，之后，还包括：

清空所述redis集群中的记录。

由上述描述可知，时间累积达到一个预设时长，并确定了该预设时长内超出合理访问次数范围的文件后，便及时清空该预设时长内的数据，能够确保进入下一个预设时长时所统计数据的准确性。

进一步地，所述若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型，具体为：

若一第三文件连续预设次数被记录，且对应的访问次数均处于同一存储类型，则修改所述关联关系，将所述一第三文件的标识与所述同一存储类型进行关联，同时将所述一第三文件迁移至所述同一存储类型对应的存储系统。

由上述描述可知，明确了某一个第三文件连续次数不在自身存储类型对应的访问次数范围内之后，便依据其连续次数所在的存储类型，修改该第三文件的关联关系，同时迁移其存储系统。实现了依据文件实际的访问次数来调整其存储系统，使其存储方式更合理，同时也能使其访问更高效。

进一步地，还包括：

依据所述访问次数，统计得到高频存储系统中的各第一文件对应大于所述预设时长的时间段的总访问次数；

记录高频存储系统中的第一文件中所述总访问次数不在高频存储类型对应所述时间段的总访问次数范围内的第四文件；

调整所述第四文件的存储类型；

迁移所述第四文件其调整后的存储类型对应的存储系统。

由上述描述可知，还将以更长的时间间隔监控高频存储系统内文件的访问次数，及时调整其内不符合高频存储方式的文件，使得高成本的高频存储系统内的文件更名副其实，同时也能降低存储成本。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序再被处理器执行时，能够实现下述存储系统冷热智能调度的方法所包含的步骤：

预设各存储类型对应预设时长的访问次数范围；

创建第一文件的标识与其存储类型的关联关系；

获取第一文件中访问次数达到预设阈值的第二文件的标识；

依据所述关联关系，确定所述第二文件的存储类型；

其中，所述创建第一文件的标识与其存储类型的关联关系，具体为：

在ES集群中存储第一文件的标识与其存储类型的关联关系。

其中，所述当时间累积达到预设时长，则统计预设时长内第一文件的访问次数，之前，还包括：

其中，所述统计预设时长内第一文件的访问次数，之后，还包括：

清空所述redis集群中的记录。

其中，所述若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型，具体为：

其中，还包括：

调整所述第四文件的存储类型；

迁移所述第四文件其调整后的存储类型对应的存储系统。

从上述描述可知，对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。所述程序在被处理器执行后，同样能够实现对应各方法的有益效果。

其中，所述的存储介质可以是磁盘、光碟、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

实施例一

请参照图1，本实施例提供一种存储系统冷热智能调度的方法，包括：

S1：预设各存储类型对应预设时长的访问次数范围。

文件的存储方式包括高频存储方式、低频存储方式以及实时存储方式，分别对应高频存储系统、低频存储系统以及实时存储系统。其中，高频存储方式适用于低访问延时和较高的吞吐量(访问高效但存储成本高)的场景；低频存储方式适用于较低访问延时和较低吞吐量，较低成本的场景；实时存储方式适用于访问频率极低、访问效率极低(存储成本最低)的场景。

对应上述三种存储方式，分别设置对应的访问次数范围。所述访问次数范围的设定依据是对应存储方式理应具备的访问次数。

所述预设时长支持灵活调整，具体依据系统性能或者业务需求进行调整。假设预设时长为1分钟；在这1分钟内，对应高频存储方式的访问次数范围为200以上；低频存储方式的访问次数范围为100-500；实时存储方式的访问次数范围为100以下。

S2：创建第一文件的标识与其存储类型的关联关系。

本实施例提供一个文件访问网关系统，该系统统一对外提供文件上传以及文件访问等功能。在文件上传(存储)时，网关系统依据文件附带的存储类型标志将文件存储至对应的存储系统中；在文件访问时，网关系统内部通过访问ES集群，进行文件索引(包含文件标识与存储类型的对应关系)的获取，然后从存储类型对应的存储系统中获取文件。

在本实施例中，每一个待存入存储系统的第一个文件，都需要预先配置一个用来标识该第一文件所要存入的存储系统的存储类型标志；在第一文件上传时，除了一些通用的上传信息需要一并传递至网关系统以外，还需要同时传递其存储类型标志；网关系统接收到第一文件后，依据其存储类型标志将该第一文件存入对应的存储系统；然后，在ES集群中创建关于该第一文件的索引，所述索引中存储了该第一文件与一些通用的文件查询信息的关联关系，特别包括了第一文件的标识与其存储类型的关联关系，该关联关系的作用为标识定位需要到哪个存储系统中查询该第一文件。

S3：第一文件被访问时，网关系统在redis集群中以sort set方式记录其访问次数。其中，所述sort set方式中的key为第一文件的标识(如文件ID)，value暂无需存储数据，scre为访问次数。

已经存入具体存储系统的第一文件在被访问时，网关系统都会在redis集群中记录该文件的访问次数。而以sort set方式进行记录，是因为这种数据方式能够快速地按照socre进行排序，由此可以很快地知道每个文件的访问次数排序列表。

S4：当时间累积达到预设时长，则统计预设时长内第一文件的访问次数。

具体而言，存在一个异步定时任务，每间隔预设时长，便会收集redis集群中记录的各第一文件的访问次数。并且，在每一次收集完毕后，便清空redis中记录的各第一文件的访问次数，方便下次数据的收集与统计。因此，通过该异步定时任务收集到的便是每一个预设时长内各个第一文件的访问次数。

例如，每过一分钟，便从redis集群的记录中获取在过去一分钟内各个第一文件被访问的次数。

S5：获取第一文件中访问次数达到预设阈值的第二文件的标识。

该步骤以上一步骤统计的结果为基础，所述第二文件依据预设阈值从第一文件中筛选得到。所获取的第二文件的标识优选为文件ID的列表形式。在此，所述预设阈值可依据用户对文件存储合理性的高低要求可进行灵活调整。例如，若要求较高，即希望三个存储系统均保持较高合理性，则可以以实时存储方式的“访问次数范围”的上限作为所述阈值。对应的，将所有超过实时存储方式对应的访问次数范围的文件均提出出来作为第二文件，依据这些文件的真实访问量判断它们当前的存储方式是否合理(对应的，实时存储库内的文件都无需判断，因为即使其内的文件的访问次数低于其合理范围，也没有再“降低”的余地)。若要求较低，重点在于明确访问高效且高成本的高频存储库中所存储文件是否合理，则可以以低频存储方式对应的“访问次数范围”的下限作为阈值，以基本囊括了所有高频存储库中的文件(一般情况下，原高频文件的访问次数即使有所下降，也不至于突然降至实时存储方式的访问次数)的文件量作为进一步判断的对象。

S6：依据所述关联关系，确定所述第二文件的存储类型。

通过访问ES集群中的关联关系，确定各个第二文件对应的存储类型。

S7：记录第二文件中访问次数不在其存储类型对应的访问次数范围内的第三文件。

通过上一步骤确定了各个第二文件的存储类型后，即可据此判断各个第二文件在刚过去的预设时长内的实际访问次数(即S4步骤获取的访问次数)是否在其存储类型对应的访问次数范围内；若不在范围内，则记录该第二文件为第三文件。

例如，某一对应高频存储方式的第二文件A在过去一分钟的实际访问次数为700；而高频存储方式预设的每分钟访问量为2000以上，则不在同一等级，标记第二文件A为第三文件。

S8：若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型。

假设预设次数为5(具体依据实际精度要求确定)，则当已经被标记为第三文件的第二文件A连续5次被记录，则需要对该第三文件的存储类型进行调整。

具体而言，当某一文件需要被调整存储类型时，先判断其被记录的统计周期对应的访问次数是否都对应同一个存储类型预设的访问次数范围；若是，则直接ES集群中该文件的关联关系，使其与所述同一个存储类型相对应，相应地，迁移该文件至对应的存储系统；

在一具体实例中，若并非都对应同一存储类型的访问次数范围，则选取次数最多的存储类型，同理，也将同时修改关联关系和进行文件存储系统的迁移。

在另一具体实例中，若一第三文件连续预设次数被记录，将发送一个MQ消息提示需要对该第三文件进行存储方式的调整。该MQ消息中携带包括该第三文件的标识，如文件ID，以及调整后的存储类型。

当MQ消费线程获取到MQ消息时，进行存储调度处理。这边假设高频存储类型等级为高，低频存储类型等级为中，实时存储类型等级为低的顺序。当存储的等级由高到低调整时，直接把文件由高等级存储系统迁移至低等级存储系统中(主要是文件复制一份)，并最后修改ES集群中该文件的存储类型即可。由低到高等级也是一样的处理方式。

本实施例通过提供一文件访问网关系统，统一对外提供文件访问功能，内部集成高频，低频，实时存储等3种方式；通过一段时间之内的文件访问频率统计，内部通过不同的策略进行自动化地进行存储方式转移，进而智能地满足不同业务场景下，不同的文件访问功能，实现文件存储与访问的高效，并节省存储成本。

实施例二

请参阅图2，本实施例在实施例一的基础上做进一步扩展，还能每间隔更长时间跨度进行一次长期低访问频率地调度。实施例一的方法还包括：

S9：依据S4统计得到的访问次数，统计得到高频存储系统中的各第一文件对应大于所述预设时长的时间段的总访问次数。

其中，所述时间段可以为每小时、每天、每周或每个月；当然，也可以同时统计获取上述各个时间段的访问数据。

S10：记录高频存储系统中的第一文件中所述总访问次数不在高频存储类型对应所述时间段的总访问次数范围内的第四文件。

S11：调整所述第四文件的存储类型；迁移所述第四文件其调整后的存储类型对应的存储系统。

假设时间段为每周，若上一步骤统计得到的高频存储系统的某些第一文件在每周的实际总访问次数低于高频存储类型在每周合理的总访问次数；则需要对这些第一文件的存储系统以及关联关系进行调整。

通过本实施例的方法提供的智能调度方式，不仅能够在短期之内实现文件的高效访问以及存储成本的节约；同时，配合后期的定期数据迁移，还可以更进一步地节省存储成本，提高效益。

实施例三

本实施例对应实施例一和实施例二，提供一具体运用场景：

首先假设存在高、中、低三种等级的存储系统，分别对应高频存储类型、低频存储类型以及实时存储类型。

文件上传至网关系统时，除了一些通用的上传信息需要传递，还需要传递一个存储类型标志，该标志用来识别需要存储该文件到哪一个存储系统中。存储完毕后，需要在ES集群中创建文件索引，该索引除了通用的一些文件查询信息之外，需要新增存储类型标志，后续可以通过该标志定位需要到哪个存储系统中查询文件。

当文件被访问时，网关系统会在redis集群中记录该文件的访问次数，具体通过sort set方式进行数据的存储。其中key为文件的ID，scoes为访问次数。之后网关系统通过访问ES集群中该文件的索引信息，最后定位到某一个存储系统中，从该系统中读取文件流并返回。

存在一个异步定时任务，每隔1分钟会收集redis中的文件访问次数已经达到预定阀值的文件ID列表，获取到这些信息后，redis中的记录信息将会被清空，方便下次数据收集与统计。

根据预先对应不同的存储类型设置的访问次数范围，明确该文件是否需要进行智能调度处理。调度策略如下：

比如：高频存储方式，预设访问次数范围为每分钟2000以上；低频存储方式，预设访问次数范围为每分钟100-500；实时存储方式，预设访问次数范围为每分钟100以下。

当获取到超过阀值的文件ID列表，先去ES集群中查询其存储方式是哪一种，当文件实际访问频率与其存储类型对应的访问次数范围不在同一个等级的，则需要记录下该文件的需要调整存储的次数；当连续5个周期之内，该文件都被记录达到同一个存储等级，则需要进行存储方式地整，会发送一个MQ消息出来，该消息包括文件ID，以及需要进行调整的存储类型。

这边假设某个文件原先是高等级(存储在高频存储系统)，即每分钟访问次数正常需要在2000以上；某一段时间之后，每分钟的实际访问次数降低到了100-500，则此时就算文件的实际访问频率与该文件的存储类型对应的访问次数范围不在同一个等级了。

当连续5个时间段之内都出现了这种不一致时，则就需要进行存储调整。

当MQ消费线程获取到MQ消息时，进行存储调度处理。这边假设高频存储等级为高，低频存储等级的中，实时存储等级的低的顺序。当存储的等级由高到低调整时，直接把文件由高等级存储调整至低等级存储中(主要是文件复制一份)，并最后修改ES集群中该文件的存储类型即可。由低到高等级也是一样的处理方式。

另外，还存在数据统计任务，将会统计出每分钟文件访问情况的数据，最终得出每个文件每小时、每天的数据统计结果。

存在独立的冷热数据迁移模块，定期(每个月)统计高等级中较低访问频率的文件数据，需要进行整体文件迁移至低等级存储中，并删除高频存储中的源文件，同时，需要同步的修改ES集群中的存储标志。

实施例四

本实施例对应实施例一至实施例三，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序再被处理器执行时，能够实现上述实施例一至实施例三所述的一种存储系统冷热智能调度的方法所包含的步骤。具体的步骤内容在此不进行复述，详情请参阅实施例一至实施例三的记载。

综上所述，本发明提供的一种存储系统冷热智能调度的方法、存储介质，不仅能够短时周期性地依据文件的实际访问频率，智能调整文件的存储方式，使其存储和访问更合理、高效，同时节省存储成本；而且还能实现长时周期性迁移高频存储系统内低访问频率的文件，进一步节省存储成本，提高效率；另外，本发明还具备调度精度可灵活配置，数据统计高效等优点。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种存储系统冷热智能调度的方法，其特征在于，包括：

预设各存储类型对应第一预设时长的访问次数范围；

创建第一文件的标识与其存储类型的关联关系；

当时间累积达到第一预设时长，则统计第一预设时长内第一文件的访问次数；

获取第一文件中访问次数达到预设阈值的第二文件的标识；

依据所述关联关系，确定所述第二文件的存储类型；

若一第三文件连续预设次数被记录，则调整所述第三文件的存储类型；

所述调整第三文件的存储类型具体是发送一个MQ消息提示需要对该第三文件进行存储方式的调整，MQ消费线程获取到MQ消息时，复制第三文件至对应的存储类型中并修改第三文件的标识与存储类型的关联关系；

还包括：

依据所述访问次数，统计得到高频存储系统中的各第一文件对应大于第二预设时长的时间段的总访问次数；

调整所述第四文件的存储类型；

迁移所述第四文件其调整后的存储类型对应的存储系统；

所述调整第四文件的存储类型具体是修改第四文件的标识与存储类型的关联关系；

所述迁移所述第四文件其调整后的存储类型对应的存储系统具体是将第四文件复制至所述调整后的存储类型对应的存储系统，并删除原存储类型对应的存储系统中的第四文件；

所述创建第一文件的标识与其存储类型的关联关系，具体为：

在ES集群中存储第一文件的标识与其存储类型的关联关系；

所述网关系统统一对外提供文件上传以及文件访问功能，在文件上传时，网关系统依据文件附带的存储类型标志将文件存储至对应的存储系统中；在文件访问时，网关系统内部通过访问ES集群，进行文件索引的获取，然后从存储类型对应的存储系统中获取文件；

所述网关系统提供统一的接口供客户端调用，该接口内部会请求到不同的存储系统，外部不需要知道文件存储至何处，对外屏蔽了存储实现；

所述当时间累积达到第一预设时长，则统计第一预设时长内第一文件的访问次数，之前，还包括：

第一文件被访问时，网关系统在redis集群中以sort set方式记录其访问次数，其中，所述sort set方式中的key为第一文件的标识，scre为访问次数；

所述统计第一预设时长内第一文件的访问次数，之后，还包括：

清空所述redis集群中的记录。

2.如权利要求1所述的一种存储系统冷热智能调度的方法，其特征在于，所述若一第三文件连续预设次数被记录，则调整所述一第三文件的存储类型，具体为：

3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序再被处理器执行时，能够实现上述权利要求1-2任意一项一种存储系统冷热智能调度的方法所包含的步骤。