CN103617007A - 多级智能存储实现方法和系统 - Google Patents

Abstract

本发明涉及一种多级智能存储实现方法和系统。所述方法包括以下步骤：获取数据；判断所述数据的大小是否小于预设值，若是，则对所述数据标记为预先设置的第一存储标识，并将所述数据存入第一级存储系统，若否，则对所述数据标记为预先设置的第二存储标识，并将所述数据存入第二级存储系统；分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据，若是，则标记热点数据为第一存储标识，并将所述热点数据存入所述第一级存储系统，若否，则标记非热点数据为第二级存储标识，并将所述非热点数据存入第二级存储系统。保证了海量数据存入对应的存储系统，并将热点数据存入第一级存储系统，提高了数据响应效率。

Description

多级智能存储实现方法和系统

技术领域

本发明涉及存储领域，特别是涉及一种多级智能存储实现方法和系统。

背景技术

随着网络资源迅速膨胀，无论在存储空间、访问速度、网络带宽等方面都受到严峻的考验。作为用于管理网络上数据的存储系统，集中式管理类型的网络文件系统已普遍使用，在这种集中式管理类型的网络文件系统中，在应用服务器之外还需要单独提供多个用于存储数据的文件服务器，文件服务器与应用服务器通过通信网络来彼此连接。

然而，这种配置，随着系统数据量持续增加，文件服务器将难以满足数据的海量存储和及时响应。

发明内容

基于此，有必要针对传统的集中式管理类型的网络文件系统因数据量持续增加无法满足数据海量存储和及时响应的问题，提供一种能海量存储数据且能及时响应的多级智能存储实现方法。

此外，还有必要提供一种能海量存储数据且能及时响应的多级智能存储实现系统。

一种多级智能存储实现方法，包括以下步骤：

获取数据；

判断所述数据的大小是否小于预设值，若是，则对所述数据标记为预先设置的第一存储标识，并将所述数据存入第一级存储系统，若否，则对所述数据标记为预先设置的第二存储标识，并将所述数据存入第二级存储系统；

分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据，若是，则标记热点数据为第一存储标识，并将所述热点数据存入所述第一级存储系统，若否，则标记非热点数据为第二级存储标识，并将所述非热点数据存入第二级存储系统。

在其中一个实施例中，所述分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据的步骤包括：

分别判断所述第一级存储系统和第二级存储系统中的数据在预设时间范围内的被访问次数是否大于预设次数，若是，则所述数据为热点数据，若否，则所述数据为非热点数据。

在其中一个实施例中，在分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据，若是，则标记热点数据为第一存储标识，并将所述热点数据存入所述第一级存储系统，若否，则标记非热点数据为第二级存储标识，并将所述非热点数据存入第二级存储系统的步骤之后，所述方法还包括：

更新所述第一级存储系统和第二级存储系统。

在其中一个实施例中，所述方法还包括：

将所述第二级存储系统映射为一个虚拟磁盘，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统。

在其中一个实施例中，所述方法还包括：

将第二级存储系统通过预先指定的接口连接第二类应用系统，将所述第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。

一种多级智能存储实现系统，包括获取模块、判断模块、标记模块和存储模块；

所述获取模块用于获取数据；

所述判断模块用于判断所述数据的大小是否小于预设值；

所述标记模块用于在所述数据的大小小于预设值时，对所述数据标记为预先设置的第一存储标识，所述存储模块用于将所述数据存入第一级存储系统；

所述标记模块还用于在所述数据的大小不小于预设值时，对所述数据标记为预先设置的第二存储标识，所述存储模块还用于将所述数据存入第二级存储系统；

所述判断模块还用于分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据；

所述标记模块还用于标记所述热点数据为第一存储标识，所述存储模块还用于将热点数据存入所述第一级存储系统；

所述标记模块还用于标记所述非热点数据为第二级存储标识，所述存储模块还用于将非热点数据存入第二级存储系统。

在其中一个实施例中，所述判断模块还用于分别判断所述第一级存储系统和第二级存储系统中的数据在预设时间范围内的被访问次数是否大于预设次数，若是，则所述数据为热点数据，若否，则所述数据为非热点数据。

在其中一个实施例中，所述系统还包括：

更新模块，用于更新所述第一级存储系统和第二级存储系统。

在其中一个实施例中，所述系统还包括：

第一组建模块，用于将所述第二级存储系统映射为一个虚拟磁盘，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统。

在其中一个实施例中，所述系统还包括：

第二组建模块，用于将第二级存储系统通过预先指定的接口连接第二类应用系统，将所述第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。

上述多级智能存储实现方法和系统，通过将数据按照小大分别存储入第一级存储系统和第二级存储系统，再判断第一级存储系统和第二级存储系统中数据是否属于热点数据，将热点数据存入第一级存储系统，将非热点数据存入第二级存储系统，保证了海量数据存入对应的存储系统，并将热点数据存入第一级存储系统，提高了数据响应效率。

附图说明

图1为一个实施例中多级智能存储实现方法的流程示意图；

图2为多级智能存储实现方法中构建的架构示意图；

图3为一个实施例中多级智能存储实现系统的结构框图；

图4为另一个实施例中多级智能存储实现系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中多级智能存储实现方法的流程示意图。该多级智能存储实现方法中，第一级存储系统为集中式文件存储系统，第二级存储系统为分布式文件存储系统。第一级存储系统采用高速磁盘实现小文件和热点数据的存储，第二级存储系统采用分布式文件系统存储大文件和静态文件。其中，数据大小小于预设值的为小文件，不小于预设值的为大文件。该静态文件可为视频文件或压缩文件等。

如图1，该多级智能存储实现方法，包括以下步骤：

步骤102，获取数据。

具体的，数据可为文字数据、音视频数据、图片数据等。

步骤104，判断该数据的大小是否小于预设值，若是，执行步骤106，若否，执行步骤120。

具体的，预设值可根据需要设定，如为5MB（兆比特）或10MB等。

步骤106，对该数据标记为预先设置的第一存储标识。

具体的，预先定义存储在第一级存储系统的数据标记为第一存储标识，存储在第二存储系统的数据标记为第二存储标识。第一存储标识、第二存储标识可根据需要设定。

步骤108，将该数据存入第一级存储系统。

步骤110，判断第一级存储系统中的数据是否为热点数据，若是，返回步骤108，若否，执行步骤112。

具体的，判断第一级存储系统中的数据为热点数据时，继续存储在第一级存储系统中，判断第一级存储系统中的数据为非热点数据时，标记该非热点数据为第二存储标识，并将该非热点数据存入第二存储系统（即将该数据存入第二存储系统）。将非热点数据压缩后存储到第二级存储系统中。

热点数据是指在预定时间范围内被频率访问的数据。

步骤112，标记非热点数据为第二存储标识，然后执行步骤122。

步骤120，对该数据标记为预先设置的第二存储标识。

步骤122，将该数据存入第二级存储系统。

步骤124，判断第二级存储系统中的数据是否为热点数据，若是，执行步骤126，若否，执行步骤122。

具体的，判断第二级存储系统中的数据为热点数据时，标记该热点数据为第一存储标识，并将该热点数据存入第一级存储系统（即将该数据存入第一级存储系统）；判断第二级存储系统中的数据为非热点数据时，继续存储在第二级存储系统中。

步骤126，标记热点数据为第一存储标识，执行步骤108。

本实施例中，分别判断该第一级存储系统和第二级存储系统中的数据是否为热点数据的步骤包括：

分别判断该第一级存储系统和第二级存储系统中的数据在预设时间范围内的被访问次数是否大于预设次数，若是，则该数据为热点数据，若否，则该数据为非热点数据。

具体的，预设次数可根据需要设定，如500次或1000次等，但不限于此。

上述多级智能存储实现方法，通过将数据按照小大分别存储入第一级存储系统和第二级存储系统，再判断第一级存储系统和第二级存储系统中数据是否属于热点数据，将热点数据存入第一级存储系统，将非热点数据存入第二级存储系统，保证了海量数据存入对应的存储系统，并将热点数据存入第一级存储系统，提高了数据响应效率。

在一个实施例中，在分别判断该第一级存储系统和第二级存储系统中的数据是否为热点数据，则标记热点数据为第一存储标识，并将该热点数据存入该第一级存储系统，若否，则标记非热点数据为第二级存储标识，并将该非热点数据存入第二级存储系统的步骤之后，该多级智能存储实现方法还包括：

更新该第一级存储系统和第二级存储系统。

具体的，在对第一级存储系统和第二级存储系统中的数据进行热点判断后，可能会将第一级存储系统中的数据同步到第二级存储系统中，将第二级存储系统中的数据同步到第一级存储系统中，同步完成后，即可更新第一级存储系统和第二级存储系统，更新时，可将第一级存储系统中已经被同步到第二级存储系统中的数据，在第一级存储系统中删除，同样也可将第二级存储系统中已被同步到第一级存储系统中的数据，在第二级存储系统中删除。

在一个实施例中，上述多级智能存储实现方法，还包括：将该第二级存储系统映射为一个虚拟磁盘，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统；将第二级存储系统通过预先指定的接口连接第二类应用系统，将该第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。

如图2所示，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统。第一级存储系统内包括存储设备1至存储设备N。其中，第一类应用系统是指通过标准文件系统接口进行文件读取与存取的系统。该第一类应用系统可直接使用操作系统识别存储空间进行数据读取与存取。第一类应用系统将小文件或热点数据存入第一级存储系统，将打文件或静态文件存入第二级存储系统映射成的虚拟磁盘中，同时第一级存储系统和第二级存储系统进行相互转换存储，具体是将热点数据存入第一级存储系统，将非热点数据存入第二级存储系统。

图2中，将该第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。第二级存储系统包括多个数据节点，如数据节点1至数据节点N。其中，第二类应用系统是指通过预先指定的接口进行存储和读取的应用系统。例如云存储系统属于第二类应用系统，其适合大文件的顺序读写，但频繁对小文件操作效率较低。此外，云存储提供两种不同的访问方式，第一种是为了兼容第一类应用的访问方式，将云存储空间利用Fuse（File system inuserspace，用户空间文件系统）或Webdav（Web-based Distributed Authoring andVersioning）协议mount到本地，第一类应用系统直接进行读写操作；第二种是直接调用云存储接口操作。Webdav是一种基于HTTP1.1协议的通信协议。

图3为一个实施例中多级智能存储实现系统的结构框图。该多级智能存储实现系统，包括获取模块320、判断模块340、标记模块360和存储模块380。

该获取模块320用于获取数据。具体的，数据可为文字数据、音视频数据、图片数据等。

该判断模块340用于判断该数据的大小是否小于预设值。

该标记模块360用于在该数据的大小小于预设值时，对该数据标记为预先设置的第一存储标识，该存储模块380用于将该数据存入第一级存储系统。

该标记模块360还用于在该数据的大小不小于预设值时，对该数据标记为预先设置的第二存储标识，该存储模块380还用于将该数据存入第二级存储系统。

具体的，预先定义存储在第一级存储系统的数据标记为第一存储标识，存储在第二存储系统的数据标记为第二存储标识。第一存储标识、第二存储标识可根据需要设定。

该判断模块340还用于分别判断该第一级存储系统和第二级存储系统中的数据是否为热点数据。

该标记模块360还用于标记该热点数据为第一存储标识，该存储模块380还用于将热点数据存入该第一级存储系统。

该标记模块360还用于标记该非热点数据为第二级存储标识，该存储模块380还用于将非热点数据存入第二级存储系统。

该判断模块340还用于分别判断该第一级存储系统和第二级存储系统中的数据在预设时间范围内的被访问次数是否大于预设次数，若是，则该数据为热点数据，若否，则该数据为非热点数据。

上述多级智能存储实现系统，通过将数据按照小大分别存储入第一级存储系统和第二级存储系统，再判断第一级存储系统和第二级存储系统中数据是否属于热点数据，将热点数据存入第一级存储系统，将非热点数据存入第二级存储系统，保证了海量数据存入对应的存储系统，并将热点数据存入第一级存储系统，提高了数据响应效率。

图4为另一个实施例中多级智能存储实现系统的结构框图。该多级智能存储实现系统，除了包括获取模块320、判断模块340、标记模块360和存储模块380，还包括更新模块390、第一组建模块392和第二组建模块394。

其中，更新模块390用于更新该第一级存储系统和第二级存储系统。具体的，在对第一级存储系统和第二级存储系统中的数据进行热点判断后，可能会将第一级存储系统中的数据同步到第二级存储系统中，将第二级存储系统中的数据同步到第一级存储系统中，同步完成后，即可更新第一级存储系统和第二级存储系统，更新时，可将第一级存储系统中已经被同步到第二级存储系统中的数据，在第一级存储系统中删除，同样也可将第二级存储系统中已被同步到第一级存储系统中的数据，在第二级存储系统中删除。

第一组建模块392用于将该第二级存储系统映射为一个虚拟磁盘，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统。

第二组建模块394用于将第二级存储系统通过预先指定的接口连接第二类应用系统，将该第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。具体如图2所示，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多级智能存储实现方法，包括以下步骤：

获取数据；

判断所述数据的大小是否小于预设值，若是，则对所述数据标记为预先设置的第一存储标识，并将所述数据存入第一级存储系统，若否，则对所述数据标记为预先设置的第二存储标识，并将所述数据存入第二级存储系统；

分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据，若是，则标记热点数据为第一存储标识，并将所述热点数据存入所述第一级存储系统，若否，则标记非热点数据为第二级存储标识，并将所述非热点数据存入第二级存储系统。

2.根据权利要求1所述的多级智能存储实现方法，其特征在于，所述分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据的步骤包括：

分别判断所述第一级存储系统和第二级存储系统中的数据在预设时间范围内的被访问次数是否大于预设次数，若是，则所述数据为热点数据，若否，则所述数据为非热点数据。

3.根据权利要求1所述的多级智能存储实现方法，其特征在于，在分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据，若是，则标记热点数据为第一存储标识，并将所述热点数据存入所述第一级存储系统，若否，则标记非热点数据为第二级存储标识，并将所述非热点数据存入第二级存储系统的步骤之后，所述方法还包括：

更新所述第一级存储系统和第二级存储系统。

4.根据权利要求1所述的多级智能存储实现方法，其特征在于，所述方法还包括：

将所述第二级存储系统映射为一个虚拟磁盘，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统。

5.根据权利要求1所述的多级智能存储实现方法，其特征在于，所述方法还包括：

将第二级存储系统通过预先指定的接口连接第二类应用系统，将所述第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。

6.一种多级智能存储实现系统，其特征在于，包括获取模块、判断模块、标记模块和存储模块；

所述获取模块用于获取数据；

所述判断模块用于判断所述数据的大小是否小于预设值；

所述标记模块用于在所述数据的大小小于预设值时，对所述数据标记为预先设置的第一存储标识，所述存储模块用于将所述数据存入第一级存储系统；

所述标记模块还用于在所述数据的大小不小于预设值时，对所述数据标记为预先设置的第二存储标识，所述存储模块还用于将所述数据存入第二级存储系统；

所述判断模块还用于分别判断所述第一级存储系统和第二级存储系统中的数据是否为热点数据；

所述标记模块还用于标记所述热点数据为第一存储标识，所述存储模块还用于将热点数据存入所述第一级存储系统；

所述标记模块还用于标记所述非热点数据为第二级存储标识，所述存储模块还用于将非热点数据存入第二级存储系统。

7.根据权利要求6所述的多级智能存储实现系统，其特征在于，所述判断模块还用于分别判断所述第一级存储系统和第二级存储系统中的数据在预设时间范围内的被访问次数是否大于预设次数，若是，则所述数据为热点数据，若否，则所述数据为非热点数据。

8.根据权利要求6所述的多级智能存储实现系统，其特征在于，所述系统还包括：

更新模块，用于更新所述第一级存储系统和第二级存储系统。

9.根据权利要求6所述的多级智能存储实现系统，其特征在于，所述系统还包括：

第一组建模块，用于将所述第二级存储系统映射为一个虚拟磁盘，将第一类应用系统、第一级存储系统和第二级存储系统组成第一组环形数据存储系统。

10.根据权利要求6所述的多级智能存储实现系统，其特征在于，所述系统还包括：

第二组建模块，用于将第二级存储系统通过预先指定的接口连接第二类应用系统，将所述第二级存储系统、第二类应用系统和第一级存储系统组成第二组环形数据存储系统。

Images