CN112181302A - 一种数据多级存储和访问方法及系统 - Google Patents

Abstract

本发明公开了一种数据多级存储和访问方法及系统，该方法包括以下步骤：S1：获取待存储数据，经压缩后存储于四级存储中并建立四级索引；S2：根据正则表达式，从待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引；S3：在访问四级存储中数据的过程中，将被访问的数据分别存储于二级存储、三级存储并分别建立二级索引、三级索引；其中，访问数据时按照一级存储、二级存储、三级存储、四级存储的优先级顺序，分别通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到所需数据。本发明解决了数据存储和访问慢的技术问题，具有存储量大、访问速度快、工作负荷小的技术特点。

Description

一种数据多级存储和访问方法及系统

技术领域

本发明属于数据存储与访问技术领域，尤其涉及一种数据多级存储和访问方法及系统。

背景技术

随着计算机技术的不断发展，对于存储与访问性能的需求不断提高，特别在大数据的时代背景下，数据的访问速度有着越来越高的要求，其中，在众多领域中，存储数据和访问数据都是一件十分耗时的事，每次对于访问数据都需要花费很大量的时间，并且可能还会因为访问数据而设备占用，同样往往还需要多次进行数据访问才能获取所需的数据，因此，数据存储与访问速度慢一直是困扰很多行业领域工作的难点、痛点。

例如，在金融领域当中，历史数据的分析至关重要，一般都需要大量的数据作为基础，但是要想短时间、快速地访问得到这些数据，对于一个大数据的时代，传统的存储和数据访问方式显然会很慢，很难满足当前的需求。而且在大数据的时代背景下，由于数据量每天都在大大递增，这对于数据存储与访问的难度也越来越大。

发明内容

本发明为解决数据存储和访问慢的技术问题，提供了一种数据多级存储和访问方法及系统，本发明的技术方案为：

一种数据多级存储和访问方法，包括以下步骤：

S1：获取待存储数据，经压缩后存储于四级存储中并建立四级索引；

S2：根据正则表达式，从待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引；

S3：在访问四级存储中数据的过程中，将被访问的数据分别存储于二级存储、三级存储并分别建立二级索引、三级索引；

其中，访问数据时按照一级存储、二级存储、三级存储、四级存储的优先级顺序，分别通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到所需数据。

在其中一个实施例中，建立一级索引和建立二级索引均为：存入数据时生成对应的哈希值，建立哈希值到数据的映射，作为数据查询的索引。

在其中一个实施例中，一级索引采用离散哈希表，二级索引采用环形哈希表。

在其中一个实施例中，建立四级索引和建立三级索引均为：根据操作系统结构目录来建立查询数据的索引。

在其中一个实施例中，一级存储和二级存储均为内存存储，三级存储为硬盘存储，四级存储为外接存储设备。

在其中一个实施例中，二级存储的存储空间小于三级存储的存储空间。

在其中一个实施例中，在步骤S3中，将被访问的数据分别存储于二级存储、三级存储进一步包括：

根据被访问的数据的时间戳，将被访问的数据以先入先出的队列原则分别存储于二级存储、三级存储。

一种数据多级存储和访问系统，包括：

获取模块，用于获取待存储数据；

存储模块，至少包括第一存储单元、第二存储单元、第三存储单元、第四存储单元，其中，第四存储单元用于将待存储数据经压缩后存储于四级存储中并建立四级索引，第一存储单元用于根据正则表达式，从待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引，第二存储单元用于在访问四级存储中数据的过程中，将被访问的数据存储于二级存储并建立二级索引，第三存储单元用于在访问四级存储中数据的过程中，将被访问的数据存储于三级存储并建立三级索引；

访问模块，用于访问数据时按照一级存储、二级存储、三级存储、四级存储的优先级顺序，分别通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到所需数据。

一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述数据多级存储和访问方法。

一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述数据多级存储和访问方法。

本发明与现有技术相比具有以下的优点和积极效果：

1)本发明通过不同级别的存储来对获取的待存储数据进行分级存储，并建立各自对应的索引，以便于数据的快速访问，其中，四级存储用于压缩存储完整的待存储数据，节约了存储空间，大大提高了数据存储量，二三级存储用于存储四级存储中最近被访问的数据，以便于数据再次被访问时可以快速被访问，一级存储则用于存储待存储数据中的常驻数据，以便于经常性需要被访问的重要常用数据可以快速被访问，如此，在访问数据时按照一级存储、二级存储、三级存储、四级存储的优先级顺序来查询数据，不仅可以大大提高数据访问速度，而且可以根据数据访问实际情况减少一些重复性的数据访问操作，进一步减轻系统的工作负荷；

2)本发明的一级存储和二级存储通过生成数据对应的哈希值，建立哈希值到数据的映射，以作为一级索引和二级索引，数据访问时可以根据哈希值来更快地进行访问，提高了数据访问数据；

3)本发明的一级存储和二级存储均采用内存存储，三级存储采用硬盘存储，四级存储采用外接存储设备，其存储空间大可扩容，其中，一级存储其数据传输快，并且存储的数据量低于其他级别的存储，故其可以最先、最快速地进行常驻数据的访问，以提高整体的访问速度，二三级存储均存储四级存储中被访问的数据，具体根据被访问的数据的时间戳，将被访问的数据以先入先出的队列原则分别存储于二级存储、三级存储，形成一个存储更新的机制，可以实时根据数据访问实际情况，在其内存中放置接下来可能再次被访问的数据，提高数据访问整体速度，并且由于内存存储空间一般小于硬盘存储，故二级存储数据更新、清除更为频繁，但通过与三级存储的配合，不仅形成了再次快速的访问通道，而且形成了一种互补存储机制，即三级存储利用其更大存储空间保证了最近访问数据具有更长时间的存储周期，二级存储利用其访问速度快保证了最近访问数据可以更快地被访问，四级存储则作为上述其他存储的保障保证数据完整性，例如断电重启时，可以利用四级存储的数据自动加载一级存储中的常驻数据，二级存储中的数据也可基于三级存储中的数据进行自动加载，保障了数据存储与访问的正常运行。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明的一种多级存储和访问方法的整体流程示意图；

图2为本发明的一种多级存储和访问方法的一级存储与一级索引结构示意图；

图3为本发明的一种多级存储和访问方法的二级存储与二级索引结构示意图；

图4为本发明的一种多级存储和访问系统的结构示意图。

附图标记说明：

1-获取模块；2-存储模块；21-第一存储单元；22-第二存储单元；23-第三存储单元；24-第四存储单元；3-访问模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

参看图1，本申请提供了一种数据多级存储和访问方法，包括以下步骤：

S1：获取待存储数据，经压缩后存储于四级存储中并建立四级索引；

S2：根据正则表达式，从待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引；

S3：在访问四级存储中数据的过程中，将被访问的数据分别存储于二级存储、三级存储并分别建立二级索引、三级索引；

其中，访问数据时按照一级存储、二级存储、三级存储、四级存储的优先级顺序，分别通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到所需数据。

现对本实施例进行详细说明，但不仅限于此。

本实施例适用于普遍数据的存储和访问，特别适用于需要存储和访问大量数据，并且需要短时、快速地访问这些存储的数据的应用场景中，例如在金融场景中对于历史行情分析数据的存储与访问，其中，如券商、期货公司、交易所等交易系统每天都会产生大量的数据，而金融方面的工作人员就需要每隔一段时间获取这些数据进行存储和访问，这就需要一种快速、高效地数据存储和访问方法。

1)具体介绍步骤S1

本实施例获取的待存储数据，可以来自于单一的数据方，单独形成待存储数据，也可以来自多个的数据方，组合形成待存储数据，其中，本实施例可以定期下载拉取获取所需的数据，以形成本实施例可以快速访问的数据存储结构。

本实施例在获取待存储数据之后，先建立四级索引，再压缩后存储在四级存储中，相对于不压缩的情形，本实施例可以多存储5到10倍的数据量，节约了存储空间，大大提高了数据存储量。而当后续访问四级存储中的数据时，可以经过解压后获取完整的数据。本实施例的四级存储具体采用外接存储设备，例如磁盘，该外接存储设备中存储的数据根据操作系统结构目录来建立索引。

2)具体介绍步骤S2

本实施例根据正则表达式，从待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引，其中，正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑，具体地，本实施例根据需要查询数据的查询条件，比如对于金融领域的行情数据来说，数据所属的市场、频率、数据的类别、日期及品种，根据这些要素建立正则表达式筛选出那些重要数据，将其存储于一级存储中。

本实施例在一级存储存入数据时生成对应哈希值，建立哈希值到一级存储中数据的映射，以此形成一级索引。具体地，该一级索引以离散哈希表的形式进行建立，参看图2，由于一级存储中这些重要数据的数量相对有限，所以一级存储的空间容量相对是充足的，本实施例则根据访问这些数据的条件建立多个哈希索引，比如单个关键字段或者多个关键字段的联合索引等等，例如，对于金融领域的行情数据可以根据市场、频率、数据的类别、日期及品种等等一种或多种关键字段构建哈希表中关键字key，例如key的结构可以是/market/freq/date/type/symbol，再通过哈希函数构建立起与对应存储数据的映射关系。当需要访问数据时，系统可以根据key值通过哈希函数获取哈希值，再根据哈希值快速地查询到所需的数据。

3)具体介绍步骤S3

本实施例在访问四级存储中数据的过程中，将被访问的数据分别存储于二级存储、三级存储并分别建立二级索引、三级索引，其中，根据被访问的数据的时间戳，将被访问的数据以先入先出的队列原则分别存储于二级存储、三级存储。具体地，二级存储和三级存储均用于存储四级存储中最近访问的数据，并且均采用先入先出的队列原则进行存储，这样，当数据存储量达到阈值时，可以自动清除一些时间较为久远的数据，以形成一个良好的数据存储更新机制，可以实时根据数据访问实际情况，在其二三级存储中放置接下来可能再次被访问的数据，提高数据访问整体速度，具体二三级存储中数据清除的周期可以根据实际情况而设定。

本实施例的二级存储和三级存储的具体区别在于两点：本实施例的二级存储优先采用内存存储，三级存储优先采用硬盘存储，这样相对而言，二级存储的数据量更加有限，其清除数据更为频繁，而三级存储可以存储更多的数据，清除的周期更长，另外，内存存储的访问速度一般大于硬盘存储的访问速度，如此，通过二级存储可以更快地响应数据访问的请求，通过三级存储可以容纳更多的最近访问数据，以此配合，不仅形成了再次快速的访问通道，而且形成了一种互补存储机制，即三级存储利用其更大存储空间保证了最近访问数据具有更长时间的存储周期，二级存储利用其访问速度快保证了最近访问数据可以更快地被访问。

与一级存储相同的，本实施例在二级存储存入数据时生成对应哈希值，建立哈希值到一级存储中数据的映射，以此形成一级索引，但与一级存储不同的是，本实施例的二级索引采用环形哈希的形式建立。具体地，参看图3，对于二级存储的要求是访问速度要快，数据结构不能无限增长，因此采用环形哈希表来存储数据并建立二级索引，其中，本实施例首先会根据访问的条件建立哈希索引，然后根据最近访问这些数据的时间再建立一个索引，当内存空间的占用到达一个预设的阈值的时候，本实施例会根据最近访问这些数据的时间，找出那些最早访问的数据，将其删除，直到内存下降到一个预设的相对较小的阈值为止，这样既确保了数据访问的速度，又可以控制内存空间不至于无限膨胀下去。另外，同样地，环形哈希表中的关键字key同样可以由访问数据的各种条件构成，通过哈希函数构建与对应存储数据的映射关系，当需要访问数据时，系统可以根据key值通过哈希函数获取哈希值，再根据哈希值快速地查询到所需的数据。本实施例的三级存储与四级存储相同，也是根据操作系统结构目录来建立索引。

对于上述如此存储之后的数据，当进行访问数据时，本实施例按照一级存储、二级存储、三级存储、四级存储的优先级顺序，分别通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到所需数据。具体地，上述优先级顺序具体按照访问速度快慢、数据被访问的频率、数据的存储量依次排序，其中，一级存储由于采用内存，访问速度很快，并且存储的数据为常驻数据，即重要且常用到的数据，并且数据的存储量少，访问响应速度快，可以快速地响应于一些重要且常用数据的数据访问请求，二级存储同样由于采用内存，访问速度同样很快，并且存储的数据为四级存储中最近被访问的数据，并且数据的存储量也相对较少，访问响应速度快，可以快速地响应于一些重复性的数据访问请求，三级存储则存储量相对于二级存储更大，可以存储更多的最近被访问数据，可以响应于二级存储中被清除数据所对应的数据访问请求，以弥补二级存储的清除数据更为频繁的缺陷，四级存储则作为上述其他存储的保障，保证数据完整性，一、二、三级存储中的数据出现存储异常时，都可以借助四级存储进行恢复，例如断电重启时，可以利用四级存储的数据自动加载一级存储中的常驻数据，同样地，二级存储中的数据也可基于三级存储中的数据进行自动加载，保障了数据存储与访问的正常运行。

现具体结合金融领域中行情数据的存储与访问对上述方法进行整体介绍：

本实施例首先定期从券商、期货公司、交易所等交易系统中获取这些历史行情分析数据，即待存储数据，获取这些数据后先根据操作系统结构目录来建立四级索引，再压缩后存储在四级存储的外接存储设备，如磁盘；

其次，根据预先设置的正则表达式从四级存储的存储数据中匹配出重要的常用数据，即常驻数据，复制进一级存储的内存中，在一级存储存入数据时生成数据对应的哈希值，建立哈希值到数据的映射关系，即一级索引；

访问基于上述方式存储的数据，按照一级存储、二级存储、三级存储、四级存储这样的优先级来，通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到用户想要的数据；

在数据访问过程中，当四级存储的数据被访问时，将被访问的数据打上时间戳，按照先入先出的队列原则分别存入二级存储的内存、三级存储的硬盘中，同时，二级存储和三级存储按照时间戳将数据排序并根据该时间戳来清除二级、三级存储中时间上较为久远的数据。并且，二级存储存入数据时生成数据对应的哈希值，建立哈希值到数据的映射关系，即二级索引，三级存储则根据操作系统结构目录来建立三级索引。

例如，当访问的数据在一级存储中时，根据上述数据访问的顺序，首先在一级存储中，可以根据数据访问的条件形成一级存储中的索引关键字key，通过哈希函数转换为哈希值就可以立马在一级存储中找到所需的数据；同样地，当访问的数据在二级存储中时，即之前访问过四级存储中的数据，一级存储并未匹配到所需的数据，则在二级存储中，可以根据数据访问的条件形成二级存储中的索引关键字key，通过哈希函数转换为哈希值就可以立马在二级存储中找到所需的数据；当访问的数据在三级存储而不在二级存储中时，即二级存储由于更新周期短已经清除了时间较久的数据，一级、二级存储并未匹配到所需的数据，则在第三存储中，可以根据数据访问的条件通过操作系统结构目录来查找匹配到所需的数据；同样地，当访问的数据在四级存储而不再前三级存储中，在四级存储中，可以根据数据访问的条件通过操作系统结构目录来查找匹配到所需的数据，通过解压就可以获取完整的数据。

此外，本实施例在断电重启后，一级存储中的数据可以基于四级存储的数据自动加载常驻数据，而二级存储中的数据也可以基于三级存储的数据自动加载最近访问的数据。

参看图4，本申请的另一实施例还提供了一种基于上述实施例的数据多级存储和访问系统，包括：

获取模块1，用于获取待存储数据；

存储模块2，至少包括第一存储单元21、第二存储单元22、第三存储单元23、第四存储单元24，其中，第四存储单元24用于将待存储数据经压缩后存储于四级存储中并建立四级索引，第一存储单元21用于根据正则表达式，从待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引，第二存储单元22用于在访问四级存储中数据的过程中，将被访问的数据存储于二级存储并建立二级索引，第三存储单元23用于在访问四级存储中数据的过程中，将被访问的数据存储于三级存储并建立三级索引；

访问模块3，用于访问数据时按照一级存储、二级存储、三级存储、四级存储的优先级顺序，分别通过一级索引、二级索引、三级索引、四级索引依次查询数据，直至匹配到所需数据。

本实施例的数据多级存储和访问系统中具体模块的工作原理请参看上述实施例的具体介绍，在此不再赘述。上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本发明还提出了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述实施例所提及的数据多级存储和访问方法。

本发明还提出了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例所提及的数据多级存储和访问方法。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (10)

1.一种数据多级存储和访问方法，其特征在于，包括以下步骤：

S1：获取待存储数据，经压缩后存储于四级存储中并建立四级索引；

S2：根据正则表达式，从所述待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引；

S3：在访问所述四级存储中数据的过程中，将被访问的数据分别存储于二级存储、三级存储并分别建立二级索引、三级索引；

其中，访问数据时按照所述一级存储、所述二级存储、所述三级存储、所述四级存储的优先级顺序，分别通过所述一级索引、所述二级索引、所述三级索引、所述四级索引依次查询数据，直至匹配到所需数据。

2.根据权利要求1所述的数据多级存储和访问方法，其特征在于，所述建立一级索引和所述建立二级索引均为：存入数据时生成对应的哈希值，建立哈希值到数据的映射，作为数据查询的索引。

3.根据权利要求2所述的数据多级存储和访问方法，其特征在于，所述一级索引采用离散哈希表，所述二级索引采用环形哈希表。

4.根据权利要求1至3任意一项所述的数据多级存储和访问方法，其特征在于，所述建立四级索引和所述建立三级索引均为：根据操作系统结构目录来建立查询数据的索引。

5.根据权利要求1所述的数据多级存储和访问方法，其特征在于，所述一级存储和所述二级存储均为内存存储，所述三级存储为硬盘存储，所述四级存储为外接存储设备。

6.根据权利要求1或5所述的数据多级存储和访问方法，其特征在于，所述二级存储的存储空间小于所述三级存储的存储空间。

7.根据权利要求1或5所述的数据多级存储和访问方法，其特征在于，在所述步骤S3中，所述将被访问的数据分别存储于二级存储、三级存储进一步包括：

根据被访问的数据的时间戳，将被访问的数据以先入先出的队列原则分别存储于所述二级存储、所述三级存储。

8.一种数据多级存储和访问系统，其特征在于，包括：

获取模块，用于获取待存储数据；

存储模块，至少包括第一存储单元、第二存储单元、第三存储单元、第四存储单元，其中，所述第四存储单元用于将所述待存储数据经压缩后存储于四级存储中并建立四级索引，所述第一存储单元用于根据正则表达式，从所述待存储数据中匹配出常驻数据，存储于一级存储并建立一级索引，所述第二存储单元用于在访问所述四级存储中数据的过程中，将被访问的数据存储于二级存储并建立二级索引，所述第三存储单元用于在访问所述四级存储中数据的过程中，将被访问的数据存储于三级存储并建立三级索引；

访问模块，用于访问数据时按照所述一级存储、所述二级存储、所述三级存储、所述四级存储的优先级顺序，分别通过所述一级索引、所述二级索引、所述三级索引、所述四级索引依次查询数据，直至匹配到所需数据。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的数据多级存储和访问方法。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述的数据多级存储和访问方法。

Images