CN104111899A - 一种缓存数据的存储方法及系统及读取方法 - Google Patents

Abstract

本发明涉及一种缓存数据的存储方法及系统及读取方法，其存储方法，包括以下步骤：步骤1：创建用于存放数据块的缓存库；步骤2：在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；步骤3：为缓存表建立索引表，将索引表存入缓存库；步骤4：定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；步骤5：接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；步骤6：将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表，结束。在写入后还采用压缩技术对内存块进行压缩，减少内存占用的空间，也便于在网络上传输。

Description

一种缓存数据的存储方法及系统及读取方法

技术领域

本发明涉及一种缓存数据的存储方法及系统及读取方法，属于通信技术领域。

背景技术

Ehcache本身含有缓存数据组织方式，为KEY-VALUE方式，不支持类似关系数据库方式的存储，不支持树形的数据结构存储方式。本方法提供一种新的内存内数据组织方式，采用树形，类关系数据库方式的结构存储内存数据，便于内存数据的组织和筛选等操作。

Ehcache：Java缓存框架EhCache EhCache是一个纯Java的进程内缓存框架，具有快速、精干等特点。

KEY-VALUE：key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。

发明内容

本发明所要解决的技术问题是提供一种可以存储复杂的数据结构的缓存数据存储方法。

本发明解决上述技术问题的技术方案如下：一种缓存数据的存储方法，具体包括以下步骤：

步骤1：创建用于存放数据块的缓存库；

步骤2：在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；

步骤3：为缓存表建立索引表，将索引表存入缓存库；

步骤4：定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；

步骤5：接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；

步骤6：将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表，结束。

本发明的有益效果是：本发明实现缓存写入采用类似关系数据库的数据存储结构，并在分配内存时候采用动态分配的方式，减少了内存浪费和内存碎块的产生。同时，在写入后还采用压缩技术对内存块进行压缩，减少内存占用的空间，也便于在网络上传输。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述数据类型包括String、Int、Char、Long、Float和Clob等数据类型。

进一步，所述缓存表在缓存库中采用动态分配内存的方式存在。

本发明所要解决的技术问题是提供一种可以存储复杂的数据结构的缓存数据存储系统。

本发明解决上述技术问题的技术方案如下：一种缓存数据的存储系统，包括缓存库创建模块、缓存表创建模块、索引模块、定义模块、接收模块和压缩存储模块；

所述缓存库创建模块创建用于存放数据块的缓存库；

所述缓存表创建模块在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；

所述索引模块为缓存表建立索引表，将索引表存入缓存库；

所述定义模块用于定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；

所述接收模块用于接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；

所述压缩存储模块用于将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表。

本发明的有益效果是：本发明实现缓存写入采用类似关系数据库的数据存储结构，并在分配内存时候采用动态分配的方式，减少了内存浪费和内存碎块的产生。同时，在写入后还采用压缩技术对内存块进行压缩，减少内存占用的空间，也便于在网络上传输。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述数据类型包括String、Int、Char、Long、Float和Clob等数据类型。

进一步，所述缓存表在缓存库中采用动态分配内存的方式存在。

本发明解决上述技术问题的技术方案如下：一种缓存数据的读取方法，具体包括以下步骤：

步骤1：加载缓存库；

步骤2：读取缓存库中的索引表；

步骤3：根据索引表得到对应的缓存表；

步骤4：从缓存表中得到压缩文件；

步骤5：对压缩文件进行解压得到数据记录和数据类型；

步骤6：将数据记录按照数据类型进行解析，得到数据和数据中每个字段的内容。

附图说明

图1为本发明所述的一种缓存数据的存储方法流程图；

图2为本发明所述的一种缓存数据的存储系统结构框图；

图3为本发明所述的一种缓存数据的读取方法流程图。

附图中，各标号所代表的部件列表如下：

1、缓存库创建模块，2、缓存表创建模块，3、索引模块，4、定义模块，5、接收模块，6、压缩存储模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明所述的一种缓存数据的存储方法，具体包括以下步骤：

步骤1：创建用于存放数据块的缓存库；

步骤2：在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；

步骤3：为缓存表建立索引表，将索引表存入缓存库；

步骤4：定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；

步骤5：接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；

步骤6：将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表，结束。

所述数据类型包括String、Int、Char、Long、Float和Clob等数据类型。

所述缓存表在缓存库中采用动态分配内存的方式存在。

如图2所示，本发明所述的一种缓存数据的存储系统，包括缓存库创建模块1、缓存表创建模块2、索引模块3、定义模块4、接收模块5和压缩存储模块6；

所述缓存库创建模块1创建用于存放数据块的缓存库；

所述缓存表创建模块2在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；

所述索引模块3为缓存表建立索引表，将索引表存入缓存库；

所述定义模块4用于定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；

所述接收模块5用于接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；

所述压缩存储模块6用于将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表。

所述数据类型包括String、Int、Char、Long、Float和Clob等数据类型。

所述缓存表在缓存库中采用动态分配内存的方式存在。

如图3所示，本发明所述的一种缓存数据的读取方法，具体包括以下步骤：

步骤1：加载缓存库；

步骤2：读取缓存库中的索引表；

步骤3：根据索引表得到对应的缓存表；

步骤4：从缓存表中得到压缩文件；

步骤5：对压缩文件进行解压得到数据记录和数据类型；

步骤6：将数据记录按照数据类型进行解析，得到数据和数据中每个字段的内容。

采用分层方式把数据层分为：库、表、记录、基础数据项Item，其中基础数据项有String，Int，Char，Long，Float，Clob等类型。现在分别对缓存写入，缓存读取进行说明。

缓存写入：

第一步，创建缓存存放库，用于存放缓存数据块。

第二步，创建缓存表，以数据块方式存在，其中数据块采用动态分配空间形式，节省了缓存空间，并减少了内存碎块。

第三步，创建缓存表索引，本方法后续会自动维护该索引，使内存数据获取更加快速。

第四步，定义缓存表的列数，以及每列字段的数据类型，这里支持String，Int，Char，Long，Float，Clob等类型。

第五步，依次按照类型写入数据块，写入每个字段内容。

第六步，保存内存文件为二进制文件，并进行相应压缩。

缓存读取：

第一步，创建缓存存放库，用于存放缓存数据块。

第二步,读取内存文件,进行解压,获取到内存文件内数据结构以及数据。

第三步,按照数据结构，解析内存块，解析出数据，得到每个字段内容。

读取缓存数据程序。示例代码如下：

写入缓存信息，示例代码如下：

//创建一个共享

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种缓存数据的存储方法，其特征在于，具体包括以下步骤：

步骤1：创建用于存放数据块的缓存库；

步骤2：在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；

步骤3：为缓存表建立索引表，将索引表存入缓存库；

步骤4：定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；

步骤5：接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；

步骤6：将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表，结束。

2.根据权利要求1所述的一种缓存数据的存储方法，其特征在于，所述数据类型包括String、Int、Char、Long、Float和Clob等数据类型。

3.根据权利要求1或2所述的一种缓存数据的存储方法，其特征在于，所述缓存表在缓存库中采用动态分配内存的方式存在。

4.一种缓存数据的存储系统，其特征在于，包括缓存库创建模块、缓存表创建模块、索引模块、定义模块、接收模块和压缩存储模块；

所述缓存库创建模块创建用于存放数据块的缓存库；

所述缓存表创建模块在缓存库内创建多个缓存表，所述缓存表以数据块形式存储在缓存库中；

所述索引模块为缓存表建立索引表，将索引表存入缓存库；

所述定义模块用于定义每个缓存表中的数据记录的个数和每个缓存表中存储数据类型；

所述接收模块用于接收数据，将数据中每个字段的内容按照数据类型写入数据记录，依次将数据记录写入缓存表；

所述压缩存储模块用于将数据记录进行压缩得到压缩文件，并将压缩文件存入缓存表。

5.根据权利要求4所述的一种缓存数据的存储系统，其特征在于，所述数据类型包括String、Int、Char、Long、Float和Clob等数据类型。

6.根据权利要求4或5所述的一种缓存数据的存储系统，其特征在于，所述缓存表在缓存库中采用动态分配内存的方式存在。

7.一种缓存数据的读取方法，其特征在于，具体包括以下步骤：

步骤1：加载缓存库；

步骤2：读取缓存库中的索引表；

步骤3：根据索引表得到对应的缓存表；

步骤4：从缓存表中得到压缩文件；

步骤5：对压缩文件进行解压得到数据记录和数据类型；

步骤6：将数据记录按照数据类型进行解析，得到数据和数据中每个字段的内容。