CN109213760B - 非关系数据存储的高负载业务存储及检索方法 - Google Patents

Abstract

本发明公开了一种非关系数据存储的高负载业务存储及检索方法，存储过程为接收新建/更新非关系数据的请求，对非关系数据构建元数据信息，将元数据信息放入缓存并永久存储；获取索引键值信息，构建索引信息，将索引信息存入缓存并永久存储。检索过程为接收数据检索请求，从缓存获取元数据信息，并将元数据信息返回；根据元数据信息查找索引信息，并将索引信息返回。本发明对于较大量数据，可以实现高效存储与检索，并且简单可靠，易于运行维护，成本低廉。

Description

非关系数据存储的高负载业务存储及检索方法

技术领域

本发明涉及计算机存储技术领域，特别是涉及一种基于存储数据索引优化，及重新构建的存储目标对象（文件、数据块），而建立的能够显著提高数据搜索效率的一种存储与检索方法。

背景技术

随着信息技术的高速发展，越来越多的数据被生产制造出来，如何高效存储与检索数据一直是产业界聚焦的焦点。出现了各种各样的存储系统及技术，试图从各个方面去提升数据存储与检索的效率，这些技术包括传统文件系统、关系数据库系统、非关系数据库系统、分布式文件系统、分布式块及对象存储系统等。当前主流的云存储系统利用高速网络与分布式系统等技术，对数据进行比较高效的存储与取用，并且针对某些特定类型的数据，采用特定的存储方式进行存储，如能够抽象为关系数据的信息使用关系数据库、爬虫获取的网页信息使用分布式键值存储系统，这些系统的共同特点是结构复杂、成本高、运维复杂、用途较为单一，难以大面积推广使用。但对于非关系数据诸如较为大量档案文献文件、新闻、网页、电子邮件、语音、图像等，目前主要的存储方式是单机文件系统。单机文件系统采用通用设计，存储与检索效率均比较低，如检索某些文件中出现的某一关键词，通常需要一个个打开文件进行搜索，这种方法在检索效率方面是非常低效的。如何采用一种简单的方式对这种类型的数据进行存储，达到存储简单方便结构统一，方便高效检索，并具备一定的扩展性，仍然是目前存储系统没有解决的问题。

由此可见，如何对较大量诸如文献类数据进行高效存储，高效检索，并且简单可靠，易于运行维护，成本低廉，仍然是本领域技术人员亟待解决的技术问题。

发明内容

发明目的：为了解决现有技术中大量数据的存储与检索效率较低的问题，本发明提供一种非关系数据存储的高负载业务存储方法，并提供一种非关系数据存储的高负载业务检索方法。

本发明的另一目的是提供一种非关系数据存储的高负载业务存储及检索系统。

技术方案：一种非关系数据存储的高负载业务存储方法，包括以下步骤：

（a1）接收新建/更新非关系数据的请求，对非关系数据构建元数据信息，将元数据信息放入缓存并保存到永久存储，所述元数据信息包括索引信息存放的逻辑位置；

（a2）获取索引键值信息，根据索引键值信息对非关系数据构建索引信息，将索引信息存入缓存并保存到永久存储。

进一步的，还包括：将非关系数据的内容存入缓存，然后将非关系数据的内容存入永久存储。

进一步的，所述元数据信息包括数据标识、存储标识、集群标识、数据分类标识，元数据信息采用统一格式构建，并具有固定的大小；所述索引信息包含索引相关信息、索引键值信息在数据中的匹配信息、数据的物理存储位置信息。

进一步的，将元数据信息、索引信息按照数据分页在底层存储中进行存储，一个分页存储一个索引信息，索引信息包括目标数据所在的物理标识或逻辑标识或物理地址或逻辑偏移地址或数据分页/块号；非关系数据的内容存储在存储块或存储文件上，一个存储块对应一个物理存储的数据块或一个文件，一个非关系数据包含一个或多个存储块，存储块大小固定且是物理存储的整数倍；存储块包括头部、数据的内容及尾部，头部包括块号、块大小、头部大小、尾部大小，尾部信息包括数据的块内索引、过滤器，块内索引存放本块内数据内容的索引信息，对块内索引设置阀值，阀值内的部分正常标记索引，超出阀值的部分仅记录块内索引的个数。

进一步的，在接收新建/更新非关系数据的请求前，元数据信息全部载入内存，使用缓存进行管理。

一种非关系数据存储的高负载业务检索方法，包括以下步骤：

（b1）接收非关系数据检索请求，从缓存中获取元数据信息，；

（b2）根据元数据信息查找相应的索引信息，；根据索引信息得到检索结果。

进一步的，在接收非关系数据检索请求前，索引信息根据需要载入内存，进行部分缓存，根据LRU算法进行索引信息的换入换出。

进一步的，步骤（b2），在根据元数据信息查找相应的索引信息时，首先查找缓存中是否有索引信息，若没有，再从永久存储中载入相应的索引信息，根据索引信息定位数据；如果在永久存储中也没有找到对应的索引信息，则直接查找检索所限定的数据文件，将查找结果返回，同时根据检索条件创建索引，创建并存储索引信息；在查找索引信息的同时，同步记录索引的引用次数，设定阈值，系统对引用次数低于阈值的索引定时消除。

一种非关系数据存储的高负载业务存储及检索系统，包括存储管理模块、元数据模块、索引模块，存储管理模块用于接收新建/更新非关系数据的请求或检索请求、调用元数据模块构建或获取元数据信息、调用索引模块构建或获取索引信息；元数据模块用于对非关系数据构建元数据信息、缓存并永久存储元数据信息、根据存储管理模块的调用指令获取元数据信息；索引模块用于根据索引键值信息构建索引信息、缓存并永久存储索引信息、根据存储管理模块的调用指令从元数据信息中查找相应的索引信息。

进一步的，还包括内容存储模块，所述内容存储模块用于将非关系数据的内容缓存并永久存储、根据存储管理模块的调用指令通过索引信息定位到索引所在的位置并读取非关系数据的详细信息。

有益效果：本发明提供一种非关系数据存储的高负载业务存储及检索方法，建立了一个完整的存储及检索系统，通过对数据索引优化构建数据索引信息、建立数据存储块、提供一套新的数据访问接口，可以高效的对数据进行检索，极大的提高数据检索效率。尤其对于较大量诸如文献类的数据，可以实现高效存储，高效检索，并且简单可靠，易于运行维护，成本低廉。

附图说明

图1是本发明存储及检索系统的结构框图；

图2是存储块的结构图；

图3是新建/更新数据索引的流程图；

图4是存储系统启动数据流程图；

图5是数据检索流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

参见图1，非关系数据存储的高负载业务存储及检索系统包括存储管理模块、元数据模块、索引模块和内容存储模块。存储管理模块：存储的核心处理模块，存储接口，负责整个存储系统的管理，存储任务调度，将数据操作分配给元数据模块、索引模块、内容存储模块，完成存储与检索的整个流程调度与控制。元数据模块：元数据处理、存储、缓存，对非关系数据进行处理，提取元数据信息，并存储到持久存储，系统启动时将元数据信息载入内存进行缓存处理；元数据信息包含全局数据标识、索引数据位置、数据实际存放位置等信息，元数据全部进入缓存以提高存储及检索速度。索引模块：负责非关系数据的索引创建、存储、缓存、检索，按照存储管理模块的要求对数据按照索引键创建索引，这里的索引方式包含hash(桶)索引、B+树索引、位图索引、全文索引和R树索引等，针对不同的数据特性及不同的检索需求，创建不同类型的索引，针对某一数据，可以创建多个不同类型的索引；检索数据时，索引模块负责按照用户的键值信息确定合适的索引，查询缓存中是否缓存了待使用的索引信息，如果没有，则从持久存储中载入相应的索引信息，根据索引定位数据；索引模块同时维护索引信息的缓存，使用LRU算法对索引信息进行换入换出。内容存储模块，负责数据内容的存储与检索，实施时可以兼容现有文件系统接口。

数据访问接口包括创建数据对象接口、查询数据对象接口、重建数据对象索引信息接口、添加数据对象索引信息接口和删除数据对象索引信息接口。创建数据对象接口除了包含数据对象标识外，还包括索引键值信息，存储系统根据这个索引键值信息构建数据的索引信息，并将索引存储于索引文件；查询数据对象接口包含数据对象标识、索引键值信息，存储系统根据索引键值信息可以直接定位检索索引相应的位置；重建数据对象索引信息接口包含数据对象标识、索引键值信息，用于重建数据对象索引信息；添加数据对象索引信息接口和删除数据对象索引信息接口分别用于添加接口所指数据对象基于索引键值的索引信息及删除其制定的索引信息。

非关系数据存储的高负载业务存储方法，包括以下步骤：

（a1）如图3，存储管理模块接收新建/更新数据的请求，见流程301，调用元数据模块对非关系数（数据对象）据构建元数据信息，见流程302，所述元数据信息包括数据标识、存储标识、集群标识、数据分类标识等，元数据信息采用统一格式构建，并具有固定的大小，以利于高效存储和传输，单个数据对象的元数据信息大小不超过64字节；将元数据信息放入缓存并保存到永久存储，见流程303、304；元数据信息在存储系统启动时全部载入内存进行管理，存放于存储块或文件上，所有元数据信息逻辑上存放在一起。

同时，存储管理模块调用内容存储模块，见流程305，内容存储模块将非关系数据的内容存入缓存，见流程306，然后将非关系数据的内容存入永久存储，见流程307；

元数据存储和索引信息存储为提高读写效率，按物理存储分页大小的整数倍进行设计，名为数据块。数据存储在数据块上，每一信息可包含多个数据块。数据块有全局唯一标识（块号），根据块号可以直接或间接关联到物理存储的实际存储位置。数据内容存储在存储块或文件上，一个存储块对应于一个物理存储的数据块或一个文件。一个存储对象可包含多个存储块，存储块大小固定，其大小应是物理存储分页大小的整数倍。如图2所示，将存储块分割为头部信息、数据内容及尾部信息。头部信息描述本数据块，包含全局及逻辑块号、索引块大小或偏移量，块内索引大小由头部指示，以便查询数据时能够快速定位到块内索引。数据块尾部存放数据的块内索引，块内索引相对于索引数据设置较小。块内索引存放本块内数据内容的索引信息，包括位图索引、布隆过滤器等，对于非结构化数据，索引entrypoint指示其块内偏移地址。数据块内需索引的内容很多，可能造成索引信息过大，过大的块内索引影响数据存放效率及占用过多的存储空间。块内索引设置一个阀值，阀值内的部分正常标记索引，超出阀值部分仅纪录块内索引的个数，以方便检索时计算满足索引的数据量。

（a2）存储管理模块从数据访问接口获取索引键值信息，将索引键值信息传递给索引模块，见308，索引模块根据索引键值信息对非关系数据构建索引信息，所述索引信息包含索引相关信息、索引键值信息在数据中的匹配信息、数据的物理存储位置信息，将索引信息存入缓存并保存到永久存储，见309；

构建索引的方式包括：数据存储时构建、数据使用时根据使用信息构建、根据其他情形统一构建等。索引方法包含：hash(桶)索引、B+树索引、位图索引、全文索引和R树索引等，针对某一数据，可以创建多个不同类型的索引。索引信息进行集中存储，也就是对数据分类数据集（如word文件）集中存储，存储为数据块或数据文件。为提高访问效率，索引利用底层存储（SATA、SAS、SSD）等存储特性。将索引数据按照数据分页存储，一个分页存储一个索引段的信息，如B+树的一个叶子节点。索引数据的entry point包含目标数据所在的物理标识或逻辑标识或物理地址或逻辑偏移地址或数据分页/块号，以便于根据索引，迅速跳转到数据所在的位置。索引信息存储在索引数据块或文件上，与数据内容使用不同的块和文件，分开存储。元数据信息记录存储对象的索引存储信息和数据内容存储信息，维护他们之间的关系。

永久存储为存储块或存储文件，元数据信息、索引信息及数据的内容分别使用不同的存储块或存储文件进行存储。

非关系数据存储的高负载业务检索方法，包括以下步骤：

（b1）如图5，存储管理模块接收数据检索请求，见流程501，调用元数据模块，通过元数据信息查询数据信息和索引信息，包含数据类型、数据包含那些索引、索引方式、索引存放的逻辑位置、数据存放的逻辑位置等，见流程502，元数据模块从缓存获取元数据信息，见流程503，并将元数据信息返回给存储管理模块；

（b2）存储管理模块调用索引模块，见流程504，索引模块根据元数据信息查找相应的索引信息，首先查找缓存中是否有索引信息，见505，若没有，再从永久存储中载入相应的索引信息，见506，根据索引信息定位数据，并将索引信息返回给存储管理模块；存储管理模块根据索引信息得到检索结果，这里的检索结果指索引视图、摘要信息。

如果需要查看检索到的数据的详细信息，存储管理模块调用内容存储模块，见507，通过索引信息定位到索引所在的位置，读取数据的详细信息，见508、509。

当索引模块根据元数据信息查找相应的索引信息时，没有找到对应的索引信息，则直接查找检索所限定的数据文件，将查找结果返回存储管理模块，同时根据检索条件创建索引，创建并存储索引信息。

当检索数据记录时，如果使用某些索引，则同步记录所使用索引的使用次数，以便对索引进行维护。索引信息的存储空间是有限的，为保证索引有效性，这里设定一个阈值，对于引用次数低于阈值的索引定时消除，以保证索引的数据量，提高查找索引的速度。

系统启动过程的流程图参见图4，流程401，用户启动存储系统，存储管理模块启动，然后调用元数据模块，流程402。元数据模块对元数据信息进行缓存，见流程404，并载入永久存储，流程403。将全部元数据新体载入内存，在存储系统生命周期中，这些信息一直驻留内存，以便保证存储的效率，提高数据访问速度。在存储系统启动时，元数据信息全部载入内存，使用缓存进行管理，可以保证访问效率。索引信息由于数据量较大，不可能全部载入内存，索引信息在检索时根据需要载入内存，进行部分缓存，根据LRU算法进行信息的换入换出。以保证数据高效检索。

根据元数据信息建立存储系统的全局视图，对整个存储系统进行管理，检索某一关键词时，可以在全局视图内将所有相关内容一次快速检出，也可以指定查找某些类型的文件，还可以指定某一范围内的文件进行检索。存储系统数据检索过程如下：根据索引查找元数据信息，进一步地查找索引信息，这里索引信息已经预先创建好，根据索引信息快速定位到索引所指示的数据对象数据存放位置。避免了一个个打开文件进行检索，借助于预建的索引，可极大的提升检索速度。

通过上述流程描述可见，存储管理模块、元数据模块、索引模块及内容存储模块形成一个完整的存储及检索系统。通过对数据索引优化构建数据索引信息、建立数据存储块、提供一套新的数据访问接口，可以高效的对数据进行检索，极大的提高数据检索效率。

Claims (5)

1.一种非关系数据存储的高负载业务存储方法，其特征在于，包括以下步骤：

(a1)接收新建/更新非关系数据的请求，对非关系数据构建元数据信息，将元数据信息放入缓存并保存到永久存储，所述元数据信息包括索引信息存放的逻辑位置；

(a2)获取索引键值信息，根据索引键值信息对非关系数据构建索引信息，将索引信息存入缓存并保存到永久存储；

将非关系数据的内容存入缓存，然后将非关系数据的内容存入永久存储；

将元数据信息、索引信息按照数据分页在底层存储中进行存储，一个分页存储一个索引信息，索引信息包括目标数据所在的物理标识或逻辑标识或物理地址或逻辑偏移地址或数据分页/块号；非关系数据的内容存储在存储块或存储文件上，一个存储块对应一个物理存储的数据块或一个文件，一个非关系数据包含一个或多个存储块，存储块大小固定且是物理存储的整数倍。

2.根据权利要求1所述的非关系数据存储的高负载业务存储方法，其特征在于，所述元数据信息包括数据标识、存储标识、集群标识、数据分类标识，元数据信息采用统一格式构建，并具有固定的大小；所述索引信息包含索引相关信息、索引键值信息在数据中的匹配信息、数据的物理存储位置信息。

3.根据权利要求1所述的非关系数据存储的高负载业务存储方法，其特征在于，所述存储块包括头部、数据的内容及尾部，头部包括块号、块大小、头部大小、尾部大小，尾部信息包括数据的块内索引、过滤器，块内索引存放本块内数据内容的索引信息，对块内索引设置阀值，阀值内的部分正常标记索引，超出阀值的部分仅记录块内索引的个数。

4.根据权利要求1所述的非关系数据存储的高负载业务存储方法，其特征在于，在接收新建/更新非关系数据的请求前，元数据信息全部载入内存，使用缓存进行管理。

5.一种非关系数据存储的高负载业务存储及检索系统，其特征在于，包括存储管理模块、元数据模块、索引模块，存储管理模块用于接收新建/更新非关系数据的请求或检索请求、调用元数据模块构建或获取元数据信息、调用索引模块构建或获取索引信息；元数据模块用于对非关系数据构建元数据信息、缓存并永久存储元数据信息、根据存储管理模块的调用指令获取元数据信息；索引模块用于根据索引键值信息构建索引信息、缓存并永久存储索引信息、根据存储管理模块的调用指令从元数据信息中查找相应的索引信息；

该系统还包括内容存储模块，所述内容存储模块用于将非关系数据的内容缓存并永久存储、根据存储管理模块的调用指令通过索引信息定位到索引所在的位置并读取非关系数据的详细信息，其中，元数据信息、索引信息按照数据分页在底层存储中进行存储，一个分页存储一个索引信息，索引信息包括目标数据所在的物理标识或逻辑标识或物理地址或逻辑偏移地址或数据分页/块号；非关系数据的内容存储在存储块或存储文件上，一个存储块对应一个物理存储的数据块或一个文件，一个非关系数据包含一个或多个存储块，存储块大小固定且是物理存储的整数倍。

Images