CN103390015B - 基于统一索引的海量数据联合存储方法及检索方法 - Google Patents

Abstract

本发明提供一种基于统一索引的海量数据联合存储方法及检索方法，存储方法，包括以下步骤：读取待存储数据，并判断所述待存储数据的数据类型；其中，所述数据类型包括非关系型数据和关系型数据；如果所述待存储数据为非关系型数据，则将所述非关系型数据存储到存储设备，然后将所述非关系型数据的数据信息增加到预先建立的数据统一索引中；如果所述待存储数据为关系型数据，则将所述关系型数据存储到所述存储设备，然后将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中。保证各种数据逻辑存储结构的统一和物理存储结构的透明性，提高应用系统的通用扩展性、运行效率和稳定性。

Description

基于统一索引的海量数据联合存储方法及检索方法

技术领域

本发明属于数据存储技术领域，具体涉及一种基于统一索引的海量数据联合存储方法及检索方法。

背景技术

随着信息时代的不断发展，不同部门、不同地区间的信息交互逐步增加，通过数据交换和共享，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用。

然而在企业全面信息化和应用系统功能逐渐细化的趋势下，应用系统产生的数据往往是大规模、多类型且无序的，现有的各种业务定义不同类型数据的依据基本是通过“业务驱动”定义的，在产生相应数据的应用系统内部进行处理，由于数据类型和数据结构的差异，从而难以在不同应用系统间实现数据交换和数据共享，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息的棘手问题，严重地阻碍了数据在各应用系统中的交换与共享。又由于数据存储结构和逻辑结构的不一致性，导致处理和组织各种不同类型数据的过程十分复杂、困难。

传统的应用系统间进行数据交互是建立在双方系统协商的公共接口的基础上的，该类方法主要存在以下问题：(1)为共享某种数据格式的数据，各个应用系统需要配置专用的数据共享接口，从而导致各个应用系统的可扩展性低；尤其在多应用系统之间共享数据和共享的数据量很大的情况下，大大增加了各个应用系统的复杂度和耦合度；(2)各个应用系统之间进行频繁的数据交换，会降低应用系统运行效率；(3)由于数据的异构性，应用系统间交换的数据往往不能直接利用，需要缓存在中间数据库中，从而浪费了存储空间。因此，现有应用系统间进行数据交互时，会直接影响应用系统的通用扩展性、运行效率和稳定性。

发明内容

针对现有技术存在的缺陷，本发明提供一种海量数据联合存储方法及检索方法，在存储设备驱动层上构建各不同类型数据的联合存储模式，从而消除异构的应用系统之间进行数据交换或共享时存在的壁垒，保证各种数据逻辑存储结构的统一和物理存储结构的透明性，提高应用系统的通用扩展性、运行效率和稳定性。

本发明采用的技术方案如下：

本发明提供一种基于统一索引的海量数据联合存储方法，包括以下步骤：

读取待存储数据，并判断所述待存储数据的数据类型；其中，所述数据类型包括非关系型数据和关系型数据；

如果所述待存储数据为非关系型数据，则将所述非关系型数据存储到存储设备，然后将所述非关系型数据的数据信息增加到预先建立的数据统一索引中；

如果所述待存储数据为关系型数据，则将所述关系型数据存储到所述存储设备，然后将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中。

优选的，所述非关系型数据包括文件型数据和文本型数据。

优选的，所述数据统一索引包括三层节点，自上而下分别为第一层节点、第二层节点和第三层节点；

其中，所述第一层节点代表索引开始点；所述第二层节点用于存储数据类型，具体包括两个节点，即：非关系型数据节点和关系型数据节点；所述第三层节点包括两个节点，即平衡查找树形式的子索引和数据表形式的子索引；其中，所述平衡查找树形式的子索引为所述非关系型数据节点的子节点，所述数据表形式的子索引为所述关系型数据节点的子节点。

优选的，所述将所述非关系型数据的数据信息增加到预先建立的数据统一索引中，具体为：将所述非关系型数据的数据信息增加到所述平衡查找树形式的子索引中；

所述将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中，具体为：将所述关系型数据的数据信息增加到所述数据表形式的子索引。

优选的，所述非关系型数据的数据信息包括主键值、索引键值和具体数据内容；其中，所述具体数据内容包括文件名、文件存储时间、文件操作权限、文件存储起始地址和文件长度；所述平衡查找树形式的子索引包括：根节点、一级以上中间节点和叶子节点；其中，所述根节点用于存储所述主键值的一级分类数组；各级所述中间节点用于存储其子节点主键值范围的二级分类数组；所述叶子节点用于存储所述非关系型数据的数据信息；

将所述非关系型数据的数据信息增加到所述平衡查找树形式的子索引中具体为：

当需要存储所述非关系型数据时，获取所述存储设备的当前可用的文件存储起始地址；然后以所述存储起始地址为存储起点将所述非关系型数据存入所述存储设备；还获取所述非关系型数据的索引键值、主键值；其中，所述主键值用于全局唯一标识所述非关系型数据；

将所述非关系型数据插入到所述平衡查找树形式的子索引中。

优选的，将所述非关系型数据插入到所述平衡查找树形式的子索引中具体为：

以所述非关系型数据的主键值为查找依据，查找所述根节点，获得包含所述主键值的指定一级分类数组；继续向下查找所述指定一级分类数组的子节点，获得包含所述主键值的指定二级分类数组；继续向下查找所述指定二级分类数组的子节点，获得指定叶子节点；所述指定叶子节点包含多条非关系型数据的数据信息，各条非关系型数据的数据信息按主键值从小到大顺序排列；

按主键值从小到大顺序，将所述非关系型数据插入到所述指定叶子节点；然后判断得到的所述指定叶子节点的数据个数是否达到分裂阀值m，如果未达到，则直接结束插入过程；如果达到，则分裂得到的所述指定叶子节点。

优选的，所述主键值为“文件名+全局唯一的键值”形式。

优选的，所述数据表形式的子索引为三级索引结构，具体包括第一级索引、第二级索引和第三级索引；

其中，所述第一级索引为数据表级索引，用于存储数据表名、数据存储所在的数据库名、数据存储的连接方法和属性数的对应关系；

所述第二级索引为属性级索引，用于存储与每个数据表名对应的属性名、数据类型和数据检索方式的对应关系；

所述第三级索引为属性值级索引，用于存储各个属性对应的属性值表，每一个所述属性值表用于存储属性的检索方法。

本发明还提供一种基于统一索引的海量数据联合存储方法得到的存储内容进行检索的方法，包括：

当需要检索与特定数据相关的存储信息时，以所述特定数据为关键词查找所述数据统一索引，获得与所述特定数据相关的存储信息。

优选的，以所述特定数据为关键词查找所述数据统一索引具体为：

判断所述特定数据的数据类型，如果所述特定数据的数据类型为非关系型数据，则查找所述平衡查找树形式的子索引，获得与所述特定数据相关的存储信息；如果所述特定数据的数据类型为关系型数据，则查找所述数据表形式的子索引，获得与所述特定数据相关的存储信息。

本发明的有益效果如下：

本发明提供的基于统一索引的海量数据联合存储方法及检索方法，实现了应用系统的不同类型数据的联合存储、统一索引和快速检索，提高了应用系统的扩展性，降低了异构的应用系统之间数据交互共享的复杂性和特殊性。

附图说明

图1为本发明提供的数据统一索引的结构示意图；

图2为本发明提供的将非关系型数据的数据信息增加到平衡查找树形式的子索引的整体流程示意图；

图3为本发明提供的将非关系型数据插入到平衡查找树形式的子索引的插入过程示意图；

图4为平衡查找树形式的子索引的一个具体实施例；

图5为本发明提供的数据表形式的子索引的结构示意图；

图6为本发明提供的海量数据联合检索方法的流程示意图。

具体实施方式

以下结合附图对本发明进行详细说明：

本发明提供一种基于统一索引的海量数据联合存储方法，包括以下步骤：

读取待存储数据，并判断所述待存储数据的数据类型；其中，所述数据类型包括非关系型数据和关系型数据；

如果所述待存储数据为非关系型数据，则将所述非关系型数据存储到存储设备，然后将所述非关系型数据的数据信息增加到预先建立的数据统一索引中；

如果所述待存储数据为关系型数据，则将所述关系型数据存储到所述存储设备，然后将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中。

本发明中，如图1所示，数据统一索引包括三层节点，自上而下分别为第一层节点、第二层节点和第三层节点；

其中，所述第一层节点为根节点，代表索引开始点；所述第二层节点用于存储数据类型，具体包括两个节点，即：非关系型数据节点和关系型数据节点；所述第三层节点包括两个节点，即平衡查找树形式的子索引和数据表形式的子索引；其中，所述平衡查找树形式的子索引为所述非关系型数据节点的子节点，所述数据表形式的子索引为所述关系型数据节点的子节点。将所述非关系型数据的数据信息增加到预先建立的数据统一索引中，具体为：将所述非关系型数据的数据信息增加到所述平衡查找树形式的子索引中；将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中，具体为：将所述关系型数据的数据信息增加到所述数据表形式的子索引。

以下对平衡查找树形式的子索引和数据表形式的子索引分别介绍：

(一)平衡查找树形式的子索引

本发明中，非关系型数据包括文件型数据和文本型数据，平衡查找树形式的子索引用于存储非关系型数据的数据信息，其中，非关系型数据的数据信息包括主键值、索引键值和具体数据内容；其中，所述具体数据内容包括文件名、文件存储时间、文件操作权限、文件存储起始地址和文件长度。在存储非关系型数据时，需要首先获取全局共享的可用文件存储起始地址，然后对文件存储起始地址进行互斥处理，根据文件长度设置下一非关系型数据的存储起始地址。

所述平衡查找树形式的子索引包括：根节点、一级以上中间节点和叶子节点；其中，所述根节点用于存储所述主键值的一级分类数组；各级所述中间节点用于存储其子节点主键值范围的二级分类数组；所述叶子节点用于存储所述非关系型数据的数据信息；

如图2所示，将所述非关系型数据的数据信息增加到所述平衡查找树形式的子索引中具体包括：

S1，当需要存储所述非关系型数据时，获取所述存储设备的当前可用的文件存储起始地址；然后以所述存储起始地址为存储起点将所述非关系型数据存入所述存储设备；还获取所述非关系型数据的索引键值、主键值；其中，所述主键值用于全局唯一标识所述非关系型数据；

S2，将所述非关系型数据插入到所述平衡查找树形式的子索引中。本步骤具体如图3所示，包括：

S2-1，以所述非关系型数据的主键值为查找依据，查找所述根节点，获得包含所述主键值的指定一级分类数组；继续向下查找所述指定一级分类数组的子节点，获得包含所述主键值的指定二级分类数组；继续向下查找所述指定二级分类数组的子节点，获得指定叶子节点；所述指定叶子节点包含多条非关系型数据的数据信息，各条非关系型数据的数据信息按主键值从小到大顺序排列；

S2-2，按主键值从小到大顺序，将所述非关系型数据插入到所述指定叶子节点；然后判断得到的所述指定叶子节点的数据个数是否达到分裂阀值m，如果未达到，则直接结束插入过程；如果达到，则分裂得到的所述指定叶子节点。

为方便理解，如图4所示，为平衡查找树形式的子索引的一个具体例子：在图2中，数据1-6的主键值分别为3、7、15、17、21、29。以非关系型数据1为例，其插入到平衡查找树形式的子索引的过程为：

查找根节点，其中，根节点共包括三个一级分类数组，获得包含主键值的指定一级分类数组，即一级分类数组(1，10)；继续向下查找一级分类数组(1，10)的子节点，获得包含主键值的指定二级分类数组，即二级分类数组(0，5)，继续向下查找指定二级分类数组(0，5)的子节点，获得指定叶子节点；然后按主键值从小到大顺序，将非关系型数据1插入到指定叶子节点。

需要说明的是，本发明中，主键值为用于全局唯一标识非关系型数据，为支持根据文件名检索，可以以“文件名+全局唯一的键值”作为索引主键。

(二)数据表形式的子索引

关系型数据主要存储在各业务系统的关系型数据库中，以各业务系统数据需求的格式进行组织。根据关系型数据的存储特点和逻辑结构，本发明提出采用基于表、属性、属性值的三级索引结构的存储模型。

具体的，数据表形式的子索引为三级索引结构，具体包括第一级索引、第二级索引和第三级索引；

其中，所述第一级索引为数据表级索引，用于存储数据表名、数据存储所在的数据库名、数据存储的连接方法和属性数的对应关系；

所述第二级索引为属性级索引，用于存储与每个数据表名对应的属性名、数据类型和数据检索方式的对应关系；第二级索引与第一级索引是一对多的关系；

所述第三级索引为属性值级索引，用于存储各个属性对应的属性值表，每一个所述属性值表用于存储属性的检索方法。

通过三级索引结构的存储模型，可以快速、有效的建立具有统一索引的关系型数据联合存储机制，一致规范关系型数据的存取接口方法，具体的三级索引结构如图5所示。

当检索关系型数据时，通常已知某表名、某属性名，因此，以某表名、某属性名为检索条件检索数据表形式的子索引。具体的，包括：

(1)在数据表级索引中查找该表名所属的数据库和连接数据的方法；

因为在实际应用中，大量数据分布在各个系统的多个不同数据库中，通过数据表级索引可定位存储该表的数据库和连接到该数据库的方法，其中，连接到该数据库的方法一般为数据库类型和连接字符串等；从而定位到属性级索引的某个属性索引表；

(2)在属性级索引中查找已知的属性名对应的属性特征，例如：类型、检索方式，从而定位到属性值级索引；其中，类型包括字符类型；检索方式包括字符串匹配的方法；

(3)属性值级就是一个属性在表中的可能取值都列出来建立索引，每个值对应一种检索方法，即SQL语句，然后根据索引指示的数据库连接和SQL语句在实际的数据库中检索数据。

比如，当需要查找“学生表”的“姓名”字段等于“张华”数据时，其中，“学生表”为表名，“姓名”为属性，“张华”为需要检索的数据内容；则检索方式为：

(1)首先根据数据表级索引查找到“学生表”在教务系统数据库中，然后根据数据表级索引中指示的连接方法(IP地址、用户名、密码)连接到教务系统数据库；

(2)然后在属性级索引中查找到学生表对应的属性级索引，在属性级索引中查找到“姓名”属性，发现其是字符类型，确定用字符串匹配的方法进行检索；

(3)然后到属性值级索引中，查找到“姓名”属性所对应的属性值表；在属性值表中查找到“张华”项，发现检索方法是“select*fromstudentwherename＝‘张华’”，然后用此SQL语句在实际的业务数据库中进行检索，查找到张华对应的数据并返回。

本发明还提供一种基于统一索引的海量数据联合存储方法得到的存储内容进行检索的方法，包括：

当需要检索与特定数据相关的存储信息时，以所述特定数据为关键词查找所述数据统一索引，获得与所述特定数据相关的存储信息。

其中，以所述特定数据为关键词查找所述数据统一索引具体为：

判断所述特定数据的数据类型，如果所述特定数据的数据类型为非关系型数据，则查找所述平衡查找树形式的子索引，获得与所述特定数据相关的存储信息；如果所述特定数据的数据类型为关系型数据，则查找所述数据表形式的子索引，获得与所述特定数据相关的存储信息。

具体的，相对应于数据联合存储模型，本发明对各类型数据提供对应的检索方法。例如，对于非关系型数据，可以根据索引键值、文件名、文件及文本内容进行检索；对于关系型数据，提供规定表、属性和属性值限定的检索方法。当检索非关系型数据时，对于根据索引键值和文件名的检索，基于建立的平衡查找树，从根节点开始遍历查找到存储相应键值或文件名加键值的字串索引的叶子节点，然后从叶子节点找到索引值(文件地址和长度)，从而取出数据。检索关系型数据时，对表、属性、属性值三级索引依次检索，从而定位出数据的检索位置和方法，然后到关系型数据库中检索数据。具体的检索过程见图6所示。。

本发明提供的基于统一索引的海量数据联合存储方法及检索方法，具有以下优点：

(1)通过非关系型数据索引的建立方法，实现了非关系型数据一致格式索引的迅速建立，统一的存取数据接口和快速的查找模型，具备很高的运行效率和稳定性；

(2)通过有效、新型的关系型数据建立索引的方法，将关系型数据简单巧妙的进行统一的组织、处理，从而提高了应用系统的通用性和兼容性；

(3)通过多元的各类型数据检索方法，提高了数据检索效率，另外，令基于统一索引方法联合存储的数据的检索多样化，并为业务应用系统调用建立通用的接口。另外，数据的检索具有很高的效率。

综上所述，本发明提供的基于统一索引的海量数据联合存储方法及检索方法，实现了应用系统的不同类型数据的联合存储、统一索引和快速检索，提高了应用系统的扩展性，降低了异构的应用系统之间数据交互共享的复杂性和特殊性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种基于统一索引的海量数据联合存储方法，其特征在于，包括以下步骤：

读取待存储数据，并判断所述待存储数据的数据类型；其中，所述数据类型包括非关系型数据和关系型数据；

如果所述待存储数据为非关系型数据，则将所述非关系型数据存储到存储设备，然后将所述非关系型数据的数据信息增加到预先建立的数据统一索引中；

如果所述待存储数据为关系型数据，则将所述关系型数据存储到所述存储设备，然后将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中；

所述数据统一索引包括三层节点，自上而下分别为第一层节点、第二层节点和第三层节点；

其中，所述第一层节点代表索引开始点；所述第二层节点用于存储数据类型，具体包括两个节点，即：非关系型数据节点和关系型数据节点；所述第三层节点包括两个节点，即平衡查找树形式的子索引和数据表形式的子索引；其中，所述平衡查找树形式的子索引为所述非关系型数据节点的子节点，所述数据表形式的子索引为所述关系型数据节点的子节点。

2.根据权利要求1所述的基于统一索引的海量数据联合存储方法，其特征在于，所述非关系型数据包括文件型数据和文本型数据。

3.根据权利要求1所述的基于统一索引的海量数据联合存储方法，其特征在于，所述将所述非关系型数据的数据信息增加到预先建立的数据统一索引中，具体为：将所述非关系型数据的数据信息增加到所述平衡查找树形式的子索引中；

所述将所述关系型数据的数据信息增加到预先建立的所述数据统一索引中，具体为：将所述关系型数据的数据信息增加到所述数据表形式的子索引。

4.根据权利要求3所述的基于统一索引的海量数据联合存储方法，其特征在于，所述非关系型数据的数据信息包括主键值、索引键值和具体数据内容；其中，所述具体数据内容包括文件名、文件存储时间、文件操作权限、文件存储起始地址和文件长度；所述平衡查找树形式的子索引包括：根节点、一级以上中间节点和叶子节点；其中，所述根节点用于存储所述主键值的一级分类数组；各级所述中间节点用于存储其子节点主键值范围的二级分类数组；所述叶子节点用于存储所述非关系型数据的数据信息；

将所述非关系型数据的数据信息增加到所述平衡查找树形式的子索引中具体为：

当需要存储所述非关系型数据时，获取所述存储设备的当前可用的文件存储起始地址；然后以所述存储起始地址为存储起点将所述非关系型数据存入所述存储设备；还获取所述非关系型数据的索引键值、主键值；其中，所述主键值用于全局唯一标识所述非关系型数据；

将所述非关系型数据插入到所述平衡查找树形式的子索引中。

5.根据权利要求4所述的基于统一索引的海量数据联合存储方法，其特征在于，将所述非关系型数据插入到所述平衡查找树形式的子索引中具体为：

以所述非关系型数据的主键值为查找依据，查找所述根节点，获得包含所述主键值的指定一级分类数组；继续向下查找所述指定一级分类数组的子节点，获得包含所述主键值的指定二级分类数组；继续向下查找所述指定二级分类数组的子节点，获得指定叶子节点；所述指定叶子节点包含多条非关系型数据的数据信息，各条非关系型数据的数据信息按主键值从小到大顺序排列；

按主键值从小到大顺序，将所述非关系型数据插入到所述指定叶子节点；然后判断得到的所述指定叶子节点的数据个数是否达到分裂阀值m，如果未达到，则直接结束插入过程；如果达到，则分裂得到的所述指定叶子节点。

6.根据权利要求4所述的基于统一索引的海量数据联合存储方法，其特征在于，所述主键值为“文件名+全局唯一的键值”形式。

7.根据权利要求3所述的基于统一索引的海量数据联合存储方法，其特征在于，所述数据表形式的子索引为三级索引结构，具体包括第一级索引、第二级索引和第三级索引；

其中，所述第一级索引为数据表级索引，用于存储数据表名、数据存储所在的数据库名、数据存储的连接方法和属性数的对应关系；

所述第二级索引为属性级索引，用于存储与每个数据表名对应的属性名、数据类型和数据检索方式的对应关系；

所述第三级索引为属性值级索引，用于存储各个属性对应的属性值表，每一个所述属性值表用于存储属性的检索方法。

8.一种对权利要求1-7任一项所述基于统一索引的海量数据联合存储方法得到的存储内容进行检索的方法，其特征在于，包括：

当需要检索与特定数据相关的存储信息时，以所述特定数据为关键词查找所述数据统一索引，获得与所述特定数据相关的存储信息；

其中，以所述特定数据为关键词查找所述数据统一索引具体为：

判断所述特定数据的数据类型，如果所述特定数据的数据类型为非关系型数据，则查找所述平衡查找树形式的子索引，获得与所述特定数据相关的存储信息；如果所述特定数据的数据类型为关系型数据，则查找所述数据表形式的子索引，获得与所述特定数据相关的存储信息。