CN105677879A

CN105677879A - 内存关系数据库的数据组织及访问方法

Info

Publication number: CN105677879A
Application number: CN201610018195.1A
Authority: CN
Inventors: 诸葛晴凤; 沙行勉; 陈咸彰
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-01-12
Filing date: 2016-01-12
Publication date: 2016-06-15
Anticipated expiration: 2036-01-12
Also published as: CN105677879B

Abstract

本发明属于计算机技术领域，具体涉及一种关系数据库在内存中的数据组织及访问方法，数据组织方法中，以表页表的方式为每个表建立连续且独立的虚拟地址空间；将表和表页表的映射关系存放在内存关系数据库的索引表中；并用内存关系数据库管理数据和表页表的物理内存；而数据访问方法包括建立映射、读数据、写数据和取消映射的步骤，数据的组织使用连续的地址空间，可以从读写数据的起始虚拟地址开始，一次性访问读写长度内的数据页，不需要用软件反复查找不同数据页的物理地址，表的组织格式与进程页表格式相同，实现零切换，无需重建，只需要将表页表的指针插入进程页表，能实现快速映射和高速访问表中的数据。

Description

内存关系数据库的数据组织及访问方法

技术领域

本发明属于计算机技术领域，具体涉及一种关系数据库在内存中的数据组织及访问方法。

背景意义

关系数据库(relationaldatabase)是一种采用关系模型作为数据的组织方式。关系数据库的特点在于将具有相同属性的数据独立地存储在一个表中。用户对数据库里的表进行查询、插入、删除和连接等操作，实际是读、写存储设备上的数据。要从表中数据的逻辑地址找到其在存储设备上的物理位置，需要有一个索引结构。因此，访问存储设备的性能对数据库的性能有至关重要的影响。

内存关系数据库(in-memorydatabase)是指将关系数据库的部分数据或全部数据存放在内存中。目前，内存数据库中的数据在物理内存中有两种组织及访问方式：

1.现有技术一：数据库的表以文件的形式存放在内存中。这种方式下，访问表中的数据实际是访问文件系统中的文件，需要调用文件系统的接口，例如read()、write()。访问数据库的性能依赖访问文件的性能。

现有技术一有以下缺点：

应用程序访问表中的数据需要至少一次拷贝操作，即把数据从文件系统拷贝到用户缓存。

访问表的数据需要切换内核态，并经过文件系统的多个软件层次，例如Linux操作系统中的虚拟文件系统层(virtualfilesystem)。因此会有较大的性能开销。

所以，现有技术一在组织和访问表的过程中有较大的软件层性能开销。

2.现有技术二：使用专有内存管理机制管理数据库所使用的内存。例如目前卡耐基梅隆大学和Intel的联合研究“Let’sTalkAboutStorage&RecoveryMethodsforNon-VolatileMemoryDatabaseSystems”，InProceedingsofthe2015ACMSIGMODInternationalConferenceonManagementofData，JoyArulraj,AndrewPavlo,andSubramanyaR.Dulloor，ISBN:978-1-4503-2758-9(“谈非易失性内存数据库系统的存储和恢复方法”，2015美国计算机学会SIGMOD数据管理国际会议，JoyArulraj,AndrewPavlo,andSubramanyaR.Dulloor，ISBN:978-1-4503-2758-9)，使用一个特殊的内存分配器给数据库的表分配内存，直接把存放数据的物理内存映射到一块用户虚拟地址空间。此时用户访问已映射好的内存就不再需要拷贝操作。为了确保已映射的物理内存不会丢失，已映射的物理内存总是使用固定的用户虚拟地址空间，并且在操作系统中保存已有的映射关系。

现有技术二有以下缺点：

已有的数据持续占用虚拟地址空间；

由于已分配的用户虚拟地址空间和物理内存有固定的映射关系，因此需要额外的机制记录和回收物理内存和虚拟内存；

数据库的启动速度慢，需要在用户地址空间重建整个数据库中数据的映射关系；

由于地址映射方式的问题，表的大小受限于虚拟地址空间的大小和表的数量；

此外，在表的增长过程中会出现虚拟地址冲突问题，需要额外的冲突控制机制。

发明内容

有鉴于此，本发明提供一种内存关系数据库的数据组织及访问方法，能实现快速映射和高速访问表中的数据。

本发明通过以下技术手段解决上述技术问题：

内存关系数据库的数据组织方法，包括如下步骤：

a)以表的形式组织数据；

b)为每个表建立连续且独立的虚拟地址空间；

c)将数据在内存中的物理地址存储在表页表中；

d)将表和表页表的映射关系存放在内存关系数据库的索引表中；

e)用内存关系数据库管理数据和进程页表的物理内存。

进一步，所述步骤b)中，所述表页表为一级页表或多级页表，为多级页表时，其中最后一级页表中存放有数据页的起始物理地址。

进一步，所述步骤d)中，索引表的数据结构为数组、链表或结构体。

进一步，所述索引表中保存有表及表页表的最高级指针，所述最高级指针指向表页表。

内存关系数据库的数据访问方法，包括如下步骤：

1)建立映射；具体包括如下步骤：

11)接收到进程为表建立映射的请求；

12)从发出请求的进程的虚拟地址空间中获得一块独立且连续的虚拟地址空间，作为要访问的表在进程中的虚拟地址空间，并返回表在虚拟地址空间的起始地址；

13)利用控制寄存器，访问进程的进程页表，找到表的虚拟地址空间在进程页表中对应的条目；

14)在内存关系数据库的索引表中找到表的最高级指针；

15)将最高级指针的值写入进程页表中对应的条目，即完成表在进程页表中的映射；

2)读数据或写数据；

读数据时包括如下步骤：

211)接收进程读取表中数据的请求；

212)通过表在虚拟地址空间的起始虚拟地址加上进程所请求的数据在表中的偏移量，计算出所请求的数据的虚拟地址；

213)通过内存映射设备和连接到进程页表的表页表，将步骤212)中获得的数据的虚拟地址转换为数据在内存关系数据库所管理的内存上的物理地址；

214)进程访问物理地址所指数据页中的数据；

写数据时包括如下步骤：

221)接收进程向表中写数据的请求；

222)通过表在虚拟地址空间的起始虚拟地址，加上进程写数据的位置在表中的偏移量，计算出写数据的位置的虚拟地址；

223)判断写操作是否需要分配新的存储空间，如是，则执行步骤224)，如否，执行步骤225)；

224)从内存关系数据库所管理的物理内存中获取空闲物理页面，并加入到表的表页表中，完成映射；

225)进程将数据写入表在内存关系数据库中对应的物理页面，并通过内存映射设备和插入到进程页表的表页表，将步骤222)中得到的虚拟地址转换为内存关系数据库管理的内存的物理地址，完成映射；

3)取消映射；具体包括如下步骤

31)接收到进程为表取消映射的请求；

32)释放表建立映射时获得的进程中的虚拟地址空间；

33)清除虚拟地址空间在进程的进程页表中对应的条目。

进一步，步骤12)中，返回的表在虚拟地址空间的起始地址记录在关系数据库中、用户进程中或索引表中。

与现有技术相比，本发明的有益效果如下：

一、数据访问速度快。原因有二：

1.使用内存映射硬件设备进行虚拟地址到物理地址的转换，充分发挥内存的高访问速度。

2.利用表页表的形式组织数据库中表，可以保证单个表具有独立且连续的虚拟地址空间，由于数据的组织使用连续的地址空间，可以从读写数据的起始虚拟地址开始，一次性访问读写长度内的数据页，不需要用软件反复查找不同数据页的虚拟地址。

二、常数时间内建立表的物理地址到虚拟地址的映射。原因：表的组织格式与进程页表格式相同，实现零切换，无需重建，只需要将表页表的指针插入进程页表，是常数时间的操作。

良好的表保护，不需要额外的写保护机制。原因：不同的表各有独立的虚拟地址空间，内存关系数据库在存储介质上的信息受进程虚拟地址和内存映射硬件设备的保护，不会误写。

附图说明

下面结合附图和实施例对本发明作进一步描述。

图1示出了内存关系数据库的数据组织方法的流程示意图；

图2示出了内存关系数据库的数据访问方法的流程示意图。

具体实施方式

以下将结合附图对本发明进行详细说明。

一、内存关系数据库的数据组织方法

参见图1，包括如下步骤：

a)以表的形式组织数据；内存关系数据库的数据以一个或多个表的方式存放在物理内存中。每个表可以用对应一个或多个物理内存页面存放数据，把这种内存页面称为“数据页”；

b)为每个表建立连续且独立的虚拟地址空间，即表虚拟地址空间(TableVirtualAddressSpace，简称FVAS)，其表现形式是表页表(TablePageTable，简称TPT)；所述表页表为一级页表或多级页表，每一级表页表都存放在单个或多个物理内存页面中。每一级表页表都划分为多个条目，每个条目都可以存放下一级表页表的某一个物理内存页的起始物理地址。最低一级的表页表用于存放数据页的起始物理地址。

c)将数据在内存中的物理地址存储在表页表中；

d)将表和表页表的映射关系存放在内存关系数据库的索引表中，索引表的数据结构为数组、链表或结构体；索引表中保存有表及其表页表的最高级指针，所述最高级指针指向表页表。

e)用内存关系数据库管理数据和进程页表的物理内存。

二、内存关系数据库的数据访问方法。

在访问数据的过程中，需要用到的系统组件有CPU中的内存映射设备、数据库管理的内存、进程页表、内存关系数据库的索引表和表页表。

其中内存映射设备和数据库管理的内存是系统中的硬件设备，内存可以是DRAM、新型非易失性内存或其他高速存储介质。

进程页表是进程虚拟地址空间的表现形式，在64位系统中通常分为4级，在32位系统中通常只使用两级页表。

内存关系数据库的表页表是表虚拟地址空间的表现形式，是一个独立且连续的地址空间。表页表的组织形式可以是一级或多级系统页表。索引表是内存关系数据库中用于指明表的存储位置的数据结构。

参见图2，内存关系数据库的数据访问操作包括建立映射、读数据、写数据、取消映射，具体如下：

1)建立映射；具体包括如下步骤：

11)接收到进程为表建立映射的请求；

12)从发出请求的进程的虚拟地址空间中获得一块独立且连续的虚拟地址空间，作为要访问的表在进程中的虚拟地址空间，并返回表在虚拟地址空间的起始地址；返回的表在虚拟地址空间的起始地址记录在关系数据库中、用户进程中或索引表中；

14)在内存关系数据库的索引表中找到表的最高级指针；

2)读数据或写数据；

读数据时包括如下步骤：

211)接收进程读取表中数据的请求；

214)进程访问物理地址所指数据页中的数据；

写数据时包括如下步骤：

221)接收进程向表中写数据的请求；

222)通过表在虚拟地址空间的起始虚拟地址，加上进程写数据的位置在表中的偏移量，计算出所请求的数据的虚拟地址；

3)取消映射；具体包括如下步骤

31)接收到进程为表取消映射的请求；

32)释放表建立映射时获得的进程中的虚拟地址空间；

33)清除虚拟地址空间在进程的进程页表中对应的条目。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.内存关系数据库的数据组织方法，其特征在于：包括如下步骤：

a)以表的形式组织数据；

b)以表页表的方式为每个表建立连续且独立的虚拟地址空间；

c)将数据在内存中的物理地址存储在表页表中；

e)用内存关系数据库管理数据和表页表的物理内存。

2.如权利要求1所述的内存关系数据库的数据组织方法，其特征在于：所述步骤b)中，所述表页表为一级页表或多级页表，为多级页表时，上级页表的每一个条目可以存放一个下级页表的物理页面的起始物理地址；其中，最后一级页表中存放有数据页的起始物理地址。

3.如权利要求1所述的内存关系数据库的数据组织方法，其特征在于：所述步骤d)中，索引表的数据结构为数组、链表或结构体。

4.如权利要求1-3中任一项所述的内存关系数据库的数据组织方法，其特征在于：所述索引表中保存有表及其表页表的最高级指针，所述最高级指针指向表页表。

5.内存关系数据库的数据访问方法，包括如下步骤：

1)建立映射；具体包括如下步骤：

11)接收到进程为表建立映射的请求；

12)从发出请求的进程的虚拟地址空间中获得一块独立且连续的虚拟地址空间，作为要访问的表在进程中的虚拟地址空间，并返回表在虚拟地址空间的起始虚拟地址；

14)在内存关系数据库的索引表中找到表页表的最高级指针；

15)将表页表的最高级指针的值写入进程页表中对应的条目，即完成表在进程页表中的映射；

2)读数据或写数据；

读数据时包括如下步骤：

211)接收进程读取表中数据的请求；

214)进程访问物理地址所指数据页中的数据；

写数据时包括如下步骤：

221)接收进程向表中写数据的请求；

225)进程通过内存映射设备和插入到进程页表的表页表，将步骤222)中得到的虚拟地址转换为内存关系数据库管理的内存的物理地址，将数据写入表在内存关系数据库中对应的物理页面，完成映射；

3)取消映射；具体包括如下步骤

31)接收到进程为表取消映射的请求；

32)释放表建立映射时获得的进程中的虚拟地址空间；

33)清除表页表在进程的进程页表中对应的条目。

6.如权利要求5所述的内存关系数据库的数据访问方法，其特征在于：步骤12)中，返回的表在虚拟地址空间的起始地址记录在关系数据库中、用户进程中或索引表中。