CN103412884A

CN103412884A - 一种异构存储介质下嵌入式数据库的管理方法

Info

Publication number: CN103412884A
Application number: CN2013103030095A
Authority: CN
Inventors: 钟胜; 桑农; 黎云; 王建辉; 王征添; 贺勇刚; 俞鹏先
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2013-07-18
Filing date: 2013-07-18
Publication date: 2013-11-27
Anticipated expiration: 2033-07-18
Also published as: CN103412884B

Abstract

本发明公开了一种异构存储介质下嵌入式数据库的管理方法，具体为：将数据文件分为小数据块和大数据块，将大数据块和优先级低的小数据块存入外存，将优先级高的小数据块存入内存；嵌入式处理器查询到待访问数据的索引块，若该数据块存在于内存，则直接访问数据，若该数据块存在于外存，则访问外存中的数据；在系统空闲期，数据库根据访问情况将部分数据块降级释放到外存，加载部分急需的数据块到内存，以实现动态调度。本发明综合两种存储介质的优势，提高数据库反应速度，扩大数据库存储容量，充分利用了嵌入式处理器的内存，由此解决单一存储介质所带来的数据库性能瓶颈的技术问题。

Description

一种异构存储介质下嵌入式数据库的管理方法

技术领域

本发明涉及嵌入式数据库领域，具体涉及一种异构存储介质下嵌入式数据库的管理方法。

背景技术

嵌入式数据库系统在运行环境和运行方式上与常见的企业级数据库管理系统有很大差别，主要表现在传统的企业级数据库如Oracle、DB2过于庞大，对cpu主频和磁盘容量有很高的要求，无法在硬件资源有限的嵌入式系统上面安装和使用；除此之外，传统数据库缺乏实时响应的机制，并且受限于硬盘读写速度，无法满足高实时性的要求。在嵌入式数据库领域，存储管理的研究目的是运用嵌入式、数据库等多种技术实现数据在存储器上的高效存储与快速存取。

目前，常见的嵌入式数据库有两种，内存数据库和外存数据库。但无论哪种，都只是基于单一存储介质。内存数据库存在于嵌入式处理器的内存中，其优势是I/O操作少、访问速度快，但存在的问题是存储空间有限，稍微大一些的数据量就无法使用；而外存数据库的所有数据及索引存储在外存中，其优势是存储容量大，但问题是外存读写速度慢，频繁的外存访问导致数据库效能低下。

发明内容

针对现有的单一存储介质下嵌入式数据库存在的问题，本发明提出一种异构存储介质下的嵌入式数据库管理方法，其目的在于综合两种存储介质的优势，提高数据库反应速度，扩大数据库存储容量，充分利用了嵌入式处理器的内存，由此解决单一存储介质所带来的数据库性能瓶颈的技术问题。

一种异构存储介质下嵌入式数据库的管理方法，具体为：

构建数据库的准备步骤：将数据文件分为小数据块和大数据块，并为各数据块分配ID、地址和优先级，大数据块的优先级低于小数据块，地址初始赋值为数据块待存入的外存地址；为每个数据块建立包含数据块ID、地址和优先级信息的索引块；构建包含所有索引块信息的信息块；

将数据库存入外存的步骤：将信息块、索引块和数据块存入外存；

将数据库加载到嵌入式处理器内存的步骤：将信息块加载到内存，依据信息块携带的索引块信息将索引块加载到内存，依据索引块携带的数据块信息将小数据块中优先级高的加载到内存，并将被加载小数据块的索引块内的地址更新为所在内存地址；

访问数据库的步骤：嵌入式处理器查询到待访问数据的索引块，若该数据块存在于内存，则根据索引块携带的内存地址访问数据，若该数据块存在于外存，则根据索引块携带的外存地址访问数据。

进一步地，还包括数据块在内存的动态调度步骤：对于已经完成访问的内存数据块，将其优先级降到最低级；对于访问时延要求降低的内存数据文件，将其优先级降低；将上述两种降低优先级的内存数据块释放到外存，并将其索引块内的地址更新为所在外存地址；根据内存使用情况，综合考虑将访问时延要求和优先级相对较高的外存数据块补充加载到内存，并将该数据块的索引块内的地址更新为其所在内存地址。

进一步地，在所述构建数据库的准备步骤中，还根据逻辑形式将所述大数据块划分为一维大数据块和二维大数据块；二维大数据块被划分为多个子块；所述二维大数据块对应的索引块包括一级索引块和二级索引块，一级索引块包含二级索引块待存入的外存地址信息，二级索引块包含各子块待存入的外存地址信息；

在所述将数据库加载到嵌入式处理器内存的步骤中，将二维大数据块的一级索引块和二级索引块加载到内存，并将一级索引块内的地址更新为二级索引块在内存中的地址；

在所述访问数据库的步骤中，嵌入式处理器查询到待访问数据的一级索引块，进而找到对应的二级索引块，再根据二级索引块携带的子块地址信息访问外存中的子块。

进一步地，在所述构建数据库的准备步骤中，对于小数据块按照被访问紧急程度和访问频率综合考虑越高则优先级别越高的原则分配优先级，大数据块的优先级设置为最低级。

进一步地，所述信息块、索引块存储于数据库的第一个页面，小数据量文件以多个文件合并方式从数据库第二个页面开始的位置起存储，接着存储二维大数据块的各子块，最后存储一维大数据块。

本发明的技术效果体现在：

本发明组合使用内存和外存两种存储介质，将大数据文件存储在外部大容量存储器，小数据文件根据嵌入式处理器内存使用情况及文件的优先级决定其存储在内存还是外部大容量存储器，综合两种存储介质的优势，提高数据库反应速度，扩大数据库存储容量。采用优先级机制，使用户能以最快的速度访问到最需要访问的数据，满足了用户的数据使用需求。

进一步地，对内存进行动态调度，将访问几率低和时延要求降低的数据块释放于外存，而访问时延要求和访问几率高的数据块补充加载到内存中，提高数据访问效率，弥补嵌入式处理器内存容量小的客观短板。

进一步地，在数据库加载和动态调度的过程中使用了自适应内存分配技术，有效地利用了宝贵的内存资源，提高了数据库反应速度。

进一步地，对数据块的寻址采用差别化的策略，小数据文件和一维大数据文件一级索引寻址，二维大数据文件二级索引寻址，拓展了数据库的存储容量。

进一步地，数据在外存采取不同的存储方法，二维大数据文件切割后分块存储，提高了二维大数据文件的访问速度；小数据文件可以连续存储，可以充分利用存储资源。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于异构存储、优先级机制、动态调度、自适应内存分配技术的使用，能够取得反应速度通常在1us以内，存储容量达到GB级别、内存利用率高的有益效果。

附图说明

图1为存储结构及寻址方式示意图；

图2为数据库管理办法流程图；

图3为索引编号示意图；

图4为动态调度中内存数据搬移到外存示意图；

图5为动态调度中外存数据搬移到内存示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参见图1，本发明提出嵌入式数据库异构存储介质存储，数据库的内存选择性存储于嵌入式处理器内存和外部存储器，基本原则是将大数据文件存储在外部大容量存储器，小数据文件根据嵌入式处理器内存使用情况及文件的优先级决定其存储在内存还是外部大容量存储器。

本发明数据库包含信息块、索引块、数据块三级结构。数据库适用于常见的嵌入式处理器+FLASH存储芯片环境。

首先，对本发明涉及的术语即信息块、索引块、数据块的定义如下：

信息块，描述数据库的基本信息，起到标识数据库、指导应用程序分

配内存空间、辅助寻址的作用，其属性如表1所示。

序号	符号	数据类型	属性
				1	DbId	无符号16位整型	数据库的标记
2	IdxSize	无符号16位整型	单个索引块的大小，以字节为单位
				3	IdxNum	无符号16位整型	索引块个数
4	IdxAddr	无符号32位整型	索引块的起始地址
				5	IntSize	无符号32位整型	适合内存的数据块大小
6	ExtSize	无符号32位整型	适合外存的数据块大小

表1信息块属性表

索引块，描述数据块的优先级、地址信息，起到决定调度策略及寻址的作用。索引块分为一级索引块和二级索引块，其属性如表2和3所示。

一级索引块

表2一级索引块属性表

二级索引块

表2二级索引块属性表

数据块，包含具体的数据，其属性如表4所示。

序号	符号	数据类型	属性
				1	ChkId	无符号16位整型	数据块的标记
2	Data		具体数据

表4数据块属性表

基于上述数据库结构，本发明提供了一种异构存储介质下的嵌入式数据库管理方法的实例，详细流程参见图2，本实例方法具体为：

一、数据库的准备工作

1.1文件定义

将数据文件划分为小数据块（下文称小数据量文件）和大数据块（下文称大数据量文件），划分的依据是文件大小相对于嵌入式处理器内存容量的比例，可根据经验调整。本实例中，规定当比例大于20%时定义为大数量文件，小于此值时为小数据量文件。

根据文件的逻辑形式，将大数据量文件进一步划分为一维大数据量文件（如程序）和二维大数据量文件（如图像）。

1.2存储定义

一维大数据量文件在外部存储器中连续存储，其可能涉及跨页存储。

二维大数据量文件分解为若干个子块，每个子块不能大于一个存储页面的大小，其具体大小由用户根据使用需要自行指定，每个子块存储到一个页面。

对于小数据量文件，则可以多个文件存储到同一个页面。

1.3分配ID

一个一维大数据量文件分配一个数据块ID，二维大数据量文件的每个分块分配一个数据块ID，一个小数据量文件分配一个数据块ID。

ID编号规则为从小数据量文件开始，接着是一维大数据量文件，最后是二维大数据量文件的分块，从低到高连续编号。

二、将信息块、索引块和数据块存入外存。

2.1存储规划

信息块、索引块存储在数据库最开始的一个页面，小数据量文件存储在从数据库第2个页面开始的位置，接着是二维大数据量文件的分块，最后是一维大数据量文件。

小数据量文件可以多个文件合并存储到一个页面，遵循的原则是尽可能提高外部存储器的利用率。

二维大数据量文件是每个分块存储到一个页面。

一维大数据量文件连续存储，可能跨越多个页面存储。

2.2统计数据块的地址与长度信息

按照2.1中所描述的存储方法，统计各数据块的地址与长度。

2.3填充索引块的内容

对于小数据量文件，给每个文件创建一个索引块，将IdxId置为ChkId，IdxH2nd设置为不含二级索引，IdxFlg置为在外存，IdxChkAddr设置为小数据量文件在外存的地址，IdxChkLen设置为小数据量文件的长度；依据访问频繁程度、调用的紧急程度设置其优先级，如果数据文件被频繁访问或调用时要求时延很小，在内存许可的情况下，将其IdxPri置为优先级1，其他要求低一些的则设置为优先级2，不要求直接加载到内存的设置为优先级3。

对于二维大数据量文件，首先创建一个一级索引，将IdxId置为文件起始分块的ChkId，IdxH2nd设置为包含二级索引，IdxFlg设置为在外存，将其IdxPri置为优先级1；IdxChkId设置为文件起始分块的ChkId，IdxChkAddr设置为二级索引块的地址，IdxChkLen设置为二级索引块的长度。创建二级索引块，Idx2Id设置为文件起始分块的ChkId，Idx2Flg设置为在外存，Idx2Pri置为优先级4，Idx2ChkId[n]按照数据块编号顺序设置为每个分块的ChkId，具体编号示例可以参见图3，Idx2ChkAddr[n]按照数据块编号顺序设置为每个分块的地址，Idx2ChkLen[n]按照数据块编号顺序设置为每个分块的长度。

对于一维大数据量文件，给每个文件创建一个索引块，将IdxId置为ChkId，IdxH2nd设置为不含二级索引，IdxFlg设置为在外存，将其IdxPri置为优先级4，IdxChkAddr设置为一维大数据量文件在外存的地址，

IdxChkLen设置为一维大数据量文件的长度。

2.4填充信息块的内容

给数据库分配唯一的DbId，IdxSize设置为一级索引块的大小，IdxNum设置为2.3中所创建的一级索引块的个数，IdxAddr设置为第一个一级索引块的地址，IntSize设置为优先级为1的数据块的总的大小，ExtSize设置为其余优先级的数据块的总的大小。

当上述信息准备好后，将数据库存入外部存储器中。

三、将数据库加载到嵌入式处理器内存中

加载的基本思路是：将信息块加载到内存，依据信息块携带的索引块信息将索引块加载到内存，依据索引块携带的数据块信息将小数据块中优先级高的加载到内存，并将被加载小数据块的索引块内的地址更新为所在内存地址。特别的针对二维大数据块的，将其一级索引和二级索引加载到内存，并将一级索引内的地址更新为二级索引在内存中的地址。本实例加载的具体过程为：

3.1嵌入式处理器启动后，将嵌入式数据库信息块的起始地址告知程序，程序在内存中分配固定长度的存储空间，将信息块从外存加载到该空间。

3.2程序依据信息块中参数IdxSize和IdxNum，计算出索引块的总长度，在内存中分配所需长度的存储空间，依据参数IdxAddr将所有一级索引块加载到该空间。

3.3加载数据块

3.3.1计算所需内存空间，将索引块中参数IdxH2nd为包含二级索引的IdxChkLen，加上索引块中参数IdxH2nd为不含二级索引、参数IdxPri等于优先级1的IdxChkLen，再估算出内存所剩空间，如果空间剩余较多，则增加部分优先级2的数据块，计算出最后的长度。

3.3.2根据步骤3.3.1计算出的长度，分配所需内存空间。

3.3.3根据IdxChkAddr加载步骤3.3.1中已判定要加载的数据块。

3.3.4将二级索引块加载到内存空间。

数据库加载的后续工作：

对于已加载到内存的小数据量文件，将其索引块的IdxChkAddr修改为其数据块在内存中的地址，将其索引块的IdxFlg修改为在内存。

对于二维大数据量文件，将其一级索引块的IdxChkAddr修改为其二级索引块在内存中的地址，将其一级索引块的IdxFlg修改为在内存。

将信息块的IdxAddr修改为第一个索引块在内存中的起始地址。

四、访问数据库

访问数据库的策略是：嵌入式处理器查询到待访问数据的索引块，若该数据块存在于内存，则根据索引块携带的内存地址直接访问数据，若该数据块存在于外存，则根据索引块携带的外存地址访问数据。

本实例访问数据库的具体实现过程为：

对于给定的ChkId，如果一级索引块IdxId==ChkId，而且IdxH2nd为不含二级索引，则可以根据IdxChkAddr和IdxChkLen直接访问数据块，如果IdxFlg为在内存，则IdxChkAddr表示内存地址，如果IdxFlg为在外存，则IdxChkAddr表示外存地址。

对于给定的ChkId，如果一级索引块IdxId==ChkId，而IdxH2nd为包含二级索引，则依据IdxChkAddr访问二级索引，由于二级索引中Idx2ChkId[0]==ChkId，所以根据Idx2ChkAddr[0]和Idx2ChkLen[0]直接访问数据块。

对于给定的ChkId，如果索引块IdxId!=ChkId，则需进一步判断：

如果(ChkId>当前IdxId)且(ChkId<下一个IdxId)，则认为所要找的数据块在当前一级索引所指向的二级索引中可以找到，所以访问二级索引，找到Idx2ChkId[n]==ChkId，根据Idx2ChkAddr[n]访问数据块；

如果(ChkId>当前IdxId)，并且下一个IdxId不存在，则认为所要找的数据块在当前一级索引所指向的二级索引中可以找到，所以访问二级索引，找到Idx2ChkId[n]==ChkId，根据Idx2ChkAddr[n]访问数据块。

五、数据文件在内存的动态调度

对于已经完成访问的内存数据块，将其优先级降到最低级；对于访问时延要求降低的内存数据文件，将其优先级降低；将上述两种降低优先级的内存数据块释放到外存，并将其索引块内的地址更新为所在外存地址；根据内存使用情况，综合考虑将访问时延要求和优先级相对较高的外存数据块补充加载到内存，并将该数据块的索引块内的地址更新为其所在内存地址。

在本实例中，对于已经完成访问的内存数据文件，将其索引块中的IdxPri修改为优先级4，对于访问时延要求降低的内存数据文件，将其索引块中的IdxPri修改为优先级3。

当系统空闲时，收回优先级4的数据文件的内存空间，将其在索引块中的IdxChkAddr修改为数据文件在外存的地址，将IdxFlg修改为在外存，示意图参见图4。

根据最新的内存使用情况，将部分访问时延要求较高的优先级2数据文件加载到内存，将其索引块的IdxChkAddr修改为其数据块在内存中的地址，将其索引块的IdxFlg修改为在内存，示意图参见图5。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种异构存储介质下嵌入式数据库的管理方法，具体为：

2.根据权利要求1所述的异构存储介质下嵌入式数据库的管理方法，其特征在于，还包括数据块在内存的动态调度步骤：对于已经完成访问的内存数据块，将其优先级降到最低级；对于访问时延要求降低的内存数据文件，将其优先级降低；将上述两种降低优先级的内存数据块释放到外存，并将其索引块内的地址更新为所在外存地址；根据内存使用情况，综合考虑将访问时延要求和优先级相对较高的外存数据块补充加载到内存，并将该数据块的索引块内的地址更新为其所在内存地址。

3.根据权利要求1所述的异构存储介质下嵌入式数据库的管理方法，其特征在于，在所述构建数据库的准备步骤中，还根据逻辑形式将所述大数据块划分为一维大数据块和二维大数据块；二维大数据块被划分为多个子块；所述二维大数据块对应的索引块包括一级索引块和二级索引块，一级索引块包含二级索引块待存入的外存地址信息，二级索引块包含各子块待存入的外存地址信息；

4.根据权利要求1或2或3所述的异构存储介质下嵌入式数据库的管理方法，其特征在于，在所述构建数据库的准备步骤中，对于小数据块按照被访问紧急程度和访问频率综合考虑越高则优先级别越高的原则分配优先级，大数据块的优先级设置为最低级。

5.根据权利要求3所述的异构存储介质下嵌入式数据库的管理方法，其特征在于，所述信息块、索引块存储于数据库的第一个页面，小数据量文件以多个文件合并方式从数据库第二个页面开始的位置起存储，接着存储二维大数据块的各子块，最后存储一维大数据块。