CN104615618B

CN104615618B - 一种嵌入式内存数据库的实现方法

Info

Publication number: CN104615618B
Application number: CN201410217293.9A
Authority: CN
Inventors: 杨庆磊; 谢海松; 欧阳磊; 刘沾沾; 靳凯文; 谢道站
Original assignee: North Information Control Group Co Ltd
Current assignee: North Information Control Group Co Ltd
Priority date: 2014-05-21
Filing date: 2014-05-21
Publication date: 2018-07-31
Anticipated expiration: 2034-05-21
Also published as: CN104615618A

Abstract

本发明提供一种嵌入式内存数据库的实现方法，在一嵌入式计算机系统中实现，其包括以下步骤：在闪存内建立备份区，用于对内存数据库数据进行备份；在内存芯片组配置内存数据库执行程序，包括配置管理、存储管理与调度、数据库管理；步骤3、在内存芯片组建立作为工作区的第一内存区和作为暂存区的第二内存区；步骤4、中央处理器控制执行内存数据库的功能实现，即通过一主线程实现内存数据库的数据操作以及通过一子线程实现内存数据库的数据备份，其中主线程与子线程具有同等优先级，主线程在完成内存数据库后挂起以释放资源，直到下次操作请求将主线程唤醒。利用本方法实现的内存数据库不仅支持SQL语句，还具有掉电数据不丢失功能。

Description

一种嵌入式内存数据库的实现方法

技术领域

本发明涉及信息系统控制与数据库领域，具体而言涉及一种嵌入式内存数据库的实现方法。

背景技术

在现有的信息系统中，使用传统数据库常常因为硬盘I/O读写速率的影响而导致信息系统的性能遇到瓶颈。

内存数据库因为读写都在内存中进行，因此可以突破硬盘I/O读写的限制而提升信息系统的性能，一般读写速度是普通硬盘数据库的10倍以上。

对于实时性要求较高的嵌入式信息系统，一般需要内存数据库提高信息系统的实时性。

该技术领域目前的现状和缺陷在于：

2)不支持SQL语句

SQL语句在数据库操作中是一种简捷的操作语句。若内存数据库不支持SQL语句，不仅增加了数据库应用开发的难度，也不利于实现与普通数据库的统一访问。

3)掉电而造成数据丢失

内存数据库的数据因为保存在内存，掉电将导致内存数据库数据丢失，这样对数据的安全性和完整性会造成严重影响。而大部分嵌入式平台所处的使用环境是极其容易掉电的，若不解决这一问题，内存数据库将无法在嵌入式信息系统中使用。

现有技术中支持SQL语句操作的内存数据库，如微软的SQL SERVER内存数据库不支持LINUX系统，甲骨文公司的ORACLE TimesTen虽然支持LINUX系统却必须与ORACLE数据库联合使用，前Facebook工程师创办的分布式内存数据库MemSQL虽然是c++编写，完美支持Linux，但只能运行至云端，用户只能下载客户端，无法运行在嵌入式数据库环境。而开源的内存数据库往往都是K/V结构，并不支持SQL。因此，如何实现针对ARM的嵌入式环境下且支持SQL语句操作的内存数据库是一大急需解决的难题。

而且，随着信息化的发展，嵌入式设备因为便携性以及功能的日益丰富，被各个领域使用。

发明内容

本发明目的在于提供一种嵌入式内存数据库的实现方法，利用本方法实现的内存数据库不仅支持SQL语句，还具有掉电数据不丢失功能。

为达成上述目的，本发明所采用的技术方案如下：

一种嵌入式内存数据库的实现方法，在一嵌入式计算机系统中实现，该嵌入式计算机系统包括中央处理器(CPU)、闪存(FLASH)、内存芯片组(SDRAM，其实是一个内存空间)和系统总线，该方法包括以下步骤：

步骤1、(都是根据配置文件所预先设定的一系列参数)在闪存(FLASH)内建立备份区，用于对内存数据库数据进行备份；

步骤2、在内存芯片组(SDRAM)配置内存数据库执行程序，包括配置管理、存储管理与调度、数据库管理，其中配置管理用于设置内存数据库占用内存资源最大空间以及备份频率(时间间隔)，存储管理与调度用于执行内存数据库中内存空间分配(分配暂存区和工作区)、数据转移(数据转移归档等)、数据备份(从工作区经过暂存区(快速进行的，时间可以忽略不计)，将数据存入备份区)和数据载入(数据库启动时，从备份区到工作区的数据载入过程)；数据库管理用于实现新建/删除数据表和视图(view，将几个表合成展现成一个大视图)、数据库的数据增加、删除、查询、修改操作；

步骤3、在内存芯片组(SDRAM)建立作为工作区的第一内存区和作为暂存区的第二内存区；

步骤4、中央处理器(CPU)控制执行内存数据库的功能实现，即通过一主线程实现内存数据库的数据操作以及通过一子线程实现内存数据库的数据备份，其中主线程与子线程具有同等优先级。

进一步的实施例中，所述主线程的运行过程中，中央处理器(CPU)通过所述数据库管理单元提供的数据接口实现对内存数据库的数据操作，其包括以下过程：

1)中央处理器(CPU)判断是否(从其I/O接口)收到用户输入的数据操作请求(例如增加、删除、查询、修改)，如果是，则进入下述步骤2)，否则保持主线程挂起；

2)中央处理器(CPU)调用所述执行程序，通过所述数据库管理单元提供的数据接口执行用户输入的数据操作请求；

3)挂起主进程。

进一步的实施例中，所述数据库管理单元提供的数据接口包括下述4类C-API接口：

1)bool ExecStatement(char*sz_SQL)

功能：执行SQL语句；

参数：sz_SQL，标准SQL执行语句字符串；

2)bool Get_DATA(char*sz_SQL，char*Data)

功能：执行查询语句并返回查询成功；

参数：sz_SQL，标准SQL查询语句字符串；Data，返回的查询结果；

4)void StarMemDB()

功能：启动内存数据库工作流程并分配内存数据库资源；

参数：无；

4)void StopMemDB()

功能：停止内存数据库并释放内存数据库资源；

参数：无。

进一步的实施例中，所述子线程的运行过程中，以下述之一方式进行数据备份：

1)中央处理器(CPU)根据所设置的备份频率(例如每隔5min、20min、60min等)，调用所述执行程序，将内存数据库中的数据从工作区经过暂存区后存入备份区；以及

2)中央处理器(CPU)调用执行程序执行内存数据库的数据操作时，同时将工作区数据同步到暂存区，再将暂存区数据保存至备份区。

进一步的实施例中，所述子线程的运行过程中，中央处理器(CPU)根据所设置的备份频率(例如每隔5min、20min、60min等)，调用所述执行程序，将工作区数据同步到暂存区，然后再将暂存区数据转化为一数据镜像文件保存至备份区。

进一步的实施例中，所述步骤2在内存芯片组(SDRAM)配置内存数据库执行程序时，所述数据库管理还配置用于实现内存数据库的数据页面和索引管理，并且采用链式页面存储结构存储内存页面数据，以及采用T树建立内存数据库索引链表。

由以上本发明的技术方案可知，本发明提出的嵌入式内存数据库的实现方法，支持通过C-API执行SQL语句，包括增、删、改、查等功能；支持设备掉电时的数据保护，防止因设备掉电而丢失数据；支持通过配置文件对内存数据库的一些运行参数进行设置，支持通过USB设备进行数据的导入导出，以通过设备USB接口接入USB存储设备，导入数据至内存数据库，以及将内存数据库数据导出；并且具备日志查询功能。与现有技术相比，其显著的有益效果在于：

1、利用本发明提出的嵌入式内存数据库的实现方法，可以显著提高嵌入式信息系统数据访问请求的响应时间，降低了嵌入式信息系统对CPU的性能要求；

2、利用本方法实现的内存数据库，可以防止掉电造成数据丢失，从而提高嵌入式信息系统数据的稳定性和完整性；

3、利用本方法实现的内存数据库，其操作接口支持SQL语句，使用该内存数据库操作，可以降低开发难度，提高开发效率。

附图说明

图1为嵌入式计算机系统的一个示例性架构示意图。

图2为本发明一实施方式嵌入式内存数据库的实现方法的流程示意图。

图3为内存数据库的数据调度示意图。

图4为利用图2实施例的方法所实现内存数据库的流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

如图1所示为一个嵌入式计算机系统的示例性架构示意图，其中，该嵌入式计算机系统包括中央处理器(CPU)、闪存(FLASH闪存)、内存芯片组(SDRAM，其实为一个内存空间)和系统总线。

中央处理器(CPU)采用ARM系列的嵌入式处理器，例如三星电子的ARM9系列嵌入式处理器S3C2410，该ARM9芯片S3C2410是32B微控制器，资源丰富，带独立的16KB的指令Cache和16kB数据Cache，LCD控制器、RAM控制器，NAND闪存控制器、3路UART、4路DMA、4路带PWM的Timer、并行I/O口、8路10位ADC、Touch Screen接口、I2C接口、I2S接口、2个USB接口控制器、2路SPI，且主频最高可达203MHz。因此在该处理器丰富资源的基础上，可以配置和扩展FLASH闪存和SDRAM内存，以便于在该平台上实现内存数据库。

系统总线包括地址总线和数据总线。

本实施例中，嵌入式计算机系统中运行的操作系统为一LINUX内核，由于Linux内核本身体积较大，而且嵌入式系统的资源有限，因此Linux用于嵌入式系统必须对Linux进行实时化和嵌入式化，因此在本实施例中优选地，通过配置内核，裁减shell和嵌入式C库对系统定制，使整个操作系统能够存放到容量较小的FLASH芯片中。

本实施例中，ARM9芯片S3C2410平台所使用的Linux内核是在Linux-2.4.18内核打上patch-2.4.18-S3C2410补丁后编译而成。S3C2410平台使用的文件系统是YAFFS，文件系统包括应用程序、Linux模块、配置文件等。

图2所示为本发明一实施方式嵌入式内存数据库的实现方法的流程示意图，其中，嵌入式内存数据库的实现方法包括以下步骤：

步骤1、在闪存内建立备份区，用于对内存数据库数据进行备份；

步骤2、在内存芯片组内配置内存数据库执行程序，包括配置管理、存储管理与调度、数据库管理，其中配置管理用于设置内存数据库占用内存资源最大空间以及备份频率，该备份频率即备份的时间间隔，存储管理与调度用于执行内存数据库中内存空间分配(即分配暂存区和工作区)、数据转移(即数据转移归档，例如通过USB接口将内存数据库数据导出等)、数据备份(即从工作区经过暂存区(快速进行的，时间可以忽略不计)，将数据存入备份区)和数据载入(即数据库启动时，从备份区到工作区的数据载入过程)；数据库管理用于实现新建/删除数据表和视图(视图即view，将几个数据表合成展现成一个大视图)、及数据库的数据增加、删除、查询、修改操作；

在前述步骤1、步骤2中，均根据载入系统的配置文件在闪存(FLASH)内以及内存芯片组(SDRAM)内配置备份区和执行程序，在前述步骤3中，亦根据配置文件中所设定的工作区占用内存资源的最大空间的大小，配置工作区和暂存区。配置文件的配置项如下：

1)Size：工作区占用内存资源的最大内存空间，单位MB；

2)backupfile：备份区文件路径；

3)isLoadFile：是否加载镜像文件，0为不加载镜像文件，1为加载硬盘镜像文件

4)sys_time：备份数据库时间间隔，单位秒。

前述步骤3中，第一内存区即工作区，用于实现内存数据库的数据增加、删除、查询、修改等操作；第二内存区即暂存区，同步工作区的内存数据。

如图3所示的内存数据库的数据调度图，第一内存区与第二内存区均设置在内存芯片组内，可实现快速的数据同步。如前所述，在内存数据库进行数据备份时，内存数据从工作区内快速同步至暂存区内，并从暂存区内再备份至位于闪存(FLASH)的备份区，从而实现内存数据的备份。

如前所述，内存数据库在Linux上运行，应用程序(例如执行程序)通过内存数据库提供的C-API接口对内存数据库进行操作。

因为工作区和暂存区都在内存芯片组(SDRAM)中，暂存区同步工作区数据的时间非常快，这样在不影响用户对工作区操作的情况下实现实时备份工作区数据，而备份文件存储在闪存(FLASH)中，即使设备掉电，也可以通过备份文件将内存数据库数据恢复掉电前状态，达到掉电数据不丢失功能，利用该掉电数据不丢失机制，可以在不影响内存数据库工作性能的情况下保证内存数据库数据的实时备份。

当然，用户可以将某一段时间闪存(FLASH)内存储的备份文件通过USB接口拷贝出来进行归档。

作为优选的实施方式，所述主线程的运行过程中，中央处理器(CPU)通过所述数据库管理单元提供的数据接口实现对内存数据库的数据操作，其包括以下过程：

1)中央处理器(CPU)判断是否(从其I/O接口)收到用户输入的数据操作请求(例如增加、删除、查询、修改)，如果是，则进入下述步骤2)，否则保持主线程挂起(以释放资源)；

3)挂起主进程。

作为优选的实施方式，所述子线程的运行过程中，以下述之一方式进行数据备份：

作为进一步优选的实施方式，所述子线程的运行过程中，中央处理器(CPU)根据所设置的备份频率(例如每隔5min、20min、60min等)，调用所述执行程序，将工作区数据同步到暂存区，然后再将暂存区数据转化为一数据镜像文件保存至备份区。也即，前述备份文件为镜像格式文件。

本实施例中，所述数据库管理单元提供的数据接口包括下述4类C-API接口：

1)bool ExecStatement(char*sz_SQL)

功能：执行SQL语句；

参数：sz_SQL，标准SQL执行语句字符串；

2)bool Get_DATA(char*sz_SQL，char*Data)

功能：执行查询语句并返回查询成功；

5)void StarMemDB()

功能：启动内存数据库工作流程并分配内存数据库资源；

参数：无；

4)void StopMemDB()

功能：停止内存数据库并释放内存数据库资源；

参数：无。

作为另选的实施方式，所述步骤2在内存芯片组(SDRAM)配置内存数据库执行程序时，所述数据库管理还配置用于实现内存数据库的数据页面和索引管理，为了加快内存数据库数据的读写速度，优选地，采用链式页面存储结构存储内存页面数据，以及采用T树建立内存数据库索引链表。

在该实施例中，所采用链式结构的页面存储管理方式，作为一个示例，其内存页结构如下：

typedef unsigned int pageId；//内存页号，其值为距离内存基地址的偏移量

typedef struct mempageheader

{

unsigned short version；//内存数据库版本信息

unsigned int pageSize；//内存页页面大小

pageId prePageId；//本内存页前一内存页页号

pageId nextPageId；//本内存页下一内存页页号

unsigned short freeMemHead；//指示内存页中可用空闲块首部

unsigned short freeMemTail；//指示内存页中可用空闲块尾部

unsigned int recordCounter；//本内存页中保存的有效记录数

unsigned short flag；//标志

}memPageHeader；

在该实施例中，所采用(时间复杂度为常量的)T树建立内存数据库索引链表，作为一个示例，其T树的结构定义如下：

如图4所示为利用图2实施例的方法所实现内存数据库的流程图，其中，内存数据库的工作过程具体包括以下：

步骤1：用户启动内存数据库；

步骤2：内存数据库加载配置文件的配置项；

步骤3：内存数据库根据配置文件的配置项，在内存芯片组SDRAM中开辟两块内存区，分别为工作区和暂存区；

步骤4：内存数据库检测指定配置路径是否存在数据库镜像文件：若存在镜像文件，则加载镜像文件数据(备份文件数据)至内存数据库工作区中；若不存在镜像，则提升并等待用户载入表格；

步骤5：加载内存数据库成功后，用户可以对数据库工作区数据进行增、删、查、改操作；

步骤6：在用户操作内存数据库同时，系统将创建一个线程(子进程)；

步骤7：该线程将工作区数据同步到暂存区，再将暂存区数据转化成数据镜像文件保存在闪存内建立的备份区中；

在内存数据库未关闭时，系统将以一定时间间隔(即备份频率)定期执行步骤6操作；

步骤8：当用户不需要使用内存数据库时，关闭该内存数据库，释放资源。

利用本发明的上述实施例所提出的嵌入式内存数据库实现方法，内存数据库提供如下功能：

1)支持通过C-API执行SQL语句，包括增、删、改、查等功能。

2)支持设备掉电时的数据保护，防止因设备掉电而丢失数据。

3)支持通过配置文件对内存数据库的一些运行参数进行设置。

4)支持通过USB设备进行数据的导入导出，以通过设备USB接口接入USB存储设备，

导入数据至内存数据库，并可以将内存数据库数据导出。

5)提供内存数据库日志，并具备日志查询功能。

综上所述，利用本发明所提出的嵌入式内存数据库实现方法，其实现的内存数据库可以提高嵌入式信息系统数据访问请求的响应时间，降低了嵌入式信息系统对CPU的性能要求；该内存数据库可以防止掉电造成数据丢失，从而提高嵌入式信息系统数据的稳定性和完整性，从而导致内存数据库被嵌入式信息系统广泛使用的可行性；由于嵌入式系统资源有限，但实际使用中业务量并没有那么大，因此嵌入式内存数据库主线程在处理完数据操作请求后将主线程挂起，以暂时释放内存数据库的CPU资源，直到等待下次操作请求才将主线程唤醒以处理操作请求，而一般PC机的内存数据库，由于业务量较大，因此要求主线程一直处于运行状态，以保证可以响应频繁的数据操作请求。而且，该内存数据库的操作接口支持SQL语句，使用该内存数据库操作，可以降低开发难度，提高开发效率。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种嵌入式内存数据库的实现方法，在一嵌入式计算机系统中实现，该嵌入式计算机系统包括中央处理器、闪存、内存芯片组和系统总线，其特征在于，该方法包括以下步骤：

步骤2、在内存芯片组配置内存数据库执行程序，包括配置管理、存储管理与调度、数据库管理，其中配置管理用于设置内存数据库占用内存资源最大空间以及备份频率，存储管理与调度用于执行内存数据库中内存空间分配、数据转移、数据备份和数据载入；数据库管理用于实现新建/删除数据表和视图、以及数据库的数据增加、删除、查询、修改操作；

步骤3、在内存芯片组建立作为工作区的第一内存区和作为暂存区的第二内存区；

步骤4、中央处理器控制执行内存数据库的功能实现，即通过一主线程实现内存数据库的数据操作以及通过一子线程实现内存数据库的数据备份，其中主线程与子线程具有同等优先级；

其中，所述主线程的运行过程中，中央处理器通过数据库管理单元提供的数据接口实现对内存数据库的数据操作，其包括以下过程：

1)中央处理器判断是否收到用户输入的数据操作请求，如果是，则进入下述步骤2)，否则保持主线程挂起；

2)中央处理器调用所述执行程序，通过所述数据库管理单元提供的数据接口执行用户输入的数据操作请求；

3)挂起主进程；

所述数据库管理单元提供的数据接口包括下述4类C-API接口：

1)bool ExecStatement(char*sz_SQL)

功能：执行SQL语句；

参数：sz_SQL，标准SQL执行语句字符串；

2)bool Get_DATA(char*sz_SQL，char*Data)

功能：执行查询语句并返回查询成功；

3)void StarMemDB()

功能：启动内存数据库工作流程并分配内存数据库资源；

参数：无；

4)void StopMemDB()

功能：停止内存数据库并释放内存数据库资源；

参数：无；

所述子线程的运行过程中，以下述之一方式进行数据备份：

1)中央处理器根据所设置的备份频率，调用所述执行程序，将内存数据库中的数据从工作区经过暂存区后存入备份区；以及

2)中央处理器调用执行程序执行内存数据库的数据操作时，同时将工作区数据同步到暂存区，再将暂存区数据保存至备份区；

所述子线程的运行过程中，中央处理器根据所设置的备份频率，调用所述执行程序，将工作区数据同步到暂存区，然后再将暂存区数据转化为一数据镜像文件保存至备份区；

所述步骤2在内存芯片组配置内存数据库执行程序时，所述数据库管理还配置用于实现内存数据库的数据页面和索引管理，并且采用链式页面存储结构存储内存页面数据，以及采用T树建立内存数据库索引链表。