CN102279885A - 内存数据库对数据的操作方法及装置 - Google Patents

Abstract

本发明提供了一种内存数据库对数据的操作方法及装置，其中，上述方法包括：内存数据库加载预先存放在文件中的产品运行所需的全部数据；内存数据库响应于外界请求，对加载的数据进行操作。采用本发明提供的上述技术方案，解决了相关技术中产品运行依赖物理数据库而导致的数据操作效率较低及浪费成本等问题，进而实现了使用内存数据库取代物理数据库，从而取得了降低对物理数据库的依赖，提高对数据的操作效率以及节省成本的效果。

Description

内存数据库对数据的操作方法及装置

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种内存数据库对数据的操作方法及装置。

背景技术

随着信息技术的发展，社会信息化程度越来越高，数据库在各行各业中的应用越来越广，物理数据库中存放了产品运行所需的业务相关数据和配置数据等，物理数据库的存在保证了数据的稳定性。但是随着信息技术的不断发展，高速实时处理数据成为普遍的需求，所以越来越多的应用系统都开发了基于内存运算的专用存储程序(内存数据库)，将常用的数据缓存在内存中，加快了访问速度，提高了产品性能。内存数据库的产生大大减少了对物理数据库的I/O(输入/输出)操作，对物理数据库的各种操作改成了对内存的操作，提高效率的同时也弱化了对物理数据库的依赖，物理数据库存在的最主要意义就变成了对数据的保存，以及加载数据的来源。

同时，目前存在这样一类产品，数据量较大，数据实时查询较多，但是数据本身变动较少，该类产品对数据的操作可以通过与内存数据库的交互完成，此时如果再投入较大成本购买数据库产品及配套服务，而物理数据库只用于数据备份及加载，显然有些得不偿失。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种内存数据库对数据的操作方法及装置，以解决上述问题至少之一。

根据本发明的一个方面，提供了一种内存数据库对数据的操作方法，包括：内存数据库加载预先存放在文件中的产品运行所需的全部数据；内存数据库响应于外界请求，对加载的数据进行操作。

上述文件包括：全量数据文件和日志文件，其中，全量数据文件用于表示截止到指定时间生成的业务数据，日志文件用于存放生成全量数据文件之后的数据操作记录。

上述内存数据库加载预先存放在文件中的产品运行所需的全部数据之后，还包括：内存数据库重新执行日志文件中的操作记录所对应的操作。

上述方法还包括：在预定时间点到达时，内存数据库生成当前的文件和/或删除已经过期的文件。

上述文件为以下之一格式：文本txt格式、SQL格式、XLS格式。

上述内存数据库对加载的数据进行以下至少之一操作：查询、更新、增加、删除。

根据本发明的另一方面，提供了一种内存数据库对数据的操作装置，包括：加载模块，用于加载预先存放在文件中的产品运行所需的全部数据；操作模块，用于响应于外界请求，对加载的数据进行操作。

上述文件包括：全量数据文件和日志文件，其中，全量数据文件用于表示截止到指定时间生成的业务数据，日志文件用于存放生成全量数据文件之后的数据操作记录。

上述加载模块，还用于重新执行日志文件中的操作记录所对应的操作。

上述装置还包括：定时任务模块，用于在预定时间点到达时，通知操作模块生成当前的文件和/或删除已经过期的文件。

通过本发明，采用将预先存放在文件中的产品运行所需的全部数据加载到内存数据库的技术手段，解决了相关技术中产品运行依赖物理数据库而导致的数据操作效率较低及浪费成本等问题，进而实现了使用内存数据库取代物理数据库，从而取得了降低对物理数据库的依赖，提高对数据的操作效率以及节省成本的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为根据本发明实施例的内存数据库对数据的操作方法的流程图；

图2为根据本发明实施例的内存数据库对数据的操作装置结构框图；

图3为根据本发明实施例的内存数据库对数据的操作装置结构示意图；

图4为根据本发明优选实施例3的内存数据库对数据的操作系统结构示意图；

图5为根据本发明优选实施例3的业务调用接口模块与内存数据库模块的交互流程示意图；

图6为根据本发明优选实施例3的定时任务模块与内存数据库模块的交互流程示意图；

图7为根据本发明优选实施例3的定时任务模块与内存数据库模块的另外一个交互流程示意图；

图8是内存数据库模块业务启动时加载流程示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1为根据本发明实施例的内存数据库对数据的操作方法的流程图。如图1所示，该方法包括：

步骤S102，内存数据库加载预先存放在文件中的产品运行所需的全部数据；

步骤S104，内存数据库响应于外界请求，对加载的数据进行操作。

无论产品是否为数据量较大，数据实时操作较多，但是数据本身变动较少的产品，均可以利用上述处理过程对数据进行操作，可以有效提高对数据的操作效率。尤其针对数据量较大，数据实时操作较多，但是数据本身变动较少的产品，可以利用上述处理过程，使用内存数据库取代物理数据库，从而降低对物理数据库的依赖以及节省成本。

上述文件包括：全量数据文件和日志文件，其中，全量数据文件用于表示截止到指定时间生成的业务数据，日志文件用于存放生成全量数据文件之后的数据操作记录。

为了保证内存数据库中的文件为完整的业务数据，内存数据库加载预先存放在文件中的产品运行所需的全部数据之后，还可以包括以下处理过程：内存数据库重新执行日志文件中的操作记录所对应的操作。

为了保持内存数据库中数据及时更新以及节省内存空间，在预定时间点到达时，内存数据库生成当前文件和/或删除已经过期的文件。

在上述内存数据库加载产品运行所需的全部数据时，为了使内存数据库可以读取需要加载的数据，可以将数据存放在预定格式(该格式应为可被内存数据读取的格式)的文件中，例如文本txt本件、XML文件、SQL文件等。因此，上述文件可以为以下之一格式：文本txt格式、SQL格式、XLS格式等。

上述内存数据库对加载的数据可以进行以下至少之一操作：查询、更新、增加、删除。

在本实施例中还提供了一种内存数据库对数据的操作装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述，下面对该装置中涉及到模块进行说明。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图2为根据本发明实施例的内存数据库对数据的操作装置结构框图。如图2所示，该装置包括：

加载模块20，用于加载预先存放在文件中的产品运行所需的全部数据；

操作模块22，与加载模块20相连，用于响应于外界请求，对加载的数据进行操作。

优选地，上述包括：全量数据文件和日志文件，其中，全量数据文件用于表示截止到指定时间生成的业务数据，日志文件用于存放生成全量数据文件之后的数据操作记录。

优选地，如图3所示，上述装置还可以包括：定时任务模块24，与操作模块22相连，用于在预定时间点到达时，通知操作模块22生成当前的文件和/或删除已经过期的文件。

下面结合优选实施例进行说明，以下优选实施例结合了上述实施及其优选实施方式。

优选实施例1

本实施例提供一种使用文本文件和内存数据库取代物理数据库的方法，特别适用于一些数据查询交互较多，数据变更较少的产品，即通过文本文件和内存数据库的方式，扩展内存数据库的相关功能，配合定时任务等，取代产品对物理数据库的依赖，其中文本文件包括全量数据文件和日志文件，用于保存所有的业务数据；内存数据库读取上述文件，为业务查询提供数据来源，并根据业务变更请求更新数据。应用实施例能够以较低的成本实现数据库功能，摆脱了对数据库的依赖，降低了产品开发维护人员熟悉产品的门槛，对于提高产品竞争力具有很好的帮助作用。本实施例的具体实现方案如下：

将产品运行所需数据全部存放在文本文件中，包括全量数据文件和日志文件，其中全量数据文件是生成截止定时任务指定时间的全量业务数据，日志文件存放全量数据文件生成之后的数据更改操作记录。

产品启动阶段，通过读取全量数据文件及日志文件，完成加载所有业务数据到内存数据库中。

产品运行阶段，业务所需的数据信息通过查询内存数据库完成。

产品运行阶段，如果有数据的变更，如增加、删除、更新，则通过操作内存数据库来完成数据更新，保证内存数据库中的记录准确性，同时记录日志文件，为后期业务启动时的数据加载提供数据源。

产品运行阶段，设定定时任务，由内存数据库生成全量数据文件，并删除过期的全量数据文件及日志文件。

产品再次启动时，通过读取最新的全量数据文件及之后的日志文件，完成数据的加载，保证数据完整性。

使用内存数据库及文本文件取代物理数据库的方法有以下优势：(1)、降低产品成本，节省了购买物理数据库及配套服务的支出。(2)、提高产品可维护性，不再需要强调产品开发维护人员精通数据库知识，开发维护人员可以快速上手。(3)、降低产品因物理数据库及第三方设备问题等引发异常的风险。

优选实施例2

本实施例可以以较低成本取代产品所需的物理数据库，具体方案如下：

1、在产品中引入内存数据库，这样可以提高查询速度，优化产品性能。

2、把现有的业务数据整理成文件格式，且定义格式与内存数据库读取文件格式保持一致。不同表结构的数据可以整理在同一个文件中，使用配置段区分不同数据内容段。

3、产品启动阶段，内存数据库读取全量数据文件及之后的日志文件，把日志文件中的相关操作重新执行一次，这样就可以保证内存数据库中的数据是完整的业务数据。

4、产品运行阶段的数据查询操作通过与内存数据库交互完成，运行阶段的增删及修改操作需要更新内存数据库，并按照约定的格式生成用以记录数据修改操作信息的同步日志文件，并将该文件保存在磁盘上，供内存数据库模块再次启动时加载使用。日志文件可在不同设备间转移，与操作系统及数据库类型无关，通用性好。

5、产品运行阶段，可以通过设定定时任务，导出当前内存数据库中的业务信息到全量数据文件中；删除历史全量数据文件及历史日志文件。

优选实施例3

图4为根据本发明优选实施例3的内存数据库对数据的操作系统结构示意图。如图4所示，该系统包括：

产品与内存数据库的业务调用接口模块40，是产品进行各种数据查询、更新、增删的操作入口模块。

系统内置的定时任务模块42(相当于定时任务模块24)，用于通知内存数据库模块44进行数据文件生成、删除过期记录、定期数据核对等操作。

内存数据库模块44，是整个方案的核心模块，取代了物理数据库的功能。产品启动阶段该模块读取全量数据文件及之后产生的日志文件，加载所有业务数据；为业务查询操作提供数据来源；接收业务的数据更新操作，更新内存数据库并生成日志文件；接收定时任务的通知，生成当前的全量数据文件并删除过期文件。

全量数据文件管理模块46，负责管理全量数据文件。

日志文件管理模块48，负责管理日志文件。

图5为根据本发明优选实施例3的业务调用接口模块40与内存数据库模块44的交互流程示意图，图5所示流程中，共包括4个流程，各个流程之间可以独立运行，也可以按照特定顺序组合运行。具体如下：

数据查询流程：

步骤S502，产品运行阶段，业务调用接口模块40通过查询请求消息(ServQryReq)向内存数据库模块44发起数据查询。

步骤S504，内存数据库模块44通过查询响应消息(ServQryRsp)回复请求消息的查询结果。

数据修改流程：

步骤S506，业务调用接口模块40通过ServModifyReq消息发起数据修改操作。

步骤S508，内存数据库模块44通过ServModifyRsp消息回复响应。

数据更新流程：

步骤S510，内存数据库模块44根据更新请求(Update record)更新自身数据，保证后期数据查询准确性。

日志记录流程：

步骤S512，内存数据库模块44通过RecordLogRequest消息通知日志文件管理模块48进行日志消息的记录，记录格式需要和内存数据库预先约定好，保证内存数据库模块再次启动时能正常读取并执行该文件中的记录。

步骤S514，日志文件管理模块48回送响应消息RecordLogRespond。

图6为根据本发明优选实施例3的定时任务模块与内存数据库模块的交互流程示意图。和图5类似，图6中包括以下几个流程，各个流程之间可以独立运行，也可以按照特定顺序组合运行。具体如下：

全量数据文件生成流程：

步骤S602，定时任务模块42通过请求消息(OpertaionReq)告知内存数据库模块44生成全量数据文件。

步骤S604，内存数据库模块44回送响应消息(OpertaionRsp)。

在上述全量数据文件生成流程中，还可以包括：步骤S606，内存数据库模块44通过既定规则生成全量数据文件，生成的数据文件格式要事先约定，保证能被内存数据库模块44正常读取。

步骤S608，内存数据库模块44发送NotifySmReq消息给全量数据文件管理模块46，该NotifySmReq消息用于通知全量数据文件管理模块获取新生成的全量数据文件。

步骤S610，全量数据文件管理模块46回复响应消息NotifySmRsp消息。

步骤S612，全量数据文件管理模块46通过FTP功能(通过Get FileReq消息)从内存数据库模块44获取全量内存数据文件。

图7为根据本发明优选实施例3的定时任务模块与内存数据库模块的另外一个交互流程示意图，具体如下：

步骤S702，定时任务模块42通过OpertaionReq消息通知内存数据库模块44进行过期记录的删除。

步骤S704，内存数据库模块44回送OpertaionRsp响应消息给定时任务模块42。

步骤S706，内存数据库模块44通过NotifySmReq1消息通知全量数据文件管理模块46删除过期数据。

步骤S708，全量数据文件管理模块46根据相关配置备份并删除过期的文件。

步骤S710，全量数据文件管理模块46回送响应消息NotifySmRsp1给内存数据库模块44。

步骤S712，内存数据库模块44通过NotifySmReq2消息通知日志文件管理模块48删除过期数据。

步骤S714，日志文件管理模块48根据相关配置备份并删除过期的文件。

步骤S716，日志文件管理模块48回送响应消息NotifySmRsp2给内存数据库模块44。

图8是内存数据库模块业务启动时加载流程示意图。具体如下：

步骤S802，内存数据库模块44启动时置位为启动状态(LockAllReq)，不处理外部相关请求消息。

步骤S804，内存数据库模块44从全量数据文件管理模块46获取最新的全量数据文件(即GetFullFile)。

步骤S806，内存数据库模块44从日志文件管理模块48获取上述全量数据文件之后的增量日志文件(即GetLogFile)。

步骤S808，内存数据库模块44读取全量数据文件(即ReadFullFile)，加载到内存数据库模块44中。

步骤S810，内存数据库模块44读取增量日志文件(ReadLogFile)，加载增量数据到内存数据库44中。

步骤S812，内存数据库模块44置位为正常工作状态(UnLockAllReq)，接收各种请求操作。

上述实施例可以使一类数据查询交互较多，数据变更较少的产品摆脱对物理数据库的依赖，降低产品成本，提高产品竞争力，可以取得良好的推广效果，具有很强的通用性。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种内存数据库对数据的操作方法，其特征在于，包括：

内存数据库加载预先存放在文件中的产品运行所需的全部数据；

所述内存数据库响应于外界请求，对所述加载的数据进行操作。

2.根据权利要求1所述的方法，其特征在于，所述文件包括：全量数据文件和日志文件，其中，所述全量数据文件用于表示截止到指定时间生成的业务数据，所述日志文件用于存放生成所述全量数据文件之后的数据操作记录。

3.根据权利要求2所述的方法，其特征在于，所述内存数据库加载预先存放在文件中的产品运行所需的全部数据之后，还包括：

所述内存数据库重新执行所述日志文件中的所述操作记录所对应的操作。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

在预定时间点到达时，所述内存数据库生成当前的所述文件和/或删除已经过期的所述文件。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述文件为以下之一格式：

文本txt格式、SQL格式、XLS格式。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述内存数据库对所述加载的数据进行以下至少之一操作：

查询、更新、增加、删除。

7.一种内存数据库对数据的操作装置，其特征在于，包括：

加载模块，用于加载预先存放在文件中的产品运行所需的全部数据；

操作模块，用于响应于外界请求，对所述加载的数据进行操作。

8.根据权利要求7所述的装置，其特征在于，所述文件包括：全量数据文件和日志文件，其中，所述全量数据文件用于表示截止到指定时间生成的业务数据，所述日志文件用于存放生成所述全量数据文件之后的数据操作记录。

9.根据权利要求8所述的装置，其特征在于，所述加载模块，还用于重新执行所述日志文件中的所述操作记录所对应的操作。

10.根据权利要求7至9任一项所述的装置，其特征在于，还包括：

定时任务模块，用于在预定时间点到达时，通知所述操作模块生成当前的所述文件和/或删除已经过期的所述文件。

Images