CN108932298A - 一种优化数据查询性能的方法及系统 - Google Patents

Abstract

本发明提供一种优化数据查询性能的方法及系统，其包括：引入关系数据库之外的分布式内存数据库；在所述关系数据库和所述分布式内存数据库间建立同步修改机制。本发明提供的技术方案通过在关系数据库之外引入分布式内存数据库，并建立同步修改机制保证数据的一致性，减少对传统关系型数据库的读写次数，使得数据查询速度大幅提高，并且在多用户并发时计算速度也不受任何影响，使用简便，适应性广泛。

Description

一种优化数据查询性能的方法及系统

技术领域

本发明属于电力系统仿真计算应用领域，具体涉及一种优化数据查询性能的方法及系统。

背景技术

在电力系统仿真计算应用中，整个计算过程包括从数据库中读取计算数据、生成计算文件、调用核心计算程序、解析计算结果文件、回存结果数据到数据库中，这一过程主要依赖关系数据库，在读取计算数据和回存结果数据环节，涉及到针对关系数据库的大批量数据读和写。

以一次2016年度潮流计算为例，形成计算文件从关系数据库读出分区表记录316条，读出厂站表记录338条，读出母线表记录38608条，读出节点表记录38608条，读出发电机表记录5112条，读出负荷表记录7519条，读出交流线表记录23018条，读出变压器表记录13967条，读出电容电抗器表记录18735条，读出直流线表记录40条，读出换流器表记录40条；回写结果数据时，向关系数据库写节点表记录37447条，写发电机表记录2931条，写负荷表记录7075条，写交流线表记录21167条，写变压器表记录13493条，写电容电抗器表记录18720条，写直流线表记录38条。

在进行大数据量吞吐时，关系数据库的数据实时处理性能表现较差，并且在高并发时，会对关系数据库产生较大的访问压力，关系数据库无论是横向扩展(Scale-out)还是纵向扩展(Scale-up)，都比较困难，市场上即使有现成解决方案，但是成本都比较昂贵。

为此需要寻找一种提高数据访问速度的方法以解决数据访问性能和负载问题，通过减少对传统关系型数据库的读写次数，提高整个系统的计算性能并支持更多的并发用户数，有效地改进用户体验。

内存计算(In-Memory Computing)，实质上就是CPU直接从内存而非硬盘上读取数据，并对数据进行计算、分析。此项技术是对传统数据处理方式的一种加速，是实现海量数据分析的关键应用技术。由于内存相对于磁盘，其读写速度要快很多倍，因此内存计算能够使数据计算的速度呈几何级增长，非常适合处理海量的数据，以及需要实时获得结果的数据。

分布式内存数据库(IMDB,In-Memory Database)，它的显著特性是增加了基于标准SQL或MapReduce的MPP(Massive Parallel Processing，大规模并行处理)能力，能够解决计算复杂度不断增长的问题。它提供了分布式SQL、复杂(分布式共享)索引、MapReduce处理等工具，极大地提高数据库应用和并发用户处理的性能。

发明内容

本发明针对大数据量吞吐时关系数据库实时处理性能表现较差的问题，提出了一种优化数据查询性能的方法及系统。通过本方法，可大幅提高数据查询速度，从而有效提高电力系统仿真计算性能并支持更多的并发用户数。

本发明提供的一种优化数据查询性能的方法，包括：

引入关系数据库之外的分布式内存数据库；

在所述关系数据库和所述分布式内存数据库间建立同步修改机制。

优选的，所述在所述关系数据库和所述分布式内存数据库间建立同步修改机制，包括：

当系统调用数据查询接口时，优先读取所述分布式内存数据库中的数据，否则将从所述关系数据库中读取的数据同步到所述分布式内存数据库中；

当系统对作业进行刷新操作时，系统将刷新后的数据同步到所述分布式内存数据库中；

当系统调用数据修改接口时，系统修改或删除所述关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中。

优选的，所述当系统调用数据查询接口时，优先读取所述分布式内存数据库中的数据，否则将从所述关系数据库中读取的数据同步到所述分布式内存数据库中，包括：

若在所述分布式内存数据库中存在内存拷贝的数据，则系统从所述分布式内存数据库中直接读取数据，否则，系统读取所述关系数据库中的数据，同时在后台调用数据处理程序将所述关系数据库中的数据同步到所述分布式内存数据库中。

优选的，所述当系统对作业进行刷新操作时，系统将刷新后的数据同步到所述分布式内存数据库中，包括：

系统对作业执行数据刷新操作时，将清空所述分布式内存数据库中所述作业的计算数据，然后执行数据刷新操作，并将刷新后的数据同步到所述分布式内存数据库中。

优选的，所述当系统调用数据修改接口时，系统修改或删除所述关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中，包括：

当系统调用数据修改接口时，系统对作业数据进行修改，并将修改后的数据保存到所述关系数据库，同时调用数据处理程序将修改后的数据同步到所述分布式内存数据库中；

当删除作业时，系统将删除所述关系数据库中所述作业的数据，并在所述分布式内存数据库中删除所述作业的数据。

优选的，所述调用数据处理程序将修改后的数据同步到所述分布式内存数据库中，包括：

系统触发进行所述分布式内存数据同步的切面，在切面中调用对元件进行数据修改的REST服务，在REST服务中传入工程ID、作业ID、元件类型、元件ID以及修改的字段名及字段值，通过工程ID、作业ID、元件类型确定进行数据修改的元件的region名称，通过元件ID及region名称定位到要修改的记录，然后将修改后的字段的数据同步到所述分布式内存数据库中。

优选的，所述数据处理程序包括：

从所述关系数据库加载计算数据至所述分布式内存数据库、同步计算数据至所述分布式内存数据库、从所述分布式内存数据库读取计算数据生成计算文件、解析计算结果文件并将计算结果数据回存至所述关系数据库。

优选的，所述分布式内存数据库包括：GemFire/Geode分布式内存数据库和Hazelcast。

一种优化数据查询性能的系统，包括：

数据库引入模块：用于引入关系数据库之外的分布式内存数据库；

同步修改模块：用于在所述关系数据库和所述分布式内存数据库间建立同步修改机制。

优选的，所述同步修改模块包括：

数据处理子模块，用于当系统调用数据查询接口时，优先读取所述分布式内存数据库中的数据，否则将从所述关系数据库中读取的数据同步到所述分布式内存数据库中；

刷新处理子模块，用于当系统对作业进行刷新操作时，系统将刷新后的数据同步到所述分布式内存数据库中；

修改或删除子模块，用于当系统调用数据修改接口时，系统修改或删除所述关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中。

优选的，所述数据处理子模块包括：

判断单元，用于判断所述分布式内存数据库中是否存在内存拷贝数据，若在分布式内存数据库中存在内存拷贝的数据，则系统从所述分布式内存数据库中直接读取数据，否则，系统读取所述关系数据库中的数据；

数据同步单元，用于当系统读取所述关系数据库中的数据时，在后台调用数据处理程序将关系数据库中的数据同步到分布式内存数据库中。

优选的，所述修改或删除子模块包括：

修改单元，用于当系统调用数据修改接口时，系统对作业数据进行修改，并将修改后的数据保存到所述关系数据库，同时调用数据处理程序将修改后的数据同步到所述分布式内存数据库中；

删除单元，用于当删除作业时，系统将删除所述关系数据库中所述作业的数据，并在所述分布式内存数据库中删除所述作业的数据。

与最接近的现有技术比，本发明提供的技术方案具有以下优异效果：

本发明提供的技术方案，利用分布式内存数据库技术优化数据查询性能的方法，在关系数据库之外提供一个高性能的分布式内存数据库，将热点数据或单次访问量大的数据存入到分布式内存数据库中，建立数据同步修改机制保证数据的一致性。在减少对传统关系型数据库的读写次数的前提下，数据的读写主要在内存中进行，使得数据查询和刷新速度大幅提高。

本发明提供的技术方案，优化了数据查询性能，使整个计算速度提高10倍以上，并且在多用户并发时计算速度也不受任何影响。

本发明提供的优化数据查询性能的方法，不仅适用于目前电网仿真计算采用的GemFire/Geode分布式内存数据库，也适用于其他分布式内存数据库，例如Hazelcast等，适应性广泛。

附图说明

图1为本发明的优化数据查询性能的方法流程图；

图2为本发明的系统读取数据流程图；

图3为本发明的系统修改数据流程图；

图4为本发明的统一计算平台系统结构示意图。

具体实施方式

下面结合附图对本发明的实施方式作进一步详细说明。

实施例一

本发明实施例提出一种优化数据查询性能的方法，流程图如图1所示，包括以下步骤：

引入关系数据库之外的分布式内存数据库；

在所述关系数据库和所述分布式内存数据库间建立同步修改机制。

当系统调用数据查询接口时，优先读取分布式内存数据库中的数据，否则将从关系数据库中读取的数据同步到分布式内存数据库中，详细步骤如图2所示：

在调用数据查询接口生成计算文件时，系统会判断需要读取的数据是否在分布式内存数据库中，如果数据在分布式内存数据库中则系统直接从分布式内存数据库中读取数据生成计算文件，否则系统从关系数据库中读取数据生成计算文件，同时系统会调用数据处理程序将关系数据库中的数据同步到分布式内存数据库中。

采用分布式内存数据库以后，当对某个作业进行第一次计算时，系统将从关系数据库中读取数据生成计算文件，同时在后台会调用数据处理程序将关系数据库中的数据同步到分布式内存数据库中，以后对同一个作业再次进行计算时，若内存拷贝已经完成，系统将直接从分布式内存数据库中读取数据生成计算文件，而不需要再次访问关系数据库。

当系统对作业进行刷新操作时，系统将刷新后的数据同步到分布式内存数据库中：

当对作业执行数据刷新操作时，系统首先将清空分布式内存数据库中该作业的计算数据，然后执行数据刷新操作，最后将刷新后的数据同步到分布式内存数据库中。

当系统调用数据修改接口时，系统修改或删除关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中，详细步骤如图3所示：

当psucp程序对某元件进行数据编辑操作时，系统首先将修改后的数据保存到关系数据库中，然后触发进行内存数据同步的切面，在切面中调用针对该元件进行数据修改的REST服务，在REST服务中传入工程ID、作业ID、元件类型、元件ID以及修改的字段名及字段值，通过工程ID、作业ID、元件类型可确定进行数据修改的元件的region名称，通过元件ID及region名称可定位到要修改的记录，然后将修改后的字段的数据同步到分布式内存数据库中。

当删除作业时，系统会将关系数据库中该作业的数据删除，同时会将分布式内存数据库中该作业的数据删除。

本发明实施例还提出一种优化数据查询性能的系统，包括：

数据库引入模块：用于引入关系数据库之外的分布式内存数据库；

同步修改模块：用于在所述关系数据库和所述分布式内存数据库间建立同步修改机制。

同步修改模块包括：

数据处理子模块，用于当系统调用数据查询接口时，优先读取分布式内存数据库中的数据，否则将从关系数据库中读取的数据同步到分布式内存数据库中；

刷新处理子模块，用于当系统对作业进行刷新操作时，系统将刷新后的数据同步到分布式内存数据库中；

修改或删除子模块，用于当系统调用数据修改接口时，系统修改或删除关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中。

所述数据处理子模块包括：

判断单元，用于判断分布式内存数据库中是否存在内存拷贝数据，若在分布式内存数据库中存在内存拷贝的数据，则系统从分布式内存数据库中直接读取数据，反之若不存在内存拷贝的数据，则系统读取关系数据库中的数据；

数据同步单元，用于在后台调用数据处理程序将关系数据库中的数据同步到分布式内存数据库中。

所述修改或删除子模块包括：

修改单元，用于当系统调用数据修改接口时，系统对作业数据进行修改，并将修改后的数据保存到关系数据库，同时调用数据处理程序将修改后的数据同步到分布式内存数据库中；

删除单元，用于当删除作业时，系统将删除关系数据库中所述作业的数据，并在分布式内存数据库中删除所述作业的数据。

结合图4对一种优化数据查询性能的系统做进一步介绍：

数据处理程序，用于从关系数据库加载计算数据至分布式内存数据库、同步计算数据至分布式内存数据库、从分布式内存数据库读取计算数据生成计算文件、解析计算结果文件并将计算结果数据回存至关系数据库；

计算处理程序，用于从消息中间件中接收计算请求、生成计算文件、调用核心计算程序执行计算、计算完成后调用数据处理程序将计算结果回存至关系数据库和分布式内存数据库。

计算处理程序可以部署在多台物理机器上，部署了计算处理程序的多台计算机组成计算处理集群。

psucp程序，用于实现用户交互应用程序，包括编辑计算数据、提交计算请求到消息中间件、查看计算结果等。

分布式内存数据库，用于分布式存储计算数据到内存，本设计采用GemFire。

GemFire使用一个轻量级的定位服务器来追踪所有成员的连接，这个定位服务器就叫locator。locator作为一个独立的进程运行。每一个新加入的成员连接到locator上，从而发现可用的成员列表。客户端连接到locator，从而获得服务端连接信息。另外，locator还提供负载均衡功能。

GemFire本身是基于内存的技术架构，对于并发访问有天然的IO优势，同时GemFire是一个分布式数据库，可以将数据访问的请求分散到集群中，有效降低了单个服务器的负荷，GemFire是动态的分布式架构，可以在运行时增加服务节点，从而获得更高的并发性能。

Cache Server提供数据的内存存储和管理。可动态地添加新的成员到系统中，新成员会自动发现其他已有的成员。对于replicated region新成员自动下载数据到本地；对于partitioned region除非手动告诉GemFire重新均衡数据，否则不会自动同步数据。

region是GemFire分布式系统的核心建筑块。所有缓存的数据都被放入region中，可以针对region实现数据存放、数据读取、数据查询等操作。

replicated region在每个GemFire成员上都同步地保存一份完整的数据拷贝；partitioned region允许在分布式系统中配置数据库拷贝的数量。GemFire将分区用户数据，以便每一个成员仅仅存储数据的一部分。

本发明采用partitioned region来存储数据，将每个工程每个作业每类元件的信息分别存储到一个region中，region命名采用"uniondb_"+prjId+"_"+caseId+"_"+tableName格式，其中prjId表示工程ID，caseId表示作业ID，tableName表示具体元件的数据表名称，比如工程ID为1，作业ID为2，交流线表名称为LF_CASE_ACLINE，那么region名称为“uniondb_1_2_LF_CASE_ACLINE”。利用Gemfire支持类Map-Reduce并行处理机制，实现中主要采用了Client-Server的Gemfire拓扑结构。Client端主要做数据同步(输入数据从数据库同步到Gemfire，计算结果从文件同步到Gemfire和数据库)，Server端按照partitioned region来存储表数据。多个Cache-Server保存数据，Cache-Server针对分区数据执行转换计算，形成的结果通过列表发送给Client端，并在Client端汇总生成计算输入文件。

关系数据库，用于持久存储psucp应用数据。

psucp程序将计算任务提交到消息中间件中，计算处理程序从消息中间件中接收计算任务，调用数据处理程序从关系数据库(如果计算数据不在分布式内存数据库中)或者分布式内存数据库中载入计算数据生成计算文件，调用核心计算程序执行计算，最后调用数据处理程序将计算结果回存到关系数据库和分布式内存数据库中，同时如果计算数据不在分布式内存数据库中，系统会调用数据处理程序将计算数据同步到分布式内存数据库中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (12)

1.一种优化数据查询性能的方法，其特征在于，包括：

引入关系数据库之外的分布式内存数据库；

在所述关系数据库和所述分布式内存数据库间建立同步修改机制。

2.如权利要求1所述的方法，其特征在于，所述在所述关系数据库和所述分布式内存数据库间建立同步修改机制，包括：

当系统调用数据查询接口时，优先读取所述分布式内存数据库中的数据，否则将从所述关系数据库中读取的数据同步到所述分布式内存数据库中；

当系统对作业进行刷新操作时，系统将刷新后的数据同步到所述分布式内存数据库中；

当系统调用数据修改接口时，系统修改或删除所述关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中。

3.如权利要求2所述的方法，其特征在于，所述当系统调用数据查询接口时，优先读取所述分布式内存数据库中的数据，否则将从所述关系数据库中读取的数据同步到所述分布式内存数据库中，包括：

若在所述分布式内存数据库中存在内存拷贝的数据，则系统从所述分布式内存数据库中直接读取数据，否则，系统读取所述关系数据库中的数据，同时在后台调用数据处理程序将所述关系数据库中的数据同步到所述分布式内存数据库中。

4.如权利要求2所述的方法，其特征在于，所述当系统对作业进行刷新操作时，系统将刷新后的数据同步到所述分布式内存数据库中，包括：

系统对作业执行数据刷新操作时，将清空所述分布式内存数据库中所述作业的计算数据，然后执行数据刷新操作，并将刷新后的数据同步到所述分布式内存数据库中。

5.如权利要求2所述的方法，其特征在于，所述当系统调用数据修改接口时，系统修改或删除所述关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中，包括：

当系统调用数据修改接口时，系统对作业数据进行修改，并将修改后的数据保存到所述关系数据库，同时调用数据处理程序将修改后的数据同步到所述分布式内存数据库中；

当删除作业时，系统将删除所述关系数据库中所述作业的数据，并在所述分布式内存数据库中删除所述作业的数据。

6.如权利要求5所述的方法，其特征在于，所述调用数据处理程序将修改后的数据同步到所述分布式内存数据库中，包括：

系统触发进行所述分布式内存数据同步的切面，在切面中调用对元件进行数据修改的REST服务，在REST服务中传入工程ID、作业ID、元件类型、元件ID以及修改的字段名及字段值，通过工程ID、作业ID、元件类型确定进行数据修改的元件的region名称，通过元件ID及region名称定位到要修改的记录，然后将修改后的字段的数据同步到所述分布式内存数据库中。

7.如权利要求5所述的方法，其特征在于，所述数据处理程序包括：

从所述关系数据库加载计算数据至所述分布式内存数据库、同步计算数据至所述分布式内存数据库、从所述分布式内存数据库读取计算数据生成计算文件、解析计算结果文件并将计算结果数据回存至所述关系数据库。

8.如权利要求2所述的方法，其特征在于，所述分布式内存数据库包括：GemFire/Geode分布式内存数据库和Hazelcast。

9.一种优化数据查询性能的系统，其特征在于，包括：

数据库引入模块：用于引入关系数据库之外的分布式内存数据库；

同步修改模块：用于在所述关系数据库和所述分布式内存数据库间建立同步修改机制。

10.如权利要求9所述的系统，其特征在于，所述同步修改模块包括：

数据处理子模块，用于当系统调用数据查询接口时，优先读取所述分布式内存数据库中的数据，否则将从所述关系数据库中读取的数据同步到所述分布式内存数据库中；

刷新处理子模块，用于当系统对作业进行刷新操作时，系统将刷新后的数据同步到所述分布式内存数据库中；

修改或删除子模块，用于当系统调用数据修改接口时，系统修改或删除所述关系数据库的作业数据，并同步修改或删除后的数据到所述分布式内存数据库中。

11.如权利要求10所述的系统，其特征在于，所述数据处理子模块包括：

判断单元，用于判断所述分布式内存数据库中是否存在内存拷贝数据，若在分布式内存数据库中存在内存拷贝的数据，则系统从所述分布式内存数据库中直接读取数据，否则，系统读取所述关系数据库中的数据；

数据同步单元，用于当系统读取所述关系数据库中的数据时，在后台调用数据处理程序将关系数据库中的数据同步到分布式内存数据库中。

12.如权利要求10所述的系统，其特征在于，所述修改或删除子模块包括：

修改单元，用于当系统调用数据修改接口时，系统对作业数据进行修改，并将修改后的数据保存到所述关系数据库，同时调用数据处理程序将修改后的数据同步到所述分布式内存数据库中；

删除单元，用于当删除作业时，系统将删除所述关系数据库中所述作业的数据，并在所述分布式内存数据库中删除所述作业的数据。