CN109446252A - 一种用于电网调控的统一访问方法及系统 - Google Patents

Abstract

一种用于电网调控的统一访问方法及系统，包括：基于接收的访问请求的优先级在缓冲池中进行查询；当存在对应的结果时，返回对应结果；否则，解析所述访问请求的统一资源标识符URI获取资源地址，基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储在缓冲池中，并返回所述查询结果。本发明结合电网调控各类应用数据特点，有效地实现了电网海量异构数据的统一访问，以及不同接口数据库有逻辑的、互联互通的统一访问，为电网调控云平台的上层应用服务快速地提供准确的数据信息，为电网调度的科学决策提供技术支撑。

Description

一种用于电网调控的统一访问方法及系统

技术领域

本发明涉及电力自动化技术领域，具体涉及一种用于电网调控的统一访问方法及系统。

背景技术

传统的关系型数据库在许多的应用场景下出现了性能的瓶颈，因此非关系型数据库越来越受到人们的重视。这种情况下，许多的企业开始选择使用非关系型数据库，但是关系型数据库由于其强大的关系、语义表达能力依然无法替代，造成企业面临着混合数据库的场景。随着特高压交直流混合电网的大规模建设的不断深入和推进，电网调度控制系统的服务范围快速扩大，使数据来源增多，数据类型多样，导致数据规模和处理压力急剧增大，选择关系型数据和非关系型数据库共同存储电网调度控制系统中的数据已经成为一种趋势。

随着电网应用的不同需求对关系型和非关系型数据库访问的要求不断提升，但在数据访问方面，关系型与非关系型数据库提供了不同的数据访问接口，对于技术人员来说很不方便，虽然现在市场上已经有一些结构化查询语言(Structured Query Language，SQL)语句翻译软件，支持用户通过SQL语句来访问非关系型数据库，但是依然无法实现关系型与非关系型数据库的统一访问。

发明内容

为了解决现有技术中所存在的上述不足，本发明提供了一种用于电网调控的统一访问方法及系统。

本发明提供的技术方案是：一种用于电网调控的统一访问方法，包括：

基于接收的访问请求的优先级在缓冲池中进行查询；

当存在对应的结果时，返回对应的结果；

否则，解析所述访问请求的统一资源标识符URI获取资源地址，基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储在缓冲池中，并返回所述查询结果。

优选的，所述基于所述资源地址和预先构建的统一访问接口获得查询结果，包括：

基于所述资源地址的个数在令牌桶中领取对应个数的令牌；

当领到令牌时，则将所述资源地址加载到对应的令牌中，否则等待令牌发放；

在所述统一访问接口中基于所述令牌中的资源地址将访问请求转换为访问对应数据库的查询语句；

基于所述查询语句在对应数据库中获取查询结果。

优选的，所述基于所述查询语句在对应数据库中获取查询结果，包括：

通过统一访问接口调用预设的函数在对应的数据库中执行查询语句，将执行查询语句得到的数据结果和对应的URI封装为查询结果。

优选的，所述将所述查询结果返回到应用层，包括：

将所述查询结果进行解析得到数据结果，并将所述数据结果返回到应用层。

优选的，所述统一访问接口的构建包括：

将数据层中各种类型的数据库访问接口生成一个接口管理代码库，将所述接口管理代码库对外封装为统一访问接口。

优选的，所述访问请求的优先级，包括：

访问请求中业务类型的优先级和发起访问请求的客户的级别。

基于同一发明构思，本发明还提供了一种用于电网调控的统一访问系统，包括：

应用交互模块，用于基于接收的访问请求的优先级在缓冲池中进行查询，当存在对应的结果时，返回对应的结果；否则，等待数据交互模块返回查询结果，再将所述查询结果返回到应用层；

统一管理模块，用于解析所述访问请求的统一资源标识符URI获取资源地址；

数据交互模块，用于基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储到在缓冲池中。

优选的，所述统一管理模块，包括：

访问流量控制单元，用于基于所述资源地址的个数在令牌桶中领取对应个数的令牌，当领到令牌时，则将所述资源地址加载到对应的令牌中，否则等待令牌发放。

优选的，所述数据交互模块，包括：

生成查询语句单元，用于在所述统一访问接口中基于所述令牌中的资源地址将访问请求转换为对应数据库访问的查询语句；

访问结果单元，用于基于所述查询语句在对应数据库中获取查询结果；

统一访问接口单元，用于将数据层中各种类型的数据库访问接口生成一个接口管理代码库，将所述接口管理代码库对外封装为统一访问接口，所述统一访问接口通过函数调用进行查询，将查询操作得到的数据结果和对应的URI封装为对象。

优选的，所述应用交互模块，包括：

访问请求管理子模块，用于对接收到的访问请求进行优先级排序；

返回结果管理子模块，用于将所述查询结果进行解析得到数据结果，并将所述数据结果返回到应用层。

与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：

本发明提供的技术方案，基于接收的访问请求的优先级在缓冲池中进行查询；当存在对应的结果时，返回对应的结果；否则，解析所述访问请求的统一资源标识符URI获取资源地址，基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储在缓冲池中，并返回所述查询结果，结合电网调控各类应用数据的统一资源标识符，有效地实现了电网海量异构数据的统一访问，不但为电网调控云平台的上层应用服务快速地提供准确的数据信息，而且为电网调度的科学决策提供技术支撑。

本发明提供的技术方案，通过建立数据结果集的缓存池，对历史访问结果进行缓存，接到访问请求后，先与返回结果管理子模块进行交互，查询历史访问记录，如果历史记录中存在访问结果，则减少对数据库的直接访问次数，提高整个系统的反应速度和吞吐量。

本发明提供的技术方案，访问流量控制实现管理和调度与数据库连接的速度和数量，通过建立一定数量的数据库连接，来提高数据库连接和访问的速度；根据系统的资源状况，动态的管理数据库连接数，来保证系统的负载均衡和稳定性，通过自主创建和销毁连接，保证系统资源的有效利用和资源回收，提高了系统的利用率。

本发明提供的技术方案，对电网同类业务需求构建逻辑统一的访问方法，支持代码自动完成，避免SQL语法错误实现增量查询的自定义，将海量数据中有价值的信息进行排序，提高访问业务获取信息的质量，充分挖掘电网数据的关键点。

本发明提供的技术方案，应用于数据层和应用层之间的信息交互，基于面向对象思想，使用类和对象将数据库进行抽象和包装，屏蔽底层不同类别、不同层级的数据库的差异性，该访问方法具有强兼容性、可扩展性和自适应性。

本发明提供的技术方案，统一访问接口对应用层表现为统一的函数调用形式，返回格式为基本数据类型、文件类型、流类型等，查询操作的返回值封装为对象，不直接返回大量的数据结果。

附图说明

图1为本发明提供的一种用于电网调控的统一访问方法流程图；

图2为本发明实施例中关系型和非关系型数据库统一访问处理流程；

图3为本发明实施例中电网关系型和非关系型数据库的统一访问架构设计示意图。

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

在智能电网环境下，发电、输电、变电、配电和用电各环节产生的数据量规模增大，数据量和数据类型增多，需要更先进、更快速的数据处理技术帮助电网调度员及各专业人员及时有效地访问获取数据库中的信息。本申请针对电网调控关系型和非关系型数据库的统一访问方法进行了研究，实现电网中关系型数据库和非的数据库进行统一访问；针对各专业人员对电网数据库信息的不同需求，降低用户对多类数据库访问语言的学习难度，使数据层和应用层交互变得更简单、快捷。

实施例1

图1为本发明提供的一种用于电网调控的统一访问方法流程图，如图1所示，包括：

S1、基于接收的访问请求的优先级在缓冲池中进行查询；

S2、当存在对应的结果时，返回对应结果；

S3、否则，解析所述访问请求的统一资源标识符URI获取资源地址，基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储在缓冲池中，并返回所述查询结果。

本实施例以电网设备运行状态分析应用为例，如图2所示，实施本发明提供的统一访问方法的具体使用步骤如下：

步骤1：数据统一访问层收到“某省级调度中心”发出的“XX厂站XX变压器的运行状态分析”的访问请求；

步骤2：对访问用户的级别“省调”、业务类型“设备运行状态分析”进行优先级排序，查询匹配数据访问优先级系数；

对接收到的访问请求进行优先级排序，具体包括：

对接收到的访问请求的客户端根据提前建立的用户库进行访问鉴权，若未通过则拒绝访问请求，打印错误提示信息，并将所述错误提示信息缓存到缓冲池；否则确定客户的级别，并解析所述访问请求获得业务类型；

根据预先构建的业务类型访问优先级确定所述业务类型的级别；

基于所述客户的级别和所述业务类型的级别进行优先级排序。

步骤3：查询历史中是否存在该访问的记录，并查询记录结果是否在缓存中；

如果近期有该变压器的运行状态分析记录，则直接向应用返回访问结果，如果没有历史访问记录，则执行步骤4；

步骤4：在数据库注册中心模块解析访问请求的URI，获取资源地址：scheme://authority/rdb/dev/transfm、scheme://authority/hive/weather/、scheme://authority/hive/gis/、scheme://authority/hbase/user/sg/db/dev/transfm；

步骤5：根据步骤4中访问请求，在令牌桶中领取4个令牌；

步骤6：调用统一访问接口API，分别获取该变压器模型数据、气象数据、地理数据和变压器历史运行数据；

步骤7：访问结果保存到返回结果单元的缓冲池，同时将访问结果输出到应用层。

实施例2

1、电网调控关系型和非关系型数据库统一访问的思路

电网调控关系型和非关系型的统一访问方法应用于数据层和应用层之间的信息交互，基于面向对象思想，使用类和对象将数据库进行抽象和包装，屏蔽底层不同类别、不同层级的数据库的差异性，提供一种具有强兼容性、可扩展性、自适应性的数据库访问方法。

2、电网调控关系型和非关系型数据库统一访问方法的三层架构

如图3所示，数据库统一访问的实现分为三层：上层――应用交互模块、中间层――统一管理模块、下层――数据交互模块。

应用交互模块实现访问请求管理、访问日志管理、返回结果管理；统一管理模块实现异构数据库的数据中心注册、数据库统一访问流量控制；数据交互模块实现异构数据库统一访问接口的封装。

(1)应用交互模块，包括：访问请求管理子模块、访问日志管理子模块、返回结果管理子模块，连接应用的交互层的任务是管理和调度数据访问请求，管理访问日志，并存储和管理历史访问结果。

a、访问请求管理子模块中依据用户级别、应用业务类型确定访问优先级；访问请求管理模块实现访问鉴权，根据调控系统的用户类别、应用业务类别来配置不同的访问优先级。电网调控系统的优先级配置依据调度级别高优先、业务类型重要性高优先，优先级以默认参数的形式存在该模块API中。

b、访问日志管理子模块采用ELK模式完成审计功能；是实现数据库查询记录收集、存储日志数据、定期向中央系统传输日志数据、对日志数据进行UI分析、并对错误信息进行告警等五个功能。

访问日志管理有分布式全文检索引擎ElasticSearch、开源数据搜索引擎Logstash和开源的分析和可视化平台Kiabana三个组件完成。实现过程是：在所有服务上部署Logstash，使用日志存储代理logstash agent监控并过滤收集日志，将过滤后的内容发送到日志隐藏索引器logstash indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch；使用ElasticSearch进行自定义搜索；使用Kibana来结合自定义搜索进行页面展示。

c、返回结果管理子模块建立结果缓冲池实现与应用层的交互。返回结果管理子模块是通过建立数据结果集的缓存池，对历史访问结果进行缓存，接到访问请求后，先与返回结果管理子模块进行交互，查询历史访问记录，如果历史记录中存在访问结果，则减少对数据库的直接访问次数，提高整个系统的反应速度和吞吐量。

根据电网各类应用访问类型不同，在访问请求管理子模块和返回结果管理子模块之间交互，可实现不直接连接数据库而获取数据结果集的功能。

(2)统一管理模块：数据库注册中心单元、访问流量控制单元。

a、数据库注册中心单元为多类型数据库及数据库内数据建立统一资源标识符(Uniform Resource Identifier，URI)，保证每一个标识符仅指向一个资源，但一个资源可以对应多个URI，URI对应用层透明；

将MySQL、Oracle、HBase和HDFS等数据库信息视为资源，通过建立URI协议来命名和描述资源，之间通过无状态的协议进行交互，同时数据库的信息以附加资源的形式暴露给应用层。每一个数据都建立一个URI作为数据的资源地址，保证该数据能够在网络上被访问，同时，一个资源能够由多个URI表示。

URI描述数据库的结构为[scheme:][//authority][path][？query][#fragment]，其中多个path之间用“/”连接，query的参数用“＝”表示带有对应的值，不同的query之间用“&”连接。

b、访问流量控制单元采用令牌桶算法，限制数据层的统一访问流量和速度，保证系统的负载均衡和稳定性。

访问流量控制单元位于数据注册中心单元与数据库统一接口API的之间，实现管理和调度数据库连接速度和数量的功能。通过建立一定数量的数据库连接，来提高数据库连接和访问的速度；根据系统的资源状况，动态的管理数据库连接数，来保证系统的负载均衡和稳定性通过自主创建和销毁连接，保证系统资源的有效利用和资源回收，提高了系统的利用率。

本实施例中将访问流量控制采用令牌算法进行举例解释：首先在访问流量控制模块中分配令牌桶，访问速率设置为1000/秒，每秒向令牌桶中放置10000个令牌。当桶中令牌满时，多出的令牌溢出，桶中令牌不再增加。

当接收到一个访问请求后，根据访问调用资源数量大小，在令牌桶中领取一定数量的令牌，保证访问正常进行。当令牌桶中令牌数量不为空时，则执行访问，当令牌桶中数量为空时，访问请求则需等待令牌发放。

(3)设计连接数据库的数据交互模块，包括：

数据库交互模块是将下层各种类型的数据库访问接口进行抽象和功能提取，对外封装为统一的接口，该模块向下层数据库的接口具有可扩展性，以适应未来新型数据库的接入。

该数据库交互模块采用QueryDSL/JPA/ORM开发框架，建立一个JAVA访问各个数据库的接口管理代码库，包括基于JDBC API的关系型数据库接口、基于HBase shell的列式数据库接口、基于HiveSQL的数据仓库接口、基于MongoDB API的文档型数据库接口。

统一访问接口对应用层表现为统一的函数调用形式，实现GET、PUT、POST、DELETE、过滤、分页等功能，返回格式为基本数据类型、文件类型、流类型、JSON、XML等，将查询操作的返回值封装为对象，不直接返回大量的数据结果。

统一访问接口支持代码自动完成；避免SQL语法错误，采用Domain类型的对象和属性来构建查询，实现增量查询的自定义。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种用于电网调控的统一访问方法，其特征在于，包括：

基于接收的访问请求的优先级在缓冲池中进行查询；

当存在对应的结果时，返回对应的结果；

否则，解析所述访问请求的统一资源标识符URI获取资源地址，基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储在缓冲池中，并返回所述查询结果。

2.如权利要求1所述的统一访问方法，其特征在于，所述基于所述资源地址和预先构建的统一访问接口获得查询结果，包括：

基于所述资源地址的个数在令牌桶中领取对应个数的令牌；

当领到令牌时，则将所述资源地址加载到对应的令牌中，否则等待令牌发放；

在所述统一访问接口中基于所述令牌中的资源地址将访问请求转换为访问对应数据库的查询语句；

基于所述查询语句在对应数据库中获取查询结果。

3.如权利要求2所述的统一访问方法，其特征在于，所述基于所述查询语句在对应数据库中获取查询结果，包括：

通过统一访问接口调用预设的函数在对应的数据库中执行查询语句，将执行查询语句得到的数据结果和对应的URI封装为查询结果。

4.如权利要求1所述的统一访问方法，其特征在于，所述返回所述查询结果，包括：

将所述查询结果进行解析得到数据结果，并返回数据结果。

5.如权利要求1所述的统一访问方法，其特征在于，所述统一访问接口的构建包括：

将数据层中各种类型的数据库访问接口生成一个接口管理代码库，将所述接口管理代码库对外封装为统一访问接口。

6.如权利要求1所述的统一访问方法，其特征在于，所述访问请求的优先级，包括：

访问请求中业务类型的优先级和发起访问请求的客户的级别。

7.一种用于电网调控的统一访问系统，其特征在于，包括：

应用交互模块，用于基于接收的访问请求的优先级在缓冲池中进行查询，当存在对应的结果时，返回对应的结果；否则，等待数据交互模块返回查询结果；

统一管理模块，用于解析所述访问请求的统一资源标识符URI获取资源地址；

数据交互模块，用于基于所述资源地址和预先构建的统一访问接口获得查询结果，将所述查询结果存储到在缓冲池中。

8.如权利要求7所述的统一访问系统，其特征在于，所述统一管理模块，包括：

访问流量控制单元，用于基于所述资源地址的个数在令牌桶中领取对应个数的令牌，当领到令牌时，则将所述资源地址加载到对应的令牌中，否则等待令牌发放。

9.如权利要求8所述的统一访问系统，其特征在于，所述数据交互模块，包括：

生成查询语句单元，用于在所述统一访问接口中基于所述令牌中的资源地址将访问请求转换为对应数据库访问的查询语句；

访问结果单元，用于基于所述查询语句在对应数据库中获取查询结果；

统一访问接口单元，用于将数据层中各种类型的数据库访问接口生成一个接口管理代码库，将所述接口管理代码库对外封装为统一访问接口，所述统一访问接口通过函数调用进行查询，将查询操作得到的数据结果和对应的URI封装为对象。

10.如权利要求9所述的统一访问系统，其特征在于，所述应用交互模块，包括：

访问请求管理子模块，用于对接收到的访问请求进行优先级排序；

返回结果管理子模块，用于将所述查询结果进行解析得到数据结果，并返回数据结果。