CN105740352A - 用于智能电网调度控制系统的历史数据服务系统 - Google Patents

Abstract

一种用于智能电网调度控制系统的历史数据服务系统，基于缓存管理机制和历史库访问监听机制，对历史数据进行查询。所述历史数据服务系统包括管理控制模块、数据缓存区模块和关系库交互模块。其中，管理控制模块由曲线模版和任务分配器模块组成；数据缓存区模块由数据缓存区、数据索引表、缓存数据同步模块和数据点置换算法模块组成；关系库交互模块由数据交互模块和会话监视模块组成。本发明采用历史数据缓存管理机制，提高服务查询效率，减轻关系库负载；采用数据库会话监视机制，提高服务稳定性。

Description

用于智能电网调度控制系统的历史数据服务系统

技术领域

本发明涉及智能调度控制领域，尤其是一种智能电网调度控制中关于历史数据服务优化控制领域。

背景技术

在智能电网调度控制系统(简称“D5000系统”)中，母线的电压值、频率值，交流线段端点、变压器绕组、断路器等的有功值、无功值、电流值等等大量设备的历史数据值，均由历史数据服务提供，再以曲线或表格的形式展现历史数据变化，方便调度员直观地监测电网运行状况。

随着电网快速发展和规模不断扩大，电网调度控制系统记录更加全面的电力设备状态，导致历史数据存储据规模持续增长，当前历史数据服务访问效率已经成为D5000系统快速发展的瓶颈，为适应电网数据爆发式增长的需求，研究安全、高效、稳定的新型历史数据服务迫在眉睫。

历史数据服务系统由曲线模版、任务调度、数据访问三个模块组成，为智能电网调度控制系统应用程序提供历史数据交互服务。其中曲线模版负责简化服务协议，任务调度负责任务分配与应答，数据访问负责与关系库数据交互。此架构的优点是服务协议简洁，客户端无需编写SQL语句即可访问关系库。缺点是数据服务均需操作关系库，随着数据点量增加，业务量增加，会持续不断的增加数据库负载，从而降低历史数据服务效率。

历史数据服务是D5000系统上层应用与底层关系库交互的中间件，它通过服务总线接收上层应用发送的数据查询请求，连接关系库，执行DCI原语自关系库海量历史数据中筛选目标数据，通过服务总线返回给上层应用，继续等待下次数据查询请求。历史数据服务主要存在以下问题：面对海量历史数据，历史数据服务缺少稳定高效的数据查询机制；D5000系统的应用在访问历史数据时，缺少数据库会话状态的实时监视机制。

在D5000系统中，现有的历史数据服务很难解决上述所有问题，需要提出一种高效稳定的历史数据服务系统，满足海量历史数据的快速查询请求，降低关系库负载。因此本发明提出了一种基于缓存管理的历史数据服务优化方案，相对数据库中间件技术对系统兼容性和可扩展性方向的优化，本发明的技术方案更侧重于数据检索效率提升和数据库负载降低等方面的改进。

发明内容

本发明的技术方案为：

一种用于智能电网调度控制系统的历史数据服务系统，基于缓存管理机制和历史库访问监听机制，对历史数据进行查询，其特征在于：

所述历史数据服务系统包括管理控制模块、数据缓存区模块和关系库交互模块。

进一步地，所述管理控制模块由曲线模版和任务分配器模块组成；

所述曲线模版模块负责协议编码、协议解码；

所述任务分配器模块负责任务接收、任务分派、服务统计和数据应答功能。

进一步地，所述数据缓存区模块由数据缓存区、数据索引表、缓存数据同步模块和数据点置换算法模块组成；

所述数据表索引存储了智能电网调度控制系统的部分数据点信息，用于维护数据点信息，提供数据快速查询、更新功能；

所述数据缓存区缓存了与所述数据索引表中数据点对应的数据；

所述缓存数据同步模块实时监听缓存区数据点的归档信息，同步关系库和缓存区数据，确保数据一致性；

所述数据点置换算法模块提供热点数据的LRU-2算法，通过所述算法对所述数据索引表进行管理和维护，提高数据索引表中缓存热点数据检索的命中率。

进一步地，所述关系库交互模块由数据交互模块和会话监视模块组成；

所述数据交互模块访问关系库；

所述会话监视模块监视所述历史数据服务系统与关系库建立的会话状态，若会话状态异常将推送会话异常告警。

进一步地，所述曲线模版模块的曲线模版是一组信息的集合，记录电网设备历史数据相关的存储信息，形成一种抽象的SQL模版协议，且每个模版对应一个唯一的曲线模版ID；

所述任务分配器模块当接收到客户端请求后，解析协议内容，获取曲线模版ID与设备点ID等信息，根据曲线模版ID得到曲线模版信息，进行解析、拆分、重组请求内容，将请求信息结构化封装。

进一步地，当所述请求是历史数据查询时，所述任务分配器模块询问所述数据缓存区是否缓存了查询的数据，若已缓存该数据，则将封装的请求信息传递给所述数据缓存区，所述数据缓存区将请求数据应答给所述任务分配器模块；若缓存区未缓存该数据，所述任务分配器模块将封装的请求信息传递给所述数据交互模块，所述数据交互模块访问关系库将请求的数据应答给所述任务分配器模块，同时所述数据缓存区利用LRU-2算法记录该设备点信息，按照所述算法规则决定是否将该设备点定为热点数据；然后所述任务分配器模块将查询结果应答给客户端。

进一步地，当所述请求是历史数据更新时，所述任务分配器模块将封装的请求信息传递给所述数据交互模块，所述数据交互模块将历史数据更新至关系库；若更新关系库成功，所述任务分配器模块询问所述数据缓存区是否缓存了该设备点的数据，若已缓存数据，则将封装的所述请求信息传递给所述数据缓存区，所述数据缓存区将更新数据同步至所述数据缓存区，否则所述数据缓存区不做更新；然后所述任务分配器模块获取执行结果并应答给客户端。

进一步地，所述数据交互模块连接所述管理控制模块、所述数据缓存区模块和关系库，建立所述数据缓存区与关系库和所述数据管理模块与关系库之间的数据通道，完成历史数据服务系统对关系库的统一访问和关系库会话的统一管理，按需分配数据库连接资源。

进一步地，所述会话监视模块包含两个队列，分别为会话等待队列和会话结束队列，两个队列分别记录正在执行的数据库会话信息和已经执行结束的数据库会话信息；

所述会话监视模块以一定周期，循环遍历每条正在进行数据交互的数据库会话，即会话等待队列内所有会话，检查其执行时间，筛选访问关系库超时的会话，对其中的异常会话通过告警服务向智能电网调度控制系统发送告警信息。

本发明的技术方案中，用于智能电网调度控制系统的历史数据服务系统在历史数据服务和关系库之间建立数据缓存区，缓存电网热点数据，减小历史数据服务对关系库的直接访问频率，并通过LRU-2算法管理数据缓存区，提高数据缓存区命中率。建立历史库访问监听机制，监视历史库会话状态，对异常会话提供告警推送功能。通过对历史数据服务的优化，满足了D5000系统对历史数据服务的高效性和稳定性需求。

针对现有历史数据服务的缺点，设计了历史数据缓存管理机制，提高服务查询效率，减轻关系库负载；设计了数据库会话监视机制，提高服务稳定性；优化服务调度，协调数据缓存区与关系库分工作业；并引用原服务曲线模板模块，保持服务协议不变，无需修改客户端源码。

附图说明

图1历史数据服务结构图；

图2为LRU-2算法详解示意图；

图3为绘话监视机制示意图；

图4为历史数据服务性能测试结果；

具体实施方式

本发明的智能电网调度控制中的历史数据服务系统由管理控制模块、数据缓存区模块、关系库交互模块三个部分构成。其中管理控制模块接收客户端请求，解析协议，分派任务、应答请求；数据缓存区模块缓存热点数据，提供热点数据查询和修改功能，并通过LRU-2置换算法管理电网热点数据；关系库交互模块提供关系库数据交互接口，处理来自管理控制模块与缓存区模块的数据请求，并监视关系库会话状态，提供会话异常告警推送功能。优化后的历史数据服务结构如图1所示。

管理控制模块是历史数据服务的中枢模块，它由任务分配器模块和曲线模版模块组成。任务分配器模块负责任务接收、任务分派、服务统计、数据应答等功能；曲线模版模块负责协议编码、协议解码。

数据缓存区模块是历史数据服务的技术核心，它由数据缓存区，数据索引表，缓存数据同步模块，数据点置换算法模块组成。数据缓存区缓存热点数据；数据索引表维护数据点信息，提供数据快速查询、更新功能；缓存数据同步模块实时监听缓存区数据点的归档信息，同步关系库和缓存区数据，确保数据一致性；数据点置换算法模块提供热点数据的置换策略。

关系库交互模块是历史数据服务中的关系库交互层，它由数据交互模块和会话监视模块组成。数据交互模块负责访问关系库；会话监视模块负责监视历史数据服务系统与关系库建立的会话状态，会话状态异常将推送会话异常告警。

关于管理控制模块，历史数据服务系统提供曲线结构和表格结构的历史数据访问接口，结构化数据方便人机绘制曲线、表格，方便维护设备历史数据值。根据电网业务数据存储特点，抽象出曲线模版，简化服务协议，任务分配器根据曲线模版规则，逆向回溯出完整请求，并对请求任务进行分配、调度，以及应答请求。

历史数据源来自关系库，需通过标准SQL语句对关系库进行读取操作。为增强人机用户体验，简化用户操作，设计了曲线模版模块。

曲线模板模块的曲线模版是一组信息的集合，记录电网设备历史数据相关的存储信息，形成一种抽象的SQL模版协议，且每个模版对应一个唯一的曲线模版ID。通过曲线模版ID可定位其所属的曲线模版，根据SQL模版协议规则解析曲线模版内容，可生成标准SQL语句，使客户端传入曲线模版ID，可替代传人标准SQL语句，达到简化用户操作，简化服务协议的目的。

任务分配器模块负责历史数据服务的请求调度和服务统计功能。任务分配器模块接收客户端请求，解析协议内容，获取曲线模版ID与设备点ID等信息，根据曲线模版ID得到曲线模版信息，解析、拆分、重组请求内容，将请求信息结构化封装。当请求是历史数据查询时，任务分配器模块询问数据缓存区是否缓存了查询的数据，若已缓存数据，则将封装的请求信息传递给缓存区，缓存区将请求数据应答给任务分配器；若缓存区未缓存该设备点数据，任务分配器模块将封装的请求信息传递给数据交互模块，数据交互模块访问关系库将请求的数据应答给任务分配器，同时缓存区利用LRU-2算法记录该设备点信息，按照算法规则决定是否将该设备点定为热点数据。最后任务分配器模块将查询结果应答给客户端。当请求是历史数据更新时，任务分配器模块将封装的请求信息传递给数据交互模块，数据交互模块将历史数据更新至关系库。若更新关系库成功，任务分配器模块询问数据缓存区是否缓存了该设备点的数据，若已缓存数据，则将封装的请求信息传递给缓存区，缓存区将更新数据同步至缓存区，否则缓存区不做更新。最后任务分配器模块获取执行结果并应答给客户端。

任务分配器模块以接口的形式提供请求类型统计，请求次数统计，缓存区命中率统计，以及数据库会话状态监视和缓存区数据信息监视等功能，通过该服务统计功能，可使系统监控员掌握服务运行状况，提高服务可用性。

数据缓存区模块由数据索引表、数据缓存区、缓存数据同步机制模块和数据点置换算法模块组成。数据索引表中存储了D5000系统的部分数据点信息，通过数据点置换算法模块的LRU-2算法对数据索引表进行管理和维护，提高数据索引表中缓存热点数据检索的命中率；数据索引表中数据点对应的数据存储在相应的数据缓存区中，通过缓存数据同步机制模块，实现数据索引表中数据点和关系库中对应数据点信息的同步操作，确保数据缓存区和历史库中数据的实时一致性。

数据缓存区主要存储D5000系统热点数据，为增强缓存区中数据检索效率，优化数据管理机制，在缓存区中增加数据索引表的设计。

数据索引表是一种数据管理结构，对数据缓存区中数据建立数据关键字和数据详细信息之间的映射关系。历史数据服务系统通过数据索引表进行缓存区数据访问，可快速定位缓存区中数据点地址，获取被检索数据的详细信息；通过LRU-2算法管理数据索引表中关键字信息的更替，进而控制缓存区中数据点信息的增加和删除，简化缓存区维护成本。

数据索引表的个数和单个数据索引表存储数据点的最大数目可自由配置，根据各地D5000系统中关系库数据点查询的频率和数量，配置适当大小的数据索引表，满足现场的实际需求。

根据数据索引表中可存储的最大数据点数，系统分配固定大小的内存空间作为数据缓存区，用来存储数据索引表中数据点对应的具体数据。按照智能电网业务特点，电网曲线展示的主要数据数据源为历史库中遥测数据，昨日和今日曲线占绝大部分，所以在数据缓存区中，每个数据点对应存储两天的数据，开始时间为前一天的零点，结束时间为当前时间，间隔为1分钟，即每个数据点在数据缓存区中最多存储2880个数据，数据类型为float型。数据缓存区的总大小为SIZE＝INDEX_COUNT*DEV_COUNT*LEN，其中SIZE表示数据缓存区所占字节数，INDEX_COUNT表示索引表数量，DEV_COUNT表示索引表中数据点个数，LEN表示float类型数据的长度。

缓存数据同步模块，对历史数据服务监听历史数据归档消息，对归档成功的缓存区中存在的数据点信息实行数据同步操作。

在D5000系统中，曲线展示的数据多为遥测数据，关系库中遥测数据以整数分钟为周期向历史库归档。由此，根据数据索引表中的数据点信息，基于“订阅-发布”的消息管理模式，定制化监听历史数据归档成功的触发式消息，对于归档成功的索引表中存在的数据点信息，实现数据由关系库向缓存区同步的操作，确保缓存区和关系库之间数据实时一致性。

为确保数据缓存区的高命中率，在有限的数据缓存区中，需有效利用缓存区空间，提高缓存区中热点数据占有率。基于计算机系统中广泛应用的局部性原理分析，D5000系统中，之前被查询的曲线数据很可能在之后的时间内也会被查询，换言之，已经很久没有被查询的曲线数据很可能在未来较长的一段时间内不会被用到。数据点置换算法模块采用LRU-K(Leastrecentlyused，最近最少使用)算法可以很好的满足历史数据服务对缓存区的管理要求，LRU-K中的K代表最近使用的次数，本文中K值为2。

LRU-2算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。LRU-2需要维护两个队列，分别为“访问历史队列”和“数据缓存队列”。对于LRU-2算法在历史数据服务中应用的具体实现方式如图2所示。

①数据点检索请求；

②如果“数据索引表”中没有当前查询数据点的记录，将该数据点索引存入“访问历史队列”；

③如果“数据索引表”中存在当前查询数据点的记录，按照访问时间更新“数据缓存队列”中数据点索引存储序列；

④将“访问历史队列”中访问次数大于等于2次的数据点移动至“数据缓存队列”，“数据缓存队列”重新按照时间排序,并将新插入的数据点索引同步至数据索引表中；

⑤如果数据点在“访问历史队列”里后没有达到2次访问，则按照LRU规则选择淘汰；

⑥需要淘汰数据时，淘汰“数据缓存队列”中排在末尾的数据，即：淘汰“倒数第2次访问离现在最久”的数据,同时将“数据索引表”中对应的该数据点索引删除，保持“数据索引表”和“数据缓存区”的一致性。

关系库交互控制模块主要由数据交互模块和会话监视模块两部分组成，在同关系库进行数据交互的同时，实时监视自身会话状态，及时发现并处理异常会话，确保数据交互的安全性和稳定性。

数据交互模块是历史数据服务的重要组成部分，其连通管理控制模块、数据缓存区模块和关系库，建立缓存区与关系库和数据管理模块与关系库之间的数据通道，完成历史数据服务对关系库的统一访问和关系库会话的统一管理，按需分配数据库连接资源，提升系统资源的有效利用率。

会话监视模块用于：在D5000系统中，历史数据服务同关系库之间的数据交互频繁进行，建立的数据库会话繁多，对于系统运行过程中出现的异常会话，缺乏及时有效的定位方法，严重影响D5000系统的稳定性和高效性。由此，我们增加会话监视模块，监听每条数据库会话的实时执行状态，通过告警服务推送并记录异常会话信息，及时准确的发现并处理异常会话，提高系统稳健性。

会话监视模块包含两个队列，会话等待队列和会话结束队列，分别记录正在执行的数据库会话信息和已经执行结束的数据库会话信息。会话监视模块以5秒为周期，循环遍历每条正在进行数据交互的数据库会话，即会话等待队列内所有会话，检查其执行时间，筛选访问关系库超时的会话，对其中的异常会话通过告警服务向D5000系统发送告警信息，并在关系库中永久保存。对于会话监视模块的详细监听机制如图3所示。

①对于新建立的数据库会话，将其存入会话等待队列中，记录会话详情；

②会话执行结束后，将会话信息由会话等待队列转存入会话结束队列；

③对于结束的会话，如果再次访问关系库，则将其会话信息加载入会话等待队列，继续进行会话监听；

④使用该会话的线程结束时，将会话信息自会话结束队列中移除。

为了验证基于缓存历史数据服务系统的实际性能，按照华中网调现场配置搭建测试环境，在该测试环境中，分别运行优化前后的历史数据服务，对比测试关系库数据访问的效率。

历史数据服务系统对关系库的访问包括数据增加、删除、查询和修改等功能，我们以曲线查询为例，记录关系库数据查询在历史数据服务优化前后的性能变化。关系库中昨日和今日分钟采样数据表记录数皆为35万条，通过历史数据服务对分钟采样数据表进行曲线查询操作，曲线查询开始时间为昨日零点整，结束时间为当前时间(中午12点整)，单次查询一条曲线，查询十次，每次查询耗时如图4所示，其中“系列1”表示优化之前历史数据服务测试结果，“系列2”表示基于缓存的历史数据服务测试结果。通过图表可以清晰的看出，在前两次曲线查询时，优化前后的历史数据服务在性能上无明显差别，但是自第三次开始，基于缓存的历史数据服务系统在数据检索性能上的优势远远高于优化之前的历史数据服务，数据检索速度提升10倍左右，大幅度提升了关系库数据检索性能。

在系统负载和资源消耗方面，相比优化前的历史数据服务系统，优化之后该服务系统CPU使用率和数据库会话数略有下降，内存使用稍有增加，整体资源消耗无明显差异。

基于缓存的历史数据服务系统已在华中电网工程现场部署运行，缓存管理机制与数据库会话监视机制的应用有助于大幅度提高历史数据查询效率，并减轻关系库负载，提高服务稳定性。

本文提出的基于缓存管理的历史数据服务优化方案，有效的提高历史数据检索效率，减轻数据库负载；提出的历史数据会话监听机制，加强历史数据服务预警能力，提高历史数据服务的健壮性。通过性能测试与工程现场实践证明，基于缓存管理的历史数据服务可以适应电网的快速发展和规模连续的扩大，满足海量历史数据高效查询的需求，提升了系统的安全性和稳定性。

以上已将本发明作出了详细说明，惟以上所述者，仅为本发明的较佳实施例而已，当不能限定本发明实施的范围。即凡依本发明申请范围所作的均等变化与修饰等，皆应仍属于本发明的专利涵盖范围内。

Claims (9)

1.一种用于智能电网调度控制系统的历史数据服务系统，基于缓存管理机制和历史库访问监听机制，对历史数据进行查询，其特征在于：

所述历史数据服务系统包括管理控制模块、数据缓存区模块和关系库交互模块。

2.根据权利要求1所述的历史数据服务系统，其特征在于：

所述管理控制模块由曲线模版和任务分配器模块组成；

所述曲线模版模块负责协议编码、协议解码；

所述任务分配器模块负责任务接收、任务分派、服务统计和数据应答功能。

3.根据权利要求2所述的历史数据服务系统，其特征在于：

所述数据缓存区模块由数据缓存区、数据索引表、缓存数据同步模块和数据点置换算法模块组成；

所述数据表索引存储了智能电网调度控制系统的部分数据点信息，用于维护数据点信息，提供数据快速查询、更新功能；

所述数据缓存区缓存了与所述数据索引表中数据点对应的数据；

所述缓存数据同步模块实时监听缓存区数据点的归档信息，同步关系库和缓存区数据，确保数据一致性；

所述数据点置换算法模块提供热点数据的LRU-2算法，通过所述算法对所述数据索引表进行管理和维护，提高数据索引表中缓存热点数据检索的命中率。

4.根据权利要求3任一项所述的历史数据服务系统，其特征在于：

所述关系库交互模块由数据交互模块和会话监视模块组成；

所述数据交互模块访问关系库；

所述会话监视模块监视所述历史数据服务系统与关系库建立的会话状态，若会话状态异常将推送会话异常告警。

5.根据权利要求4所述的历史数据服务系统，其特征在于：

所述曲线模版模块的曲线模版是一组信息的集合，记录电网设备历史数据相关的存储信息，形成一种抽象的SQL模版协议，且每个模版对应一个唯一的曲线模版ID；

所述任务分配器模块当接收到客户端请求后，解析协议内容，获取曲线模版ID与设备点ID等信息，根据曲线模版ID得到曲线模版信息，进行解析、拆分、重组请求内容，将请求信息结构化封装。

6.根据权利要求5所述的历史数据服务系统，其特征在于：

当所述请求是历史数据查询时，所述任务分配器模块询问所述数据缓存区是否缓存了查询的数据，若已缓存该数据，则将封装的请求信息传递给所述数据缓存区，所述数据缓存区将请求数据应答给所述任务分配器模块；若缓存区未缓存该数据，所述任务分配器模块将封装的请求信息传递给所述数据交互模块，所述数据交互模块访问关系库将请求的数据应答给所述任务分配器模块，同时所述数据缓存区利用LRU-2算法记录该设备点信息，按照所述算法规则决定是否将该设备点定为热点数据；然后所述任务分配器模块将查询结果应答给客户端。

7.根据权利要求5所述的历史数据服务系统，其特征在于：

当所述请求是历史数据更新时，所述任务分配器模块将封装的请求信息传递给所述数据交互模块，所述数据交互模块将历史数据更新至关系库；若更新关系库成功，所述任务分配器模块询问所述数据缓存区是否缓存了该设备点的数据，若已缓存数据，则将封装的所述请求信息传递给所述数据缓存区，所述数据缓存区将更新数据同步至所述数据缓存区，否则所述数据缓存区不做更新；然后所述任务分配器模块获取执行结果并应答给客户端。

8.根据权利要求4所述的历史数据服务系统，其特征在于：

所述数据交互模块连接所述管理控制模块、所述数据缓存区模块和关系库，建立所述数据缓存区与关系库和所述数据管理模块与关系库之间的数据通道，完成历史数据服务系统对关系库的统一访问和关系库会话的统一管理，按需分配数据库连接资源。

9.根据权利要求4所述的历史数据服务系统，其特征在于：

所述会话监视模块包含两个队列，分别为会话等待队列和会话结束队列，两个队列分别记录正在执行的数据库会话信息和已经执行结束的数据库会话信息；

所述会话监视模块以一定周期，循环遍历每条正在进行数据交互的数据库会话，即会话等待队列内所有会话，检查其执行时间，筛选访问关系库超时的会话，对其中的异常会话通过告警服务向智能电网调度控制系统发送告警信息。