CN114254034A - 基于Redis集群的风电监控对象信息和实时数据存储管理方法 - Google Patents

Abstract

本发明公开了一种基于Redis集群的风电监控对象信息和实时数据存储管理方法，包括：基于Redis的存储类型对风电监控对象信息和实时数据进行结构定义；对各风电监控对象信息和实时数据的访问接口进行优化设计；依赖发布/订阅机制的消息传输实现监控数据共享和跨进程应用事件触发。本发明具有分布式部署、应用耦合度低、读写高并发等优点。

Description

基于Redis集群的风电监控对象信息和实时数据存储管理 方法

技术领域

本发明主要涉及风力发电技术领域，具体涉及一种基于Redis集群的风电监控对象信息和实时数据存储管理方法。

背景技术

前几年，我国的风场管理系统几乎都是基于Windows平台开发，CS架构，而且管理的风电机组(以下简称风机)数量较少，对于扩展性和实时性要求相对不高。近年来，尤其是随着云计算、大数据的兴起，风电集控中心的建设如火如荼地进行着。加上国外反全球化的浪潮的掀起，我国的计算机应用安全、网络安全都面临着严峻的形式。因此，最近两年间，在基于Linux内核的国产操作系统、开源组件和跨平台的风电产品开发成为必要。新的平台、开发环境和技术基础，自然面临如下问题：

(1)安全问题，在没安全授权的环境下，即使是实时数据也不允许访问，这是解决安全访问的首要问题。在Windows平台开发时，一般采用共享内存结构来解决实时数据的存储和访问。一般来说，共享内存机制是不存在访问限制的，尤其是机制本身就是跨进程跨应用访问的，毫无安全性可言。

(2)结构化存储及可扩展性问题，虽然在Windows平台下，共享内存访问机制具备可扩展性，但其本身无结构化存储机制，其存储结构需要由用户自己定义，这将带来两个问题，一是这种存储方式容量遭到破坏，二是应用和维护困难。

(3)集群环境，这是集控中心建设的基本要求，Windows共享内存无法适配集群环境。尤其是在集群环境中的安全性，结构化存储和数据可扩展性就更难保障了。

(4)实时性，应该说，现代关系型数据库和新近兴起NoSQL型数据仓库，均能满足以上三点要求地，但当面临几十万个测点同时快速刷新和高并发访问时，就无能为力了，也只有将数据存储在内存中才能满足需求。

(5)订阅发布机制。在数据应用中，需要实时监测某些数据，当符合一定条件时，可以触发报警消息，而且需要将这些消息向感兴趣的应用或用户发布出去，以达到消息传递和转发的目的。

(6)对于风电场和风机的实时监控，存在着测点数量大，实时性要求高等技术压力，尤其是近年大数据中心的建设脚步不断加速，对并发访问、刷新速率、可扩展性和容错性要求不断提高。

因此，满足以上各种要求的风电结构化数据存储机制成为必要。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的问题，本发明提供一种分布式部署、应用耦合度低、读写高并发的基于Redis集群的风电监控对象信息和实时数据存储管理方法。

为解决上述技术问题，本发明提出的技术方案为：

一种基于Redis集群的风电监控对象信息和实时数据存储管理方法，包括：

基于Redis的存储类型对风电监控对象信息和实时数据进行结构定义；

对各风电监控对象信息和实时数据的访问接口进行优化设计；

依赖发布/订阅机制的消息传输实现监控数据共享和跨进程应用事件触发。

作为上述技术方案的进一步改进：

风电监控对象信息和实时数据包括风场对象信息数据、机型数据、线路数据和风机数据；所述风场对象信息数据位于整个风电数据结构的最顶层，包括风场基本信息、AGC/AVC信息、用户信息、机型列表、线路列表、风机列表和风电场统计汇总的实时数据；所述机型数据包括机型参数、测点信息和故障报警信息；所述线路数据包括线路命名、风机数量、风机列表和走向；所述风机数据包括风机命名、机型标识、实时数据、实时报警和子系统。

对应的访问接口包括全局访问接口、风场访问接口和风机访问接口。

所述全局访问接口用于连接Redis集群和关系数据库；用于初始化Redis风电对象信息和实时数据存储结构；用于通过风电场id获取风电场对象；用于通过风机id获取风机对象；用于通过风场id和测点id获取对应测点的风场实时数据；用于通过风场id获取整个风场的所有实时数据，返回数据为k-v键值集合；用于通过风机id和测点id获取对应测点的风机实时数据；用于通过风机id获取一台风机实时数据，返回数据为k-v键值集合。

所述风场访问接口用于获取风场各属性信息；用于获取线路对象；用于通过测点id获取对应测点的风场实时数据；用于通过测点id更新对应测点的风场实时数据；用于获取整个风场的所有实时数据，返回数据为k-v键值；用于通过map容器更新风场的指定1个或多个点(k指定)的实时数据；用于通过风机id获取一台风机实时数据，返回数据为k-v键值集合；用于通过风机id和测点id获取对应测点的风机实时数据；用于获取风场AGC实时数据；用于获取风场AVC实时数据。

所述风机访问接口用于获取风机的各属性信息，如名称、额定功率、风机类型、塔高、切入风速等；用于通过测点id获取对应测点的风机实时数据；用于通过测点id更新对应测点的风机实时数据；用于获取该风机的所有实时数据，返回数据为k-v键值集合；用于通过map容器更新该风机指定的1个或多个测点的实时数据；用于获取风机故障报警信息；用于通过子系统id获取风机对应子系统对象；用于获取风机所有子系统对象集合；用于获取风机的类型对象；用于通过测点id获取风机测点对象；用于获取风机所有测点对象集合。

通过设置三个Pub/Sub通道以实现监控数据共享和跨进程应用事件触发；三个Pub/Sub通道分别为ems通道、control通道和alarm通道。

所述ems通道实现能量管理系统事件的传输，订阅该通道的系统是能量管理系统，对应的工作方法为：

1.1a)第三方通信系统或前端用户传输在Redis中设置了一个AGC/AVC指令，同时向Redis发布一条ems消息；

1.2a)订阅了该通道消息的能量管理系统收到消息后，按照消息中定义的操作类型，调用风场访问接口获取相应的AGC或AVC指令、风机实时值及相应参数；

1.3a)能量管理系统将相应的AGC/AVC指令、风机实时值及相关参数进行运算分析，然后将受控风机应该输出的功率指令写回Redis中；

1.4a)能量管理系统将风机控制消息向Redis发布。

所述control通道实现风机控制事件的传输，订阅该通道的系统是风机通信系统，对应的工作方法为：

1.1b)能量管理系统、前端用户或第三方通信系统将风机的控制消息，向Redis发布一条control消息；

1.2b)订阅了该通道消息的风机通信系统收到消息后，按照消息中定义的操作类型，从Redis读取相应的指令数据发送给风电机组，或者直接将控制指令发送给风机；

1.3b)将风机执行结果或者采集的实时数据写回Redis。

所述alarm通道用于实现故障报警事件的传输，订阅该通道消息的系统是前端用户或事件监测程序，对应工作方法是：

1.1c)故障报警监测程序实时从Redis中读取故障报警信息；

1.2c)一旦发现新的故障报警出现，根据相应的配置，确定是否需要提醒用户或者自主取自相应的措施，假如满足提醒或采取措施的条件，向Redis发布一条alarm消息；

1.3c)订阅该通道的前端应用程序和事件监测程序，根据alarm消息中定义的措施，采取向前端用户进行语音、弹窗提醒，或者由事件监控程序从Redis中读取实时数据进行分析后采取相应措施。

与现有技术相比，本发明的优点在于：

本发明使用应用广泛的Redis内存数据库作为基础，具有可靠性高，运行稳定的特点，根据风电监控系统的测点数量多，实时性要求高，数据共享度要求高，可扩展性要求高等特征作了针对性的设计，是一种可扩展，易管理、高并发、安全高效、稳定可靠的风电实基础对象信息和时数据管理方法，并具有如下优点:

(1)分布式部署

Redis-cluster本身是无中心结点的分布式结构，而以其作为数据共享中心的系统应用可以部署到不同的服务器且能共享数据和协同运行。

(2)应用耦合度低

通过Redis共享数据和Pub/Sub(发布/订阅)机制传输消息的方式，可以更大程序地降低应用模块的藕合度，设计师在设计应用系统时无须过多地考虑进程之间的同步、消息的传递等机制，尤其是分布式部署时，不用考虑通信和同步机制。

(3)读写高并发

Redis本身拥有不错的并发读写性能，加上本方法对风电对象合理的数据结构设计和访问接口的优化，从而达到了相当好的读写并发性能。根据本方法设计的系统，测试并发读写峰值达到400,000点/秒，平均并发读写性能也超过了200,000点/秒。

附图说明

图1为本发明中的redis中存储的风电对象信息与实时数据结构图。

图2为本发明发布/订阅机制示意图。

具体实施方式

以下结合说明书附图和具体实施例对本发明作进一步描述。

如图1和图2所示，本实施例的基于Redis集群的风电监控对象信息和实时数据存储管理方法，包括：基于Redis的存储类型对风电监控对象信息和实时数据进行结构定义；

对各风电监控对象信息和实时数据的访问接口进行优化设计；

依赖发布/订阅机制的消息传输实现监控数据共享和跨进程应用事件触发。

本实施例中，Redis内存数据库从3.0开始具备无中心结点的cluster(集群功能)，但3.0和4.0版本的cluster部署需要Ruby语言支持。从5.0版本开始，用c语言实现Redis-cli可以直接部署Rediscluster，而且性能和可靠性得到较大的提升，因此本方法选用的Redis集群部署选用5.0及以上版本。

进一步地，为达到大数据中心分布式集群管理目的，宜选用3台以上相同或相近配置的服务器，安装同型号的Linux操作系统。每台服务器部署4-6个Redis实例，以充分利用服务器CPU的多核心多线程性能，并且可以提高I/O并发的效率。在需要扩展的情况下，可以新增服务器部署新的Redis实例，以达到横向扩展的目的。

进一步地，为保证整个集群的安全性，启用Redis的protected-mode，并且为访问设置密码，在集群中masterauth和requirepass两个密码要设置为相同密码，且使用强密码。为保证数据的安全性，并且在少数集群结点失效时数据的可靠性，应该给数据复制一定数量的副本，而且副本本身也可以增加数据读取时的并发效率。但副本太多又要消耗过多的计算资源来复制和维护副本，因此为保证并发数据读取的高效和并发数据写入的高效，建议副本数量为1个，最多2个。这样的并发效率对风电实时数据是合适的。另外将每个Redis结点均做成系统服务，启用开机时自启动。

本实施例中，风电对象信息和实时数据在Redis中的结构化管理是本方法中关键所在。本方法中风电对象信息和实时数据的结构定义如图1所示：风电监控对象信息和实时数据包括风场对象信息数据、机型数据、线路数据和风机数据；其中风场对象信息数据是整个风电数据结构的最顶层，包括：风场基本信息：如装机容量、装机数量、业主单位、地理位置等；AGC/AVC信息：如AGC/AVC使能状态、AGC/AVC指令、可用功率、理论功率、执行反馈等；用户信息：登录到系统并关联到当前风场的用户信息，如权限、功能限制等；机型列表：风场使用的风机型号(可能1种，也可能多种)；线路列表：即风电场集电线路(暗含通信线路)的走向，划分；风机列表：整个风电场中拥有的全部风机对象；风电场统计汇总的实时数据：如全场发电量、平均风速、不同状态的风机统计数据等。

其中机型数据包括：机型参数：机型命名、额定功率、叶轮直径、塔高、切入风速、切出风速等；测点信息：该机型拥有的测点详细信息，如变量名、数据类型、所属子系统、数值范围等；故障报警信息：该机型完整的故障报警列表。

其中线路数据包括线路命名：与电网呼号响应的集电线路名称；风机数量：拥有多少台风机；风机列表和走向：在线路中的风机排列。

其中风机数据包括风机命名：如工程编号，运维编号等；机型标识：属于哪种机型，获得与机型对应的参数以及测点和故障报警信息；实时数据：机型对应的每个测点从风机自主控制器中采集的当前数据，以不超过1秒的时间间隔获取并刷新；实时报警：从实时数据中解析出报警信息；子系统：风机叶轮、传动(齿轮箱、主轴、刹车等)、发电机、变流器、箱变等不同的部件划分。

本实施例中，针对风电对象信息和实时数据在Redis中的存储，为隐藏存储结构细节和保证结构的稳定性，针对对象信息和实时数据管理设计专门的访问接口，包括全局访问接口、风场访问接口和风机访问接口，各接口定义如下：

其中全局访问接口，包括如下功能：连接Redis集群和关系数据库；初始化Redis风电对象信息和实时数据存储结构；通过风电场id获取风电场对象；通过风机id获取风机对象；通过风场id和测点id获取对应测点的风场实时数据；通过风场id获取整个风场的所有实时数据，返回数据为k-v键值集合；通过风机id和测点id获取对应测点的风机实时数据；通过风机id获取一台风机实时数据，返回数据为k-v键值集合。

其中风场访问接口对应的功能为：获取风场各属性信息，如名称、容量、风机数量、地理位置等；获取线路对象；通过测点id获取对应测点的风场实时数据；通过测点id更新对应测点的风场实时数据；获取整个风场的所有实时数据，返回数据为k-v键值；通过map容器(存储k-v键值集合)更新风场的指定1个或多个测点(k指定)的实时数据；通过风机id获取一台风机实时数据，返回数据为k-v键值集合；通过风机id和测点id获取对应测点的风机实时数据；获取风场AGC实时数据；获取风场AVC实时数据。

其中风机访问接口对应的功能为：获取风机的各属性信息，如名称、额定功率、风机类型、塔高、切入风速等；通过测点id获取对应测点的风机实时数据；通过测点id更新对应测点的风机实时数据；获取该风机的所有实时数据，返回数据为k-v键值集合；通过map容器(存储k-v键值集合)更新该风机指定的1个或多个测点(k指定)的实时数据；获取风机故障报警信息；通过子系统id获取风机对应子系统对象；获取风机所有子系统对象集合；获取风机的类型对象；通过测点id获取风机测点对象；获取风机所有测点对象集合。

本实施例中，依赖RedisPub/Sub(发布/订阅)机制的消息传输实现监控数据共享和跨进程应用事件触发。为达到该目标设置了三个Pub/Sub通道，分别为ems通道、control通道和alarm通道，其机制如图2所示：

其中ems通道实现ems(能量管理系统)事件的传输，订阅该通道的系统是能量管理系统，其工作方法是:

1.1a)第三方通信系统(Modbus、104规约等)或前端用户传输在Redis中设置了一个AGC/AVC指令，同时向Redis发布一条ems消息；

1.2a)订阅了该通道消息的能量管理系统(与发布消息的应用可在同一服务器，也可不在同一服务器)，收到消息后，按照消息中定义的操作类型，调用风场访问接口获取相应的AGC或AVC指令、风机实时值及相应参数；

1.3a)能量管理系统将相应的AGC/AVC指令、风机实时值及相关参数进行运算分析，然后将受控风机应该输出的功率指令写回Redis中；

1.4a)能量管理系统将风机控制消息向Redis发布。

其中control通道实现control(风机控制)事件的传输，订阅该通道的系统是风机通信系统，其工作方法是：

1.1b)能量管理系统、前端用户或第三方通信系统(Modbus、104规约等)将对风机的控制消息，如能量管理系统给每台风机分解的功率控制指令，向Redis发布一条control消息；

1.2b)订阅了该通道消息的风机通信系统(与发布消息的应用可在同一服务器，也可不在同一服务器)，收到消息后，按照消息中定义的操作类型，从Redis读取相应的指令数据发送给风电机组，或者直接将控制指令发送给风机；

1.3b)将风机执行结果或者采集的实时数据写回Redis。

其中alarm通道实现alarm(故障报警)事件的传输，订阅该通道消息的系统是前端用户或事件监测程序。其工作方法是：

1.1c)故障报警监测程序实时从Redis中读取故障报警信息；

1.2c)一旦发现新的故障报警出现，根据相应的配置，确定是否需要提醒用户或者自主取自相应的措施，假如满足提醒或采取措施的条件，向Redis发布一条alarm消息；

1.3c)订阅该通道的前端应用程序和事件监测程序，根据alarm消息中定义的措施，采取向前端用户进行语音、弹窗等提醒，或者由事件监控程序从Redis中读取实时数据进行分析后采取相应措施，比如向Redis发布一条control消息，要求风机通信系统控制某台或多台风机停机。

本发明使用应用广泛的Redis内存数据库作为基础，具有可靠性高，运行稳定的特点，根据风电监控系统的测点数量多，实时性要求高，数据共享度要求高，可扩展性要求高等特征作了针对性的设计，是一种可扩展，易管理、高并发、安全高效、稳定可靠的风电实基础对象信息和时数据管理方法，并具有如下优点:

(1)分布式部署

Redis-cluster本身是无中心结点的分布式结构，而以其作为数据共享中心的系统应用可以部署到不同的服务器且能共享数据和协同运行。

(2)应用耦合度低

通过Redis共享数据和Pub/Sub(发布/订阅)机制传输消息的方式，可以更大程序地降低应用模块的藕合度，设计师在设计应用系统时无须过多地考虑进程之间的同步、消息的传递等机制，尤其是分布式部署时，不用考虑通信和同步机制。

(3)读写高并发

Redis本身拥有不错的并发读写性能，加上本方法对风电对象合理的数据结构设计和访问接口的优化，从而达到了相当好的读写并发性能。根据本方法设计的系统，测试并发读写峰值达到400,000点/秒，平均并发读写性能也超过了200,000点/秒。

当前采用本发明方法开发设计的第三代风电管理系统大数据中心已经成功接入了近千台风机的实时监控，且向智能运维平台、风电健康管理与故障预警系统、风电形影提供实时数据共享，表现十分稳定可靠。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，包括：

基于Redis的存储类型对风电监控对象信息和实时数据进行结构定义；

对各风电监控对象信息和实时数据的访问接口进行优化设计；

依赖发布/订阅机制的消息传输实现监控数据共享和跨进程应用事件触发。

2.根据权利要求1所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，风电监控对象信息和实时数据包括风场对象信息数据、机型数据、线路数据和风机数据；所述风场对象信息数据位于整个风电数据结构的最顶层，包括风场基本信息、AGC/AVC信息、用户信息、机型列表、线路列表、风机列表和风电场统计汇总的实时数据；所述机型数据包括机型参数、测点信息和故障报警信息；所述线路数据包括线路命名、风机数量、风机列表和走向；所述风机数据包括风机命名、机型标识、实时数据、实时报警和子系统。

3.根据权利要求1～2中任意一项所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，对应的访问接口包括全局访问接口、风场访问接口和风机访问接口。

4.根据权利要求3所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，所述全局访问接口用于连接Redis集群和关系数据库；用于初始化Redis风电对象信息和实时数据存储结构；用于通过风电场id获取风电场对象；用于通过风机id获取风机对象；用于通过风场id和测点id获取对应测点的风场实时数据；用于通过风场id获取整个风场的所有实时数据，返回数据为k-v键值集合；用于通过风机id和测点id获取对应测点的风机实时数据；用于通过风机id获取一台风机实时数据，返回数据为k-v键值集合。

5.根据权利要求3所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，所述风场访问接口用于获取风场各属性信息；用于获取线路对象；用于通过测点id获取对应测点的风场实时数据；用于通过测点id更新对应测点的风场实时数据；用于获取整个风场的所有实时数据，返回数据为k-v键值；用于通过map容器更新风场的指定1个或多个点(k指定)的实时数据；用于通过风机id获取一台风机实时数据，返回数据为k-v键值集合；用于通过风机id和测点id获取对应测点的风机实时数据；用于获取风场AGC实时数据；用于获取风场AVC实时数据。

6.根据权利要求3所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，所述风机访问接口用于获取风机的各属性信息，如名称、额定功率、风机类型、塔高、切入风速等；用于通过测点id获取对应测点的风机实时数据；用于通过测点id更新对应测点的风机实时数据；用于获取该风机的所有实时数据，返回数据为k-v键值集合；用于通过map容器更新该风机指定的1个或多个测点的实时数据；用于获取风机故障报警信息；用于通过子系统id获取风机对应子系统对象；用于获取风机所有子系统对象集合；用于获取风机的类型对象；用于通过测点id获取风机测点对象；用于获取风机所有测点对象集合。

7.根据权利要求1～2中任意一项所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，通过设置三个Pub/Sub通道以实现监控数据共享和跨进程应用事件触发；三个Pub/Sub通道分别为ems通道、control通道和alarm通道。

8.根据权利要求7所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，所述ems通道实现能量管理系统事件的传输，订阅该通道的系统是能量管理系统，对应的工作方法为：

1.1a)第三方通信系统或前端用户传输在Redis中设置了一个AGC/AVC指令，同时向Redis发布一条ems消息；

1.2a)订阅了该通道消息的能量管理系统收到消息后，按照消息中定义的操作类型，调用风场访问接口获取相应的AGC或AVC指令、风机实时值及相应参数；

1.3a)能量管理系统将相应的AGC/AVC指令、风机实时值及相关参数进行运算分析，然后将受控风机应该输出的功率指令写回Redis中；

1.4a)能量管理系统将风机控制消息向Redis发布。

9.根据权利要求7所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，所述control通道实现风机控制事件的传输，订阅该通道的系统是风机通信系统，对应的工作方法为：

1.1b)能量管理系统、前端用户或第三方通信系统将风机的控制消息，向Redis发布一条control消息；

1.2b)订阅了该通道消息的风机通信系统收到消息后，按照消息中定义的操作类型，从Redis读取相应的指令数据发送给风电机组，或者直接将控制指令发送给风机；

1.3b)将风机执行结果或者采集的实时数据写回Redis。

10.根据权利要求7所述的基于Redis集群的风电监控对象信息和实时数据存储管理方法，其特征在于，所述alarm通道用于实现故障报警事件的传输，订阅该通道消息的系统是前端用户或事件监测程序，对应工作方法是：

1.1c)故障报警监测程序实时从Redis中读取故障报警信息；

1.2c)一旦发现新的故障报警出现，根据相应的配置，确定是否需要提醒用户或者自主取自相应的措施，假如满足提醒或采取措施的条件，向Redis发布一条alarm消息；

1.3c)订阅该通道的前端应用程序和事件监测程序，根据alarm消息中定义的措施，采取向前端用户进行语音、弹窗提醒，或者由事件监控程序从Redis中读取实时数据进行分析后采取相应措施。

Images