发明内容
本发明的目的就是为了解决上述问题,提出了输变电设备负荷数据接入电力系统的监控预警系统及方法,该方法使用故障识别技术、非结构化数据库、开源实时数据广播框架、识别接入过程中存在的网络、服务、存储故障并对故障预警和缺漏数据补录以及数据共享,实现将输变电设备数据顺利接入电力内网并确保数据完整性和实时性以及可扩展性。
为了实现上述目的,本发明采用如下技术方案:
输变电设备负荷数据接入电力系统的监控预警系统,包括:
诊断模块,用于跟踪接入过程的web服务请求过程和存储过程中出现的异常情况,并按逻辑算法推断异常原因;
预警模块,用于根据诊断模块判断出网络断开、服务停止、存储故障、请求延迟、存储延迟和心跳停止,并将判断结果存储到存储模块中;
存储模块,用于把预警模块诊断出的故障存入输变电设备负荷数据库中,接入过程中产生的输变电设备负荷数据存入输变电设备负荷数据库中;
展现模块,用于对预警结果进行展示。
所述接入诊断模块,包括接入数据并解析单元、服务状态判断单元和写入状态判断单元;
接入数据并解析单元,用于跟踪接入应用与web服务通讯中网络通讯异常并推断异常原因的算法;用于解析接入的元数据并组成habse存储格式的组合;用于根据接入过程中统计产生的请求数据量、返回数据量、存储数据量;
服务状态判断单元,用于跟踪接入应用与web服务信息交换中异常并推断异常原因的算法;
写入状态判断单元,用于跟踪接入应用存储故障数据、解析结果到hbase异常并推断异常原因的算法;
所述预警模块,包括网络断开预警单元、服务停止预警单元、存储故障预警单元、请求延迟预警单元、存储延迟预警单元和心跳停止预警单元;
网络断开预警单元,用于根据接入数据并解析单元诊断出的网络断开故障,即表示web服务主机网络离线;
服务停止预警单元,用于根据服务状态判断单元诊断出的服务停止故障,即表示web服务主机网络在线,但是服务拒绝连接;
存储故障预警单元,用于根据写入状态判断单元诊断出的存储故障,即表示hbase发生故障;
请求延迟预警单元,用于根据服务状态判断单元诊断出的请求延迟故障,即表示一次数据请求耗时超过1分钟;
存储延迟预警单元,用于根据写入状态判断单元诊断出的存储延迟故障,即表示存储时长大于5秒;
心跳停止预警单元,用于根据接入应用日志诊断出的心跳停止故障,即表示接入应用故障退出或未运行;
所述存储模块,包括HBase非结构化数据存储单元、Hdfs文件存储单元、Kafka广播单元和Redis临时数据缓存单元;
HBase非结构化数据存储单元,用于存储接入解析后的数据、故障记录,供其他电网应用研究查询历史数据;
Hdfs文件存储单元,用于磁盘备份解析后的数据,供数据库故障崩溃数据恢复;
Kafka广播单元,用于实时推送新接入的解析数据,供其他电网应用被动更新数据;
Redis临时数据缓存单元,用于临时存储接入1天的解析数据;
所述展现模块,包括总体实时状态概览单元、按应用实时状态概览单元、历史故障查询单元和实时数据流量折线图展示单元。
总体实时状态概览单元,用于展示根据预警模块诊断出的结果;
按应用实时状态概览单元,用于展示根据预警模块诊断出的网络断开、服务停止、存储故障、请求延迟、存储延迟和心跳停止等故障并区分颜色;
历史故障查询单元,用于根据时间段查询故障发生的记录详细信息;
实时数据流量折线图展示单元用于把根据接入数据并解析单元统计出的请求数据量、返回数据量、存储数据量根据时间点的变化形成折线图展示;
输变电设备负荷数据实时接入电力系统的监控预警方法,包括以下步骤:
步骤(1):依据能量管理系统的D5000模型建立设备量测模型规范;同时根据实时数据接入过程中的历史异常数据建立接入日志内容标准;
步骤(2):依据步骤(1)中的设备量测模型规范和步骤(1)中的接入日志内容标准建立输变电设备负荷数据库,对输变电设备负荷数据库中的负荷数据、故障记录、补录历史分别建立负荷数据表、故障记录表和补录历史表;为适合非结构数据库的存储及快速检索,统一输变电设备负荷数据库的key值组成key值格式规范;
步骤(3):通过步骤(1)的量测模型规范对实时接入的输变电设备负荷数据进行解析,并根据步骤(2)中的key值格式规范存储到步骤(2)的设备负荷数据库中的负荷数据表中,然后通过对负荷数据表中的数据进行广播;
步骤(4):通过步骤(1)中的接入日志内容标准识别接入输变电设备负荷数据过程中存在的网络故障、服务故障或存储故障,并将故障根据步骤(2)中的key值格式规范存储到步骤(2)的设备负荷数据库中的故障记录表中;对故障记录表中缺漏的数据,通过历史数据进行补录并把补录记录根据步骤(2)中的key值格式规范存储到步骤(2)的设备负荷数据库中的补录历史表中;
步骤(5):对于故障记录进行展示。
所述步骤(1)中的设备量测模型规范,包括:设备台账、量测ID、量测类型;
所述步骤(1)中的接入日志内容标准,包括:
正常信息:标识为normal,描述实时数据接入的重要过程;所述重要过程包括:开始WebService访问、WebService访问完成或完成一次数据读取;
故障信息:标识为error,描述实时数据接入的故障状态;所述故障状态包括:网络故障、服务停止故障、存储故障或应用故障;
告警信息:标识为warning,描述实时数据接入的告警状态;所述告警状态包括:访问延迟或存储延迟。
所述步骤(2)中key值组成key值格式规范为:地市&设备量测&量测时间;
所述步骤(3)的方法为:
通过步骤(1)的量测模型规范将实时接入的输变电设备负荷数据进行数据格式转换,并将数据格式转换后的结果存入输变电设备负荷数据库中;将实时接入的输变电设备负荷数据存入kafka消息队列,依据步骤(2)中的key值规范建立对外实时广播推送实时数据通道;
根据设备量测模型规范,解析接入的数据组成key值和量测值组成键值对并异步存储键值对到hbase数据库中以及异步发送到kafka队列中;
所述步骤(4)中通过步骤(1)中的接入日志内容标准识别接入输变电设备负荷数据过程中存在的网络故障、服务故障或存储故障,并将故障根据步骤(2)中的key值格式规范存储到步骤(2)的设备负荷数据库中的故障记录表中;方法包括:
当总体请求服务出现错误,如果错误未达到N次就消失,则判断为间断停止服务;等待总体请求N-1次未出现错误则解除故障;
当总体请求服务出现错误,如果总体请求达到N次及以上连续出现错误,此时判断web服务ip是否为通讯,如果通讯则判断为服务停止;不通讯则判断为外部网络不通;等待服务有返回后解除故障。
配置服务监控请求及应答时长限制,如果超过设置的时长,则判断为请求超时,如果N-1次低于设置的时长则解除请求超时状态。
存储报错时,则判断为无法写入;等待成功写入后解除故障。
设置写入时长限制,如果写入超过设置的时长,则判断为写入延迟;等待N-1次写入低于时长限制则解除延迟状态。
所述描述(4)中对故障记录表中缺漏的数据,通过历史数据进行补录并把补录记录根据步骤(2)中的key值格式规范存储到步骤(2)的设备负荷数据库中的补录历史表中:
分析故障记录时间段,并通过能量管理系统的历史数据,依据能量管理系统中的D5000模型和故障时间段获取遗漏的记录。
所述描述(5)中展示,内容包括:
实时监控界面:直观展示Web服务状态和存储状态,绿色代表正常、黄色代表警告、红色代表严重故障。监控外部通讯和内部存储两个过程,外部通讯包括监控:服务、请求、外部网络状态;内部存储监控写入数据的状态;
流量监控界面:对每次数据请求涉及到的数据流量进行监控,监控内容包括完成时间、请求量测数、返回量测数、插入量测数、WebService通讯状态,并把每次监控内容存储到输变电设备负荷数据库,并以折线图展示。
本发明的有益效果:
1、本发明建立了接入日志内容标准,为电力专业化应用;为电力行业与其他部门间的数据交互奠定了基础。
2、本发明故障判断方法将程序异常与网络判断相结合,智能判断故障原因,为以后的其他系统的数据接入提供了技术依据。
3、通过将解析处理后的数据存储至前台页面展示,可以直接在前台监视接入状态,通过预警可直接发现故障并及时解决,加快了故障解决效率,尽可能减少了实时数据的漏读。
4、通过将实时数据发送到kafka实时推送广播,实现每分钟15M数据的推送,为电网大数据实时数据共享场景提供了有效验证及依据。
具体实施方式
下面结合实施例对本发明进行详细说明:
如图1和2所示,一种应用于电力系统的输变电设备负荷数据实时接入监控预警方法,接入及诊断模块、预警模块、存储模块和展现模块:
一、接入及诊断模块
输变电设备负荷数据的标准数据格式为对象格式,输变电设备负荷数据数据格式包含输变电设备负荷数据要素(如量测类型、量测值、量测实践等)的值,首先建立输变电设备负荷数据标准规范的输变电设备负荷数据接口服务;按照实际需要建立系统数据库;根据数据性质分别建立数据表;统一数据库key值组成格式规范并针对每类数据建立个性的key;
输变电设备负荷数据接口为基于xfire的WebService接口。WebService是一个应用组件,它逻辑性的为其他应用程序提供数据与服务,各应用程序通过网络协议和规定的一些标准数据格式(Http,XML,Soap)来访问WebService,通过WebService内部执行得到所需结果。WebService可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后,其他WebService应用程序可以发现并调用它部署的服务。
JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。
调用服务传递参数,经过webservice接口处理后结果返回带数据的ReadResponse对象,根据解析对象得到服务器返回的访问消息和量测数据。
输变电设备负荷数据接收端数据接口部署在一台内网服务器,此数据接口采用webservice开发,用来实时接收输变电设备负荷数据并存储至数据库中,仅对专网内服务器开放。
故障标准
表1故障格式标准表
日期:消息产生时间
间隔符:日期与消息串之间的间隔标志,5个空格符
消息串:消息属性值集合,单个消息属性以“key->value”为格式,消息属性之间以“&;&”为间隔标志
注意:日期必须、间隔符必须、消息串必须有type->normal标识消息类型的字样
故障诊断
状态判断
web服务状态判断:
当总体请求服务出现错误,如果错误未达到4次就消失,则判断为间断停止服务;等待整体请求三次未出现错误则解除故障;
当总体请求服务出现错误,如果总体请求有4次及以上连续出现错误,此时判断web服务ip是否为通讯,如果通讯则判断为服务停止;不通讯则判断为外部网络不通。等待服务有返回后解除故障。
配置服务监控请求及应答时长限制,如果超过设置的时长,则判断为请求超时,如果3次低于设置的时长则解除请求超时状态。
写入状态判断:
存储报错时,则判断为无法写入;等待成功写入后解除故障。
设置写入时长限制,如果写入超过设置的时长,则判断为写入延迟;等待3次写入低于时长限制则解除延迟状态。
预警模块
根据诊断模块判断出网络断开、服务停止、存储故障、请求延迟、存储延迟和心跳停止等故障,存入数据库并在展现模块中的总体实时状态概览和按应用实时状态概览中用红色报警展示。
存储模块
把预警模块诊断出的故障存入输变电设备负荷数据库中;把接入过程中产生的数据变化存入输变电设备负荷数据库中;接入过程中产生的输变电设备负荷数据存入输变电设备负荷数据库中以及发送到kfaka和存入redis。
展现模块
实时数据流量图展示
规划完成每次数据请求监控,监控内容包括完成时间、请求量测数(再按量测类型细分量测数)、返回量测数(再按量测类型细分量测数)、插入量测数(再按量测类型细分量测数)、webservice通讯状态,这些数据从存储模块中的输变电设备负荷数据库中获取,并以折线图展示,根据展示状态能分析出以下几种状况:
正常情况:发送点间隔均匀分布并且两点时刻相差一分钟,并且请求总数、返回总数、插入总数三种指数都大于0而且保持不变
无法连接web服务:请求总数数量大于0,返回总数和插入总数都为0
服务数据重复性变化较大:请求总数和返回总数大于0并且数量大体变化不大,但插入数据大于0但是线段起伏较大
监控概览
从存储模块中的输变电设备负荷数据库中获取经过预警模块存储的状态信息,直观展示web服务状态和存储状态,绿色代表正常、黄色代表警告、红色代表严重故障。监控外部通讯和内部存储两个过程:外部通讯包括监控:服务、请求、外部网络状态;内部存储主要监控写入数据的状态。
输变电设备负荷数据接入监控后台部署在一台内网服务器,此数据接口采用故障诊断技术开发,用来实时判断接入过程的流量状态、服务状态、网络状态并存储;
输变电设备符合数据接入监控前台界面服务部署在一台内网服务器的网络中间件上,采用spring框架,读取数据库监控状态jsp页面展示。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。