CN107769993A - 面向电网大数据分布式系统的数据流量监控方法 - Google Patents

Abstract

本发明涉及电力行业中电力变压器设备状态监测及故障诊断的研究、应用技术领域，具体涉及面向电网大数据分布式系统的数据流量监控方法，本发明通过各目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值来判断目标IP地址X的当前平均流量是否正常，并在发现异常时立即输出告警以及根据目标地址DstX、源地址SrcY交互报文的理论流量值，判断目标地址DstX、源地址SrcY的交互报文平均流量是否正常，若不正常时立即输出告警，率先实现了基于历史先验数据的流量实时监视、判断方法，克服了多维数据归集、分析过程中数据管理、统计的难度，显著提升了基于电网大数据诊断、分析输变电状态结果的可靠性。

Description

面向电网大数据分布式系统的数据流量监控方法

技术领域

本发明涉及电力行业中电力变压器设备状态监测及故障诊断的研究、应用技术领域，具体涉及面向电网大数据分布式系统的数据流量监控方法。

背景技术

大数据（big data）可以通俗地理解为无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。鉴于大数据潜在的巨大影响，很多国家都将大数据视作战略资源，并将大数据研究提升为国家战略，涉及金融、电信、网络、零售、制造、医疗及科技领域。大数据在能源电力领域的应用属于起步阶段。2013年，中国电机工程学会发布了《中国电力大数据发展白皮书》，白皮书第一次提出了电力大数据的定义，并指出重塑电力核心价值和转变电力发展方式是中国电力大数据的两条核心主线。大数据的应用流程一般可分为数据获取和集成、数据解释和分析（数据解析）、分析结果展示等环节。其中，数据获取和集成是重要环节。

鉴于大数据分析的作用，电网企业在建设状态监测评价中心亦充分考虑研发电网大数据的分析工具。如中国南网电网公司明确提出了，各级状态监测评价中心的输变电设备状态监测评价主站平台需按照统一的标准，实现设备在线监测信息、设备台账信息（含基本信息、技术参数、价值信息、运维资料、大修技改、缺陷记录、绩效评价等七个维度），以及系统运行信息、气象环境信息、视频监视信息等数据的归集和全面融合。在输变电设备状态监测评价输变电设备状态监测评价主站平台基础上，优先利用成熟配套软件，开发和部署基于生产大数据的分析应用，如风险评估、决策支持等，为实现全网设备的状态预警、评价提供技术支撑。然而，在输变电设备状态监测评价主站平台是否能够可靠、稳定和完整地由资产管理系统、海量准实时平台及在线监测系统抽取缺陷记录、预试定检等关键数据，成为了有效利用分析电网大数据的关键环节。输变电设备状态监测评价主站平台含有若干台数据采集服务器，每台服务器均设置一个目标IP地址；与输变电设备状态监测评价主站平台相关的其他分布式系统均有一台数据传输服务器，每台服务器均设置一个源IP地址。输变电设备状态监测评价主站平台与其他分布式系统在单位时间内的发送流量都维持在一定的范围内，流量过大和过小都视为异常情况。针对此特征，利用电网大数据分布式系统中各类数据更新流量相对稳定的特点，建立分布式系统内网络流量的检查规则和算法，便显得至关重要。

鉴于此，亟待在保障输变电设备状态监测评价输变电设备状态监测评价主站平台数据交互功能的前提下，实现面向电网大数据分布式系统的数据流量监控，确保有效的数据归集和全面融合，为实现全网设备的状态预警、评价提供技术支撑。

发明内容

本发明的目的为解决现有技术的上述问题，提供了面向电网大数据分布式系统的数据流量监控方法，通过电力监控系统通过获取一段时间内的网络流量信息并结合历史流量信息，检测发送报文流量、交互报文流量大小是否正常，进而还可以提供网络安全、数据流完整性和数据通道可用性检查服务，为了实现上述目的，本发明采用的技术方案如下：

面向电网大数据分布式系统的数据流量监控方法包括以下步骤：

（1）判断输变电设备状态监测评价主站平台抽取单个分布式系统单位时间内的流量是否异常，识别输变电设备状态监测评价主站平台各个分布式系统的目标IP地址X、输变电设备状态监测评价主站平台的源IP地址Y，通过该目标IP地址X发送至源IP地址Y的报文合计长度，计算该系统发送至输变电设备状态监测评价主站平台的报文的当前平均流量，计算公式如下：

；（1）

式中，m _x 为T时间内发送报文的数量，length为单条报文的长度，指该系统发送至输变电设备状态监测评价主站平台的报文合计长度，T为用以计算当前平均流量的时间范围；平均流量的单位为千字节每秒；

（2）根据目标IP地址X近一个自然月内向输变电设备状态监测评价主站平台发送的历史报文长度计算目标IP地址X发送报文的流量理论值，计算公式如下：

；（2）

式中，m _x1 为近一个自然月内Δt时间段内发送的历史报文的数量，length为单条报文的长度，指该目标IP地址X近一个自然月内向输变电设备状态监测评价主站平台发送的历史报文合计长度；

（3）通过各目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值来判断目标IP地址X的当前平均流量是否正常，并在发现异常时立即输出告警；

（4）根据报文的目标IP地址X和源地址Y，对输变电设备状态监测评价主站平台及其相关的分布式系统中的IP地址集合Z进行分组，建立各目标IP地址X和源地址Y之间的对应关系，具体如下：

；（3）

式中，DstX表示发送报文的目标地址，SrcY表示抽取报文的源地址；

（5）从IP地址集合Z中提取各目标地址DstX、源地址SrcY，并计算目标地址DstX、源地址SrcY的交互报文平均流量：计算公式如下：

；（4）

式中，m _XY 是指目标地址DstX、源地址SrcY在T时间内交互报文的数量，length为单条报文的长度，是指目标地址DstX、源地址SrcY在T时间内交互报文的合计长度，T是用以计算当前交互报文平均流量的时间范围，流量单位是千字节每秒；

（6）根据目标地址DstX、源地址SrcY的近一个自然月交互的历史报文信息，计算该目标地址DstX、源地址SrcY交互报文的流量理论值：

；（5）

式中，m _XY1 为近一个自然月内目标地址DstX、源地址SrcY在Δt时间段内交互的历史报文的数量，length为单条报文的长度，为目标地址DstX、源地址SrcY交互的报文合计长度，流量单位是千字节每秒；

（7）根据目标地址DstX、源地址SrcY交互报文的理论流量值，判断目标地址DstX、源地址SrcY的交互报文平均流量是否正常，若不正常时立即输出告警。

进一步，所述步骤（3）中的判断标准为：

目标IP地址X的当前平均流量大于等于目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值的0.8倍；或者目标IP地址X的当前平均流量小于等于目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值的1.2倍，即：

（6）。

进一步，所述步骤（7）中的判断标准为：

目标地址DstX、源地址SrcY的交互报文平均流量大于等于交互报文的流量理论值的0.8倍；或者目标地址DstX、源地址SrcY的交互报文平均流量小于等于交互报文的流量理论值的1.2倍，即：

（7）。

进一步，所述分布式系统包括海量准实时平台、设备状态监测系统、生产管理系统、资产管理系统、电力数据采集与监控系统、电力设备在线监测系统、雷电定位监测系统、变电站视频及环境监控系统、输电线路覆冰在线监测系统、电力数据采集与监控系统、气象及环境监测系统。

附图说明

图1为本发明的步骤流程图。

具体实施方式

为了更好的理解本发明，下面结合附图和具体实施例对本发明作进一步说明：

如图1所示，面向电网大数据分布式系统的数据流量监控方法包括以下步骤：

（1）输变电设备状态监测评价主站平台接入海量准实时平台、设备状态监测系统、生产管理系统、资产管理系统、电力数据采集与监控系统、电力设备在线监测系统、雷电定位监测系统、变电站视频及环境监控系统、输电线路覆冰在线监测系统、电力数据采集与监控系统、气象及环境监测系统等分布式系统的数据；判断输变电设备状态监测评价主站平台抽取单个分布式系统单位时间内的流量是否异常，识别输变电设备状态监测评价主站平台各个分布式系统的目标IP地址X、输变电设备状态监测评价主站平台的源IP地址Y，通过该目标IP地址X发送至源IP地址Y的报文合计长度，计算该系统发送至输变电设备状态监测评价主站平台的报文的当前平均流量，计算公式如下：

；

其中，m _x 为T时间内发送报文的数量，length为单条报文的长度，指该系统发送至输变电设备状态监测评价主站平台的报文合计长度，T为用以计算当前平均流量的时间范围；平均流量的单位为千字节每秒。

（2）根据目标IP地址X近一个自然月内向输变电设备状态监测评价主站平台发送的历史报文长度计算目标IP地址X发送报文的流量理论值，计算公式如下：

；

其中，m _x1 为近一个自然月内Δt时间段内发送的历史报文的数量，length为单条报文的长度，指该目标IP地址X近一个自然月内向输变电设备状态监测评价主站平台发送的历史报文合计长度。

（3）通过各目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值来判断目标IP地址X的当前平均流量是否正常，并在发现异常时立即输出告警，其中流量大幅上升疑似存在异常访问，流量大幅下降疑似存在通道阻塞；判断标准为：

目标IP地址X的当前平均流量大于等于目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值的0.8倍；

或者目标IP地址X的当前平均流量小于等于目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值的1.2倍，即：

。

（4）根据报文的目标IP地址X和源地址Y，对输变电设备状态监测评价主站平台及其相关的分布式系统中的IP地址集合Z进行分组，建立各目标IP地址X和源地址Y之间的对应关系，具体如下：

；

其中，DstX表示发送报文的目标地址，SrcY表示抽取报文的源地址。

（5）从IP地址集合Z中提取各目标地址DstX、源地址SrcY，并计算目标地址DstX、源地址SrcY的交互报文平均流量：计算公式如下：

；

其中，m _XY 是指目标地址DstX、源地址SrcY在T时间内交互报文的数量，length为单条报文的长度，是指目标地址DstX、源地址SrcY在T时间内交互报文的合计长度，T是用以计算当前交互报文平均流量的时间范围，流量单位是千字节每秒。

（6）根据目标地址DstX、源地址SrcY的近一个自然月交互的历史报文信息，计算该目标地址DstX、源地址SrcY交互报文的流量理论值：

；

其中，m _XY1 为近一个自然月内目标地址DstX、源地址SrcY在Δt时间段内交互的历史报文的数量，length为单条报文的长度，为目标地址DstX、源地址SrcY交互的报文合计长度，流量单位是千字节每秒。

（7）根据目标地址DstX、源地址SrcY交互报文的理论流量值，判断目标地址DstX、源地址SrcY的交互报文平均流量是否正常，若不正常时立即输出告警；其中流量大幅上升疑似存在异常交互访问，流量大幅下降疑似存在交互通道阻塞；判断标准为：

目标地址DstX、源地址SrcY的交互报文平均流量大于等于交互报文的流量理论值的0.8倍；或者目标地址DstX、源地址SrcY的交互报文平均流量小于等于交互报文的流量理论值的1.2倍，即： 。

（8）输变电设备状态监测评价系统运维人员针对告警信息，及时排查处置系统的网络安全、数据流完整性和数据通道可用性。

结合图1，本发明具体实施过程如下：

（1）输变电设备状态监测评价主站平台接入海量准实时平台、设备状态监测系统、生产管理系统、资产管理系统、电力数据采集与监控系统、电力设备在线监测系统、雷电定位监测系统、变电站视频及环境监控系统、输电线路覆冰在线监测系统、电力数据采集与监控系统、气象及环境监测系统等分布式系统的数据。

（2）基于数据流量监控方法的配置文件，分别计算目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值、目标地址DstX、源地址SrcY的交互报文的流量理论值。

（3）基于数据流量监控方法的配置文件，分别计算目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量实际值、目标地址DstX、源地址SrcY的交互报文的流量实际值。

（4）基于对应规则判断目标IP地址X发送报文的流量、目标地址DstX与源地址SrcY交互报文的流量是否正常。当发现流量大于或教育既定的流量阈值时 ，则立即输出告警。

（5）输变电设备状态监测评价主站平台运维人员针对告警信息，及时排查处置系统的网络安全、数据链路、目标主机存在的问题。

本发明不局限于以上所述的具体实施方式，以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.面向电网大数据分布式系统的数据流量监控方法，其特征在于：包括以下步骤：

（1）判断输变电设备状态监测评价主站平台抽取单个分布式系统单位时间内的流量是否异常，识别输变电设备状态监测评价主站平台各个分布式系统的目标IP地址X、输变电设备状态监测评价主站平台的源IP地址Y，通过该目标IP地址X发送至源IP地址Y的报文合计长度，计算该系统发送至输变电设备状态监测评价主站平台的报文的当前平均流量，计算公式如下：

；（1）

式中，m _x 为T时间内发送报文的数量，length为单条报文的长度，指该系统发送至输变电设备状态监测评价主站平台的报文合计长度，T为用以计算当前平均流量的时间范围；平均流量的单位为千字节每秒；

（2）根据目标IP地址X近一个自然月内向输变电设备状态监测评价主站平台发送的历史报文长度计算目标IP地址X发送报文的流量理论值，计算公式如下：

；（2）

式中，m _x1 为近一个自然月内Δt时间段内发送的历史报文的数量，length为单条报文的长度，指该目标IP地址X近一个自然月内向输变电设备状态监测评价主站平台发送的历史报文合计长度；

（3）通过各目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值来判断目标IP地址X的当前平均流量是否正常，并在发现异常时立即输出告警；

（4）根据报文的目标IP地址X和源地址Y，对输变电设备状态监测评价主站平台及其相关的分布式系统中的IP地址集合Z进行分组，建立各目标IP地址X和源地址Y之间的对应关系，具体如下：

；（3）

式中，DstX表示发送报文的目标地址，SrcY表示抽取报文的源地址；

（5）从IP地址集合Z中提取各目标地址DstX、源地址SrcY，并计算目标地址DstX、源地址SrcY的交互报文平均流量：计算公式如下：

；（4）

式中，m _XY 是指目标地址DstX、源地址SrcY在T时间内交互报文的数量，length为单条报文的长度，是指目标地址DstX、源地址SrcY在T时间内交互报文的合计长度，T是用以计算当前交互报文平均流量的时间范围，流量单位是千字节每秒；

（6）根据目标地址DstX、源地址SrcY的近一个自然月交互的历史报文信息，计算该目标地址DstX、源地址SrcY交互报文的流量理论值：

；（5）

式中，m _XY1 为近一个自然月内目标地址DstX、源地址SrcY在Δt时间段内交互的历史报文的数量，length为单条报文的长度，为目标地址DstX、源地址SrcY交互的报文合计长度，流量单位是千字节每秒；

（7）根据目标地址DstX、源地址SrcY交互报文的理论流量值，判断目标地址DstX、源地址SrcY的交互报文平均流量是否正常，若不正常时立即输出告警。

2.根据权利要求1所述的所述的面向电网大数据分布式系统的数据流量监控方法，其特征在于：所述步骤（3）中的判断标准为：

目标IP地址X的当前平均流量大于等于目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值的0.8倍；或者目标IP地址X的当前平均流量小于等于目标IP地址X向输变电设备状态监测评价主站平台发送报文的流量理论值的1.2倍，即：

（6）。

3.根据权利要求1所述的所述的面向电网大数据分布式系统的数据流量监控方法，其特征在于：所述步骤（7）中的判断标准为：

目标地址DstX、源地址SrcY的交互报文平均流量大于等于交互报文的流量理论值的0.8倍；或者目标地址DstX、源地址SrcY的交互报文平均流量小于等于交互报文的流量理论值的1.2倍，即：

（7）。

4.根据权利要求1所述的所述的面向电网大数据分布式系统的数据流量监控方法，其特征在于：所述分布式系统包括海量准实时平台、设备状态监测系统、生产管理系统、资产管理系统、电力数据采集与监控系统、电力设备在线监测系统、雷电定位监测系统、变电站视频及环境监控系统、输电线路覆冰在线监测系统、电力数据采集与监控系统、气象及环境监测系统。