CN105471969B - 电网数据处理云平台系统 - Google Patents

Abstract

本发明提供了一种电网数据处理云平台系统，对电网设备运行数据进行采集和发布，同时对网络状况进行侦测和分析，根据当前网络状况采用相应的调度策略来进行数据优化传输。本发明提出了一种电网数据处理云平台系统，整合了数据采集发布、网络侦测、数据传输功能，在处理大量客户访问时减少网络拥塞，提高了服务的稳定性。

Description

电网数据处理云平台系统

技术领域

本发明涉及电网数据处理，特别涉及一种电网数据处理云平台系统。

背景技术

随着电网技术的高速发展，大型管理信息系统数目不断增加，覆盖范围广，客户数量庞大，对电网设备运行数据网提出了新的挑战。因网络地域跨度大而导致的网络时延差距巨大，造成位于不同的网络地域的客户在面对集中式部署业务访问时，服务质量降低。另一方面由网络带宽资源紧张，因而客户访问突发性强、热点内容重复访问明显造成了网络拥塞、响应慢等问题，使得网络的稳定性随之下降。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种电网数据处理云平台系统，包括：

系统对电网设备运行数据进行采集和发布，同时对网络状况进行侦测和分析，根据当前网络状况采用相应的调度策略来进行数据优化传输。

优选地，所述电网数据处理云平台包括运行数据采集单元、数据发布单元、平台管理单元、通信单元和调度控制单元；所述运行数据采集单元连接于多个采集节点，实时采集电网设备运行数据；所述数据发布单元用于数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成；所述平台管理单元用于云平台内部配置管理，并包括统计分析模块和网络安全模块，统计分析模块用于采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；网络安全模块用于客户身份认证和内容安全访问；所述通信单元用于处理终端客户的业务请求，实现广域网传输优化；所述调度控制单元基于内容频度、客户位置、客户行为、网络测量的上报数据决定调度内容的策略、调度的内容、节点选取。

优选地，所述电网数据处理云平台系统采用双机热备份的方式部署域名解析服务器和管理平台；在各省和/或地市部署末梢缓存节点；末梢缓存节点是通过分布式服务机制为客户直接提供服务的节点；主节点并不直接参与对末端客户的服务，而是用于对所述云平台系统的网元进行管理，为云平台运营网络提供网络节点监控，远程配置和故障上报及恢复，并且实现云平台的数据发布管理，把需要服务的内容通过合适的格式和方式，发布到所有的末梢缓存节点；所述末梢缓存节点采用RAM、闪存、硬盘三种存储介质的多级存储架构，并实现多级存储设备间的数据自动迁移；第3级存储L3采用硬盘，存储了系统提供的所有缓存数据；第2级存储L2采用闪存，用于对客户请求进行记录和统计，采用预定算法计算数据的频度，将频度达到一定阈值的文件存储于闪存，并定期进行频度的统计和资源的更新；第1级存储L1采用RAM进行数据存储，存储频度最高或最近访问的数据；

所述调度控制单元包括网络侦测模块，用于对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过所述平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测；所述数据优化传输包括网络动态/静态数据优化、视频点播/直播数据优化、文件下载优化；对于网站的静态数据，通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点；对于动态数据，缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接生成动态网络内容；通过视频传输协议和分片，将视频文件和网络内容进行一致部署，将这些视频文件分片文件在云平台上进行发布；客户在下载资源时，可就近从缓存节点上下载，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载；

所述网络安全模块在身份认证方面实现客户权限管理，选用挑战/响应认证、基于芯片密钥的认证和智能卡认证的方式，并使用专网或者虚拟专网进行隔离保护；在传输安全方面，采用对称加密算法进行信息的加密传输，防止信息被非法窃听；文件传输支持使用安全文件传送协议，云平台节点按预定频率更新操作系统漏洞；关闭不使用的服务和端口；网站服务器和云平台共享密钥，同时使用对称算法AES进行加密和解密；网站服务器在返回给客户的网址中增加安全字符串，客户采用包含防盗链信息的网址到云平台中请求内容播放，云平台进行网址检查，保证客户访问的合法性。

优选地，所述运行数据采集单元，配置多个任务并发工作，从网络地址动态变化的数据节点中实时地采集电网设备运行数据；数据采集节点通过串行接口从现场获取电力运行实时数据；所述采集单元从采集节点中采集电网设备运行数据，每个采集节点在一个采集周期内缓存数据，而所述采集单元在采集节点中数据更新之前从中采集实时数据；所述采集单元包括连接模块和收发模块，其中连接模块用于与采集节点之间建立Socket连接；收发模块封装与采集节点间的数据传输协议，实现与采集节点间数据包的发送和接收；在多任务机制中：主任务负责系统的初始化工作首先从数据库读取各采集节点配置文件，包括IP地址、端口、ID，并存入配置文件列表中，其次创建监测任务和数据读取任务；监测任务侦听每个采集节点最新的网络地址，以保证系统和采集节点间可靠的通信连接；数据读取任务用于实现从多个采集节点中电力运行实时数据的采集、处理与存储。

本发明相比现有技术，具有以下优点：

本发明提出了一种电网数据处理云平台系统，整合了数据采集发布、网络侦测、数据传输功能，在处理大量客户访问时减少网络拥塞，提高了服务的稳定性。

具体实施方式

下文提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明将数据采集发布、网络侦测、数据传输等技术融入电网数据处理云平台系统，形成灵活可扩展、可管理、高性能的电网数据处理云平台体系架构。电网数据处理云平台功能逻辑架构分为运行数据采集单元、数据发布单元、平台管理单元、通信单元和调度控制单元。运行数据采集单元连接于多个采集节点，实时地采集电网设备运行数据。数据发布单元负责数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成。平台管理单元负责云平台管理。平台管理单元中的统计分析模块负责采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；网络安全模块负责客户身份认证、内容安全等。通信单元负责处理终端客户的各种业务请求，实现广域网传输优化。调度控制单元是基于内容频度、客户位置、客户行为、网络测量的上报数据决定以何种策略调度内容、调度哪些内容、节点如何选取。调度控制单元由网络侦测和调度执行模块组成。

运行数据采集单元，配置多个任务并发工作以实现从网络地址动态变化的数据节点中可靠地、高效地、实时地采集电网设备运行数据。运行数据采集单元基本工作流程如下：电网设备运行数据采集节点通过串行接口从现场的多个电力监控仪表中获取电力运行实时数据；所述采集单元从采集节点中采集电网设备运行数据，将采集到的数据一方面展示于客户浏览器端，以便客户实时地监测电网设备运行数据变化状况，另一方面存入数据库中作为备份。

采集单元多任务机制以提高系统资源利用率和执行效率。采集单元的每台采集节点在一个采集周期内缓存上千条电网设备运行数据，本系统需要实现在采集节点中数据更新之前从中采集实时数据所述采集单元包括连接模块和收发模块，其中连接模块负责实现与采集节点之间建立Socket连接；收发模块封装与采集节点间的数据传输协议，实现与采集节点间数据包的发送和接收。在多任务机制中：①主任务负责系统的初始化工作：首先从数据库读取各采集节点配置文件，包括IP地址、端口、ID等，并存入配置文件列表中，其次创建监测任务和数据读取任务；②采集节点启动后每隔一段时间IP地址和端口会动态变化，并且偶尔会有新的采集节点节点加入数据网络。建立监测任务用于侦听每个采集节点最新的网络地址，以保证系统和采集节点间可靠的通信连接；③数据读取任务用于实现从多个采集节点中电力运行实时数据的采集、处理与存储。

本发明采用创建多个数据采集子任务并发工作的方法，每个子任务负责一个采集节点的数据采集工作，保证每个采集节点RAM的电力运行实时数据被及时读取，同时多任务并发运行能充分利用CPU资源。为合理地配置以及调度数据采集子任务，以达到在服务器能够承受的负荷范围内取得高效的数据采集效果，采用以下过程：

首先，定义数据采集子任务数目N。采集子任务数量的大小与服务器性能以及网络带宽有关，具体设定方法如下：将系统部署于特定服务器上，分别测试当系统内开启不同数量的数据采集子任务时，机器资源的使用情况，包括RAM、CPU使用率等；以及系统在进行采集数据的同时对其他操作的响应速度。经过不断调整数据采集子任务的数量，最终应满足在保证系统稳定运行的前提下实现高效的、实时的数据采集工作。

其次，由多任务管理器将配置文件列表划分为多个子列表，每个子列表长度为采集子任务数量大小。系统为第一个子列表创建N个子任务进行数据采集，采集结束后不销毁任务，而是让这些任务进入休眠状态，待休眠结束后用这N个子任务对第二个子列表中的采集节点进行数据采集。依此类推，当配置文件列表的每个子列表遍历结束时即完成对所有采集节点的一次完整的数据采集，接下来继续遍历配置文件列表进行第二轮采集。

每个数据采集子任务又包括如下步骤：

步骤1。调用连接模块与采集节点建立连接，连接成功则进入步骤2；连接失败则重新读取采集节点的IP地址和端口，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；

步骤2。调用收发模块的消息发送函数向采集节点发送数据采集命令；

步骤3。调用收发模块的消息接收函数接收来自采集节点返回的数据，若收到响应消息则进入步骤4；若没有收到相应消息，则再次向采集节点请求实时数据，若始终失败则判定该采集节点通信异常，并终止数据采集子任务；

步骤4从采集节点反馈的响应消息中提取电力运行实时数据，将数据首先存入缓冲队列中供客户浏览器端直接调用，其次存储于数据库中作为备份；

步骤5数据采集子任务进入休眠，休眠结束后进行下一轮数据采集。

为了确保系统在同一时刻采集到采集节点中所有数据，若第一次采集未能获得所需全部数据，则标记该子任务为读取超时状态，并重新启动数据采集命令，再次采集成功则取消读取超时标记。

当采集节点的网络地址不稳定时，为与节点取得可靠的通信连接，提高系统对网络动态变化的自适应性。利用监测任务时刻监测来自采集节点的请求。在监测任务的实现过程中采用任务队列，通过重复利用在任务队列中创建的工作任务，避免新任务创建和销毁造成不必要的CPU消耗，并且能够提高系统响应速度。监测任务实现过程：

步骤1。初始化任务队列。首先在监测任务内定义任务队列，任务队列可以容纳固定数量的工作任务。工作任务个数可调动，但不宜过多，避免系统资源过度消耗；

步骤2。当采集节点的IP地址和端口发生变化，或者有新的采集节点节点加入，采集节点主动向监测端口发送请求，监测任务收到请求后调用任务队列管理器创建工作任务处理请求。当工作任务个数达到任务队列的基本容量时，停止创建，当有新的请求到达时，加入等待队列；

步骤3。工作任务实现从采集节点发送的消息中提取IP地址和端口，并将这些信息更新至配置文件列表中；

步骤4。出现终止事件时关闭任务队列，并停止监测任务。

在多任务运行环境中，监测任务需要将最新的采集节点配置文件写至配置文件列表中，数据读取任务需要从配置文件列表中读取采集节点的IP地址和端口。当读写操作同时进行时会发生任务同步问题，因此访问采集节点配置文件列表必须进行同步互斥以保证各任务安全运行。将对采集节点配置文件列表的互斥操作封装在任务安全的类中，该类向各任务提供两个接口：读取配置文件和修改配置文件的接口。读写操作针对每一条配置文件，所以要对每一条配置文件进行互斥操作，实现过程中进行局部封锁，这样就可以避免读写配置文件时发生冲突。

结合电网数据处理云平台架构，本发明采用双机热备份的方式部署域名解析服务器和管理平台；在各省公司和(或)地市公司部署末梢缓存节点，为相关片区的客户提供网络优化。

主节点是整个云平台运行、管理和维护的核心。利用电力通信专网丰富的大带宽网络资源，满足云平台中心单元对主干网络链路的速度要求，实现和每个末梢缓存节点跳数最短的网络环境。作为云平台的核心，主节点并不直接参与对末端客户的服务，而是作为云平台运作的中枢，起到两个关键作用：负责对电网数据处理云平台系统的网元进行管理，为整体的电网数据处理云平台运营网络提供网络节点监控，远程配置和故障上报及恢复等能力；负责云平台的数据发布管理，把需要服务的内容通过合适的格式和方式，发布到所有的末梢缓存节点。

末梢缓存节点是为客户直接提供服务的节点。理想状况下，末梢缓存节点应部署在尽可能靠近客户的网络节点。末梢缓存节点主要完成的功能包括：面对大量客户直接提供服务；通过分布式服务机制，实现服务能力的提高，实现对大并发服务的需求；云平台末梢缓存节点部署在各省公司、直属单位的网络主干节点处。

末梢缓存节点采用三级存储架构，根据内容的访问频度、重要性等因素对数据的生命周期进行管理，实现分级存储和多级存储设备间的数据自动迁移。将RAM、闪存、硬盘三种存储介质搭建为一个混合存储架构，既利用了RAM、闪存的高性能优点，又兼顾硬盘驱动器的高容量、低成本。第3级存储(L3)采用成本小、读取速率相对较低(240Mbit/s左右)的硬盘，存储了系统提供的所有缓存数据。第2级存储(L2)采用成本相对硬盘高、读取速率较高(4Gbit/s左右)的闪存。对客户请求进行记录和统计，采用预定算法计算数据的频度，将频度达到一定阈值的文件存储于此单元，并定期进行频度的统计和资源的更新。第1级存储(L1)采用读取速率最高(160Gbit/s左右)的RAM进行数据存储。该单元存储的数据是最及时/最敏感(“最热”)的数据，如80％的客户最常访问的20％的资源。对于客户刚请求的数据，若该数据是从L3或L2读入，RAM也会在一定时间内将这部分数据进行保存，以供其他有可能请求此数据的客户快速获取。若一定时间过后，该数据未能达到存储于L1的频度值，系统会将其从RAM中删除。

电网数据处理云平台管理接口功能模块。管理接口由网元管理、性能管理、拓扑管理、告警管理、网元配置、报表管理、安全管理7部分组成，为整体的云平台运营网络提供了网络节点监控、远程配置和故障上报及恢复的能力。客户可以通过该平台来查看当前云平台系统的内部运行情况，包括云平台系统部署架构的展示，当前系统配置文件、各网元节点性能信息、告警信息的查看等，并支持对云平台的配置文件进行修改。

在电网数据处理云平台系统中，调度控制单元的网络侦测模块对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测。域名解析服务器发现缓存节点负载和链路状态最佳的缓存节点，并将客户请求重定向至该缓存节点。

基于HTTP业务的电网数据处理云平台系统在不改动客户端配置和电力网现有网络拓扑的前提下，提供网络加速服务。基于HTTP的全业务云平台网络优化包括网络动态/静态数据发布及网络优化、视频点播/直播数据发布及网络优化、文件下载网络优化。

对于网站的静态数据，可以通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点，使客户就近取得这些静态资源，缓解主干网压力，提高客户访问服务器的响应速度。

动态数据的提供需要有后台数据库、应用逻辑程序的支持。缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接在靠近客户的地方生成动态网络内容，缓解源站后台服务器的负载压力，提高系统的整体性能。

通过视频传输协议和分片，让视频文件和网络内容能进行一致部署，这些视频文件分片文件可在电网数据处理云平台上进行发布，以达到视频直播/点播加速的效果。

从不同的信息网业务网站下载文件是电力信息网客户最常见的行为之一，包括视频文件、软件及补丁等。文件下载加速分为推送和拉取两种方式。推送方式由源站将文件推送至各缓存节点(如补丁发布系统)；拉取方式由缓存节点将一些常被下载的内容缓存至本地。客户在下载资源时，可就近从缓存节点上下载，加快客户下载文件速度的同时，避免文件在网络上的重复传输。

为充分利用云平台中的节点和带宽资源，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载，提高带宽利用率。

云平台的网络安全方面主要考虑：抑制网络异常流量，保证所需的网络带宽。防DoS攻击，限制单位时间内来自同一个IP地址的建立链接请求数。

在认证安全方面，云平台实现客户权限管理，根据需要选用挑战/响应认证、基于芯片密钥的认证和智能卡认证等认证方式，并考虑使用专网或者虚拟专网进行隔离保护。

在传输安全方面，采用对称加密算法进行信息的加密传输，防止信息被非法窃听。文件传输支持使用安全文件传送协议。资源发布中需支持包含AES信息，内容注入后，云平台做文件校验。

云平台节点按预定频率更新操作系统漏洞；关闭不使用的服务和端口；禁止或替换有潜在安全漏洞的程序。提供防DDoS端口扫描攻击能力。建立身份识别机制，设置数据访问权限；系统具备完善的日志功能，登记所有对系统的访问记录。通过安全的数据备份策略，有效地保障系统数据的安全性。

为防止服务器上的内容被非法盗取、保护服务器硬件设备，在向客户提供服务前，网络传输平台需要进行防下载机制的检测，防止非法客户的盗链。网站服务器和云平台共享密钥，同时使用对称算法AES进行加密和解密。网站服务器在返回给客户的网址中增加安全字符串，客户采用包含防盗链信息的网址到云平台中请求内容播放，云平台进行网址检查，保证客户访问的合法性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (2)

1.一种电网数据处理云平台系统，其特征在于，该系统对电网设备运行数据进行采集和发布，同时对网络状况进行侦测和分析，根据当前网络状况采用相应的调度策略来进行数据优化传输；

所述电网数据处理云平台包括运行数据采集单元、数据发布单元、平台管理单元、通信单元和调度控制单元；所述运行数据采集单元连接于多个采集节点，实时采集电网设备运行数据；所述数据发布单元用于数据的存储、管理以及全网发布，由数据管理、数据存储、数据发布3个功能模块组成；所述平台管理单元用于云平台内部配置管理，并包括统计分析模块和网络安全模块，统计分析模块用于采集云平台的带宽流量数据、流量缓存数据、节点流量比例、资源访问的统计数据，进行客户行为分析并提供给外部数据分析系统；网络安全模块用于客户身份认证和内容安全访问；所述通信单元用于处理终端客户的业务请求，实现广域网传输优化；所述调度控制单元基于内容频度、客户位置、客户行为、网络测量的上报数据决定调度内容的策略、调度的内容、节点选取；

所述电网数据处理云平台系统采用双机热备份的方式部署域名解析服务器和管理平台；在各省和/或地市部署末梢缓存节点；末梢缓存节点是通过分布式服务机制为客户直接提供服务的节点；主节点并不直接参与对末端客户的服务，而是用于对所述云平台系统的网元进行管理，为云平台运营网络提供网络节点监控，远程配置和故障上报及恢复，并且实现云平台的数据发布管理，把需要服务的内容通过合适的格式和方式，发布到所有的末梢缓存节点；所述末梢缓存节点采用RAM、闪存、硬盘三种存储介质的多级存储架构，并实现多级存储设备间的数据自动迁移；第3级存储L3采用硬盘，存储了系统提供的所有缓存数据；第2级存储L2采用闪存，用于对客户请求进行记录和统计，采用预定算法计算数据的频度，将频度达到一定阈值的文件存储于闪存，并定期进行频度的统计和资源的更新；第1级存储L1采用RAM进行数据存储，存储频度最高或最近访问的数据；

所述调度控制单元包括网络侦测模块，用于对网络链路状况进行侦测，并将数据交由调度执行模块进行处理，通过所述平台管理单元的网络管理模块与调度执行模块进行交互，完成节点负载状态的侦测；所述数据优化传输包括网络动态/静态数据优化、视频点播/直播数据优化、文件下载优化；对于网站的静态数据，通过云平台的主动推送或被动拉取的方式发布到最接近客户的末梢缓存节点，利用调度策略将客户重定向到离客户最近的节点；对于动态数据，缓存节点将应用程序和相应的业务组件直接在云平台的末梢服务器中计算，直接生成动态网络内容；通过视频传输协议和分片，将视频文件和网络内容进行一致部署，将这些视频文件分片文件在云平台上进行发布；客户在下载资源时，可就近从缓存节点上下载，采用资源分片，将大数据量文件进行资源分片，通过创建多条服务端和接收端之间的连接路径，对文件进行多路径并行下载；

所述网络安全模块在身份认证方面实现客户权限管理，选用挑战/响应认证、基于芯片密钥的认证和智能卡认证的方式，并使用专网或者虚拟专网进行隔离保护；在传输安全方面，采用对称加密算法进行信息的加密传输，防止信息被非法窃听；文件传输支持使用安全文件传送协议，云平台节点按预定频率更新操作系统漏洞；关闭不使用的服务和端口；网站服务器和云平台共享密钥，同时使用对称算法AES进行加密和解密；网站服务器在返回给客户的网址中增加安全字符串，客户采用包含防盗链信息的网址到云平台中请求内容播放，云平台进行网址检查，保证客户访问的合法性。

2.根据权利要求1所述的系统，其特征在于，所述运行数据采集单元，配置多个任务并发工作，从网络地址动态变化的数据节点中实时地采集电网设备运行数据；数据采集节点通过串行接口从现场获取电力运行实时数据；所述采集单元从采集节点中采集电网设备运行数据，每个采集节点在一个采集周期内缓存数据，而所述采集单元在采集节点中数据更新之前从中采集实时数据；所述采集单元包括连接模块和收发模块，其中连接模块用于与采集节点之间建立Socket连接；收发模块封装与采集节点间的数据传输协议，实现与采集节点间数据包的发送和接收；在多任务机制中：主任务负责系统的初始化工作首先从数据库读取各采集节点配置文件，包括IP地址、端口、ID，并存入配置文件列表中，其次创建监测任务和数据读取任务；监测任务侦听每个采集节点最新的网络地址，以保证系统和采集节点间可靠的通信连接；数据读取任务用于实现从多个采集节点中电力运行实时数据的采集、处理与存储。