CN204066111U - 一种海量电力计量数据的快速检索系统 - Google Patents

Abstract

本实用新型公开了一种海量电力计量数据的快速检索系统，它包括终端、数据采集层和数据层，其特征在于：该方法首先从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据，并基于LVS技术进行服务器均衡进行快速入库；然后将大规模数据按格式上送云平台，云存储平台采用Hadoop分布式文件系统HDFS，具有高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；根据系统对各计量点电量、线损等的精确统计与计算，用户可通过数据检索服务，实施对电力计量数据的快速检索。为对电流、电压、功率因素、表码等这类电力计量大规模数据能有效快速的提供检索服务。

Description

一种海量电力计量数据的快速检索系统

技术领域

本实用新型涉及集群管理、云存储服务、云数据库服务、数据查询、监控管理、信息快速检索等领域，具体为一种基于云计算技术的电力计量数据快速检索方法。

背景技术

近年来，电网公司不断投入电能计量自动化系统的建设，各供电局已基本建成了涵盖各种计量点及采集终端的集信息采集、监控、分析和计量管理于一体的计量自动化应用平台，完成了对电厂、变电站、公变、专变、低压集抄等发电侧、供电侧、配电侧、售电侧的综合性统一数据的自动采集监。供电企业的抄表结算、电能计量管理、营销管理、线损管理、错峰管理、节能及优质服务等多项核心业务从手工人工水平发展到系统自动化水平，实现对居民用电的远程集中抄表功能。计量自动化系统与营销管理系统、生产调度系统等均不同程度的通过数据接口实现了数据共享。规范了计量现场管理，提高了计量准确率，为供电企业经济运行、配网生产管理、线损管理、电力营销服务提供了先进的技术手段，提高了营销管理自动化、信息化水平。然而，随着系统的日趋完善和计量数据的积累，如何快速、有效地对计量数据进行检索，已经成为当前电力企业越来越迫切想要解决的问题，如用电异常分析中最为直接和最为重要的指标是线损异常，而线损异常分析需基于采集终端及相关计量系统收集到的电流、电压、功率因素、表码等数据，这些数据每日上亿数据，每年几百亿，要对这类海量数据进行存储，还要对数据进行快速检索，传统技术很难处理，目前的关系型数据库到1亿条的数据量将难以有效的进行管理和检索查询。因此以往关系型数据库完全不能满足需求，要能实现数据快速的检索并支持模糊查询，需要用到云计算相关技术。

本实用新型针对区计量主站系统的各类数据，研究电力计量信息的快速检索方法，设计基于云计算技术的运算平台。采用LVS(Linux Virtual Server)技术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS（Hadoop Distributed File System）；云存储数据库建立基于HBase(Hadoop database)，使用Hive进行结构化存储和检索，并提供相应的数据服务接口；搭建Ganglia监控，实时监控各个节点的状态、性能、网络。

实用新型内容

本实用新型的目的是提供一种基于云计算技术的海量电力计量数据的快速检索系统，以解决现有计量数据量大，难以进行有效的电力管理和检索查询等问题。

为了达到上述目的，本实用新型所采用的技术方案为：

一种海量电力计量数据的快速检索系统，它包括终端、数据采集层和数据层，其特征在于包括：

数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互。

所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据采集层通信；集抄终端通过短信通信与与数据采集层通信。

所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号等通信方式与数据采集层及数据应用层联系。所述的数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。

所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调度（Load Balancing Scheduler），将用户发出的请求调度到各服务器节点上，从而使得服务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。

本海量电力计量数据的快速检索系统，基于云计算技术的运算平台，采用LVS技术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS，存储数据以及存储云数据库元数据；云存储数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口；可通过数据检索服务，快速对实时负荷、电流电压、负载率的快速检索；搭建Ganglia监控，以实时监控各个节点的状态、性能、网络。用户端实现对电流、电压、功率因素、表码等相关数据快速检索可通过下面步骤完成：

步骤1：计量数据抽取，包括以下子步骤：

S1.1：确定抽取数据

确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、表码等计量数据信息；

S1.2：抽取实时数据

从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据；

步骤2：服务器均衡，包括以下子步骤：

应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS（Least-Connection Scheduling）调度算法；

S2.1：应用LVS技术

应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS(Linux Virtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采集节点机，将包转发过去；

S2.2：采集节点机部署

各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节点进行健康状况的检测，确保处理TCP数据的节点可用；

S2.3：服务器负载分配

采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现；

步骤3：数据入库，基于步骤2实现服务器均衡，进行大规模的数据快速入库；用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS调度算法；

步骤4：大数据导入云平台，包括以下子步骤：

S4.1：建立云存储平台

云存储平台采用Hadoop分布式文件系统HDFS，HDFS设计成适合运行在通用硬件commodity hardware上的分布式文件系统，它和现有的分布式文件系统有很多共同点；同时，它和其他的分布式文件系统的区别也是很明显的，具有高度容错性，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；

S4.2：建立云数据库服务

云数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口；Hive 是建立在 Hadoop 之上的数据仓库架构，提供了一套方便的实施数据抽取(ETL)的工具，一种让用户对数据描述其结构的机制，支持用户对存储在Hadoop中的海量数据进行查询和分析；

步骤5：数据快速检索，在上述步骤完成后，包括对实时负荷、电流电压、负载率这类日数据量上亿，年数据量上百亿进行云存储，建立HBASE的云数据库，基于云存储服务的方式提供大规模海量数据的存储服务。通过HIVE开发接口提供快速的检索服务，用户可通过数据检索服务，实施对实时负荷、电流电压、负载率的快速检索。

为实现以上要求，按照功能需求对数据检索服务划分为：检索接口组件、检索服务组件和检索执行组件。

（1） 检索接口组件接收客户端的数据检索查询请求，通过向分布式应用服务注册，同服务器端建立会话连接，与查询服务组件进行交互，并返回查询结果给客户端。

（2） 检索服务组件运行在各个数据服务器节点上，与查询接口组件建立会话连接，对客户端进行管理，负责响应检索查询接口组件的查询请求，对查询请求进行调度管理，并将查询的结果数据返回给查询接口组件。

（3） 检索执行组件实现分布式的数据检索，以原始状态或内插值拟合状态返回给检索服务组件。该组件通过调用本地接口获取当前节点的快照子系统实时数据、系统历史数据，通过分布式应用服务请求获取备份节点数据。

本实用新型与已有技术相比具有以下优点：

本实用新型云平台基于Hadoop管理理念，利用 Map/Reduce 框架来处理数据，使Hadoop具有高效性的特点。 Hadoop 是并行工作的，以加快任务的处理速度，除此之外它还有很多特色的功能，因此可以说是云计算平台上的最佳选择。云计算系统采集与导入节点机的集群管理，采用LVS技术，LVS的伸缩空间比较大，如果对并发连接进行扩展，最多可以扩展到百万级，具有高可扩展性的优点。因此，相对于Microsoft集群支持的较少的节点数目、MOSIX集群依赖单个硬件供应商等，基于LVS的集群是解决负载均衡的理想方式。

本实用新型方法简单易行，便于实现，安装简单，基于云计算技术的运算平台采用LVS技术，整个服务器集群的结构对客户是透明的，无需修改客户端和服务器端的程序。云存储平台采用Hadoop分布式文件系统(HDFS)，HDFS是一个高度容错性的系统，适合部署在廉价的机器上，同时，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。建立HBASE的云数据库，通过HIVE开发接口提供快速的检索服务，对实时负荷、电流电压这类日数据量上亿，年数据量数百亿进行云存储并提供基于云的快速检索服务。系统具有透明性、可伸缩性、高可用性和易管理性。

附图说明

   图1是本实用新型的结构示意图；

图2 是本实用新型提出的一种负载动态平衡策略示意图；

图3是本实用新型的数据快速检索流程示意图。

具体实施方式

下面结合附图，对本实用新型的技术方案作进一步具体的说明。

图1所示，是是本实用新型的结构示意图，从图中可知，它包括终端、数据采集层和数据层，以及数据应用层。其中，终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据。负控终端、厂站终端和配网终端通过无线网络与数据采集层通信，在终端电路设计上采用ARM9内核的芯片AT91SAM9260进行开发设计，采样核心板方式。通过ARM9260核心板上的USB host接口，与USB转WIFI模块连接，配合软件设计，实现电力终端上WIFI通讯。通过软件的安全登陆机制，电力终端可与智能设备如平板电脑等进行数据交互，实现无线通信；集抄终端通过短信通信与与数据采集层通信。数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份，通过光纤专网、无线网络、短信通信塔等通讯方式采集终端数据。数据层包括数据库服务器，主要完成数据预处理、数据检查和数据入库等应用逻辑功能。

数据应用层采集与导入节点机的集群管理，基于LVS技术。LVS网络架构包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调度（Load Balancing Scheduler），将用户发出的请求调度到各服务器节点上，从而使得服务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。

从图1中可知，本实用新型的数据采集层采用“集群前置机”方式，能实现大规模的数据快速入库。前置机为数据接入前端，完成通信的核心功能，直接面对采集终端，本实施例中采集终端主要采集的电流（                                                ）、电压（）、功率因数（）、表码等计量数据。各部分的作用为：

前置路由器作用：路由转发，根据应用服务器的报文，寻找此报文的终端地址所在的前置机n，将此报文转发给相应的前置机和相应的主站模块。

前置机进行数据汇总。对于下行数据，将数据汇总，统一将数据转发给应用服务器，为应用服务器提供统一的数据接口。

通信调度：前置路由器统一调度各前置机，可以根据数据采集实时性高低级别和内容，按照最优方式进行负载均衡，互为备用，协同工作。多个前置机和一个前置路由器（可以还有备份前置路由器）形成集群前置机，是前置采集部分。

  数据层还包括应用服务器，通过网络与数据采集层联系。应用服务器主要完成数据预处理、数据检查、数据计算、用户数据下发、采集任务调度和数据入库等应用逻辑功能，是数据预处理部分。

在这里采用“集群”的技术，前置接入服务器的数量可以根据实际情况进行扩展，如果要支持新增规约的终端，则只需要加入支持此规约的前置机，后续的前置路由器相应配置一下，就可以实现不同类型、不同厂商的计量自动化终端的接入。

如图2所示，是本实用新型提出一种负载动态平衡策略的设计框架，主要思想是根据 LoadManager 不断接收真实服务器（RealServer，简称RS）的负载信息来调整 RS 的权值，以避免 RS 超载时依然收到大量请求，从而提高整个系统的吞吐率。

用户端通过以下步骤能进行电流、电压、功率因素、表码相关数据的快速检索，包括以下步骤：

步骤1：计量数据抽取；

步骤2：服务器均衡；

步骤3：数据入库；

步骤4：大数据导入云平台；

步骤5：数据快速检索。

所述的步骤1包括以下子步骤：

S1.1：确定抽取数据

确定检索数据需用到的基础数据信息，如线损分析需抽取电流、电压、功率因素、表码等计量数据信息；

S1.2：抽取实时数据

从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据。

所述的步骤2包括以下子步骤：

应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS（Least-Connection Scheduling）调度算法；

S2.1：应用LVS技术

应用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器；LVS(Linux Virtual Server)集群采用IP负载均衡技术和基于内容请求分发技术；从LVS-DR均衡调度器为集群服务器的唯一入口点，用于接收用户的请求，采用IP负载均衡算法选取一台采集节点机，将包转发过去；

S2.2：采集节点机部署

各个采集节点机部署采集程序及Keepalived模块，Keepalived模块负责对各节点进行健康状况的检测，确保处理TCP数据的节点可用；

S2.3：服务器负载分配

采用加权LCS调度算法确定服务器负载分配；权LCS调度算法实现，包括以下步骤：

（1） 对服务器集合，确定每个服务器的权值，设每个服务器节点已建立好的相应连接数，则服务器集群当前总的连接数为：

      (1)

（2） 计算节点连接数与其权值的比例值，当服务器满足公式：

  (2)

其中，是一个常数。如果有新的连接请求到来，该连接请求就会被发送到这个比例值最小的节点。

（3） 服务器分配负载。由于服务器的权值都是正数，上式可化简为：

   (3)，

因为除法运算比乘法运算所需CPU周期多，转化为：

                    (4)，

满足此条件即可优先给服务器分配负载。

所述的步骤3数据入库，基于步骤2实现服务器均衡，进行大规模的数据快速入库；用LVS技术，主节点和从节点部署前端的主从LVS-DR均衡调度器，各个采集节点机部署采集程序以及Keepalived模块，均衡算法采用加权LCS调度算法。

所述的步骤4包括以下子步骤：

S4.1：建立云存储平台

云存储平台采用Hadoop分布式文件系统HDFS，HDFS设计成适合运行在通用硬件commodity hardware上的分布式文件系统，它和现有的分布式文件系统有很多共同点；同时，它和其他的分布式文件系统的区别也是很明显的，具有高度容错性，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；

S4.2：建立云数据库服务

云数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口；Hive 是建立在 Hadoop 之上的数据仓库架构，提供了一套方便的实施数据抽取(ETL)的工具，一种让用户对数据描述其结构的机制，支持用户对存储在Hadoop中的海量数据进行查询和分析。

所述的步骤5包括：

在上述步骤完成后，包括对实时负荷、电流电压、负载率这类日数据量上亿，年数据量上百亿进行云存储，建立HBASE的云数据库，基于云存储服务的方式提供大规模海量数据的存储服务。通过HIVE开发接口提供快速的检索服务，用户可通过数据检索服务，实施对实时负荷、电流电压、负载率的快速检索。

当用户访问集群时，首先访问的是 LVS 调度器（负载均衡器），IPVS 根据各个真实服务器(Real Server，简称RS) 的负载权值按照调度算法做出选择，并将此次请求转发给选出的服务器，选出的服务器接收此请求并处理，再将处理后的结果回复给用户。在上述框架设计中，为了避免调度器向已经超载的 RS 转发请求，而有些服务器却很空闲这样的情况发生，采用加权LCS调度算法实现服务器负载均衡。对服务器集合，确定每个服务器的权值，设每个服务器节点已建立好的相应连接数为，则当服务器满足公式：，时可优先给服务器分配负载。

服务器均衡算法执行步骤如下：

步骤1：LoadManager定期地收集各个服务器节点的性能参数；

步骤2：将所得的CPU使用率（）和网络使用率（）与各自的阈值（）进行比较，若或者，则令服务器节点实时负载比率，在这个周期内不对该服务器进行任务分配，否则计算每个节点的实时负载；

步骤3：将得到的服务器节点实时负载与服务器处理能力极值相比，得到实时负载比率；

步骤4：将计算得到的与每个服务器节点的负载阈值进行比较，若≥设定的阈值，则在当前周期内不对该服务器进行任务分配，否则执行下一步；

步骤5：计算所得的权值；

步骤6：将各服务器的权值相比，得到一个权值比例，根据这个比例为各服务器分配负载。

算法描述如下所示：

while(1)

{

     for(int i=0;i<N;i++)

     {

           if(CW(Si)>0)

           {

                 for(int j=i+1;j<N;j++)

                 {

                      if(L(Si)*CW(Sj)≤L(Sj)*CW(Si))

                            i=j;

                 }

                 return Si;

           }

     }

     return Null;

}

根据实际情况需求，当客户端连续发送请求数据包时，从第一个服务器节点开始，根据收集到的参数进行权值的计算，当的时候，说明服务器没有超载。IPVS在接收到权值后，根据调度算法从 RS 群中选出一台服务器来接收和处理服务请求。

大数据导入云平台：基于Hadoop管理理念，采用Hadoop分布式文件系统(HDFS)，存储数据及云数据库元数据信息。HDFS被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。运行在HDFS之上的程序有很大量的数据集，典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件，提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。云存储提供服务接口，可对电流（）、电压（）、功率因数（）、表码这类日数据量上亿，年数据量数百亿等大批量的数据导入到云存储中进行处理。对导入数据定时处理入库，并记录不符合规范记录到日志并可根据配置定期快速删除过期数据。

数据快速检索：通过HIVE开发接口提供快速的检索服务，用户可通过数据检索服务，实施对实时负荷、电流电压、负载率的快速检索。如附图3所示，当客户端发起检索、查询请求时，检索查询接口组件接收客户端的查询请求，并通过向分布式应用服务注册，同服务器端建立会话连接，与查询服务组件进行交互。 查询服务组件将接收到按照通讯协议编写的查询服务请求，按照查询请求，查询服务组件将把查询请求封装为查询任务，将任务投递到线程池中的空闲线程中去执行，当任务结束后查询服务组件将接收到查询结果，并将查询结果按照同样的传输协议发送至查询接口组件，此时查询接口组件将接收到结果数据，并提交给客户端。 

实施例

下面本实用新型结合实施例作进一步描述：

本实用新型集群系统由一台IBM P6570服务器和四台 X360 服务器组成，集群系统采用 LVS-DR 方式，所有计算机都连接在一个交换机上。负载调度器的操作系统式 Linux Redhat。服务器IBM P6 570为云平台主节点，一台IBM X3650作为云平台从节点，另三台IBM X3650作为云平台子节点。系统搭建Ganglia监控， Ganglia是设计用于测量数以千计的节点。核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等。系统软、硬件环境部署如下表所示：

1.硬件设备

服务器名称	服务器型号	服务器数量	CPU	内存	硬盘
						IBM机	P6 570	1	2U机架服务器;16核Power6处理器/4.4GHz Power6处理器/32MB/667MHz	16G	SAS硬盘/2个
IBM机	X3650	4	2U机架服务器，八核至强E5-2650/2.0G/20MB/1600MHz	8G	SAS硬盘/2个

2.软件部署

名称	服务器类型	服务器数量	服务器型号
				云平台主节点	2U	1	IBM P6 570
云平台从节点	2U	1	IBM X3650
				云平台子节点	2U	3	IBM X3650

实验环境模拟

从各计量点及采集终端抽取需要检索的电流、电压、功率因素、表码等计量数据，抽取了共6.08T字节，38.7亿条数据，基于本项目环境，在此海量数据中精确检索电力计量数据。步骤1：从各计量点及采集终端抽取需要检索的计量数据信息；步骤2：系统对各计量点电量、线损等的精确统计与计算；步骤3：用户可通过数据检索服务，实施对电力计量数据的快速检索。实验结果：检索响应时间不超过5秒；在指定馈线线损对象编号，模糊查询响应时间不超过15秒；按电压等级、统计起始时间、统计结束时间、入电量、出电量、线损率等，查询批量计量数据信息，响应时间不超过15秒。从以上实验验证结果来看，本实用新型方法可对电力计量信息进行快速、正确、完整地识别和查询检索。

Claims (7)

1.一种海量电力计量数据的快速检索系统，它包括终端、数据采集层和数据层，其特征在于包括：

数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互。

2.根据权利要求1所述的一种海量电力计量数据的快速检索系统， 其特征在于：

所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据采集层通信；集抄终端通过短信通信与数据采集层通信。

3.根据权利要求1所述的一种海量电力计量数据的快速检索系统， 其特征在于：

所述的数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。

4.根据权利要求1所述的快速检索系统，其特征在于：

所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号的通信方式与数据采集层及数据应用层联系。

5.根据权利要求4所述的快速检索系统，其特征在于：

所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接。

6.根据权利要求1所述的快速检索系统，其特征在于：

所述无线网络通过在电力终端上增加USB转WIFI接口模块，支持GPRS/CDMA无线数据通信方式与客户负荷管理终端、低压抄表集中器、配变终端等进行通信，智能设备与WIFI能进行无线连接达到数据交互的目的。

7.根据权利要求1或6所述的一种海量电力计量数据的快速检索系统，其特征在于：

通过终端上GPRS通讯或者按键设置，能控制WIFI通道的打开与关闭，终端WIFI通道打开后，外部智能设备能连接并进行通讯，实现数据交互。