CN105516317A - 一种用电信息多层级负载均摊高效采集方法 - Google Patents

Abstract

本发明公开了一种用电信息多层级负载均摊高效采集方法，包括如下步骤：S1，对前置机按照功能进行分离多层级分摊部署，将前置集群分为通信前置集群和采集前置集群；S2，通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，维护所述连接信息，并继续监听终端数据；当接收到终端数据时，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机；S3，采集前置机收到报文信息之后，获取报文信息的规约信息，根据规约类型从服务列表中获取服务，并调用所述服务进行规约处理。该方法实现采集终端链路维护和报文解析处理的解耦，前置机可依据当前采集终端接入情况评判所需的网络资源和计算资源，实现硬件升级所耗费资源最小化。

Description

一种用电信息多层级负载均摊高效采集方法

技术领域

本发明涉及一种用电信息采集方法，尤其涉及一种用电信息多层级负载均摊高效采集方法，属于配电自动化技术领域。

背景技术

随着国家智慧城市建设战略的快速推进，作为服务民生的行业典范，国家电网公司提出以智能电网支撑智慧城市发展的决策部署。作为供电企业数据资产的最集中体现，呈现爆炸式增长的电力用户用电数据如何实现永久存储、快速检索、智慧分析是当前采集系统面临的风险及挑战，也是供电企业经营活动从“经验型”向“决策型”转变的必然选择。

按照坚强智能电网建设的总体要求，保证智能电网建设规范有序推进，国家电网公司自2010年起全面推进用电信息采集系统(简称采集系统)建设。截止2015年7月份，采集覆盖用户3.09亿，采集覆盖率75.58％。同时，采集系统还向营销业务系统、供电电压自动采集系统、电能质量在线监测系统、省级计量中心生产调度平台、配网抢修指挥平台、运营监测(控)中心等多个业务应用系统提供接口数据。采集系统正推动着电力营销管理模式的重大变革，并已成为包括营销在内的各专业不可或缺的重要基础支撑系统。

根据管理精细化要求，采集系统的数据采集方式将更加多样化，数据采集范围将更加全面，数据采集频度将进一步密集。由此带来的海量数据通信接入、存储、读取、分析计算、实时运算、备份，将使得现有的采集系统IT架构在系统性能面临着严峻的挑战，因此，如何提升采集系统的高效性，成了用电信息采集技术的关键问题。

现有的用电信息采集系统数据采集多采用集中式部署模式，由用电信息采集主站系统前置机(前置机)负责。前置机主要有三大任务：一是负责用电信息采集主站系统与采集终端的链路维护；二是负责解析处理采集终端上送的报文信息；三是转发用电信息采集主站系统下发的各项指令至采集终端。前置机采用集中式部署模式，并且前置机既负责用电信息采集主站与采集终端的链路维护，又负责前置报文的组装与解析，不能根据网络IO瓶颈和CPU处理瓶颈动态扩展问题，横向扩展性能差，不满足未来日益增长的海量数据采集需求。

发明内容

针对现有技术的不足，本发明所要解决的技术问题在于提供一种用电信息多层级负载均摊高效采集方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种用电信息多层级负载均摊高效采集方法，包括如下步骤：

S1，对前置机按照功能进行分离多层级分摊部署，将前置集群分为通信前置集群和采集前置集群；

S2，通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，维护所述连接信息，并继续监听终端数据；当接收到终端数据时，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机；

S3，采集前置机收到报文信息之后，获取报文信息的规约信息，根据规约类型从服务列表中获取服务，并调用所述服务进行规约处理。

其中较优地，在步骤S2中，当接收到采集终端的连接信息时，维护所述连接信息，包括如下步骤：

S201，当收到采集终端的连接信息时，判断所述连接信息的类型，如果连接信息的类型是采集终端建立连接，则转向步骤S202；否则，转向步骤S203；

S202，获取发送连接信息的采集终端的规约信息，并记录连接创建时间；

S203，连接信息的类型为断开采集终端的连接，断开与发送连接信息的采集终端之间的连接，并将存储的所述采集终端的信息清除。

其中较优地，在步骤S2中，对终端数据的报文信息进行解析之后，将解析的报文信息发送到采集前置机之前，还包括如下步骤：

对所述报文信息进行预处理，将不符合规约要求的报文信息进行过滤。

其中较优地，对所述报文信息进行预处理，将不符合规约要求的报文信息进行过滤，包括如下步骤：

S211，对终端数据的报文信息进行解析，获取报文信息的规约信息；

S212，将获取的规约信息与数据库存储的规约信息进行匹配，如果匹配成功，则将报文信息发送到采集前置机，否则，转向步骤S213；

S213，将报文信息删除，不向采集前置机发送。

其中较优地，在数据库中存储的规约信息和报文信息的规约信息均包括规约类型以及规约版本号；当数据库存储的规约信息中存在与报文信息的规约信息完全相同的规约类型以及规约版本号时，获取的规约信息与数据库存储的规约信息匹配成功。

其中较优地，在步骤S3中，获取报文信息的规约信息，在根据规约类型从服务列表中获取服务之前，对报文信息的规约信息进行二次校验。

其中较优地，对报文信息的规约信息进行二次校验，包括如下步骤：

获取采集前置机的数据库中存储的规约信息；

在采集前置机的数据库中存储的规约信息进行检索，判断是否存在所述报文信息的规约信息，如果存在，则根据所述报文信息的规约信息从服务列表中获取服务；

否则，所述报文信息不属于处理范围，报文信息出错，将所述报文信息删除。

其中较优地，所述用电信息多层级负载均摊高效采集方法，还包括如下步骤：

S4，当收到的报文信息需要回复时，采集前置机将回复报文进行组装后发到通信前置机，经通信前置机发回给采集终端。

本发明所提供的用电信息多层级负载均摊高效采集方法，通过对用电信息采集主站系统前置机按照功能进行分离多层级分摊部署，将前置集群集中式部署分为通信前置集群和采集前置集群；通信前置集群主要负责用电信息采集系统与采集终端的链路维护，采集前置集群主要负责对采集的报文信息进行解析和组装，实现采集终端链路维护和报文解析处理的解耦，用电信息采集主站系统前置机可依据当前采集终端接入情况评判出所需的网络资源和计算资源，网络资源出现瓶颈扩充通信前置机，计算资源出现瓶颈则扩充采集前置机。在户数不断的增加的情况下，整体结构可以扩展，无需修改系统任何功能即可实现无缝的扩展。

附图说明

图1为本发明所提供的用电信息多层级负载均摊高效采集方法的流程图；

图2为本发明所提供的用电信息多层级负载均摊高效采集方法中，多层级负载分摊前置技术架构图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明所提供的用电信息多层级负载均摊高效采集方法，基于对用电信息采集主站系统前置机按照功能进行分离多层级分摊部署，将前置集群集中式部署分为通信前置集群和采集前置集群，来实现前置机分层级按需动态扩展。通信前置集群主要负责用电信息采集系统与采集终端的链路维护，主要消耗网络IO，可以针对网络IO瓶颈进行动态扩展；采集前置集群主要负责对采集的报文信息进行解析和组装，主要消耗CPU计算，可以针对CPU计算瓶颈动态扩展。包括如下步骤：首先，对用电信息采集主站系统前置机按照功能进行分离多层级分摊部署，将前置集群集中式部署分为通信前置集群和采集前置集群；然后，通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，维护采集终端的连接信息，并继续监听终端数据。当接收到终端数据时，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机。最后，采集前置机收到报文信息之后，获取报文信息的规约信息，根据规约类型从服务列表中获取服务并调用该服务进行规约处理。下面对这一过程做详细具体的说明。

S1，对用电信息采集主站系统前置机按照功能进行分离多层级分摊部署，将前置集群集中式部署分为通信前置集群和采集前置集群。

对用电信息采集主站系统前置机按照功能进行分离多层级分摊部署，将前置集群集中式部署分为通信前置集群和采集前置集群，使采集终端链路维护和报文解析处理的解耦，实现前置机分层级按需动态扩展。通信前置集群主要负责用电信息采集系统与终端的链路维护，主要消耗网络IO，可以针对网络IO瓶颈进行动态扩展；采集前置集群主要负责对采集数据报文进行解析和组装，主要消耗CPU计算，可以针对CPU计算瓶颈动态扩展。

S2，通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，维护采集终端的连接信息，并继续监听终端数据。当接收到终端数据时，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机。

通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，对连接信息进行判断，根据连接信息类型的不同进行不同的处理，具体包括如下步骤：

S201，当收到采集终端的连接信息时，判断连接信息的类型，如果连接信息的类型是数据终端建立连接，则转向步骤S202；否则，转向步骤S203；

S202，获取发送连接信息的采集终端的规约信息，并记录连接创建时间；

S203，连接信息的类型为断开数据终端的连接，断开与发送连接信息的采集终端之间的连接，并将存储的该采集终端的信息清除。

如图2所示，在本发明所提供的实施例中，终端监听端口监听到的采集终端发送来的连接信息或终端数据是通过采集器采集电表的信息获得的，连接信息或终端数据经过GPRS、CDMA、230、PSTN拨号等网络传输方式将信息上报至用电信息采集主站网关路由器，然后经防火墙和负载均衡器到达通信前置集群，由通信前置集群根据上报的信息是连接信息还是终端数据进行相应的处理。上面对接收到连接信息进行处理的情况进行了说明，下面对接收到终端数据进行处理的情况进行说明。

当终端监听端口监听到终端数据时，接收该终端数据，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机。其中，对终端数据的报文信息进行解析之后，将解析的报文信息发送到采集前置机之前，还要对报文信息进行预处理，将不符合规约要求的报文信息进行过滤。具体包括如下步骤：

S211，对终端数据的报文信息进行解析，获取终端规约信息，即报文信息的规约信息；在本发明所提供的实施例中，报文信息包括：终端规约信息、终端连接信息(终端IP,终端PORT,SOCKET句柄)、终端报文。

S212，将获取的终端规约信息与数据库存储的规约信息进行匹配，如果匹配成功，则将报文信息发送到采集前置机，否则，转向步骤S213；在本发明所提供的实施例中，在数据库中存储的规约信息和终端规约信息均包括规约类型以及规约版本号，只有当数据库存储的规约信息中存在与终端规约信息中完全相同的规约类型以及规约版本号时，获取的终端规约信息与数据库存储的规约信息匹配成功。

S213，将报文信息删除，不向采集前置机发送。

当获取的终端规约信息与数据库存储的规约信息匹配不成功时，说明获取的报文信息有误，将其进行删除，不向采集前置机发送。在通信采集端对报文信息进行了初步的过滤，将明显有误的报文信息删除，有效地降低了采集前置机的计算量，提高了采集前置机的工作效率。

S3，采集前置机收到报文信息之后，获取报文信息的规约信息，该报文信息的规约信息也就是终端规约信息，根据规约类型从服务列表中获取服务并调用该服务进行规约处理。

采集前置机收到报文信息之后，获取报文信息的规约信息，在根据规约信息对报文信息进行规约处理之前，对报文信息的规约信息进行二次校验，具体包括如下步骤：

获取采集前置机的数据库中存储的规约信息；

在采集前置机的数据库中存储的规约信息进行检索，看是否存在报文信息的规约信息，如果存在，则根据规约信息从服务列表中获取服务；其中，在采集前置机的数据库中存储的规约信息包括规约类型以及规约版本号。

否则，该报文信息不属于处理范围，报文信息出错，将其删除。

在本发明所提供的实施例中，通信前置机对报文信息的规约信息进行匹配时，采用的数据库中存储的规约信息是所有版本的全部正确的规约信息，防止将正确的报文信息误删。采集前置机对报文信息的规约信息进行二次校验时，采用的采集前置机的数据库中存储的规约信息是根据现有用电信息采集主站系统的运行需要，保留的相应版本的正确的规约信息，保证了报文信息的有效性和可靠性。

对报文信息的规约信息进行二次校验之后，根据规约类型从服务列表中获取服务，并调用该服务进行规约处理。在本发明所提供的实施例中，每种规约类型对应一定的服务，规约类型与服务的对应关系存储与服务列表中，服务列表存储于数据库中，便于随时调取。规约类型对应的服务主要包括：登录/登出报文、下发命令回复、主动上报数据和事件报文。根据该服务对报文信息进行规约处理具体包括如下内容：

1)登录/登出报文：更新采集终端的状态，包括连接状态、连接创建时间等信息。

2)下发命令回复：根据具体的下发规则，判定是否需要存储数据，当需要存储数据时，回复下发命令，并将相应的数据存储到数据库中，供后续处理查询使用；当不需要存储数据时，回复下发命令，放弃相应数据的存储。

3)主动上报数据：通过数据存储缓存功能，将上报数据进行存储，并发送到相应系统进行处理。

4)事件报文：组装接口数据对象，发送至内存库相应队列，等待相应系统对事件报文的处理。

S4，当收到的报文信息需要回复时，采集前置机将回复报文进行组装后发到通信前置机，经通信前置机发回给采集终端。

综上所述，本发明所提供的用电信息多层级负载均摊高效采集方法，对用电信息采集主站系统前置机按照功能进行分离多层级分摊部署，将前置集群集中式部署分为通信前置集群和采集前置集群；通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，维护采集终端的连接信息，并继续监听终端数据。当接收到终端数据时，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机。采集前置机收到报文信息之后，获取报文信息的规约信息，根据规约类型从服务列表中获取服务并调用该服务进行规约处理。该方法实现采集终端链路维护和报文解析处理的解耦，用电信息采集主站系统前置机可依据当前采集终端接入情况评判出所需的网络资源和计算资源，网络资源出现瓶颈扩充通信前置机，计算资源出现瓶颈则扩充采集前置机。前置机拆分通信前置机和采集前置机技术解决两个问题，一是实现用电信息采集纵向负载分摊；二是针对资源瓶颈类别(网络资源和计算资源)针对性扩充硬件资源，实现硬件升级所耗费资源最小化。

上面对本发明所提供的用电信息多层级负载均摊高效采集方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种用电信息多层级负载均摊高效采集方法，其特征在于包括如下步骤：

S1，对前置机按照功能进行分离多层级分摊部署，将前置集群分为通信前置集群和采集前置集群；

S2，通信前置集群中的通信前置机打开终端监听端口，当接收到采集终端的连接信息时，维护所述连接信息，并继续监听终端数据；当接收到终端数据时，对终端数据的报文信息进行解析，并将报文信息发送到采集前置机；

S3，采集前置机收到报文信息之后，获取报文信息的规约信息，根据规约类型从服务列表中获取服务，并调用所述服务进行规约处理。

2.如权利要求1所述的用电信息多层级负载均摊高效采集方法，其特征在于在步骤S2中，当接收到采集终端的连接信息时，维护所述连接信息，包括如下步骤：

S201，当收到采集终端的连接信息时，判断所述连接信息的类型，如果连接信息的类型是采集终端建立连接，则转向步骤S202；否则，转向步骤S203；

S202，获取发送连接信息的采集终端的规约信息，并记录连接创建时间；

S203，连接信息的类型为断开采集终端的连接，断开与发送连接信息的采集终端之间的连接，并将存储的所述采集终端的信息清除。

3.如权利要求1所述的用电信息多层级负载均摊高效采集方法，其特征在于在步骤S2中，对终端数据的报文信息进行解析之后，将解析的报文信息发送到采集前置机之前，还包括如下步骤：

对所述报文信息进行预处理，将不符合规约要求的报文信息进行过滤。

4.如权利要求3所述的用电信息多层级负载均摊高效采集方法，其特征在于对所述报文信息进行预处理，将不符合规约要求的报文信息进行过滤，包括如下步骤：

S211，对终端数据的报文信息进行解析，获取报文信息的规约信息；

S212，将获取的规约信息与数据库存储的规约信息进行匹配，如果匹配成功，则将报文信息发送到采集前置机，否则，转向步骤S213；

S213，将报文信息删除，不向采集前置机发送。

5.如权利要求4所述的用电信息多层级负载均摊高效采集方法，其特征在于：

在数据库中存储的规约信息和报文信息的规约信息均包括规约类型以及规约版本号；当数据库存储的规约信息中存在与报文信息的规约信息完全相同的规约类型以及规约版本号时，获取的规约信息与数据库存储的规约信息匹配成功。

6.如权利要求4所述的用电信息多层级负载均摊高效采集方法，其特征在于在步骤S3中，获取报文信息的规约信息，在根据规约类型从服务列表中获取服务之前，对报文信息的规约信息进行二次校验。

7.如权利要求6所述的用电信息多层级负载均摊高效采集方法，其特征在于对报文信息的规约信息进行二次校验，包括如下步骤：

获取采集前置机的数据库中存储的规约信息；

在采集前置机的数据库中存储的规约信息进行检索，判断是否存在所述报文信息的规约信息，如果存在，则根据所述报文信息的规约信息从服务列表中获取服务；

否则，所述报文信息不属于处理范围，报文信息出错，将所述报文信息删除。

8.如权利要求1所述的用电信息多层级负载均摊高效采集方法，其特征在于还包括如下步骤：

S4，当收到的报文信息需要回复时，采集前置机将回复报文进行组装后发到通信前置机，经通信前置机发回给采集终端。