CN105786945B - 一种基于数据通道的用电信息数据高效处理方法 - Google Patents

Abstract

本发明公开了一种基于数据通道的用电信息数据高效处理方法，包括如下步骤：S1，基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发送给基于内存的数据总线；S2，数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，获取报文信息的业务类型，通过业务类型对应的数据通道进行业务加工，形成业务数据；S3，判断内存库中存储的业务数据是否达到存储阀值，如果没有达到，则把业务数据存储在内存库中；否则转向步骤S4；S4，把内存库中的业务数据写入关系数据库。该方法基于业务的专享的数据通道，能减少逻辑数据容量，便于信息快速检索。

Description

一种基于数据通道的用电信息数据高效处理方法

技术领域

本发明涉及一种用电信息数据处理方法，尤其涉及一种基于数据通道的用电信息数据高效处理方法。

背景技术

随着智能电网全面建设，用电信息采集系统不仅需要为计量处业务提供数据支撑，同时还需为配电、运监、调度、检修等行业提供高密度采集数据，而这些行业对低压侧采集频率、采集数据项都提出了新的要求，以往配变15分钟/次、电表1天/次的采集频率不再满足相关专业对数据的需求。

与此同时，随着营配贯通工作的推进，用电信息采集系统对用电信息的采集也将逐步实现“全采集、全覆盖、全费控”，系统接入的客户档案、终端数据、实采数据容量不断扩大，面对海量数据，系统性能问题日益严重。当前平台架构无法支撑现有业务，同时新业务扩展也比较困难。伴随着智能家居、四表合一、分布式电源等新兴业务的不断发展，对用电信息采集系统提出了新需求，需要优化系统功能，实现有序用电、科学用电。由此带来海量数据的高效存储和数据的高效处理等一系列问题，常规的架构已不能满足性能要求，如何提升采集系统数据处理的高效性，成了用电信息采集技术的关键问题。

现有的用电信息采集系统数据存储和处理模式大多采用传统的处理架构，前置接收到终端报文解析后，直接把数据存储到分区分表的关系库中，通过存储过程对数据进行加工处理。基于业务的应用，直接从关系数据库中获取数据，按业务为导向进行数据加工后，通过浏览器以图、表的方式进行浏览。

用电信息采集系统主要面向电力用户的数据采集，采集终端数量庞大，信息上报集中，完成省内电力用户一轮全采集周期长，对系统的存储效率和数据处理效率要求高。传统的架构在达到性能峰值后，升级手段单一，效果也不明显，无法突破传统瓶颈。很难满足不断增长的用电信息采集的高效处理需求。

发明内容

针对现有技术的不足，本发明所要解决的技术问题在于提供一种基于数据通道的用电信息数据高效处理方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种基于数据通道的用电信息数据高效处理方法，包括如下步骤：

S1，基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发送给基于内存的数据总线；

S2，数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，获取报文信息的业务类型，通过业务类型对应的数据通道进行业务加工，形成业务数据；

S3，判断内存库中存储的业务数据是否达到存储阀值，如果没有达到，则把业务数据存储在内存库中；否则转向步骤S4；

S4，把内存库中的业务数据写入关系数据库。

其中较优地，所述数据总线与所述分布式采集前置机相配套，每个责任区的分布式采集前置机对应一条数据总线。

其中较优地，设定报文信息采集阈值，当分布式采集前置机获取的报文信息小于等于报文信息采集阈值时，报文信息的采集和报文信息的业务加工在同一个服务器节点进行处理，数据总线通过基于共享内存的进程间通信进行报文信息的传输。

其中较优地，当分布式采集前置机获取的报文信息大于报文信息采集阈值时，报文信息的采集和报文信息的业务加工在不同的服务器节点进行处理，数据总线通过TCP/IP通信协议进行服务器节点间报文信息的传输。

其中较优地，当报文信息的采集和报文信息的业务加工在同一个服务器节点进行处理时，数据总线调用基本服务接口通过共享内存的方式进行报文信息的传输，将获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；数据总线通过数据通道进行业务加工，形成业务数据。

其中较优地，当报文信息的采集和报文信息的业务加工在不同的服务器节点进行处理时，数据总线通过TCP/IP通信协议调用基本服务接口进行服务器节点间报文信息的传输，包括如下步骤：

分布式采集前置机对获取的报文信息进行解析，把解析结果发送给基于内存的数据总线；

所述数据总线将解析的报文信息传递给本服务器节点的数据代理；

本服务器节点的数据代理通过TCP/IP通信协议调用基本服务接口中的发送数据接口将解析的报文信息发送到目的服务器节点的数据代理；

目的服务器节点的数据代理调用基本服务接口中的接收数据接口接收解析的报文信息；

目的服务器节点的数据代理再调用基本服务接口通过共享内存的方式将解析的报文信息传递到目的服务器节点的数据总线；

所述目的服务器节点的数据总线通过数据通道对解析的报文信息进行业务加工，形成业务数据。

其中较优地，在步骤S2中，形成业务数据，包括如下步骤：

数据总线按业务类型划分成若干数据通道；

接收分布式采集前置发送来的解析结果，根据解析结果获得报文信息所述的业务类型；

判断报文信息所属的业务类型是否在数据总线中存在数据通道，如果不存在，则将报文信息放弃，不做存储处理；

如果报文信息所属的业务类型在数据总线中存在数据通道，则通过业务类型对应的数据通道进行数据加工，形成业务数据。

其中较优地，当报文信息所属的业务类型在数据总线中存在数据通道时，通过业务类型对应的数据通道进行数据加工，形成业务数据之后，还包括如下步骤：

判断业务数据的内容是基础数据还是事件数据；

当业务数据的内容是基础数据时，将业务数据存储到数据总线的内存库中；

当业务数据的内容是事件数据时，针对事件数据向相应的系统发出事件通知；并将业务数据存储到数据总线的内存库中；

如果业务数据的内容既不是基础数据也不是事件数据，则将业务数据放弃，不做存储处理。

本发明所提供的基于数据通道的用电信息数据高效处理方法，通过基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；根据分布式采集前置机采集报文信息的信息量的多少判定报文信息采集解析和报文信息的业务处理是否在同一个服务器节点进行，这样不仅能够保证在报文信息的数据量比较庞大时，报文信息的及时处理，防止报文信息积压，而且能够提高报文信息的处理效率。另外，数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，按照报文信息的业务类型，通过业务类型对应的数据通道进行数据加工，形成业务数据。基于业务的专享的数据通道，能减少逻辑数据容量，便于信息快速检索。

附图说明

图1为本发明所提供的基于数据通道的用电信息数据高效处理方法的流程图；

图2为本发明所提供的用电信息数据高效处理方法中，基于同一个服务器节点进行数据传输的流程图；

图3为本发明所提供的用电信息数据高效处理方法中，基于不同服务器节点进行数据传输的流程图；

图4为本发明所提供的用电信息数据高效处理方法中，数据总线对分布式采集前置机发送的报文信息进行处理的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明所提供的基于数据通道的用电信息数据高效处理方法，包括如下步骤：首先，基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，获取报文信息的业务类型，通过业务类型对应的数据通道进行业务加工，形成业务数据。然后，把业务数据存储在内存库中，并设置存储阀值，当内存库中存储的业务数据达到存储阀值后，把内存库中业务数据写入关系数据库。下面对这一过程做详细具体的说明。

S1，基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发送给基于内存的数据总线。

以往的数据处理都是基于关系数据库进行的，在处理过程中，数据积压严重，数据处理的实时性差。在本发明所提供的实施例中，基于责任区的分布式采集前置机对获取的报文信息进行解析，并把解析结果发布给基于内存的数据总线，数据总线经过计算模型的处理后把数据存储在内存库中，当数据达到存储阀值后把内存库中数据写入关系数据库中。如图2所示，基于责任区的分布式采集前置分别采集地区一和地区二的报文信息，对报文信息进行解析后，把解析结果发布给本责任区内的基于内存的数据总线。数据总线对接收到的报文信息进行业务加工，形成业务数据。为提高接收效率，数据总线与分布式采集前置机相配套，每个责任区的分布式采集前置机对应一条数据总线。数据总线对上层应用封装成初始化、退出、订阅事件集、取消订阅事件集、发送数据、接收数据六个通用的基本服务接口。数据总线通过基本服务接口提供订阅、发布消息推送，也提供流式事件处理。数据总线按业务划分归类形成若干数据通道，该数据通道为基于业务的专享的数据通道。专享的数据通道能减少逻辑数据容量，便于信息快速检索。这有效的降低了数据检索时间。

在本发明所提供的实施例中，报文信息的采集和报文信息的业务加工可以在同一个服务器节点上完成，也可以在不同的服务器节点上完成。根据对采集的报文信息的处理效率，设定报文信息采集阈值，当分布式采集前置机获取少量的报文信息时(即分布式采集前置机获取的报文信息小于等于报文信息采集阈值时)，报文信息的采集和报文信息的业务加工在同一个服务器节点进行处理，数据总线通过基于共享内存的进程间通信完成事件的收发以及数据的传输，即数据总线通过基于共享内存的进程间通信完成报文信息的传输。当分布式采集前置机获取大量的报文信息时(即分布式采集前置机获取的报文信息大于报文信息采集阈值时)，报文信息的采集和报文信息的业务加工在不同的服务器节点进行处理，数据总线通过TCP/IP通信协议完成服务器节点间的数据传输以及事件的收发，即数据总线通过TCP/IP通信协议完成服务器节点间报文信息的传输。报文信息采集阈值的设定，不仅能够保证报文信息的及时处理，防止报文信息积压，而且能够提高报文信息的处理效率。

当报文信息的采集和报文信息的业务加工在同一个服务器节点进行处理时，数据总线调用基本服务接口通过共享内存的方式完成报文信息的传输，将获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；数据总线通过数据通道进行数据加工，形成业务数据。

如图3所示，当报文信息的采集和报文信息的业务加工在不同的服务器节点进行处理时，数据总线通过TCP/IP通信协议调用基本服务接口实现报文信息的传输，具体包括如下步骤：

分布式采集前置机对获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；

数据总线将解析的报文信息传递给本服务器节点的数据代理；

本服务器节点的数据代理通过TCP/IP通信协议调用基本服务接口中的发送数据接口将解析的报文信息发送到目的服务器节点的数据代理；在本发明所提供的实施例中，目的服务器节点即为进行报文信息的业务加工的服务器节点。

目的服务器节点的数据代理调用基本服务接口中的接收数据接口接收解析的报文信息；

目的服务器节点的数据代理调用基本服务接口通过共享内存的方式将解析的报文信息传递到目的服务器节点的数据总线；

目的服务器节点的数据总线通过数据通道进行数据加工，形成业务数据。

至此，完成不同服务器节点之间报文信息的传输。将报文信息采集解析和报文信息的业务处理分开在不同的服务器节点进行，不仅能够保证在报文信息的数据量比较庞大时，报文信息的及时处理，防止报文信息积压，而且能够提高报文信息的处理效率。

S2，数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，获取报文信息的业务类型，通过业务类型对应的数据通道进行业务加工，形成业务数据。

鉴于分布式采集前置采集到的报文信息，部分报文信息需要结合业务进行加工后才能够使用。数据总线按业务类型划分成若干数据通道，基于数据总线的业务专享的数据通道，抽象出计算模型，当数据通道接收的报文信息变更后，实时发布给计算模型，数据模型基于业务专享的数据通道实时加工报文信息，实现数据的高效处理和调度，具体包括如下步骤：

数据总线按业务类型划分成若干数据通道；

接收分布式采集前置机发送来的解析结果，根据解析结果获得报文信息所属的业务类型；

判断报文信息所属的业务类型是否在数据总线中存在数据通道，如果不存在，则将报文信息放弃，不做存储处理；

如果报文信息所属的业务类型在数据总线中存在数据通道，则通过业务类型对应的数据通道进行数据加工，形成业务数据。

如图4所示，在本发明所提供的实施例中，当报文信息所属的业务类型在数据总线中存在数据通道时，通过业务类型对应的数据通道进行数据加工，形成业务数据。然后判断业务数据的内容是基础数据还是事件数据；当业务数据的内容是基础数据时，将业务数据存储到数据总线的内存库中，当业务数据的内容是事件数据时，针对事件数据向相应的系统发出事件通知，以便相应的系统根据事件通知及时作出处理，然后将业务数据存储到数据总线的内存库中。如果报文信息的内容既不是基础数据也不是事件数据，则将业务数据放弃，不做存储处理。

S3，判断内存库中存储的业务数据是否达到存储阀值，如果没有达到，则把业务数据存储在内存库中；否则转向步骤S4。

对报文信息进行业务加工之后，将生成的业务数据存储到数据总线的内存库中，当内存库中存储的业务数据达到存储阀值时，再将业务数据统一写入关系数据库。数据总线为系统提供了高效的数据存取支撑，避免海量数据在短时间内不能写入关系数据库带来的数据积压和丢失。

在本发明所提供的实施例中，数据总线以内存库、表的形式对数据进行管理，将获得的业务数据根据存储模型的格式要求临时存储在内存库中。首先，在数据总线的内存库中创建存储模型，为表、记录创建唯一的编号，表之间也采用记录的唯一编号关联。其次，将获取的业务数据存储到存储模型中；然后，对表与表间关联关系及表中的行、列数据均建立唯一的hash索引。最后，在内存库中开辟一块共享内存区域，用来存放hash索引信息。当需要使用业务数据时，通过hash索引进行查找、遍历数据，从而提高对数据的访问效率。基于该设计，关系数据库中静态高频访问数据加载为内存数据，这样就大大的提高了数据的访问效率。在本发明所提供的实施例中，为减少应用的复杂度，hash索引的查询算法封装到外部统一接口中，通过调用外部统一接口进行业务数据的查询。

应用在使用业务数据时，可以通过表名称获得整个表中的数据。通过记录的ID获得相应行的数据，可以通过指定表号和具体的列序号集合获得表中对应列的所有数据。也可在以上获取业务数据的基础上添加简单条件进行数据过滤，提高了业务数据的访问效率。

S4，把内存库中的业务数据写入关系数据库。

综上所述，本发明所提供的基于数据通道的用电信息数据高效处理方法，通过基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；根据分布式采集前置机采集报文信息的信息量的多少判定报文信息采集解析和报文信息的业务处理是否在同一个服务器节点进行，这样不仅能够保证在报文信息的数据量比较庞大时，报文信息的及时处理，防止报文信息积压，而且能够提高报文信息的处理效率。另外，数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，获取报文信息的业务类型，通过业务类型对应的数据通道进行数据加工，形成业务数据。基于业务的专享的数据通道，能减少逻辑数据容量，便于信息快速检索。除此之外，把业务数据存储在内存库中，并设置存储阀值，当内存库中存储的业务数据达到存储阀值后，把内存库中业务数据写入关系数据库，避免海量数据在短时间内不能写入关系数据库带来的数据积压和丢失，大大的提高了数据的访问效率。

上面对本发明所提供的基于数据通道的用电信息数据高效处理方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (7)

1.一种基于数据通道的用电信息数据高效处理方法，其特征在于包括如下步骤：

S1，基于责任区的分布式采集前置机对获取的报文信息进行解析，把解析结果发送给基于内存的数据总线；

S2，数据总线按业务类型划分成若干数据通道，当收到分布式采集前置机发送来的解析结果之后，获取报文信息的业务类型，通过业务类型对应的数据通道获取报文信息在服务器节点进行业务加工，形成业务数据；当分布式采集前置机获取的报文信息大于报文信息采集阈值时，报文信息的采集和报文信息的业务加工在不同的服务器节点进行处理，通过数据总线进行报文信息的传输，包括如下步骤：分布式采集前置机对获取的报文信息进行解析，把解析结果发送给基于内存的数据总线；所述数据总线将解析的报文信息传递给本服务器节点的数据代理；本服务器节点的数据代理调用基本服务接口中的发送数据接口将解析的报文信息发送到目的服务器节点的数据代理；目的服务器节点的数据代理调用基本服务接口中的接收数据接口接收解析的报文信息；目的服务器节点的数据代理再调用基本服务接口通过共享内存的方式将解析的报文信息传递到目的服务器节点的数据总线；所述目的服务器节点的数据总线通过数据通道对解析的报文信息进行传输，在目的服务器节点进行业务加工，形成业务数据；

S3，判断内存库中存储的业务数据是否达到存储阀值，如果没有达到，则把业务数据存储在内存库中；否则转向步骤S4；

S4，把内存库中的业务数据写入关系数据库。

2.如权利要求1所述的基于数据通道的用电信息数据高效处理方法，其特征在于：

所述数据总线与所述分布式采集前置机相配套，每个责任区的分布式采集前置机对应一条数据总线。

3.如权利要求1所述的基于数据通道的用电信息数据高效处理方法，其特征在于：

设定报文信息采集阈值，当分布式采集前置机获取的报文信息小于等于报文信息采集阈值时，报文信息的采集和报文信息的业务加工在同一个服务器节点进行处理，数据总线通过基于共享内存的进程间通信进行报文信息的传输。

4.如权利要求3所述的基于数据通道的用电信息数据高效处理方法，其特征在于：

当分布式采集前置机获取的报文信息大于报文信息采集阈值时，报文信息的采集和报文信息的业务加工在不同的服务器节点进行处理，数据总线通过TCP/IP通信协议进行服务器节点间报文信息的传输。

5.如权利要求3所述的基于数据通道的用电信息数据高效处理方法，其特征在于：

当报文信息的采集和报文信息的业务加工在同一个服务器节点进行处理时，数据总线调用基本服务接口通过共享内存的方式进行报文信息的传输，将获取的报文信息进行解析，把解析结果发布给基于内存的数据总线；数据总线通过数据通道进行业务加工，形成业务数据。

6.如权利要求1所述的基于数据通道的用电信息数据高效处理方法，其特征在于在步骤S2中，形成业务数据，包括如下步骤：

数据总线按业务类型划分成若干数据通道；

接收分布式采集前置发送来的解析结果，根据解析结果获得报文信息所述的业务类型；

判断报文信息所属的业务类型是否在数据总线中存在数据通道，如果不存在，则将报文信息放弃，不做存储处理；

如果报文信息所属的业务类型在数据总线中存在数据通道，则通过业务类型对应的数据通道获取报文信息在服务器节点进行数据加工，形成业务数据。

7.如权利要求6所述的基于数据通道的用电信息数据高效处理方法，其特征在于当报文信息所属的业务类型在数据总线中存在数据通道时，通过业务类型对应的数据通道获取报文信息在服务器节点进行数据加工，形成业务数据之后，还包括如下步骤：

判断业务数据的内容是基础数据还是事件数据；

当业务数据的内容是基础数据时，将业务数据存储到数据总线的内存库中；

当业务数据的内容是事件数据时，针对事件数据向相应的系统发出事件通知；并将业务数据存储到数据总线的内存库中；

如果业务数据的内容既不是基础数据也不是事件数据，则将业务数据放弃，不做存储处理。