CN116450726A - 一种面向电力系统的多源异构数据交换平台及交换方法 - Google Patents

Abstract

本发明公开了一种面向电力系统的多源异构数据交换平台及方法，该方法包括,获取各电力系统异构数据源信息存储到数据源信息表，创建数据交换任务,通过查询数据源信息表配置数据源信息，确定待交换的数据，设置数据交换的周期，配置数据处理规则，将待传输数据进行逻辑分割，形成多个分片，对每个分片分别建立数据传输通道，使用多个数据传输通道并行抽取数据，对抽取的数据进行转换，转换后的数据存储到通道缓存表中，将通道缓存表中的数据封装后发送到目标电力系统的数据源。本发明可灵活配置参数，实现不同类型数据库、文件的数据交换，采用并行抽取方式，提高了数据交换效率，并使用通道缓存表调整数据交换的速率，增加了数据交换的稳定性。

Description

一种面向电力系统的多源异构数据交换平台及交换方法

技术领域

本发明涉及数据交换领域，尤其涉及一种面向电力系统的多源异构数据交换平台及交换方法。

背景技术

国家电网的各网省公司及其下属单位的各业务部门，长期以来，搭建了多种业务系统，例如EMS系统、OMS系统、TMR、电力交易系统等等。在搭建信息化平台时，没有统一的数据交换标准，通常基于业务进行数据平台建设，数据交换存在多种交换方式，不易于进行统一的维护管理。并且，各个业务系统的数据源存储结构不同意，存储形式多样，增加了维护数据的成本和难度，也造成了各个业务部门间协同合作存在数据壁垒。

目前，电力系统的各业务系统对外交互数据缺少统一的数据平台，需要由各业务系统按照不同需求各自开发特定交互接口，数据接口利用程度低。 并且，数据交互方式和数据格式不同，没有统一标准。随着数据交互的业务系统的增加，需要交换的数据量也在增加，数据交互复杂程度增加，效率较低。迫切需要建立一个面向电力系统的多源异构数据交换平台，统一管理各业务系统之间的数据交换方式，提高数据交换效率。

发明内容

为解决所述问题，本发明的目的在于提供一种面向电力系统的多源异构数据交换平台及交换方法，以下从多个方面介绍本申请，以下多个方面的实施例和有益效果可以互相参考：

第一方面，本发明的实施例提供了一种面向电力系统的多源异构数据交换平台，其特征在于，包括数据源管理模块，数据交换任务管理模块，通道管理模块，交换任务跟踪模块，数据抽取模块，数据转换模块，数据发送模块；

数据源管理模块，用于将各电力系统的异构数据源信息存储到所述多源异构数据交换平台的数据源信息表中；

数据交换任务管理模块用于管理数据交换任务，包括创建数据交换任务子模块，配置数据交换任务子模块，数据交换任务调度子模块；配置数据交换任务子模块查询数据源信息表，配置源电力系统和目标电力系统的数据源；确定待交换的数据和数据交换的周期，设置数据转换配置文件的数据处理规则；

通道管理模块用于建立源电力系统与所述多源异构数据交换平台，以及所述多源异构数据交换平台与目的电力系统之间的数据传输通道；

交换任务跟踪模块用于跟踪数据交换任务的执行情况，通过监控数据传输通道的数据包传输情况，对数据交换过程中出现的异常情况进行报警，以及对电力系统之间的数据交换任务进行统计分析。

优选地，所述将各电力系统的异构数据源信息存储到所述多源异构数据交换平台的数据源信息表中，具体包括：

在所述多源异构数据交换平台中建立数据源信息表，该数据源信息表的字段包括数据源类型，数据源名称，用户名，密码，数据源连接的url地址，数据源访问的驱动类；

数据库类型包括MySQL、oracle、sqlserver、Access、Hbase、Redis、MongoDB、Hive。

优选地，所述通道管理模块还设置有通道缓存表，用于暂存数据传输过程中的数据包，根据源电力系统和目标电力系统数据发送和接收数据包的吞吐量调节数据包的传输速率。

优选地，所述数据抽取模块用于抽取源电力系统数据源中的数据保存到所述多源异构数据交换平台的中间结果表，所述数据转换模块根据数据转换配置文件的数据处理规则对中间结果表中的数据进行转换，转换后的数据存储到通道缓存表，所述发送模块将通道缓存表中的数据封装后发送到目标电力系统的数据源；所述数据处理规则包括字段脱敏、字段映射、数据长度处理、日期格式处理、数值单位转换。

优选地，所述数据抽取模块的数据抽取方式包括全量抽取、增量抽取、即时抽取；所述即时抽取是根据配置数据交换任务子模块的配置信息立即进行一次数据抽取。

优选地，所述通道管理模块支持建立多通道，对源电力系统数据源中的每个待抽取数据表或数据文件分别建立数据传输通道，多通道并行抽取数据。

优选地，对源电力系统数据源中的关系型数据库，支持按数据表的字段分组，对每个分组分别建立数据传输通道。

优选地，对源电力系统数据源中的Key-Value数据库，支持按Key分组，对每个分组分别建立数据传输通道。

优选地，交换任务跟踪模块监测所述通道缓存的容量、数据传输速率，源电力系统和目标电力系统的数据库的运行状态；

当所述通道缓存的剩余空间小于设定阈值A的持续时长超过设定阈值B，或数据库的运行状态出现异常，向数据交换平台的运维人员发送预警信息。

另一方面，本发明提供了一种面向电力系统的多源异构数据交换方法，应用于本发明的一种面向电力系统的多源异构数据交换平台，所述多源异构数据交换方法包括，

S1：获取各电力系统异构数据源信息，存储到所述多源异构数据交换平台的数据源信息表中；

S2：创建数据交换任务；

S3：查询数据源信息表，配置所述数据交换任务涉及的源电力系统和目标电力系统的数据源信息；确定待交换的数据，设置数据交换的周期，配置数据处理规则，所述数据处理规则包括字段脱敏、字段映射、数据长度处理、日期格式处理、数值单位转换；

S4：当源电力系统数据源为关系型数据库时，对数据表按字段分组，对每个字段分组分别建立数据传输通道；或者，当源电力系统的数据源为Key-Value数据库时，按Key分组，对每个Key分组分别建立数据传输通道；或者，当源电力系统数据源为多个文件时，对每个文件分别建立数据传输通道；使用多个数据传输通道并行抽取数据；启动数据交换任务；

S5：将抽取的源电力系统数据源中的数据保存到所述多源异构数据交换平台的中间结果表；

S6：根据数据处理规则对中间结果表中的数据进行转换，转换后的数据存储到通道缓存表中；

S7：将通道缓存表中的数据封装后发送到目标电力系统的数据源。

本发明的有益效果为：

1.灵活的数据交换配置管理，配置交换任务涉及的异构数据源信息，数据交换范围、数据交换周期，通过数据转换配置文件设置数据处理规则，提高了数据交换平台的灵活性的同时，也降低了操作人员的操作难度；

2.支持多通道传输数据，特别是针对数据量较大的业务系统，或者实时性要求较高的数据交换任务，提高了数据交换的效率；

3.采用缓存通道表，根据源电力系统和目标电力系统数据发送和接收数据包的吞吐量调节数据包的传输速率，提高了交换平台的稳定性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。

图1是本发明的面向电力系统的多源异构数据交换平台架构示意图；

图2是本发明的面向电力系统的源异构数据交换平台数据传输通道示意图；

图3是本发明的关系型数据库表字段分组多通道传输示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

为了解决OMS、TMR、EMS、调控云等电力系统之间的数据交换问题，本发明公开了一种面向电力系统的多源异构数据交换平台，多源异构数据交换平台的逻辑架构如图1所示，包括数据源管理模块，数据交换任务管理模块，通道管理模块，交换任务跟踪模块，数据抽取模块，数据转换模块，数据发送模块。

数据源管理模块，用于将各电力系统的异构数据源信息存储到多源异构数据交换平台的数据源信息表中。通过收集或自动上传的方式，获取有数据交换需求的电力系统的数据源信息，保存到数据源信息表中。数据源信息表的字段包括数据源类型，数据源名称，用户名，密码，数据源连接的url地址，数据源访问的驱动类。数据库类型包括MySQL、oracle、sqlserver、Access、Hbase、Redis、MongoDB、Hive。当然，数据源信息表可以为二维数据表的形式，也可以为配置文件的新式，例如JSON格式或XML格式的配置文件，本发明不作具体限制。

数据交换任务管理模块用于管理数据交换任务，包括创建数据交换任务子模块，配置数据交换任务子模块，数据交换任务调度子模块。配置数据交换任务子模块查询数据源信息表，配置数据交换任务包括配置源电力系统和目标电力系统的数据源，确定待交换的数据和数据交换的周期，设置数据转换配置文件的数据处理规则。待交换的数据的可以指定某几个数据表或某个目录下的文件等。数据交换的周期可以设置为每天晚上的11点，或者每周凌晨3点。数据交换任务的各项参数配置完成之后，数据交换任务调度子模块可以设置该数据交换任务的状态，如启动、暂停、终止等。

通道管理模块用于建立源电力系统与多源异构数据交换平台，以及多源异构数据交换平台与目的电力系统之间的数据传输通道。数据传输通道可以为MQ通道、FTP数据流通道等现有数据传输技术。

在实际应用中，源电力系统与目标电力系统在发送或接受数据的能力上存在差异，因此在通道管理模块还设置有通道缓存表，用于暂存数据传输过程中的数据包，用来根据源电力系统和目标电力系统数据发送和接收数据包的吞吐量调节数据包的传输速率。监测通道缓存表的剩余容量，当剩余容量小于设定阈值时，减少数据采集模块采集数据的频率，增大数据发送模块的数据发送频率，避免了存储阻塞的发生。

如图2所示，数据抽取模块用于抽取源电力系统数据源中的数据保存到多源异构数据交换平台的中间结果表，数据转换模块根据数据转换配置文件的数据处理规则对中间结果表中的数据进行转换，转换后的数据存储到通道缓存表，发送模块将通道缓存表中的数据封装后发送到目标电力系统的数据源。数据处理规则包括字段脱敏、字段映射、数据长度处理、日期格式处理、数值单位转换。

对于字段映射，例如：按照业务系统间对象编码映射关系进行ID转换，根据业务系统间表和字段的映射关系进行数据转换。平台支持源电力系统和目的电力系统存储文件格式的转换，例如，从消息到文件的转换、消息在写入数据库之前的格式转换、数据库抽取到文件的转换。

配置数据交换任务子模块还可以配置数据抽取模块的工作方式，例如数据抽取模块的数据抽取方式包括全量抽取、增量抽取、即时抽取。全量抽取是将待抽取数据限定的数据范围内的数据全部抽取，增量抽取是仅抽取待抽取数据限定的数据范围内的新增的、发生变化了的数据，即时抽取是根据配置数据交换任务子模块的配置信息立即进行一次数据抽取。

当存在大量的数据等待交换时，单个数据传输通道传输效率太低，不能满足数据交换任务的需要，也没有能够充利用电力系统服务器的性能。优选地，本发明先对待抽取的数据表或文件进行逻辑分片，针对每个分片分别建立数据传输通道，并行采集、转换、发送数据。

对源电力系统数据源中的关系型数据库，支持按数据表的字段分组，对每个分组分别建立数据传输通道，如图3所示。示例性的，当待抽取的数据表存在3n个字段时，将字段1至n作为一个分片，字段n+1至2n作为一个分片，字段2n+1至3n作为一个分片，针对每个分片均建立一个数据传输通道，即数据传输通道1、数据传输通道2、数据传输通道3并行进行数据抽取。

对源电力系统数据源中的Key-Value数据库，支持按Key分组，对每个分组分别建立数据传输通道。分片方法与关系型数据库的数据表字段分组实现分片类似，不再赘述。

交换任务跟踪模块用于跟踪数据交换任务的执行情况，通过监控数据传输通道的数据包传输情况，对数据交换过程中出现的异常情况进行报警，以及对电力系统之间的数据交换任务进行统计分析。

当所述通道缓存的剩余空间小于设定阈值A的持续时长超过设定阈值B，例如阈值A可以设定为通道缓存容量的三分之一，阈值B可以设定为1分钟，或数据库的运行状态出现异常，向数据交换平台的运维人员发送预警信息。监控数据库的运行状态包括，监控数据库的连接数是否异常、监控数据库的磁盘空间是否足够等信息。

设置数据交换任务信息表，记录电力系统之间数据交换的任务情况，记录的信息包括源电力系统的名称，目的电力系统的名称，数据交换任务的配置参数，传输的数据量，数据传输通道数量，传输失败次数、预警次数等信息，以便对电力系统之间的数据交换任务进行统计分析，根据统计分析结果对多源异构数据交换平台进行改进。多源异构数据交换平台能够可视化展示数据交换过程中的告警信息，以及根据每项任务执行情况，展示数据交换运行情况统计信息。

实施例2

本实施例描述了一种面向电力系统的多源异构数据交换方法，应用于本发明的一种面向电力系统的多源异构数据交换平台，所述多源异构数据交换方法包括，

S1：获取各电力系统异构数据源信息，存储到所述多源异构数据交换平台的数据源信息表中；

S2：创建数据交换任务；

S3：查询数据源信息表，配置所述数据交换任务涉及的源电力系统和目标电力系统的数据源信息；确定待交换的数据，设置数据交换的周期，配置数据处理规则，所述数据处理规则包括字段脱敏、字段映射、数据长度处理、日期格式处理、数值单位转换；启动数据交换任务；

S4：当源电力系统数据源为关系型数据库时，对数据表按字段分组，对每个字段分组分别建立数据传输通道；或者，当源电力系统的数据源为Key-Value数据库时，按Key分组，对每个Key分组分别建立数据传输通道；或者，当源电力系统数据源为多个文件时，对每个文件分别建立数据传输通道；使用多个数据传输通道并行抽取数据；

S5：将抽取的源电力系统数据源中的数据保存到所述多源异构数据交换平台的中间结果表；

S6：根据数据处理规则对中间结果表中的数据进行转换，转换后的数据存储到通道缓存表中；

S7：将通道缓存表中的数据封装后发送到目标电力系统的数据源。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向电力系统的多源异构数据交换平台，其特征在于，包括数据源管理模块，数据交换任务管理模块，通道管理模块，交换任务跟踪模块，数据抽取模块，数据转换模块，数据发送模块；

数据源管理模块，用于将各电力系统的异构数据源信息存储到所述多源异构数据交换平台的数据源信息表中；

数据交换任务管理模块用于管理数据交换任务，包括创建数据交换任务子模块，配置数据交换任务子模块，数据交换任务调度子模块；配置数据交换任务子模块查询数据源信息表，配置源电力系统和目标电力系统的数据源；确定待交换的数据和数据交换的周期，设置数据转换配置文件的数据处理规则；

通道管理模块用于建立源电力系统与所述多源异构数据交换平台，以及所述多源异构数据交换平台与目的电力系统之间的数据传输通道；

交换任务跟踪模块用于跟踪数据交换任务的执行情况，通过监控数据传输通道的数据包传输情况，对数据交换过程中出现的异常情况进行报警，以及对电力系统之间的数据交换任务进行统计分析。

2.根据权利要求1所述的一种面向电力系统的多源异构数据交换平台，其特征在于，所述将各电力系统的异构数据源信息存储到所述多源异构数据交换平台的数据源信息表中，具体包括：

在所述多源异构数据交换平台中建立数据源信息表，该数据源信息表的字段包括数据源类型，数据源名称，用户名，密码，数据源连接的url地址，数据源访问的驱动类；

数据库类型包括MySQL、oracle、sqlserver、Access、Hbase、Redis、MongoDB、Hive。

3.根据权利要求1所述的一种面向电力系统的多源异构数据交换平台，其特征在于，所述通道管理模块还设置有通道缓存表，用于暂存数据传输过程中的数据包，根据源电力系统和目标电力系统数据发送和接收数据包的吞吐量调节数据包的传输速率。

4.根据权利要求3所述的一种面向电力系统的多源异构数据交换平台，其特征在于，所述数据抽取模块用于抽取源电力系统数据源中的数据保存到所述多源异构数据交换平台的中间结果表，所述数据转换模块根据数据转换配置文件的数据处理规则对中间结果表中的数据进行转换，转换后的数据存储到通道缓存表，所述发送模块将通道缓存表中的数据封装后发送到目标电力系统的数据源；所述数据处理规则包括字段脱敏、字段映射、数据长度处理、日期格式处理、数值单位转换。

5.根据权利要求4所述的一种面向电力系统的多源异构数据交换平台，其特征在于，所述数据抽取模块的数据抽取方式包括全量抽取、增量抽取、即时抽取；所述即时抽取是根据配置数据交换任务子模块的配置信息立即进行一次数据抽取。

6.根据权利要求4所述的一种面向电力系统的多源异构数据交换平台，其特征在于，所述通道管理模块支持建立多通道，对源电力系统数据源中的每个待抽取数据表或数据文件分别建立数据传输通道，多通道并行抽取数据。

7.根据权利要求6所述的一种面向电力系统的多源异构数据交换平台，其特征在于，对源电力系统数据源中的关系型数据库，支持按数据表的字段分组，对每个分组分别建立数据传输通道。

8.根据权利要求6所述的一种面向电力系统的多源异构数据交换平台，其特征在于，对源电力系统数据源中的Key-Value数据库，支持按Key分组，对每个分组分别建立数据传输通道。

9.根据权利要求3所述的一种面向电力系统的多源异构数据交换平台，其特征在于，交换任务跟踪模块监测所述通道缓存的容量、源电力系统和目标电力系统的数据库的运行状态；当所述通道缓存的剩余空间小于设定阈值A的持续时长超过设定阈值B，或数据库的运行状态出现异常，向数据交换平台的运维人员发送预警信息。

10.一种面向电力系统的多源异构数据交换方法，应用于权利要求1所述的一种面向电力系统的多源异构数据交换平台，所述多源异构数据交换方法包括：

S1：获取各电力系统异构数据源信息，存储到所述多源异构数据交换平台的数据源信息表中；

S2：创建数据交换任务；

S3：查询数据源信息表，配置所述数据交换任务涉及的源电力系统和目标电力系统的数据源信息；确定待交换的数据，设置数据交换的周期，配置数据处理规则，所述数据处理规则包括字段脱敏、字段映射、数据长度处理、日期格式处理、数值单位转换；

S4：当源电力系统数据源为关系型数据库时，对数据表按字段分组，对每个字段分组分别建立数据传输通道；或者，当源电力系统的数据源为Key-Value数据库时，按Key分组，对每个Key分组分别建立数据传输通道；或者，当源电力系统数据源为多个文件时，对每个文件分别建立数据传输通道；使用多个数据传输通道并行抽取数据；启动数据交换任务；

S5：将抽取的源电力系统数据源中的数据保存到所述多源异构数据交换平台的中间结果表；

S6：根据数据处理规则对中间结果表中的数据进行转换，转换后的数据存储到通道缓存表中；

S7：将通道缓存表中的数据封装后发送到目标电力系统的数据源。